朋友上周被裁了。 不是因为能力差,而是老板信了某博主“3天用Swift+MLX上线AI功能”的鬼话,让他把Phi-3塞进App。结果?Demo跑不起来,项目黄了,人也走了。
我干了15年iOS开发,自己也是独立开发者,今天必须说句真话:MLX根本不能在iPhone上跑! 别再被“开源”“Swift写的大模型”这种话术忽悠了。
下面是我亲测有效的三条路,每一条都能落地、有收益、不踩坑👇
你能得到什么? → 本地秒级推理,调试自由,转化你的AI产品想法为真实Demo(我的Notion插件就是这么跑通的)
怎么做?一行命令搞定:
pip install mlx && git clone https://github.com/ml-explore/mlx-examples
然后加载Hugging Face上的microsoft/Phi-3-mini-4k-instruct,M2 Max实测80ms/token,流畅得像本地数据库。
⚠️但记住:这只是Mac专属!别想着拖进Xcode就上架App Store——MLX依赖macOS Metal底层,iOS沙盒根本不认。
你能得到什么? → App审核通过 + 用户真实可用的AI功能(比如智能摘要、情绪分析),我的工具类App靠这招次日留存↑18%
关键不是“大模型”,而是“小任务”。比如:
用coremltools把TinyLLaMA转成.mlmodel
Xcode里拖进去,调用MLModel API
指定MLComputeDevice让A17 Pro的NPU加速
实测:4-bit量化后的7B以下模型,在iPhone 15 Pro响应<200ms。但别幻想跑原版Phi-3——它2.3B参数,内存直接爆。
💡技巧:把大模型能力“拆解”。比如用户输入长文本,本地只做关键词提取+分类,复杂生成交给云端(见下条)。
你能得到什么? → 既用上大模型能力,又过审App Store,还能控制成本(我的SaaS月省$300服务器费)
具体做法:
iPhone本地跑BGE-small嵌入模型,生成向量(<50ms)
向量发到私有云(Llama.cpp + Ollama)
云端返回结果,App展示
Notion AI、Obsidian Mobile全这么干。Apple审核最爱这种“本地预处理+加密传输”模式。
❌ “Swift写的=能跑iOS” → 错!MLX是Swift写的,但只编译给macOS
❌ “llm.swift是苹果开源” → 假!GitHub搜不到官方仓库,全是营销号编的
❌ “iPhone能实时跑Phi-3” → 骗!除非你魔改蒸馏+量化,否则卡成PPT
我是K哥,15年iOS老兵+独立开发者,所有方案我都跑过Demo才敢写。 别再交智商税了!
关注我,技术不迷路。