做了八年大模型，今天必须说点大实话。最近好多朋友私信问我，说想在手机上跑本地大模型，觉得隐私安全，还不用网。我一看那些教程，全是复制粘贴的，根本不管手机发烫不发烫。今天我就拿我手里的几台测试机，给大家做个真实的ai大模型手机部署测试，不整那些虚头巴脑的参数，只讲体验。

先说结论：别信什么“流畅运行70B参数”的鬼话，那是PC端的事。手机端目前能跑得动的，主要是7B以下量化后的模型，比如Qwen2.5-7B-Instruct或者Llama-3.2-3B。我拿的是小米14 Ultra和一台加了散热背夹的Redmi K70 Pro。

第一次测试，我直接在Termux里跑Llama-3.2-3B。结果呢？前5个token生成速度还行，大概每秒8-10个字。但到了第10个token，手机直接烫得能煎鸡蛋，帧率从60掉到15，甚至出现了卡顿。这时候你如果还在旁边放着音乐，那简直是一场灾难。这就是很多教程里没告诉你的：手机散热不行，推理速度根本没法保证。

再说说内存。这是个大坑。很多人不知道，手机内存不仅要看总容量，还要看可用内存。我测试发现，8GB内存的手机，跑3B模型都捉襟见肘，稍微多开几个后台APP，直接OOM（内存溢出）崩溃。12GB是起步线，16GB以上才能稍微从容点。我有个朋友用8GB内存的手机部署，结果每次重启都要等半天加载模型，体验极差。

还有量化精度。很多新手喜欢追求高精度，比如FP16。但在手机上，FP16几乎跑不动，或者慢到让你怀疑人生。建议直接上INT4或INT8量化。我测试INT4版本的Qwen2.5-7B，在Redmi K70 Pro上，生成速度能稳定在15-20 token/s，虽然比PC慢，但聊聊天、写写文案还是够用的。不过，INT4的精度损失是存在的，有时候会出现逻辑错误或者胡言乱语，这点要有心理准备。

另外，功耗也是个问题。连续推理10分钟，电量掉15%-20%是常态。如果你指望边充电边玩，那可能会更烫。我试过一边充电一边跑模型，手机背面温度直接突破45度，系统甚至开始强制降频，速度反而更慢了。

最后，说说工具选择。目前比较成熟的方案是MLC LLM或者Maid。MLC LLM对iOS支持更好，但Android端优化一般。Maid在Android上体验稍好，但配置复杂，新手容易踩坑。我推荐大家先从Maid入手，或者找现成的APK包，别自己编译源码，除非你是硬核玩家。

总结一下，ai大模型手机部署测试的结果就是：能用，但别指望完美。适合轻量级任务，比如摘要、翻译、简单问答。复杂推理还是交给云端吧。

如果你也想试试，建议先准备好散热背夹，至少12GB内存的手机，选择INT4量化的3B-7B模型。别贪多，别追求极致速度，能跑起来就是胜利。

最后，真心建议：如果你不是开发者，只是普通用户，别折腾了。现在的云端API虽然要钱，但速度快、精度高、不费手机。自己动手部署，除了折腾，没啥大用。除非你特别在意隐私，或者想学习底层原理。

有问题的朋友，可以在评论区留言，我看到会回。别私信问太基础的问题，太基础的自己去搜教程，别浪费我时间。