前两天刷短视频,看到好多人都在吹什么“手机端大模型”,说以后不用带电脑,掏出手机就能跟GPT聊天,还能本地跑,隐私绝对安全。我一看,心里直犯嘀咕,咱手里那台用了三年的旧手机,电池都鼓包了,真能跑得动那些动辄几十亿参数的模型?这听起来就像让五菱宏光去拉货一样,不现实吧。
为了验证这个说法,我特意找了一台iPhone 12,虽然它不算最新款,但A14芯片当年也是旗舰级的。我下载了好几个声称能“本地部署”的APP,有的还要Root,有的还要越狱,折腾得我头都大了。最后我选了个比较火的开源项目,通过侧载的方式装上了。说实话,安装过程比我想像中麻烦多了,还要配置环境,对于咱们普通用户来说,这门槛是不是有点高?
装好后,我试着输入了一句:“帮我写一段关于春天的代码,要Python的。” 屏幕转圈圈转了半天,大概等了有半分钟吧,才吐出一行字。那速度,简直比我家老式拨号上网还慢。而且,手机背面烫得能煎鸡蛋,我都不敢摸,怕把手给烫起泡了。这时候我才意识到,所谓的“手机运行openai”,其实并不是直接跑那个最火的GPT-4,而是跑的一些量化后的小模型,比如Llama-3-8B之类的。虽然它们也是OpenAI生态里的一些替代方案,但体验上确实有差距。
很多人问,既然这么慢还这么烫,那手机运行openai到底有啥意义呢?我觉得吧,主要是个“玩票”性质。如果你只是想在没网的地方,随便问点常识性问题,或者让AI帮你润色一下微信消息,那还行。但要是想让它帮你写长篇大论,或者做复杂的逻辑推理,那还是算了吧,手机CPU真的会罢工。
我有个朋友,是个技术宅,他非要在安卓机上跑一个70B的大模型,结果手机直接黑屏重启了三次。他说这是硬件限制,不是软件不行。这话我信。毕竟手机里的内存和算力,跟服务器集群比起来,那就是蚂蚁和大象的区别。不过,随着芯片技术的进步,比如苹果最新的M系列芯片下放到iPad,或者高通的骁龙8 Gen 3,未来手机本地运行大模型确实有可能变得更快更凉快。
但是,现在这个阶段,咱们还是别太执着于在手机运行openai。你想想,你花几千块买的手机,是用来打电话、刷抖音、拍照的,不是用来当服务器用的。如果你真的需要强大的AI能力,老老实实连WiFi,用网页版或者官方APP,虽然隐私性稍微差一丢丢,但胜在速度快、体验好,还不用把手机当暖手宝用。
另外,我还发现一个坑,就是有些APP打着“手机运行openai”的旗号,其实背后还是调用的云端接口,只是加了个本地缓存的壳。这种套路,大家一定要小心,别被忽悠了。真正的本地运行,数据确实不出手机,但代价就是性能和功耗。
总的来说,我对手机运行openai这件事,持保留态度。它是个很好的技术探索方向,但目前还不够成熟。咱们普通用户,还是等个两三年,等芯片再进化一下,电池技术再突破一下,那时候再考虑也不迟。现在嘛,还是乖乖用云端吧,毕竟省心。
最后提醒一句,如果你非要折腾,记得给手机买个散热背夹,不然真容易烧坏主板。我这台iPhone 12,现在每次用AI功能,我都得小心翼翼的,生怕它突然冒烟。这体验,真不咋地。希望厂商们能快点优化,让手机真正变得聪明起来,而不是只会在后台偷偷耗电。