刚下班,累得腿都软了。
赶紧跟你们唠唠。
最近好多兄弟问我。
AMD显卡到底能不能跑AI?
别听网上那些吹牛的。
我干了6年大模型。
今天说点真话。
不整那些虚头巴脑的。
先说结论。
能跑,但很折腾。
你要是小白。
听我一句劝。
赶紧买N卡。
RTX 4090虽然贵。
但省心啊。
不用调参。
不用改代码。
插上电就能跑。
AMD呢?
那就是给极客准备的。
或者是预算实在紧巴巴的。
比如我就想练手。
或者搞搞本地部署。
这时候AMD才有戏。
我上个月。
花三千多买了张RX 7900 XT。
为啥?
因为穷啊。
这卡跑大模型。
性能其实不差。
比3060强多了。
但是!
坑太多了。
第一个坑。
环境配置。
N卡是CUDA。
一键安装。
AMD是ROCm。
这玩意儿。
在Linux上还行。
在Windows上。
简直是噩梦。
我折腾了两天。
头都大了。
各种报错。
什么库版本不对。
什么驱动不兼容。
最后发现。
还得换系统。
这谁受得了?
第二个坑。
软件支持。
很多开源项目。
默认只支持CUDA。
你要用AMD。
得自己改代码。
或者找那些。
专门适配AMD的分支。
比如某些LLM框架。
你得手动编译。
稍微手抖一下。
就编译失败。
还得查文档。
英文文档还写得晦涩。
真让人头秃。
但是。
一旦配好了。
真香。
7900 XT有20G显存。
跑7B的模型。
绰绰有余。
甚至能跑13B。
只要量化到位。
速度虽然比4090慢点。
但完全能接受。
关键是便宜啊。
省下的钱。
买排骨吃不香吗?
我算过一笔账。
用N卡。
同等显存。
价格翻倍。
对于学生党。
或者小工作室。
AMD真的是救命稻草。
不过。
别指望它像N卡那样。
开箱即用。
你得有耐心。
你得懂点Linux。
你得会看日志。
还得会百度。
甚至得去GitHub提Issue。
问开发者。
“哎,这咋整?”
人家可能还回你。
“这是预期行为。”
气死个人。
再说说价格。
现在7900 XT大概3500左右。
二手的更便宜。
20G显存。
跑大语言模型。
确实够用。
如果你要跑SD画图。
那更是爽歪歪。
生成速度挺快。
就是偶尔会爆显存。
这时候你得优化模型。
或者降低分辨率。
有点麻烦。
但总比买不起强。
还有。
AMD的驱动。
更新挺勤快。
但稳定性一般。
有时候更新完。
反而跑不动了。
这时候你就得回滚驱动。
很搞心态。
所以我建议。
别乱更新驱动。
能用就别动。
除非有新功能。
或者修了Bug。
总之。
AMD跑ai大模型。
适合有一定技术基础的人。
不适合纯小白。
如果你只是想玩玩。
体验一下AI。
还是N卡稳妥。
如果你是想深入。
或者预算有限。
想折腾一下。
那AMD绝对值得。
它给你的是。
更高的性价比。
和更多的可能性。
当然。
还有更多的坑。
最后给点建议。
买之前。
先看看你的技术栈。
会不会Python?
懂不懂Docker?
会不会Linux命令?
如果都不会。
别买。
买了也是吃灰。
如果你会。
那就冲。
记得装双系统。
Linux为主。
Windows为辅。
这样能少很多麻烦。
还有。
多去社区逛逛。
看看别人怎么配的。
别闭门造车。
容易走弯路。
我是老张。
干了6年这行。
踩过无数坑。
希望能帮到你。
如果你还在纠结。
或者配置环境搞不定。
可以找我聊聊。
我不收咨询费。
就当交个朋友。
毕竟。
大家都不容易。
能帮一点是一点。
记得点赞关注。
下期聊聊。
怎么优化AMD的推理速度。
那才是真技术。
咱们下期见。