上周半夜两点，我盯着屏幕上的进度条，心里直打鼓。

真的，那一刻我差点把电源拔了。

不是怕坏，是怕它真的带不动。

你们都知道，我在这行摸爬滚打十年了。

从最早的GPU集群，到现在的端侧推理，啥阵仗没见过？

但这次，我搞了台AMD的迷你主机，就为了跑个7B的大模型。

朋友都笑我，说你是疯了吧？

“那点小盒子，散热都成问题，还想跑AI？”

哼，他们懂个屁。

今天我就把这台机器的真实体验，掰开了揉碎了讲给你们听。

先说硬件吧。

我选的是Ryzen 9 7940HS的那款，核显是RDNA 3架构。

别笑，就是那个核显。

很多人觉得跑大模型必须得插张RTX 4090。

那是以前，或者对于几千亿参数的模型来说。

对于7B、8B这种量级的模型，现在的内存带宽才是王道。

我这台机器，板载了32GB的LPDDR5X内存。

频率6400MHz，带宽大概250GB/s左右。

听着是不是有点虚？

但我跑的是Llama-3-8B的INT4量化版本。

这玩意儿，显存占用也就5-6GB。

剩下的内存，全用来做上下文窗口和KV Cache。

关键点来了：统一内存架构。

AMD的APU，CPU和GPU共用内存。

数据传输不用在PCIe总线上折腾，延迟极低。

我实测了一下，首字生成时间（TTFT）大概在1.2秒。

后续生成速度，大概是每秒25到30 tokens。

这速度，你打开网页、回个微信，完全感觉不到卡顿。

真的，丝滑。

当然，缺点也有，得说实话。

散热是真的焦虑。

跑满负载的时候，风扇声音像直升机起飞。

我不得不给它加了个散热支架，底下垫高，让空气流通。

不然跑个半小时，温度直接飙到95度，然后降频。

那体验，瞬间从丝滑变成PPT。

还有，软件生态。

虽然AMD现在对ROCm的支持越来越好，但在Windows上跑，还是有点折腾。

我最后是用WSL2，配合Linux内核，才把环境调顺。

如果你是非技术小白，建议直接买预装好环境的品牌机，或者做好折腾的准备。

别指望插上电，打开软件，就能自动跑起来。

那都是骗人的。

再说个对比。

我之前用一台Intel i9的迷你主机，同样32G内存。

跑同样的模型，速度慢了将近40%。

为啥？

因为Intel那代核显的内存带宽只有200GB/s出头。

而且驱动优化，AMD在AI推理这块，最近确实有点开窍了。

特别是对于轻量级模型，AMD的性价比，真的香。

当然，如果你要跑70B以上的模型，或者要做微调。

那还是老老实实去租云服务器，或者搭集群吧。

别在迷你主机上浪费时间。

它适合什么场景？

适合个人开发者，适合做本地知识库，适合跑一些轻量级的Agent。

比如，你有个本地笔记助手，或者一个代码补全工具。

不用联网，数据不出门，隐私安全。

这才是大模型落地的意义，对吧？

不是为了炫技，是为了真正解决问题。

我这台AMD迷你主机，花了不到4000块。

如果去租云GPU，按小时算，跑几个月都够买两台了。

这就是算账的艺术。

最后给个结论。

如果你想体验本地大模型，又不想花大价钱买显卡。

AMD迷你主机跑大模型，绝对是个值得考虑的选项。

但前提是，你得懂一点Linux，能接受一点噪音。

还有，别指望它能干重活。

它是个精致的玩具，也是个实用的工具。

看你怎么用。

我现在的状态是，每天下班回家，第一件事就是打开它。

看着那个绿色的终端窗口，数据在流动。

那种感觉，挺踏实的。

毕竟，数据在自己手里，才叫安全。

好了，不说了，我得去给它清灰了。

风扇又开始叫了，烦人。

希望这篇文章，能帮你省下几千块的冤枉钱。

或者，至少让你知道，这条路，是通的。

哪怕有点颠簸。

毕竟，折腾，也是乐趣的一部分嘛。

对了，记得买那种内存能扩展的，32G有点捉襟见肘。

64G才是王道。

别问我怎么知道的，问就是血泪教训。

好了，就这样。