说实话，看到现在大模型满天飞，很多人第一反应是“我也得搞个服务器”。别急，先看看你的钱包和机箱。

我入行这15年，见过太多人跟风买显卡，最后吃灰。今天不聊那些虚头巴脑的概念，就聊聊用两张RTX 3090搞3090 sli大模型到底是个什么体验。

先泼盆冷水：NVIDIA早就在软件层面阉割了消费级显卡的SLI支持，尤其是针对深度学习框架。所以，你指望像玩游戏那样，插上两根线，系统自动识别成一张24G显存的巨无霸？做梦。

但别灰心，2024年了，我们有更聪明的办法。

我的一个学员，老张，是个独立开发者。他想在自己电脑上跑Llama-3-70B这种级别的模型。单张3090，24G显存，连量化后的70B都塞不进去，直接OOM（显存溢出）。他差点就把卡卖了。

后来我让他试试双卡并行。注意，不是SLI，是模型并行。

具体怎么操作？其实原理很简单。把模型权重切分，一层放在卡A，下一层放在卡B。数据在两张卡之间来回传输。虽然延迟会比单卡高，但显存够用了啊！

老张实测下来，用PyTorch的DDP（分布式数据并行）或者专门的推理引擎如vLLM配合多卡配置，成功跑起来了。虽然速度没达到理论值的两倍，但也比单卡强太多了。

这里有个关键数据，老张的测试显示，双卡推理速度大概是单卡的1.6倍左右。为什么不是2倍？因为PCIe带宽成了瓶颈。3090之间通过主板PCIe通道通信，速度远不如GPU内部的显存带宽。

所以，如果你真打算搞3090 sli大模型方案，请务必注意以下几点：

第一，主板要够硬。最好支持PCIe 4.0 x16 x16，或者至少两条插槽都能跑在x8以上。别用那种只有一条满速插槽的主板，否则两张卡都在x4模式下跑，带宽直接减半，推理速度能慢到你怀疑人生。

第二，电源要足。两张3090满载功耗接近800W，加上CPU和其他配件，建议上1000W甚至1200W的金牌电源。别省这个钱，炸了机箱得不偿失。

第三，散热是大问题。双卡叠在一起，热量堆积严重。老张一开始用原装风扇，跑了半小时就撞温度墙降频。后来他改了风道，加了暴力风扇，才稳住。

第四，软件配置要折腾。你需要熟悉Linux环境，或者在Windows下用WSL2。CUDA版本、cuDNN版本都要匹配。对于新手来说，这可能比买卡还难。

我见过很多人问：“能不能用SLI跑Stable Diffusion？” 可以，但意义不大。因为SD主要吃单卡显存和带宽，双卡并行带来的收益有限，反而增加了配置复杂度。

但对于大语言模型，尤其是70B以上的参数规模，双卡几乎是个人玩家的唯一出路。毕竟，A100太贵，H100更是遥不可及。

老张现在的方案是：双3090，Linux系统，vLLM推理引擎，量化到INT4。跑Llama-3-70B，生成速度大概每秒15-20 token。对于本地辅助写作、代码生成来说，完全够用。

如果你也在考虑组建3090 sli大模型工作站，我的建议是：先明确需求。如果你只是跑7B、13B模型，单张3090绰绰有余，甚至4090性价比更高。只有当你需要跑70B+模型，且预算有限时，双3090才是值得折腾的方案。

别被那些“开箱即用”的教程骗了。真正的乐趣，在于解决那些报错、调优参数、看着模型一点点跑通的过程。

最后提醒一句，二手3090水很深，很多是矿卡。买卡前，一定检查核心频率、显存温度，最好能跑个3DMark或者CUDA测试。别为了省钱，买了块废铁回来。

技术这条路，没有捷径，只有踩坑后的成长。希望这篇干货，能帮你省下几千块的冤枉钱。