干大模型这行七年了，真算是看着它从“PPT时代”走到现在的“落地实战”。最近好多兄弟问我，说搞了张4090，跑7B模型挺快，但一上70B或者13B，直接OOM（显存溢出），心态崩了。

这时候，很多人第一反应就是加卡。

于是，“双显卡”成了救命稻草。但这里有个巨大的误区：加了卡，速度就一定翻倍吗？

我拿我自己最近的一个项目案例来说吧。

之前为了跑一个本地化的客服系统，我手头有两张RTX 3090，24G显存各一张，总共48G。我想着，这不得起飞？

结果呢？部署完一看，推理速度不仅没快，反而比单卡还慢了一截。

为什么？因为数据在两张卡之间“搬家”太累了。

这就是双显卡大模型推理速度里最容易被忽视的瓶颈：PCIe带宽。

当你把模型切分在两张卡上时，每一层计算完，数据都要通过主板上的PCIe通道传到另一张卡。

这个传输延迟，对于大模型那种层数极深的结构来说，简直是灾难。

我当时的测试数据大概是这样：

单卡跑量化后的70B模型，虽然显存不够，但通过CPU卸载一部分，延迟在800ms左右。

双卡并行推理，延迟飙到了1.2秒。

这可不是我瞎编，是有日志记录的。

很多教程只告诉你怎么切分模型，没告诉你通信开销有多高。

除非你的两张卡是通过NVLink连接的，比如A100或者H100那种高端卡，否则普通的消费级显卡，PCIe 4.0 x16的带宽根本喂不饱大模型的吞吐需求。

所以，如果你也是用两张3090或者4090，想提升双显卡大模型推理速度，我有几条血泪建议。

第一，别盲目全量加载。

尽量使用量化技术，比如AWQ或者GPTQ，把模型压到4bit。

这样不仅省显存，还能减少数据传输量，间接提升速度。

第二，检查你的CUDA版本和框架。

我用vLLM的时候，发现它对多卡的支持比原生PyTorch好太多。

vLLM用了PagedAttention技术，显存利用率极高，而且对多卡推理有专门的优化。

如果你还在用老掉牙的transformers库硬跑，那速度肯定慢。

第三，考虑模型架构的选择。

有些模型天生适合多卡并行，比如那些层数少但宽度大的模型。

而像Llama-3这种层数极深的，多卡反而可能因为通信延迟拖后腿。

我后来调整了策略，不再强行双卡并行，而是用一张卡跑核心推理，另一张卡专门做并发请求的排队和预处理。

这样分工明确，整体吞吐量反而提升了30%。

这就是双显卡大模型推理速度的真相：硬件堆砌不等于性能提升，架构优化才是王道。

别听那些卖硬件的忽悠，说什么“双卡必翻倍”。

你自己去测，去调参，去优化代码。

大模型这行，拼的不是谁卡多，而是谁更懂怎么让现有的卡发挥最大价值。

如果你也在纠结要不要买第二张卡，先想想你的PCIe通道够不够宽，你的代码优化到位了吗？

这些问题解决了，再谈双卡也不迟。

毕竟，省钱才是硬道理，不是吗？