干这行十二年，我见过太多老板花大价钱买算力，结果跑出来的模型跟个傻子似的。今天不聊虚的，聊聊最近很火的一个概念：小模型指导大模型。这词听着高大上，其实底层逻辑特别朴素。

咱们先说个真事。去年有个做电商客服的客户，找我救火。他们之前为了追求“智能”，直接上了个千亿参数的大模型。结果呢？响应慢得像树懒，每个月算力账单好几万，但客户满意度没涨反跌。为啥？因为大模型虽然懂天下事，但在他们那个垂直领域，它根本不懂自家产品的细微差别，还容易胡编乱造。

这时候，我就建议他们换个思路，搞“小模型指导大模型”。

啥叫小模型指导大模型？简单说，就是让便宜、快、专的小模型先干粗活，把大模型从繁琐的重复劳动里解放出来，专门处理那些需要高智商的复杂问题。

具体咋操作？我给他们的方案是这样的。先用一个参数量只有7B的小模型，专门做意图识别和初步分类。这个小模型训练成本极低，部署在普通显卡上就能跑，速度快得飞起。它负责把用户的提问分成三类：查库存、问政策、投诉建议。

如果是查库存，小模型直接根据数据库回答，根本不需要大模型出手。这一步能挡住80%的简单请求。剩下的20%，比如那种情绪激动的投诉，或者需要复杂逻辑推理的咨询，再交给那个昂贵的大模型。

这招一用，效果立竿见影。算力成本直接砍掉了70%，响应速度从平均5秒缩短到0.5秒以内。最关键的是，因为小模型做了第一道过滤，大模型看到的都是高质量、高难度的问题，回答的准确率反而提升了。

这里有个坑，我得提醒大家。很多人以为“指导”就是让小模型给大模型写提示词。其实不是。真正的指导，是流程上的分工，是数据上的预处理。小模型要经过大量的行业数据微调，它得比大模型更懂你们的业务细节。

我有个做法律咨询的朋友，也用了这招。他让小模型先做法条检索和案例匹配，把最相关的几条法条和大模型喂过去。大模型只需要做最后的逻辑整合和语气润色。这样既保证了专业性，又避免了大模型幻觉带来的法律风险。

当然，这也不是万能药。如果你的业务场景特别简单，全是问答对，那直接用小模型就够了，没必要搞这么复杂。但如果你的场景复杂，既要快又要准，还要省钱，“小模型指导大模型”绝对是目前的最佳实践。

别迷信大模型无所不能。在工业落地里，合适才是最好的。小模型不是大模型的替代品，它是大模型的过滤器和加速器。

最后说句心里话，做AI落地，别总盯着参数看。参数大不代表效果好，反而可能带来巨大的资源浪费。我们要的是解决实际问题，而不是炫技。

这次分享，希望能给正在纠结架构的同行们一点启发。毕竟，省下来的钱，才是真金白银。

本文关键词：小模型指导大模型