大模型评测产品经理这活儿，看着光鲜，实则全是坑。很多新人入行，拿着基准测试分数当宝，结果上线后用户骂声一片。这篇文不聊虚的，只讲我在一线踩过的雷和总结的土办法，帮你理清思路，少走弯路。

先说个真事。去年有个项目，竞品模型在C-Eval上跑了95分，我们的是88分。老板拍桌子，非要压过竞品。结果上线第一天，客服反馈率飙升，用户吐槽逻辑混乱，甚至出现幻觉。为什么？因为C-Eval是选择题，而真实场景是开放问答。这就是典型的“高分低能”。

做评测，第一步别急着跑分。你得先懂业务。我是怎么做的？先拉出过去半年的用户日志。比如做金融助手，不能只看它会不会算账，得看它会不会合规。有一次，一个模型在数学题上全对，但在回答“如何避税”时，给出了违法建议。这种错误，基准测试根本测不出来。所以，构建场景化测试集，比刷分重要一百倍。

很多人问我，大模型评测产品经理到底该关注什么指标？我常说，别迷信准确率。在复杂任务里，召回率和准确率往往打架。比如一个代码生成模型，它生成的代码能跑通（准确），但可能只有10%的代码是用户真正需要的（召回低）。这时候，你需要引入人工评估。是的，人工。虽然贵，但真香。

我带团队时，规定每周必须做100个Case的人工标注。不是随便看看，是要细到每个token。我们发现，模型在长文本总结时，容易丢失关键数据。比如合同里的金额、日期。这些细节，机器很难捕捉，但用户很在意。所以，我们专门建了一个“关键信息抽取”的子集，专门测这个。

再说数据对比。去年我们对比了三个主流模型。A模型在通用能力上领先，但B模型在垂直领域（比如医疗）表现更好。为什么？因为B模型在预训练时注入了更多专业语料。这告诉我们，通用模型不等于好用。你得根据场景选模型，或者做微调。

有个误区，很多人觉得评测是一次性的。错。大模型迭代太快了，今天A好，明天B好。评测体系必须动态更新。我们建立了“坏案库”，每次用户投诉，都要复盘，看是不是评测没覆盖到。如果有，立刻加进测试集。这样，模型才能越用越聪明。

具体怎么做？我建议分三步走。第一，定义核心场景。别贪多，先抓痛点。第二，构建黄金数据集。这个数据集要小而精，覆盖80%的核心用例。第三，建立自动化+人工的混合评测流程。自动化跑快，人工把关难。

最后说个扎心的真相。大模型评测产品经理，不是打分员，是守门员。你的责任不是让模型分数好看，而是让模型在真实世界里不翻车。这需要你对业务有深刻理解，对技术有足够敬畏。

我见过太多团队，为了赶进度，跳过评测环节，结果上线后花十倍精力去修bug。得不偿失。评测不是成本，是投资。

记住，SOTA（State of the Art）只是参考，真实体验才是王道。别被分数迷了眼，多听听用户的声音。这才是大模型评测产品经理该干的事。

本文关键词：大模型评测产品经理