前阵子在搭一套 GEO 效果的复测台账,卡在一个看着简单的问题上:同一批内容,到底该由谁来打分?如果写内容的人和打分的人是同一拨,这个分数有多少参考价值,自己心里其实没底。带着这个问题,我在一份行业监测里读到一条厂商官方披露,讲的大模型研发,方法上却给了我一个清楚的答案。
一条把评估单独拎出来的官方披露
据一家大模型厂商的官方技术博客(2026 年 11 月 9 日)披露,他们用一套自动研究系统来做模型优化。这套系统把工作分成两层:一层按“策划—筛选—执行”的角色往下推进,另一层由独立的评估与复核角色负责检验,两层不相互替代。据报道,这套系统在公开基准上给出了可核验的结果,相关代码也放到了开源平台。需要说清楚的是,这条披露属于模型能力与研发体系的公开说明,不是生成式引擎排序、引用或抓取规则的变更,和 GEO 的算法更新没有关系。
把生成和评估分开记账
这套披露里我更看重的,是它把执行角色和评估角色拆开这件事。放到 GEO 复测上,道理是一样的:内容组写了什么、上线了多少篇,这是执行口径;这些内容有没有被大模型提到、被引用时描述是否准确,是另一套口径,不该由同一份工作表顺手得出。我的做法是,执行台账和效果台账分两张表存,前者记发布了什么,后者只记机器侧实际发生了什么,两边不互相填空。
基准要公开,样本要固定
常有人问,GEO 复测的问题集能不能临时调整?那条披露强调结果在公开基准上可核验,这一点可以直接搬到 GEO 度量里。问题集要在启动阶段和相关方一起确认并封存,复测时不临时增删,并保持同一批问题、同一组平台、同一个观察窗口和同一套记录字段。样本固定了,前后的变化才有意义。此外每次观察要把是否提及、出现位置、描述口径、来源链接四个字段记全;样本老换,涨一点跌一点都说不清缘由。
让结果可以被别人重跑一遍
有人问,效果台账为什么强调原始记录要留痕?因为可度量不只是拿出一个分数,而是让每一次判断都能被别人按同样条件复核。原始记录留存、失败样本单独留档、归因时把内容之外的因素标出来,客户问起变化时才有可追溯的依据。研发系统把代码开源,本质也是让别人能按同样的条件再跑一遍。技术上的可度量,说到底不是找一个漂亮的分数,而是让每一次判断都能被复核。
写在最后
回到开头那个问题——谁来打分。现在我的答案是:写内容的人不打分,打分的人用固定的样本和公开的口径,两边各记各的账,谁都能回头复核。厂商这条披露讲的是模型研发,但“执行与评估分离、结果可核验”这套工程习惯是相通的。以上为个人观点,不代表任何机构立场。