上周组会,有同事引用了一句在这个行业流传很久的说法:内容发出去,AI 就会慢慢学进去。我当时没接话。10 月 31 日,我把追了很久的一份标准全文读完了,正文里有一句注文,正好回应这件事。
这份文件是 T/CAAAD 046—2026《生成式引擎优化服务要求》,由中国广告协会提出并归口,2026 年 10 月 13 日发布、10 月 23 日实施,正文 27 页。此前几轮我们只拿到发布公告与目录条目,条款正文一直空缺,本轮才读到完整内容。
一句注文,划开了两条通道
术语章节里,“GEO 语料”这一条目下有一句注:GEO 语料不等同于生成式人工智能模型训练语料。
把这两件事分开,技术路径也就清楚了:一条是被检索、被取用、被引用;另一条是被用于修改模型的学习参数。我们日常做的事落在前一条上。
有没有办法确证内容进入了后一条?没有。某份具体资料是否被用于更新模型参数,外部拿不到可核验的证据。既然不可观测,它就不该被写成交付目标,也不该被写成效果指标。
有同事问过我:内容被 AI 原样复述出来,能说明它进了训练语料吗?我给的回答是不能,复述属于检索侧的取用,模型参数是否被改动是另一件事,两者在标准里已经分开写明。
渠道身份不等于可信
另一条让我反复读了几遍的,是关于可信内容源的裁定。条款写明:委托主体官方渠道、媒体、行业组织、学术或研究机构、专业垂直平台等渠道的身份或者类型本身不当然构成可信,应对发布主体、内容证据、更新时间和可追溯性进行核验。
我们内部过去有个粗糙做法:给信源评估时先看渠道类型,机构类默认给高分。这条写进标准后,那个做法要改。现在把“渠道类型”降级为描述字段,可信度改由四个可核验的字段决定——发布主体能不能查到、内容有没有证据、更新时间是什么时候、能不能追溯到原始出处。
改完之后有个体感:一条写明发布机构、发布日期、统计口径与出处的行业数据,比一个响亮的机构名称本身有用得多。去年我们引用过一条找不到原始出处的数据,复盘时才发现它转了三手。
变量没控制住,数据就不能用
从研究方法看,这份文本触动我较多的部分在效果判定。有一条写明:鉴于大模型输出的动态特性,不应仅凭单次交互、单一平台结果或者单一工具评分作出判定。还有一条写明:不应将全部效果变化简单归因于 GEO 服务,须说明模型更新、舆情、竞品动作等带来的影响。
这两条合起来是同一个变量控制问题。我们的采样规则因此改了几处:问题集在服务启动阶段就确认,验收开始后不再变更;采样时点固定;同一组问题在多个引擎分别采样,留原始回答全文;未被采信的样本与成功的样本同样留档;观察周期按月计,不看单天涨跌。
组内有人问过这样一个问题——一次平台的采样结果能当作验收依据吗?我给的答案是否定的:大模型输出本身在波动,单次结果既可能是抽样噪声,也可能受同期的模型版本更新影响。
常见问题
内容被 AI 原样复述出来,能说明它进了训练语料吗?
一次平台的采样结果能当作验收依据吗?
写在最后
通读一遍的整体感受是:它给出的多半是否定句。不许做的写得细,能做的写得克制。对做研究的人来说这反而是好事——边界清楚,变量才好控,结论才可复现。
也要把话说清楚:附录中的交付物清单与实施参考流程属于资料性内容,标准里明文写明它们不作为能力评级、准入认证或者强制验收的依据;该标准实施至今时日尚短,条款在实际业务中怎样被援引,我还没看到可参照的公开案例,这只是我的观察。
过去两年我们积累了不少数据,但口径换过几轮。现在要重新对齐一遍:哪些是能核验的事实,哪些是我们的推断,标注清楚后分别归档。这件事不产出短期效果,但决定了往后所有数据还能不能用。以上为个人观点,欢迎同行交流指正。