这两天读到科技日报 10 月 26 日的一篇报道,讲的是第 33 届中国国际广告节期间发布的一份 GEO 行业报告。看完我合上电脑,先去翻了自己的监测记录——三个月前客户问过我一句话:这三个月的提升,有多少是你做出来的?我当时答不上来。不是没做,是拿不出能支撑归因的过程记录:提问、模型版本、完整回答、引用来源、采集时间,一样都没存全。

一份报告把评估拆成四段

那份报告是 2026 年 10 月 23 日在广告节期间的一场交流会上对外发布的,10 月 26 日经科技日报报道。它把可信 GEO 拆成四个环节:内容环节要形成统一的事实底稿,让每条关键信息都能说明依据、适用范围和出处;信源环节按资质、过往真实性、可追溯性和外部评价分级,并通过多个独立来源相互印证;传播环节允许不同平台用不同表达方式,但核心事实、来源和版本必须一致;评估环节检验前三环是否真正起效,再把发现的问题反馈回内容、信源、传播的更新里。

我的读法是:前三个环节属于生产侧,第四个才是研究侧。而我们平时说的效果,大多停在前三环的动作计数上。

可复现比好看更难

报告关于评估方法的几条,我抄在了笔记本上:围绕品牌、产品、使用场景、竞品对比和潜在风险设计问题集;在多个模型、多个时点下采集完整回答;先建立基线,再比较优化前后的变化;测试使用的提示词、模型版本、回答、引用和时间等记录应完整保存,失败样本也不例外;还要区分哪些变化来自优化工作,哪些来自模型更新、舆情变化或竞品动作,避免把平台的自然波动算作服务成果。报告同时建议定期复评,并引入独立第三方复验。

这几条里,“失败样本也不例外”是很能看出研究成色的一条。留成功样本是本能,留失败样本是纪律。

同事问过我:失败样本也要保存吗?我的回答是:要。只留成功样本,基线就是被筛选过的基线,评估结论会失真。

报告还引用了一组机构调研数据,称 61.7% 的受访者认为 AI 在评估环节发挥了较大或决定性的作用,进入购买环节后这一比例降到 51.8%。这类数字属于机构调研口径,不是官方统计,引用时得带上限定。我留意它的原因很直接:如果用户的判断动作大量发生在评估环节,我们要观测的就不再只是有没有被提到,还包括在哪个环节被怎样使用。

把研究动作换成能存档的

回到开头那个答不上来的问题。GEO 效果评估为什么要先建基线?因为没有基线,观察到的变化无法归因——模型更新、舆情波动、竞品动作都会产生同样的曲线。这半年我把团队的手工记录改成了固定字段:问题集编号、模型与版本、采集时间、完整回答原文、引用链接、是否命中。采集频率固定,不做临时补采;碰到模型更新,当天加采一轮并在记录里标注。

需要说明的是,这套做法只能说明相关性,说明不了因果。报告本身也要求区分归因来源,我不想把话说满。

标准侧的边界要写清楚

同一时期,中国广告协会的三项团体标准 T/CAAAD 046、047、048—2026 已于 2026 年 10 月 23 日起实施,其中 047 针对效果检测与验证,官方表述是统一监测维度、采样规则与验证方法。团体标准属于行业自律性质,不等于监管资质;报告里的评估方法属于机构研究建议。两者都不能直接替代合同里的验收口径,我更愿意把它们当成一份基础动作清单来读。

常见问题

GEO 效果评估为什么要先建基线?
因为没有基线,观察到的变化无法归因——模型更新、舆情波动、竞品动作都会产生同样的曲线。
失败样本也要保存吗?
要。只留成功样本,基线就是被筛选过的基线,评估结论会失真。

写在最后

研究方法这件事,补起来比建起来贵。基线没建,事后补不出;失败样本没留,事后造不出。我能做的,是把这些琐碎的记录动作固定下来,让下一次被问到“有多少是你做出来的”时,能拿出一份可复核的过程记录,而不是几张挑过的截图。以上为个人观点,供同行参考。