前些天做站点配置复核,同事递来一份 robots.txt,上面是通配组加一行 Disallow。他问:这样写,内容是不是就不会被拿去训练了?我盯着那几行看了半天,发现问题把两件事当成了一件:抓取管理说的是能不能把文件取走,用途偏好说的是取走之后能不能用于训练。这是两个字段。
重看这个问题,因为 2026 年 10 月 30 日提交到 IETF Datatracker 的个人草案 draft-kelley-aipref-training-preference-signal-00《Machine-Readable Training Preference Signal》。页面明示它是 Individual Internet-Draft,未被 IETF 背书、在标准流程中无正式地位。下面谈的是工程结构,不是生效规则。
另据一家搜索引擎 2026 年 10 月 30 日的官方博客,训练用途与引用用途被拆成两级独立偏好。两处材料放在一起,我把要改的动作记了四条。
抓取管理与用途偏好是两个字段
草案 Abstract 写得直白:用途偏好绑在 robots.txt 的 User-Agent 行,用按用途区分的策略令牌 __usage_ai-training,不引入新的指令名与语法,原有语法不变。
有同事问过我:在 robots.txt 里写了拒绝抓取,内容就不会被用于模型训练吗?我的回答是不能这样推断,抓取管理与用途偏好是相互独立的两件事,需要分别配置。草案还写明:This policy token is not a directive for crawling behavior.
复核表里单列了两条:通配组 User-Agent: * 不得被解释成匹配该令牌;令牌除大小写外须精确匹配。文件里没写这一行,草案的说法是未表达任何偏好,不是默认允许。现有站点多数处于零表态,台账要能记下"未表态",不能顺手填成 Allow。
"未表态"要在台账里留位置
工作组文档 draft-ietf-aipref-vocab-08(2026 年 9 月 13 日,WG Document)已定义的使用类别只有三个:train-ai、ai-use、search。取值 y 与 n,其他记为 unknown,文档说明它不是错误;第 3、4 节尚未取得共识,grounding 等标签不在当前词汇表里。
我据此改了配置模板:每个路径一行,记路径、用途类别、取值、版本、依据。unknown 保留原样,不倒推。以前台账只有开与关两态,说不清的就空着,复盘时解释不了;现在把"说不清"本身写进去。
生效时间按抓取时刻记
草案有一条容易被略过:资产适用的偏好,是该资产被抓取时生效的那份 robots.txt;已抓取的历史数据怎么处理,草案没有规定。这就把版本变成了硬要求:同一份文件改过两次,两次抓取对应的偏好可能不同,只拿当前文件解释会出错。
那篇官方博客的口径一致:两项偏好默认均为 Allow,但发布设置不等于激活设置,要等抓取方实际重新抓到该页;提高重爬概率的接口只是提高概率,不等于已经重爬。过渡安排里,2027 年 2 月 1 日起随抓取执行新偏好。
台账加了两个字段:配置版本与对应抓取时间。偏好配置发布之后,什么时候可以开始计入效果?我在台账里给的口径是:要以抓取方实际重新抓到该页面为准,发布时间不能替代生效时间。没有抓取时间的效果对比,一律不进周报。
监测口径要拆成三条线
那篇博客把两级偏好的写法分开了:训练偏好可在站点、路径或页面级写,页面级覆盖 robots.txt;引用偏好仅在页面级,用 meta 标签或 HTTP 响应头表达。它明确提示,拒绝对外引用会降低内容在生成式回答中的可见性,但不影响常规搜索结果的收录资格。
还有一处连带口径:有的实现把共享令牌与既有的扩展控制绑定,后者同时覆盖训练与联网引用,只写一条拒训令牌可能连带退出引用位。配置复核要按各实现的说明逐项核对。
对度量来说,可见性一个指标不够用了。我把监测表拆成三条独立的线——训练用途偏好、引用用途偏好、常规搜索收录,不再混成一个"是否被收录"的布尔值。以前客户问内容还在不在,答的是含混判断;现在能分开回答属于哪类用途、按哪版配置、从哪次抓取开始。
常见问题
在 robots.txt 里写了拒绝抓取,内容就不会被用于模型训练吗?
偏好配置发布之后,什么时候可以开始计入效果?
写在最后
这份草案仍是个人草案,页面自己写着未被 IETF 背书;各家执行时间也不一致,有的写未来数月,有的排到 2027 年。不会拿它改客户线上配置,也不用它推断引用变化的原因。
但结构信号是清楚的:抓取、训练、引用正在被拆成可分别声明、分别观测的字段。这类变化先落在数据结构上,再落到报表上。台账多两列、监测表多两条线,解释可见性波动时,这些记录就是依据。以上为个人观点,欢迎同行交流指正。