跳至正文内容
AI 训练拒训
robots.txt
个人站长
创作者权益

四大巨头联手推行 robots.txt 拒训新规:个人站长与课程作者需要改代码吗?

2026 年 11 月 OpenAI、谷歌、微软与 Anthropic 共同推进基于 robots.txt 的 AI 训练拒训协议(__usage_ai-training)。从个人站点与教研资源维护出发,聊聊新标解决了什么、与旧写法有何区别,以及如何低成本加进自己的站点。

2026-11-15 · 杨老师 · 6 分钟

四大巨头联手推行 robots.txt 拒训新规:个人站长与课程作者需要改代码吗?

最近两年,身边不少做独立开发、写技术博客或者在学校自建教学资源站的朋友,都经历过同一种纠结:

一方面,大家辛辛苦苦手敲的教案、实训指导书、开源小工具或者个人心得,很希望搜索引擎正常收录,好让学生、同行和读者通过搜索找得到;另一方面,又特别膈应各大 AI 公司的爬虫把整站文字、图片和代码打包拖走,无偿塞进大模型当训练语料,回头别的人一问,模型吐出洗过一遍的内容,却连原作者的一个字符都不提。

为了防爬,以前站长们只能在 robots.txt 里像念经一样罗列各个公司的专属爬虫名:GPTBot、ClaudeBot、Google-Extended、Bytespider……每冒出一个新模型就得补一行,漏了一条就等于门户大开。更头疼的是,一旦把 GPTBot 这类爬虫彻底封死,往往连带着在 ChatGPT 或搜索引擎里的实时引用与来源链接展示也一并失效了——你想防的是“偷去训练”,结果却把“公开展示与导流”也亲手掐灭了。

2026 年 11 月上旬,这个碎片化的僵局终于有了转机:由 Anthropic 工程师 Kevin Kelley 提交至 IETF(互联网工程任务组)的草案,得到了 OpenAI、Google、Microsoft、Anthropic 四家主流大模型厂商的共同采纳与推进,正式确立了基于 robots.txt 的标准化 AI 训练拒训策略标识(AI-Opt-Out Standard / Policy Token)。

信息整理日期:2026 年 11 月 15 日。本文梳理的技术语法基于 IETF RFC 9309 框架与公开草案规范,实际生效情况取决于各模型厂商对该策略 token 的持续合规承诺。

一、新标准核心改动:把“爬取权限”与“使用意图”拆开

过去三十年里,robots.txt 里的 User-Agent 后面跟的都是具体的爬虫客户端名字(比如 Googlebot、Bingbot)。这种设计在传统搜索引擎时代行得通,但在生成式 AI 时代却捉襟见肘,因为同一个爬虫抓取网页,可能既用于给问答检索提供实时来源(Grounding / RAG),又用于后台给基础模型做预训练。

新标准最巧妙的地方,在于它没有推翻大家用了几十年的 robots.txt 格式,而是引入了一个代表特定使用意图的策略标识符(Policy Token):

User-Agent: __usage_ai-training
Disallow: /

在遵守该草案的 AI 厂商眼里,上面的两行规则表达的意思非常明确:

  • 我不限制你抓取页面用于实时搜索与来源引用(学生在 AI 搜索里搜相关机械工艺时,依然能找到你的原版网页并展示链接);
  • 但我明确拒绝你将我站内的数据用于任何生成式模型的权重训练与微调。

新旧防范写法对照

对比维度过去罗列 User-Agent 的旧写法采用新规范后的标准写法
规则条目需维护 5-10 条以上的爬虫清单(且常有遗漏)只需声明 1 组统一的 __usage_ai-training 规则
搜索与引用封禁爬虫后,AI 实时问答与搜索引用通常一同失效保留正常的网页检索与出处链接能力
维护成本行业每出新模型或改换爬虫名,站长就得更新一次只要遵循标准的厂商,均受统一策略约束
向下兼容性容易与老爬虫规则冲突沿用现有 RFC 9309 语法,旧解析器能正常忽略或解析

二、冷静看清:它能做到什么,管不到什么?

在把这几行代码塞进服务器之前,有三个现实边界必须心里有数:

1. 它是“意图偏好”,不是防火墙拦截

robots.txt 从诞生起就是一份“君子协定”。新标准约束的是愿意遵守行业规则的大厂合规行为(受反垄断审查、知识产权法律诉讼与企业合规政策制约)。对于网上那些专门扒皮内容、做黑产泛目录的无名采集器,它们本来就不会读你的 robots.txt。对绝密或高价值数据,还是要在服务器或 CDN 边缘(如 Cloudflare WAF)做真正的访问鉴权。

2. 它不具备“既往追溯力”

今天配置生效后,主流厂商的爬虫在后续周期抓取时会跳过你的内容,不再将其混入新一轮训练集;但在这之前已经被收录进已有基础模型权重里的历史语料,是无法通过改一份静态文件就能自动“抹去”的。

3. 可以精准放行“开源资源与宣传材料”

如果你既想保护正文原创文章,又希望开放某些特定材料(比如学校的对外招生简章、开源代码示例或媒体包),新标准完全支持 Allow: 例外分支:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Allow: /html/examples/

三、个人站长与教研站点:3 分钟实操配置

无论你的站点是普通的纯静态 HTML,还是现代化的前端框架(比如 Next.js),配置起来都非常轻量:

1. 静态网站 / 纯文件博客

如果你的网站根目录下直接放着一个物理 robots.txt 文件,在最上方或现有规则之后追加以下内容即可:

# 声明拒绝将站内数据用于生成式 AI 训练(IETF RFC 9309 / AI-Opt-Out)
User-Agent: __usage_ai-training
Disallow: /

# 保留主流搜索引擎与读者的正常抓取访问
User-Agent: *
Allow: /

2. Next.js(App Router)项目

如果你和 dreamger.com 一样使用的是 Next.js 框架,直接在 app/robots.ts 中声明结构化规则即可。我们在本地维护时也是这样写的:

import { MetadataRoute } from 'next'

export default function robots(): MetadataRoute.Robots {
  return {
    rules: [
      {
        // 向遵守规范的主流 AI 厂商声明拒训
        userAgent: '__usage_ai-training',
        disallow: '/',
      },
      {
        // 全站向常规搜索引擎与索引爬虫正常开放
        userAgent: '*',
        allow: '/',
      },
    ],
    sitemap: 'https://dreamger.com/sitemap.xml',
  }
}

改完之后,你可以用 HTML 预览编辑器 快速验证输出格式,或者在浏览器打开 https://你的域名/robots.txt 检查是否输出了上述字段。

四、写在最后:既拥抱工具,也守住自己的自留地

从我自己在技工学校上课、做教学小工具的体会来看,大模型确实大幅降低了我们写代码、排版材料的门槛。但工具越普及,真正凝结了一线真实经验、试错记录的原创内容反而越珍贵。

正如我在 班小智的保存前确认 和 AI 任务单怎么写 里常聊到的:人机协作最舒服的姿态,永远是把主导权和边界握在人自己的手里。 既不必因为害怕被爬而关门闭户把网站搞成封闭孤岛,也不必对自己的心血不闻不问任由抓取。花几分钟给站点补上这一组明确的声明,就是创作者对自己作品最体面也最克制的一份守护。

如果你所在的学校教研室或独立工作室正在搭建自用的在线实训网站、课件库,想把数据安全、防爬和移动端交互一并规划好,也欢迎到 培训与定制服务页 带着具体项目一起交流探讨。

你也可以带着自己的任务来聊

我做教师 AI 实操培训,也接小范围的工作流定制。你把想做的事和现有材料说清楚,我先看看能不能帮上忙。

说明你的需求

微信号:dreamger

相关文章