2026-10-30,OpenAI宣布未来将遵守一个通用robots.txt信号,用于让网站经营者向多家参与的AI提供商表达内容是否用于基础生成式AI训练。公司称该机制可减少逐个识别爬虫和分别维护规则的负担,并建立在IETF AI Preferences工作组的持续讨论上。
这是一项实施承诺而非已经上线的控制。OpenAI表示将在未来数月实现并另行公布细节;现有针对其爬虫的robots.txt控制不会被替代,仍继续生效。网站运营者目前不应删除既有规则,也不能把该公告理解为所有AI提供商已共同采用或形成正式IETF标准。