robots.txt一行配置致网站从AI答案中消失

2026年9月30日，X平台一则推文指出，一些网站因robots.txt中的一行配置而从AI回答中消失。据报道，这些网站原本只想屏蔽AI对其内容的训练抓取，但由于配置方式不当，实际上屏蔽了一切AI访问。推文称这一问题难以察觉，因为屏蔽过程不会产生任何报错信息，其结果是ChatGPT等AI在生成回答时不再提及这些网站。目前该事件仅来自这一条社交媒体推文，暂无后续官方回应或受影响网站的核实报道，涉及的具体网站名单、配置示例及影响规模均未公布。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。