许多主要新闻媒体正屏蔽 OpenAI 爬虫

自OpenAI的内容生成式人工智能模型面世以来，大量互联网数据成为了不断训练和优化模型的“饵料”，但据路透社研究所的一项调查，有越来越多的新闻媒体已对OpenAI的数据爬取说“不”，在传统媒体领域，这一比例甚至超过了50%。

路透社研究所分析了《纽约时报》、《华尔街日报》、《华盛顿邮报》、CNN、NPR 等多家主流新闻媒体，涵盖美国、英国、德国、印度等10个国家，并将其归为传统印刷媒体（纸媒）、广播电视媒体、数字媒体三大类。研究发现，57%的传统印刷媒体屏蔽了OpenAI 的爬虫程序，广播电视媒体和数字媒体的比例分别为48%和 31%。

研究还发现，屏蔽 OpenAI 的新闻网站比例因国家和地区差异而存在很大不同，在美国，这一比例高达79%，而在墨西哥和波兰仅为 20%。

所研究调查的10个国家新闻媒体对 OpenAI爬虫采取屏蔽措施的比例差异

此外， 在屏蔽了OpenAI 爬虫的新闻媒体中，有97%也同样屏蔽了谷歌人工智能的爬虫。

研究揭示了一些新闻媒体不希望他们的内容被人工智能使用，如果人们使用人工智能从网络上获取新闻，这些媒体会认为自己将被抛弃或取代。Gartner 副总裁、杰出分析师安德鲁·弗兰克 (Andrew Frank) 表示：“路透社的研究强调了生成式人工智能面临的一个根本挑战：它依赖于真实的人生成的真实内容，而这些人将其视为对他们生计的威胁。”

与此同时，康奈尔大学最近的一项研究发现，当新的人工智能模型根据先前模型而不是人类输入的数据进行训练时，它们往往会趋向于“模型崩溃”或退化，导致越来越多地生成错误信息。

OpenAI 于去年 8 月初推出了人工智能爬虫，谷歌也于 9 月紧随其后。根据这项研究，一旦这些媒体做出屏蔽决定，恐将很难改变立场对其进行解除。

参考来源：

How many news websites block AI crawlers?