详细内容或原文请订阅后点击阅览
CloudFlare现在默认情况下将阻止AI机器人爬行其客户的网站
Internet基础架构公司CloudFlare今天宣布，现在将默认会阻止AI机器人访问其托管的网站。 CloudFlare还将使客户能够逐案手动允许或禁止这些AI机器人，并且它将引入所谓的“按拖网付费”服务，客户可以使用该服务来获得薪酬……
来源:MIT Technology Review _人工智能但是，这样的系统并没有像历史上那样提供与搜索引擎相同的货币化和信用机会。 AI模型从网络上的大量数据中获取以生成其输出，但是这些数据源通常不信用，从而限制了创作者从工作中赚钱的能力。具有AI生成的答案的搜索引擎可能包括指向原始资源的链接，但它们也可能会减少人们对单击其他网站的兴趣，甚至可能引入“零点击”的未来。
“零点击”未来“传统上，搜索引擎可以索引您的内容，然后他们将显示与特定查询的相关链接，并将您的流量送回您的网站。” “这在根本上发生了变化。”
麻省理工学院技术评论通常，创作者和出版商希望决定如何使用其内容，与之相关联以及如何为其付款。 Cloudflare声称其客户现在可以允许或不允许在AI生命周期的每个阶段（尤其是培训，微调和推理）和白名单特定的经过验证的爬网。客户还可以为爬网的网站设定费用。
在Cloudflare的新闻稿中，诸如Quora和Stack Overflow之类的时间和论坛之类的媒体公司为这一举动提供了支持。 Stack Overflow首席执行官Prashanth Chandrasekar在新闻稿中说：“应为LLMS提供助力的社区平台，以便他们可以向社区投资。”
爬行者应该遵守给定网站的指示（通过robots.txt文件提供），以确定他们是否可以在那里爬行，但是一些AI公司被指控忽略这些说明。
文件 系统