详细内容或原文请订阅后点击阅览
困惑说Cloudflare对“隐身” AI刮擦的指控是基于令人尴尬的错误
首先，Cloudflare指责AI公司绕过无爬行指令。现在，困惑说Cloudflare完全错误。
来源:ZDNet | 机器人新闻ZDNET的钥匙外卖
- CloudFlare声称困惑忽略了网站在其内容狩猎中的愿望。其他AI公司，例如OpenAi，不要擦除内容，Cloudflare Saidcloudflare现在提供服务来阻止积极的AI爬行者。Perperplexity否认Cloudflare的主张。
CloudFlare是一家领先的内容交付网络（CDN）公司，他指责AI初创公司的困惑性通过偷偷地部署网络爬行者来从已明确阻止其官方机器人的网站上刮擦内容，从而逃避了网站的“无爬行”指令。
隐秘部署网络爬网来从网站刮擦内容如果听起来很熟悉，则您以前听过这些指控。去年，连线和福布斯都指责困惑对他们的网站做同样的事情。
有线 福布斯都被指控困惑据称，困惑如何绕过“无爬行”指令
根据Cloudflare的说法，当困惑的Web爬网遇到一个robots.txt文件，该文件用来阻止其内容被爬行时，Clelxity假装是Mac上的普通Chrome Web浏览器。这使其能够绕过机器人障碍。
robots.txt另外：困惑的彗星AI浏览器正朝着Chrome驶入 - 如何尝试
也： 困惑的彗星AI浏览器正朝着镀铬 - 如何尝试CloudFlare开始调查何时收到“既禁止在其机器人中不允许困惑的爬行活动”的客户投诉。TXT文件，并创建了WAF [Web应用程序防火墙]规则，以专门阻止Perplexity声明的爬行者：PerplexityBot和Perperxity-user。客户说，即使他们阻止了它，他们的内容仍然陷入困境。
WAF [Web应用程序防火墙] 声明为爬行者 其官方IP范围