详细内容或原文请订阅后点击阅览
专家们对中国黑客发起世界首例人工智能网络攻击的说法存在分歧，但这并不是他们真正担心的
Anthropic 表示，一个中国间谍组织使用其 Claude AI 实现了大部分网络攻击活动的自动化，但专家质疑该操作的真正自主程度，以及这对人工智能驱动的黑客的未来意味着什么。
来源:LiveScience人类研究人员声称，一个中国国家支持的间谍组织利用其克劳德人工智能 (AI) 实现了大部分网络攻击活动的自动化，但这一消息同时引发了恐慌和怀疑。根据这项研究，网络安全社区正试图弄清楚到底发生了什么以及该模型实际上有多自主。
人工智能公司代表在 11 月 13 日的一份声明中表示，工程师扰乱了他们所说的“很大程度上自主”的操作，该操作使用大型语言模型 (LLM) 来计划和执行针对全球 30 个组织的广泛侦察和利用工作的大约 80-90%。
声明工程师表示，他们在其产品中发现了一系列滥用企图，最终追溯到与中国国家支持的间谍组织有联系的运营商。据称，攻击者将 Anthropic 的 Claude Code 模型瞄准了技术、金融和政府等领域的目标，要求其执行侦察、漏洞分析、漏洞利用生成、凭证收集和数据泄露等任务。根据声明，人类仅干预“高层决策”，例如选择目标和决定何时提取被盗数据。
工程师随后通过监控和滥用检测系统在内部挫败了该活动，这些系统标记了表明自动任务链的异常模式。公司代表还报告说，攻击者试图通过将恶意目标分解为更小的步骤并将其构建为良性渗透测试任务来绕过模型的护栏——研究人员将这种方法称为“任务分解”。在 Anthropic 发布的几个示例中，该模型尝试执行指令，但产生了错误，包括幻觉结果和明显无效的凭据。