大型语言模型可以帮助检测社交媒体机器人——但也可能使问题变得更糟

华盛顿大学研究人员领导的一个团队发现,大型语言模型(如 ChatGPT)可以使社交媒体机器人更善于逃避检测。但这些模型也可以改进检测机器人的系统。

来源:华盛顿大学

工程|  新闻发布|  研究|  技术

工程 新闻发布 研究 技术

2024年8月28日

大型语言模型可以帮助检测社交媒体机器人,但也可以使问题变得更糟

在2022年对Twitter的一项外部研究估计,社交媒体网站上三分之一到三分之二的帐户是机器人。这些自动机洪水中的许多社交媒体都被派往政治两极分化,仇恨,错误信息,宣传和骗局。将它们从在线人群中筛选出来的能力对于更安全,更人性化(或至少更多的人类)互联网至关重要。

2022年Twitter的外部研究

,但是最近大语言模型(称为“ LLM”)的扩散,例如Openai的Chatgpt和Meta的Llama,使社交媒体机器人的世界变得复杂。

由华盛顿大学研究人员领导的一支团队发现,尽管运营商可以使用自定义的LLM来使机器人在逃避自动检测器方面更加复杂,但LLMS还可以改善检测机器人的系统。在团队的测试中,基于LLM的机器人将现有检测器的性能降低了30%。然而,研究人员还发现,经过专门培训的LLM旨在检测社交媒体机器人的表现优于最先进的系统9%。

团队于8月11日在曼谷计算语言学协会第62届年会上介绍了这项研究。

提出了这项研究

“机器人运营商和试图阻止他们的研究人员之间总是有军备竞赛,” Paul G. Allen计算机科学与工程学院的博士生Shangbin Feng说。 “机器人检测中的每个进步经常都在机器人的成熟方面都有进步,因此我们探索了大型语言模型在此军备竞赛中存在的机会和风险。”

上学冯

“分析用户是机器人是否比我们看到这些一般LLMS Excel的某些任务要复杂得多,例如回想事实或做一个级别的数学问题,” Feng说。