Red Teaming in LLMs: Enhancing AI Security and Resilience
互联网是一种像地球一样活跃和繁荣的媒介。从信息和知识的宝库，它也逐渐成为黑客和攻击者的数字游乐场。攻击者不仅将互联网视为勒索数据、金钱和金钱价值的技术手段，还将互联网视为一个开放的画布[…]
Red-Teaming the Risks of Using AI in Biological Attacks
兰德公司的一项实验汇集了数十名研究人员，对计划进行生物攻击的坏人进行角色扮演。有些人可以访问大型语言模型，而另一些人只能访问互联网。专家小组对每个团队的计划是否可行进行了评分。
Red Team: Reserve Marines simulate cyberspace attackers in exercise Cyber Yankee 22
网络战被定义为利用计算机技术扰乱国家或组织的活动，特别是出于战略或军事目的而蓄意攻击或防御信息系统。如果成功的网络攻击针对的是电力公用电网，它将有能力切断电力和自来水......
“Red team good, Blue team bad” The allure of partisanship
没有什么比看到你的球队表现出色更让人感觉良好的了，尤其是当它以牺牲对手为代价时。作为一名足球迷，我最好的一些经历是在德比日，对方球队和他们的球迷是敌人，他们被口号、嘲笑和其他东西所困扰 […]
Collaborative research on AI safety is vital | Letters
如果我们要认真对待人类面临的风险，监管机构需要拥有“召回”已部署模型的权力，以及评估领先而非滞后的风险指标，约翰·麦克德米德教授写道。关于杰弗里·辛顿对人工智能危险的担忧（“人工智能教父”缩短了该技术在未来 30 年内消灭人类的可能性，12 月 27 日），我相信这些担忧可以通过人工智能安全的合作研究得到最好的缓解，监管机构也应参与其中。目前，前沿人工智能在开发后使用“红队”进行测试，他们竭尽全力引出负面结果。这种方法永远不够；人工智能需要为安全和评估而设计——这可以通过借鉴成熟的安全相关行业的专业知识和经验来实现。继续阅读...
CDAO Sponsors Crowdsourced AI Assurance Pilot in the Context of Military Medicine
首席数字和人工智能办公室已成功完成众包 AI 红队保证计划试点，重点是在军事医学背景下使用大型语言模型聊天机器人。
Weekly Review 27 December 2024
我上周在 Twitter 上发布的一些有趣的链接（我也在 Mastodon、Threads、Newsmast 和 Bluesky 上发布了这些链接）：为什么人工智能仍然无法处理大块文本：https://arstechnica.com/ai/2024/12/why-ai-language-models-choke-on-too-much-text/一旦经过训练，人工智能就会固守自己的观点，即使经过再训练也是如此：https://techcrunch.com/2024/12/18/new-anthropic-study-shows-ai-really-doesnt-want-to-be-force
1st Information Operations Command battalion inactivates
弗吉尼亚州贝尔沃堡——第 1 信息作战司令部第 2 营（红队）于 2024 年 12 月 9 日在此举行的仪式上解散。
Here's what happens if you don't layer network security – or remove unused web shells
TL;DR：攻击者将入侵并攻击您，正如美国政府红队所展示的那样美国网络安全和基础设施局经常入侵关键组织的网络（当然是在他们允许的情况下），以模拟现实世界的网络攻击，从而帮助提高他们的安全性。在最近于一家关键基础设施提供商进行的一次演习中，该机构利用了早期漏洞赏金计划遗留的 Web shell，获取了大量凭证和安全密钥，通过网络传播，最终攻占了该组织的域名和几个敏感的业务系统目标。
Безопасность корпоративных сетей: как оценить ее защищенность?
企业基础设施是网络犯罪分子经常攻击的目标。公司拥有的 IT 服务和远程用户越多，遭受黑客攻击和信息泄露的风险就越高。 UCSB 分析中心副主任德米特里·祖巴列夫 (Dmitry Zubarev) 向 CNews 门户网站表示，什么是安全评估，它包括哪些内容？确保公司服务不间断运行的有效方法不仅涉及。 IT基础设施的发展和支持，还要定期评估她的安全性。在实践中，安全评估如下所示：专家研究系统，识别其漏洞并编写一份报告，在报告中描述已识别的问题并提供消除这些问题的建议。进行安全评估主要有几种模式，不同方面的阐述深度不同：安全分析、渗透测试（pentests）、红队和紫队。让我们分别考虑它们。 安全
叶卡捷琳堡城市门户网站66.ru发布了关于第二届全俄网络演习的大型报道，UCSB成为此次演习的协办方和战略合作伙伴。未来的网络安全专家分为两个阵营：一些人对一家虚构的公司进行黑客攻击，另一些人则调查这些事件。这项任务尽可能接近真实的任务，因此，学生们获得了实用技能，而他们未来的雇主则获得了现成的专家。作为信息技术大会“未来论坛”的一部分，全俄学生网络演习在乌拉尔联邦大学新校区举行。在专门设立的技术培训场上，来自叶卡捷琳堡、莫斯科、圣彼得堡、新西伯利亚、摩尔曼斯克、萨拉托夫、马格尼托哥尔斯克、奥伦堡、车里雅宾斯克、萨马拉、秋明和托木斯克的 140 名参与者进行了为期三天的网络安全技能磨练。这是叶
Киберучения в УрФУ – три дня практического кибербеза и незабываемых эмоций
10月24日至26日，在叶卡捷琳堡，作为IT大会“未来论坛”的一部分，乌拉尔联邦大学和加州大学圣巴巴拉分校举行了第二届全俄学生网络演习。在乌尔联邦大学新校区现场，来自叶卡捷琳堡、莫斯科、圣彼得堡、新西伯利亚、摩尔曼斯克、萨拉托夫、马格尼托哥尔斯克、奥伦堡、车里雅宾斯克、萨马拉、秋明和托木斯克大学的学生们争夺最佳渗透测试人员或IT基础设施维护者的称号。 UCSB 担任 Cyber Exercises 2024 的联合主办方和战略合作伙伴。全俄学生网络演习由斯维尔德洛夫斯克州副州长德米特里·约宁（Dmitry Ionin）、斯维尔德洛夫斯克州数字发展和通信部部长米哈伊尔·波诺马尔科夫（Mikh
Artificial Intelligence: Generative AI Training, Development, and Deployment Considerations
GAO 发现商业开发者使用几种常见做法来促进生成人工智能 (AI) 技术的负责任开发和部署。例如，他们可以使用基准测试来评估模型的准确性，在部署之前雇用多学科团队来评估模型，并进行红队测试以测试其模型的安全性并识别潜在风险等。这些做法侧重于定量和定性评估方法，以提供准确和情境化的结果，以及防止有害输出。此外，商业开发者在负责任地开发和部署生成 AI 技术以确保其安全可靠方面面临一些限制。首先，开发人员认识到他们的模型并不完全可靠，用户判断应该在接受模型输出方面发挥作用。在各种白皮书、模型卡和其他文档中，他们指出，尽管采取了缓解措施，但他们的模型可能会产生不正确的输出、表现出偏见或容易受到攻击。
На Киберучениях в УрФУ будет организован лекторий и воркшопы от специалистов по ИБ
10月24日至26日，在叶卡捷琳堡信息技术大会“未来论坛”的框架内，乌拉尔联邦大学和乌拉尔安全系统中心将举办第二届全俄学生网络演习。活动计划包括雇主展览，以及 UCSB 和合作伙伴公司信息安全专家举办的研讨会和讲座。来自叶卡捷琳堡、莫斯科、圣彼得堡、新西伯利亚、摩尔曼斯克、萨拉托夫、马格尼托哥尔斯克、奥伦堡、车里雅宾斯克、萨马拉、秋明和托木斯克大学的学生将在网络演习中争夺最佳渗透测试者或 IT 基础设施维护者的称号。在第一天，红队将侵入基础设施，在第二天，蓝队将调查事件。第三天，专家评审团将对比赛结果进行总结，并对比赛优胜者进行颁奖。 “UCSB 的专家与 UrFU 的同事一起准备了实际任务，
10 月 24 日至 26 日，作为 IT 大会和展览“未来论坛”的一部分，乌拉尔联邦大学和乌拉尔安全系统中心将在叶卡捷琳堡举办第二次学生网络演习，今年将举行第二次学生网络演习。以国际形式举行。俄罗斯大学和学院以及其他国家教育机构的学生可以参加网络安全竞赛。为此，您需要组建一支4-5人的团队，在2024年9月12日（含）之前在活动网站上注册，然后完成资格任务，该任务将在确认参赛申请后发送。申请参赛时，您必须选择您的球队将参加哪一方——红队或蓝队。在第一天，红队将入侵数字基础设施，在第二天，蓝队将调查黑客事件。第三天，网络演习的专家评审团将对比赛结果进行总结，并对竞赛优胜者进行颁奖。去年，来自叶
От защите к атаке: MacroPack перешел на сторону хакеров
红队工具已发展成为全球范围内强大的隐形攻击工具。
Brute Ratel C4 Badger Used to Load Latrodectus
编者注：本文由网络安全研究员和恶意软件分析师 Mohamed Talaat 撰写。您可以在 X 和 LinkedIn 上找到 Mohamed。Brute Ratel C4 (BRC4) 是一个定制的商业命令和控制 (C2) 框架，于 2020 年 12 月首次推出。其主要用途是进行对抗性攻击模拟、红队交战、[…] 文章 Brute Ratel C4 Badger 用于加载 Latrodectus 首次出现在 ANY.RUN 的网络安全博客上。
