XiaoMi-AI文件搜索系统
World File Search SystemLMs
用LLMS评估和减轻MT中的性别偏见
在机器翻译的域内，性别偏差被定义为MT系统产生翻译的趋势，这些翻译反映或永久化了基于文化和社会偏见的刻板印象，不平等或假设（Friedman和Nis-Senbaum，1996; Savoldi等，20221）。Given that the presence of such bias can lead to harmful con- sequences for certain groups — either in repre- sentational (i.e., misrepresentation or underrepre- sentation of social groups and their identities) or allocational harms (i.e., allocation or withholding of opportunities or resources to certain groups) — (Levesque, 2011; Crawford, 2017; Lal Zimman and Meyerhoff, 2017; Régner et Al。，2019年），这对于彻底调查和减轻其发生至关重要。尽管如此，解决性别偏见是一项多方面的任务。性别偏见是所有生成NLP模型中普遍存在的问题，而LLM也不例外
催化剂发现的生成语言模型
二十多年前提出的自主计算的愿景（ACV）设想了类似于生物生物体的自我管理的计算系统，从而无缝地适应不断变化的环境。尽管进行了数十年的研究，但由于现代组合系统的动态和复杂性，实现ACV仍在挑战。大型语言模型（LLM）的最新进步通过杠杆知识，语言理解和任务自动化功能，为这些挑战提供了有希望的解决方案。本文探讨了通过基于LLM的多代理框架进行微服务管理的可行性。我们引入了一个五级分类器，以进行自主服务维护，并根据Sock Shop Microservice Demo项目提供在线评估基准，以评估我们的框架的性能。我们的发现表明，在实现3级自主权方面取得了很大的进步，强调了LLM在检测和解决微服务体系结构中的问题方面的有效性。这项研究通过开创LLMS集成到微服务管理框架中，为更具适应性和自我管理的计算系统铺平道路，从而有助于提高自主计算。该代码将在https://aka.ms/acv-llm上提供。
RSA攻击 +修复
的解说旨在恢复二进制可执行文件，从而在源代码表格中恢复，因此在网络安全方面具有广泛的应用程序，例如恶意软件分析和旧版代码硬化。一个突出的挑战是恢复可变符号，包括原始类型和复杂类型，例如用户定义的数据结构，以及它们的符号信息，例如名称和类型。现有的工作着重于解决问题的一部分，例如，仅处理类型（没有名称）或本地变量（没有用户定义的结构）。在本文中，我们提出了Resym，这是一种新型混合技术，结合了大型语言模型（LLM）和程序分析，以恢复本地变量和用户定义的数据结构的名称和类型。我们的方法包括两个LLM的微调来处理局部变量和结构。为了克服当前LLM中固有的令牌限制，我们设计了一种新型的基于原始的算法，以汇总和交叉检查来自多个LLM查询，从而抑制了不确定性和幻觉。我们的实验表明，Resym有效地恢复了可变信息和用户定义的数据结构，从而大大优于最新方法。
通过Web 3.0增强LLM和Genai的影响...
Web 1.0被称为连接Internet，Web 2.0作为促进数据集的数据出处，可作为公共“信息互联网”和Web 3.0的输入，可以定义为“ LLM Internet of LLM培训模型，全球价值的大规模干预措施”。在这里，我们需要在分散Web的上下文中提到Web 3.0。这些无法通过几乎没有架构来启用全球运营商的数据谱系和数据出处的作用来实现，而应包括在宽Web中进行系统的大修。基本上，数据的所有权属于实施的人：生成和使用它。每个人都有平等的权利和访问数据的权利，因此。全世界基于基于数据的标准化，促进了数据民主化。数据存储的广泛网络分散化，其所有者对货币数据的平等权利，ii。强大的实践跟踪守则和从源到原点的数据追踪，建立SSOT是基于Web 3.0架构的关键原理。此外，基于区块链的III。详尽的社区支持，例如开发人员，论坛，在线技术，进一步有助于完成社区的这些关键原则和特征等。Web 3.0。但是，这样的干预措施可能需要数年才能实施。在我们参考数据出处一词（也称为私人LLMS的数据案例）时，可以通过行业的一致努力来完成同样的工作，它是指几个月来占有的记录道路。这降低了数据操纵的风险。一块数据的起源以及它已经从目前的位置移到了位置。2数据出处可确保有可追溯的历史记录，因为企业希望提高私人数据从其原始源到当前部署的地方的有效性。llm，我们建议它实施分散的数据架构，并在企业内的Web 3.0原理上设置SSOT，并且随着区块链带来分散性，可以在其拥有的生态系统中分发数据。多个位置，从而确保在单个实体上没有数据浓度。区块链带来这将允许私人LLMS解决幻觉并防止SSOT元素中的错误。该区块链提供的这种不变性促进了输出和伪造，如本文的其余部分所述。透明度并确保数据是准确且不变的，并允许跟踪数据。
交易的补充材料：vlms
一些物种或其他非动物类别。如图2所示，我们显示了仅在视觉上与哺乳动物具有特色的概念，而在鸟类，昆虫和客机上共享的“翅膀”。剪辑[15]模型的示例W.R.T.相同的概念可能在不同类别中有所不同，它们通常与其他概念甚至虚假因素纠缠在一起。相比之下，我们的模型始终定位W.R.T.区域conept的语义含义。例如，尽管“翅膀”概念的外观在鸟类，昆虫和客机之间发生了巨大变化，但我们的概念级解释仍然可以准确地定位于机翼区域。这表明我们的模型具有该概念的真正含义，即使其呈现方式都在类别上发生了巨大变化。
mblip：多语言视觉-LLMS的有效自举
模块化视觉模型（视觉-LLM）与（冷冻）大语言模型（LLMS）和事后状况LLMS对齐图像编码器，以“理解”图像输入。随着丰富的高质量英语图像文本数据以及强大的单语英文LLM的丰富性，研究重点一直放在英语的视觉上。多语言视觉语言模型仍主要通过昂贵的端到端预审计获得，从而产生了相对较小的模型，该模型接受了培训的多语言图像数据，并补充了仅文本的多语言语料库。我们提出了MBLIP，这是第一个Vision-Llm利用Mul-litsiantual LLM，我们以构成有效的方式在消费者级硬件上获得。为此，我们将先前调整为英文LLM调整为新的多语言LLM的图像编码器仅使用几百万个多语言培训示例，这些训练示例来自视觉和语言任务的组合，我们通过机器转换为95种语言而获得的高质量的英语数据。在Iglue基准和XM3600上，MBLIP产生与最先进的mod-els竞争的重新竞争，它极大地超过了强大的英语 - 仅有llava 1.5的视觉效果。我们在https：//github.com/gregor-ge/mblip上发布了模型，代码和火车数据。
基于人工智能的系统，利用物联网环境传感器和 LLM 进行复杂的活动跟踪
复杂活动识别在老年人护理辅助中起着重要作用。然而，边缘设备的推理能力受到经典机器学习模型容量的限制。在本文中，我们提出了一种非侵入式环境传感系统，该系统可以检测多种活动并应用大型语言模型 (LLM) 来推理活动序列。这种方法有效地结合了边缘设备和 LLM，帮助老年人进行日常活动，例如提醒他们吃药或处理跌倒等紧急情况。基于 LLM 的边缘设备还可以作为与老年人互动的界面，尤其是有记忆问题的老年人，帮助他们的日常生活。通过部署这样的系统，我们相信智能传感系统可以提高老年人的生活质量并提供更有效的保护。
我们可以信任大型语言模型生成的代码吗？跨不同LLMS
大型语言模型（LLM），例如Chatgpt和Github Copilot，已彻底改变了软件工程中的自动代码。但是，由于这些模型被越来越多地用于软件开发，因此对生成代码的安全性和质量引起了人们的关注。这些问题源于LLMS主要是对公开可用的代码存储库和基于Internet的文本数据进行培训的，这可能包含不安全的代码。这给生成的代码中带来了永久性漏洞的重大风险，从而创造了潜在的攻击媒介，以造成恶意参与者的剥削。我们的研究旨在通过在代码生成过程中通过内置学习（ICL）模式引入安全行为学习的框架来解决这些问题，然后进行严格的安全评估。为了实现这一目标，我们选择了四个不同的LLM进行实验。我们已经在三种编程语言中评估了这些编码LLM，并确定了安全漏洞和代码气味。该代码是通过ICL生成的，具有策划的问题集，并经过严格的安全测试，以评估生成的代码的整体质量和可信度。我们的研究表明，ICL驱动的单发和少的学习模式可以增强代码安全性，从而减少各种编程场景中的漏洞。开发人员和研究人员应该知道，LLM对安全原则的理解有限。当生成的代码部署在生产系统中时，这可能会导致安全漏洞。在使用LLM进行代码生成时，请考虑这一点。我们的研究重点介绍了LLM是软件供应链的新漏洞的潜在来源。本研究文章提供了有关改善LLM安全性的见解，并鼓励主动将LLMS用于代码生成以确保软件系统安全。
rl-jack：强化学习驱动的黑盒越狱攻击LLMS
现代大型语言模型（LLM）开发人员通常会设置安全一致性，以防止LLM产生不受欢迎或有害内容。这个对齐过程涉及使用人体标记的数据集对模型进行微调，其中包括拒绝回答不道德或有害问题的样本。但是，最近的研究发现，LLM的安全对准可以通过越狱提示绕开。这些提示旨在创建特定的对话方案，并有一个有害的问题。用这样的提示查询LLM可能会误导该模型来回答有害问题。大多数现有的越狱攻击要求模型内部或大量的人类干预才能产生越狱的提示。更先进的技术利用遗传学方法来实现自动化和黑框。然而，遗传方法的随机性和随机性质在很大程度上限制了最先进的（SOTA）越狱攻击的有效性和效率。在本文中，我们提出了RL-Jack，这是一种新颖的Blackbox越狱攻击，该攻击由深度增强学习（DRL）提供支持。我们将越狱提示的产生作为搜索问题，并设计了一种新颖的RL方法来解决它。我们的方法包括一系列定制设计，以在越狱背景下提高RL代理的学习效率。值得注意的是，我们设计了一个llm辅助的动作空间，该空间可以在约束整体搜索空间的同时进行di-verse动作变化。一旦受过培训，我们的经纪人就可以自动针对不同的LLM产生多样化的越狱提示。此外，我们提出了一种新颖的奖励功能，为代理商获得成功越狱的卑鄙的奖励。通过严格的分析，我们发现RL作为确定性搜索策略，比随机搜索方法（例如遗传算法）更有效，并且具有较小的随机性。通过广泛的评估，我们证明了RL-Jack总体上比对六个SOTA LLM的现有越狱攻击更有效，包括大型开源模型（例如Llama2-70B）和商业模型（GPT-3.5）。我们还显示了RL-Jack对三种SOTA防御的弹性及其在不同模型中的可转移性，包括非常大的Llama2-70B。我们通过详细的消融研究进一步证明了RL-Jack的RL代理的必要性以及我们的行动和奖励设计的有效性。最后，我们验证了RL杰克对关键超参数的变化的不敏感性。
职位：LLMS无法计划，但可以帮助计划在LLM-Modulo框架中进行计划
我们认为，自动回归LLM本身不能进行计划或自我验证（毕竟是一种推理形式），并阐明了文献中误解的原因。我们还认为，LLMS应被视为通用近似知识源，这些知识源具有更有意义的角色，可以在模拟前端/后端格式翻译器之外的计划/推理任务中发挥作用。我们提出了LLM-Modulo框架的愿景，该框架将LLM的优势与外部模型的验证器结合在更紧密的双向交互制度中。我们将展示如何借助LLMS来启动驱动外部验证者本身的模型。我们还将争辩说，该LLM-Modulo框架不仅仅是简单地说明LLM和符号组件，而是提供了一种更好的神经符号方法，可以提供LLMS和符号组件之间的更严格的整合，从而扩展了基于模型的计划/推广方案的范围，从而扩展了对更灵活的知识，问题，问题，问题，问题，问题，问题和偏好的规定。