XiaoMi-AI文件搜索系统
World File Search System语言
交流中的人工智能影响语言和社会关系
人工智能（AI）已经在日常交流中广泛使用，但是尽管担心AI对社会的负面影响，但在很大程度上尚未探索使用它的社会后果。我们研究了最普遍的AI应用程序之一，算法响应建议（“智能答复”）的社会后果，这些建议每天发送数十亿条消息。两个随机实验提供了证据，表明这些类型的算法推荐系统会改变人们在亲社会和反社会方式上互相互动和感知的方式。我们发现，使用算法响应会改变语言和社会关系。更具体地说，它增加了沟通速度，积极的情感语言的使用，并且对话伙伴相互评估，以更接近和更合作。然而，与对AI的不利影响的共同假设一致，如果怀疑他们使用算法响应，对人们的评估更为负面。因此，即使AI可以提高沟通速度并改善人际观念，但AI的主要反社会含义会破坏这些潜在的好处，如果使用公开使用。
VLP：自主驾驶的视觉语言计划
自主驾驶是一项复杂而具有挑战性的任务，旨在通过场景和推理来实现安全的运动计划。最近，通过增强的场景理解，几个关键问题，包括缺乏推理，低概括性能和长尾场景，但仍需要戴着几个关键问题，但仍需要进行一些关键问题。在本文中，我们提出了VLP，这是一个新颖的视力 - 语言规划框架，利用语言模式来弥合语言理解与自动驾驶之间的差距。VLP通过加强源内存基础和自动驾驶汽车的上下文理解来增强自主驾驶系统。vlp通过与先前的最佳方法相比，分别在平均L2错误和碰撞率方面，分别在平均L2错误和碰撞率方面实现了35.9％和60.5％的端到端规划表演。此外，在面对新的城市环境时，VLP在挑战性的长尾方案和强大的概括能力方面表现出改善的性能。
infinigen：具有动态KV缓存管理的大语言模型的有效生成推断
基于变压器的大语言模型（LLMS）在各种自然语言处理任务中都具有令人印象深刻的表现。为LLM推断为生成长含量而构成挑战，这是由于瞬态状态的巨大内存足迹（称为键值（KV）缓存），该状态以序列长度和批处理大小缩放。在本文中，我们提出了Infinigen，这是一种针对Longext Genertion量身定制的新型KV缓存管理框架，该框架协同与现代卸载基于卸载的推理系统合作。Infinigen利用了关键见解，即可以通过对当前层的最小彩排以及查询权重的一部分和后续层的关键缓存进行最小化的彩排来推测，对于计算变压器中后续注意力层至关重要的重要洞察力。这使我们只能预取基本的KV缓存条目（不提供所有内容），从而在基于卸载的LLM服务系统中减轻主机内存中的提取开销。我们对几种代表性LLMS的评估表明，与先前的KV高速缓存管理方法相比，Infinigen将基于现代卸载系统的总体性能提高了3.00倍，同时提供了更好的模型准确性。
语言技术就像人们重要的一样：居中语言技术发展中的社区
在过去的十年中，言语和语言技术已经看到了前所未有的“成功”。在既定基准中衡量的广泛应用的性能显然稳步增长。许多工具通过在消费者和商业计算中的集成而广泛采用，语音和语言技术已成为围绕“人工智能”的兴趣（和炒作）的焦点。结果，研究人员长期以来以某种形式知道的技术，例如自动语音识别（ASR），语音综合（TTS）和（大型）语言模型（LLMS）在新颖的社会环境中被解释（和开发）。上下文中的这些变化，而不是（仅）技术本身，提出了许多埃斯特，技术和法律问题，例如：
使用交叉注意信号对大型语言模型进行微调模型的一种自我监督的强化学习方法
我们为不依赖于人类反馈的大型语言模型（LLMS）提出了一种新颖的增强学习（RL）框架。相反，我们的方法使用模型本身中的交叉注意信号来获得自我监督的奖励，从而指导对模型策略的迭代微调。通过分析模型在生成过程中如何“参加”输入提示，我们构建了及时的覆盖，重点和连贯性的度量。然后，我们使用这些措施来对候选响应进行排名或评分，提供了奖励信号，鼓励模型产生良好的一致，主题文本。在与标准策略梯度方法的经验比较和合成偏好模型的RL微调中，我们的方法在非RL基线的迅速相关性和一致性方面显示出显着的提高。虽然它尚未与完全监督的RLHF系统的性能相匹配，但它突出了使用最小的人类标记来扩展对齐的重要方向。我们提供了详细的分析，讨论潜在的局限性，并概述了将基于跨注意的信号与较少人类反馈相结合的未来工作。
lami：多模式人类机器人互动的大型语言模型
无缝的人类机器人相互作用（HRI）需要机器人对人类的多模式输入的熟练处理，包括语音，凝视和面部表情，以准确评估人类的影响并相应地提供帮助。同时，机器人必须通过多模态输出渠道清楚地将自己的意图清楚地传达给人类，包括语音，手势和凝视。传统上，在机器人系统中实现此功能通常需要复杂的设计。在意图估计的领域中，以前的研究通常合并意图识别模块，以基于多模式输入[3，17]对人类意图进行分类。一些系统还具有用于检测人类情感状态的专用模块，对于建立社会细微差别的互动至关重要[10，16，18]。但是，这些方法的缺点在于它们耗时且昂贵的培训过程。在输出方面，许多先前的系统集成了情绪状态[8，11]模块，以控制人形输出提示，例如音调，凝视或面部表情，增强了向人类反馈的透明度和生动性。关于运动产生，提出了多种方法，包括预先建立的运动集的混合和图表[19，25]，以及使用运动捕获数据[5，9，15]。值得注意的是，这涉及与特定状态相关的每种输出模式的动作手动设计。通过利用文本理解，推理和计划的能力，在短时间内提出了许多机器人应用[7，12，14，20，21，28]。例如，Zhang等人。大型语言模型（LLM）的最新进展，诸如聊天机器人，数据过程和代码生成之类的域中的表现令人印象深刻的功能正在揭示其在机器人技术领域的潜在应用。其中一个通常的例子是“ Saycan”机器人[1]，它能够解释人的自然语言命令，分析环境并生成具体的可执行操作序列，以通过使用LLMS来满足人类的要求。但是，机器人和人之间的互动提示仅限于语音命令，即使没有语音输出。最近，一些研究人员还试图将这种技术应用于HRI领域。利用LLM来估计人类有多少信任机器人[30]； Yoshida等人，使用LLMS生成低级控制命令来推动人形机器人运动以进行社会表达[29]，而不是用于实践援助。Baermann等人，部署了LLM不仅遵循人类的言语命令，而且还通过人类的自然语言反馈来纠正其错误[2]。然而，通信主要依赖语音相互作用，而较少关注多模式感应和表达能力。ye等。[27]驱动了一个LLM驱动的机器人系统，该系统能够与人类在VR环境中的组装任务中合作。，但是该系统仅限于处理人类语言输入并控制虚拟空间中的单臂。通常，与快速
开发基于精细语言模型的瑞典法律判断的语义搜索工具
大型语言模型（LLMS）是非常大的深度学习模型，可根据大量数据进行重新训练。是句子的双向编码器表示，来自变形金刚（SBERT）的句子是基于变压器的DeNoising AutoCoder（TSDAE），生成查询网络（GENQ）和生成假伪标记（GPL）的改编。本论文项目旨在为瑞典法律判断开发语义搜索工具，以克服法律文件检索中传统关键字搜索的局限性。为此，使用高级培训方法（例如TSDAE，GENQ和GPL的改编），通过利用自然语言处理（NLP）（NLP）（NLP）（NLP）和精细的LLM来开发一种善于理解法律语言的语义细微差别的模型。要从未标记的数据中生成标记的数据，对其进行微调后使用了GPT3.5模型。使用生成模型的使用标记数据的生成对于该项目有效训练Sbert至关重要。已经评估了搜索工具。评估表明，搜索工具可以根据语义查询准确检索相关文档，并同样提高法律研究的效率和准确性。genq已被证明是此用例的最有效的训练方法。
Megascale：将大型语言模型培训扩展到10,000多个GPU
Qi Huang 1 Yangrui Chen 1 Zhi Zhang 1 Yanghua Peng 1 Xiang Li 1 Cong Xie 1 Shibiao Nong 1 Yulu Jia 1 Sun He 1 Hongmin Chen 1 Zhihao Bai 1 Qi Hou 1 Shipeng Yan 1 Ding Zhou 1 Yiyao Sheng 1 Zhuo Jiang 1 Haohan Xu 1 Haoran Wei 1 Zhang Zhang 1 Pengfei Nie 1 Leqi Zou 1 Sida Zhao 1 Liang Xiang 1 Zherui Liu 1 Zhe Li 1 Xiaoying Jia 1 Jianxi Ye 1 Xin Jin 2 , Xin Liu 1
关于单词顺序和方面的跨语言，基于语料库的定量建模
人类语言最引人注目的特征之一是它们的极端变化。更加惊人的是，在统治其形式和功能的强烈代表性和认知规律的明显变化背后的存在：语言普遍性。我们在这里讨论我们小组的一些最新工作，其中大规模，数据密集型计算建模技术用于解决有关语言规律性的基本语言问题。在单词顺序区域中，我们在此处报告工作，这些工作利用大量单语和平行语料库数据来开发名词短语（通用20）和一般结构最小化原则的内部结构的计算模型。在事件持续时间的领域，我们报告的工作利用了深厚的相似性和表面差异来开发真正的跨语言自然语言处理工具。