XiaoMi-AI文件搜索系统
World File Search SystemLanguage
精确：基于事件的行动识别和更多
事件摄像机最近显示出对实用视觉任务的有益，例如行动识别，这要归功于其高度分辨率，功率效率和引起的隐私问题。然而，当前的研究是由1）处理事件的困难，因为它们的持续时间长时间和动态动作具有复杂而模棱两可的语义； 2）事件框架表示带有固定堆栈的冗余作用。我们发现语言自然传达了丰富的语义信息，从而使其在降低疾病的不确定性方面非常出色。鉴于此，我们提出了一种新颖的方法，这是第一次解决基于事件的动作识别的跨模式概念化的识别。我们的确切确切带来了两项技术贡献。首先，我们提出了一个自适应细粒事件（AFE）表示，以自适应地过滤固定对象的重复事件，同时保留动态的对象。这巧妙地增强了精确的性能，而无需额外的计算成本。然后，我们提出了一个基于概念推理的不确定性估计模块，该模块模拟了识别过程以丰富语义代表。尤其是，概念推理基于动作语义建立时间关系，而不必要的估计可以解决基于分布表示的动作的语义不确定性。实验表明，在PAF，HADDV和我们的SEACT数据集上，我们的确切确切识别获得了94.83％（+2.23％），90.10％（+2.23％），90.10％（+37.47％）和67.24％。
开发基于精细语言模型的瑞典法律判断的语义搜索工具
大型语言模型（LLMS）是非常大的深度学习模型，可根据大量数据进行重新训练。是句子的双向编码器表示，来自变形金刚（SBERT）的句子是基于变压器的DeNoising AutoCoder（TSDAE），生成查询网络（GENQ）和生成假伪标记（GPL）的改编。本论文项目旨在为瑞典法律判断开发语义搜索工具，以克服法律文件检索中传统关键字搜索的局限性。为此，使用高级培训方法（例如TSDAE，GENQ和GPL的改编），通过利用自然语言处理（NLP）（NLP）（NLP）（NLP）和精细的LLM来开发一种善于理解法律语言的语义细微差别的模型。要从未标记的数据中生成标记的数据，对其进行微调后使用了GPT3.5模型。使用生成模型的使用标记数据的生成对于该项目有效训练Sbert至关重要。已经评估了搜索工具。评估表明，搜索工具可以根据语义查询准确检索相关文档，并同样提高法律研究的效率和准确性。genq已被证明是此用例的最有效的训练方法。
增强具有生成负面挖掘的视觉语言模型的多模式组成推理
当代的大规模视觉语言模型（VLM）具有强大的表示能力，使它们无处不在，可以增强图像和文本理解任务。他们经常以对比的方式受到大量图像和相应的文本字幕的对比方式进行训练。尽管如此，VLMS经常在构图推理任务上挣扎，这些任务对对象及其属性的复杂相互作用进行了精细的了解。此失败可以归因于两个主要因素：1）对比的方法传统上专注于从现有数据集中开采负面示例。但是，该模型可能不难区分阳性检查。替代采矿的替代方法是负样本2），但现有的生成方法主要集中于生成与给定图像相关的硬性负面文本。在另一个方向上进行挖掘，即生成与给定文本相关的负面图像样本已被忽略。为了克服这两种限制，我们提出了一个框架，不仅在两个方向上矿山，而且在这两种方式（即图像和文本）中产生了有挑战性的负面样本。利用这些生成硬性负样本，我们在涉及多模式综合推理的任务中显着提高了VLMS的性能。我们的代码和数据集在https://ugorsahin.github.io/enhancing-- vlm.html上发布。
lami：多模式人类机器人互动的大型语言模型
无缝的人类机器人相互作用（HRI）需要机器人对人类的多模式输入的熟练处理，包括语音，凝视和面部表情，以准确评估人类的影响并相应地提供帮助。同时，机器人必须通过多模态输出渠道清楚地将自己的意图清楚地传达给人类，包括语音，手势和凝视。传统上，在机器人系统中实现此功能通常需要复杂的设计。在意图估计的领域中，以前的研究通常合并意图识别模块，以基于多模式输入[3，17]对人类意图进行分类。一些系统还具有用于检测人类情感状态的专用模块，对于建立社会细微差别的互动至关重要[10，16，18]。但是，这些方法的缺点在于它们耗时且昂贵的培训过程。在输出方面，许多先前的系统集成了情绪状态[8，11]模块，以控制人形输出提示，例如音调，凝视或面部表情，增强了向人类反馈的透明度和生动性。关于运动产生，提出了多种方法，包括预先建立的运动集的混合和图表[19，25]，以及使用运动捕获数据[5，9，15]。值得注意的是，这涉及与特定状态相关的每种输出模式的动作手动设计。通过利用文本理解，推理和计划的能力，在短时间内提出了许多机器人应用[7，12，14，20，21，28]。例如，Zhang等人。大型语言模型（LLM）的最新进展，诸如聊天机器人，数据过程和代码生成之类的域中的表现令人印象深刻的功能正在揭示其在机器人技术领域的潜在应用。其中一个通常的例子是“ Saycan”机器人[1]，它能够解释人的自然语言命令，分析环境并生成具体的可执行操作序列，以通过使用LLMS来满足人类的要求。但是，机器人和人之间的互动提示仅限于语音命令，即使没有语音输出。最近，一些研究人员还试图将这种技术应用于HRI领域。利用LLM来估计人类有多少信任机器人[30]； Yoshida等人，使用LLMS生成低级控制命令来推动人形机器人运动以进行社会表达[29]，而不是用于实践援助。Baermann等人，部署了LLM不仅遵循人类的言语命令，而且还通过人类的自然语言反馈来纠正其错误[2]。然而，通信主要依赖语音相互作用，而较少关注多模式感应和表达能力。ye等。[27]驱动了一个LLM驱动的机器人系统，该系统能够与人类在VR环境中的组装任务中合作。，但是该系统仅限于处理人类语言输入并控制虚拟空间中的单臂。通常，与快速
语言模型是否可以建立有关ICD代码的原因来指导临床笔记的产生？
摘要。在过去的十年中，美国的电子健康记录（EHR）数据数量激增，归因于《 2009年健康信息技术经济和临床健康法》（HITECH）2009年的有利政策环境和2016年21世纪治疗法案。医生在自由形式的文本中捕获了患者评估，诊断和治疗的临床笔记，他们花费大量时间进入他们。手动编写临床笔记可能需要大量时间，增加患者的等待时间，并可能延迟诊断。大型语言模型（LLM），例如GPT-3具有生成与人类写作的新闻文章的能力。我们调查了对临床笔记生成中LLM的促进工程促进工程的用法（COT）。在提示中，我们将疾病国际分类（ICD）代码和基本患者信息以及类似的临床病例示例纳入了研究，以研究LLMS如何有效地制定临床注释。，我们使用GPT-4作为LLM对Codiesp测试数据集的六个临床病例进行了COT提示技术，结果表明，它的表现优于标准的零照片提示。
基于语料库的语言教学方法
摘要 本文综合了教师的观点、学习者产出和学习者印象的分析、材料开发的想法以及总结性研究者的观察结果，这些观察源于在美国两个大学和成人留学环境中实施为期一学期（约 8 周的教学）的基于语料库和数据驱动的英语作为第二语言 (ESL) 教学。案例研究 1 调查了学习者和教师对语料库教学在培养专门为中国访问学者群体设计的学术写作技能方面的有效性的态度。案例研究 2 采用混合方法、探索性调查，研究使用支架式学生工作表指导不同熟练程度的学习者在一所位于美国的非营利性私人机构为期一学期的留学项目中使用语料库和语料库工具的情况。该工作表旨在定期将基于语料库的课程和数据纳入课堂教学或家庭作业活动。结果表明，教师们对将语料库工具纳入自己的语言课堂教学中可能带来的巨大而有希望的好处充满热情。通过具体明确的学习目标和使用指导，语料库工具可以成为课程期间和课程结束后适合学生的宝贵资源。
培训大语言模型
培训大语言模型（LLM）已成为人工智能进展的核心，数据集，培训前和训练后方法在其性能和可扩展性方面扮演着互补的角色。此博士学位课程探讨了训练这些模型的关键阶段，并强调了数据对下游任务中模型性能的影响。学生将通过全面研究数据集构建，优化技术，缩放定律，培训前策略，合成数据生成以及培训后的改进（例如，进行微调和对齐方式），通过全面的研究构建LLM的理论和实践。该课程将结合理论指导与动手实验相结合。学生将洞悉：＃＃创建高质量，多样化和有效数据集的原则和方法。＃＃¢优化策略，用于大规模模型培训，包括计算效率。＃＃经验缩放定律及其对模型大小和数据集大小的影响。＃¢利用合成数据及其在改善概括和鲁棒性中的作用。＃＃训练技术，例如人类反馈（RLHF）的增强学习以及与期望的结果结合。
infinigen：具有动态KV缓存管理的大语言模型的有效生成推断
基于变压器的大语言模型（LLMS）在各种自然语言处理任务中都具有令人印象深刻的表现。为LLM推断为生成长含量而构成挑战，这是由于瞬态状态的巨大内存足迹（称为键值（KV）缓存），该状态以序列长度和批处理大小缩放。在本文中，我们提出了Infinigen，这是一种针对Longext Genertion量身定制的新型KV缓存管理框架，该框架协同与现代卸载基于卸载的推理系统合作。Infinigen利用了关键见解，即可以通过对当前层的最小彩排以及查询权重的一部分和后续层的关键缓存进行最小化的彩排来推测，对于计算变压器中后续注意力层至关重要的重要洞察力。这使我们只能预取基本的KV缓存条目（不提供所有内容），从而在基于卸载的LLM服务系统中减轻主机内存中的提取开销。我们对几种代表性LLMS的评估表明，与先前的KV高速缓存管理方法相比，Infinigen将基于现代卸载系统的总体性能提高了3.00倍，同时提供了更好的模型准确性。