XiaoMi-AI文件搜索系统
World File Search SystemLanguage
培训大语言模型
培训大语言模型（LLM）已成为人工智能进展的核心，数据集，培训前和训练后方法在其性能和可扩展性方面扮演着互补的角色。此博士学位课程探讨了训练这些模型的关键阶段，并强调了数据对下游任务中模型性能的影响。学生将通过全面研究数据集构建，优化技术，缩放定律，培训前策略，合成数据生成以及培训后的改进（例如，进行微调和对齐方式），通过全面的研究构建LLM的理论和实践。该课程将结合理论指导与动手实验相结合。学生将洞悉：＃＃创建高质量，多样化和有效数据集的原则和方法。＃＃¢优化策略，用于大规模模型培训，包括计算效率。＃＃经验缩放定律及其对模型大小和数据集大小的影响。＃¢利用合成数据及其在改善概括和鲁棒性中的作用。＃＃训练技术，例如人类反馈（RLHF）的增强学习以及与期望的结果结合。
MADTP：多模式对准引导的动态令牌修剪，以加速视力 - 语言变压器
视觉 - 语言变压器（VLT）最近显示出巨大的成功，但同时伴随着大量的计算成本，其中主要原因可以归因于大量的视觉和语言令牌。存在用于压缩VLTS的令牌修剪研究主要遵循基于单模式的方案，但忽略了对齐不同模态来指导令牌修剪过程的关键作用，从而导致重要的代币在另一个模态分支中错误地修剪一个模态。同时，现有的VLT修剪作品也缺乏基于不同输入样本动态压缩每一层的灵活性。为此，我们提出了一个名为M Ultodal的新颖框架，用于加速变化VLT的木质制成d ynamic t ynamic t oken p Runing（MADTP）。具体来说，我们首先引入了精心设计的多模式对齐指导（MAG）模块，该模块可以使相同语义概念的特征与不同的模式相结合，以确保修剪的代币对所有模式都不太重要。我们进一步设计了一种新型的dy-namic令牌修剪（DTP）模块，该模块可以根据不同的输入实例自适应地调节每个层中的令牌压缩比。对各种基准测试的广泛实验表明，MADTP可以显着确定多种模型的计算复杂性，同时保留竞争性能。值得注意的是，当将MADTP应用于NLVR2数据集中的BLIP模型时，可以将GFLOPS降低80％，而性能降低少于4％。该代码可在https://github.com/double125/madtp上找到。
知道您的邻居：通过空间视觉语言推理改善单视的重建
从单个视图中恢复3D场景几何形状是计算机视觉中的基本问题。虽然经典的深度估计方法仅推断出2.5D场景表示为图像平面，但最新的基于辐射范围的aperach是重建完整的3D代表。然而，这些方法仍然在被占地的区域困难，因为没有视觉观察的几何形状需要（i）周围的语义知识，以及（ii）关于空间上下文的推理。我们提出了Kyn，这是一种单视场景重建的新方法，其原因是语义和空间上下文来预测每个点的密度。我们引入了一个视觉模块模块，以使用细粒度的语义信息丰富点特征。我们通过语言引导的空间注意机制在整个场景中汇总了点表示，以产生意识到3D语义环境的每点密度预测。我们表明，与预测每个3D点的密度相比，Kyn改善了3D形状的恢复。我们在Kitti-360上实现了最新的场景和对象重建结果，并且与先前的工作相比，零弹性概括的改进。项目页面：https：//ruili3.github.io/kyn。
大脑的三种语言：量子，重组和关联
科学进步在相应的语言发展中反映了。显微镜，望远镜，断层扫描和其他传感设备打开的远景导致了新实体和过程的命名。量子理论导致了经典原子图的统计，并且在纠结的过程和非二元逻辑方面说话。量子理论还导致了与观察者定义和观察者的定义有关的深刻问题。这是检查心灵之谜的一条途径。其他路径源于古老的哲学传统和过去世纪的心理理论。在科学话语中描述思维的语言并没有与物理科学的发展保持同步。主流讨论已从早期的二元模型的共同信念模型转变为一种基于平行计算机式大脑过程的复杂性的思维的出现。有时以分离和相互联系的方式表达的确定性和自主权的两个旧范式以各种形式出现。其中两个是有利的，取决于研究领域和现行时尚。尽管量子理论为物理科学提供了70年的基础，但直到最近才考虑了整体，类似大脑的量子样操作。这种新鲜的外观是由各种人工智能（AI）项目以及新的分析和实验发现所带来的挫折引起的。机械科学的兴起看到了概念 -人们认识到，诸如“驱动器”之类的刺激反应结构通常不足以提供解释。并且有人援引“ e o o o o o t”类别来解释自治行为。卡尔·普里布拉姆（Karl Pribram）的大脑经典语言（1971）描述了用于描述大脑行为的标准语言和逻辑类别中的许多悖论。自写了这本书以来，已经尝试并发现许多新方法要解决这些悖论。用来描述大脑运作的语言是按照年龄的主要科学范式建模的。
使用TF-IDF技术在阿拉伯社交媒体中进行进攻性语言检测
摘要。我们的生活现在围绕社会交流，并且由于阿拉伯文本非常复杂并且包含了许多方言，因此在阿拉伯社交媒体上很难识别出令人反感的语言。本文研究了机器学习模型的实施。使用了选择的分类器，包括决策树，支持向量机，随机森林和逻辑回归。在实验中使用了包含4505个推文的“ ARCYBC”数据集，以评估机器学习模型的性能。根据实验的结果，使用更多运行可以增强机器学习模型的性能，尤其是在精度和召回率方面。随着更多的运行，决策树（DT）和随机森林（RF）分类器显示出更好的回忆和精度，但是DT分类器显示出更好的精度。
基于人工智能的中文教学的个性化策略的研究
版权所有©2024作者和Frontier Scientific Research Publishing Inc.这项工作是根据创意共享归因国际许可证（CC by 4.0）获得许可的。http://creativecommons.org/licenses/4.0/
您说话时开车：在自动驾驶汽车中启用与大语言模型的人类互动
自动驾驶汽车的未来在于以人为中心的设计和先进的AI Capabilies。未来的自动驾驶汽车不仅会跨乘客，而且还将互动并适应他们的欲望，从而使旅程变得舒适，有效且令人愉悦。在本文中，我们提出了一个新颖的框架，该框架利用大型语言模型（LLMS）来增强自动驾驶汽车的决策过程。通过整合LLMS的自然语言能力和上下文理解，专业工具使用，协同推理，并与自动驾驶汽车的各种模块进行作用，该框架旨在将LLMS的先进语言和推理能力无缝整合到自动驾驶中。拟议的框架具有革新自动驾驶汽车运行方式，提供个性化援助，持续学习和透明决策的潜力，最终为更安全，更有效的自动驾驶技术做出了贡献。
VLP：自主驾驶的视觉语言计划
自主驾驶是一项复杂而具有挑战性的任务，旨在通过场景和推理来实现安全的运动计划。最近，通过增强的场景理解，几个关键问题，包括缺乏推理，低概括性能和长尾场景，但仍需要戴着几个关键问题，但仍需要进行一些关键问题。在本文中，我们提出了VLP，这是一个新颖的视力 - 语言规划框架，利用语言模式来弥合语言理解与自动驾驶之间的差距。VLP通过加强源内存基础和自动驾驶汽车的上下文理解来增强自主驾驶系统。vlp通过与先前的最佳方法相比，分别在平均L2错误和碰撞率方面，分别在平均L2错误和碰撞率方面实现了35.9％和60.5％的端到端规划表演。此外，在面对新的城市环境时，VLP在挑战性的长尾方案和强大的概括能力方面表现出改善的性能。
语言模型是否可以建立有关ICD代码的原因来指导临床笔记的产生？
摘要。在过去的十年中，美国的电子健康记录（EHR）数据数量激增，归因于《 2009年健康信息技术经济和临床健康法》（HITECH）2009年的有利政策环境和2016年21世纪治疗法案。医生在自由形式的文本中捕获了患者评估，诊断和治疗的临床笔记，他们花费大量时间进入他们。手动编写临床笔记可能需要大量时间，增加患者的等待时间，并可能延迟诊断。大型语言模型（LLM），例如GPT-3具有生成与人类写作的新闻文章的能力。我们调查了对临床笔记生成中LLM的促进工程促进工程的用法（COT）。在提示中，我们将疾病国际分类（ICD）代码和基本患者信息以及类似的临床病例示例纳入了研究，以研究LLMS如何有效地制定临床注释。，我们使用GPT-4作为LLM对Codiesp测试数据集的六个临床病例进行了COT提示技术，结果表明，它的表现优于标准的零照片提示。