XiaoMi-AI文件搜索系统
World File Search System语言
低级视觉任务的语言指南的鲁棒性：深度估算的发现
通过将自然语言纳入附加指导来实现单眼深度估计的最新进展。尽管产生了令人印象深刻的结果，但语言先验的影响，尤其是在发生和鲁棒性方面，仍未得到探索。在此过程中，我们通过量化此之前的影响来解决这一差距，并引入方法以在各种环境中基准其有效性。我们生成“低级”句子，传达以对象为中心的三维空间关系，将它们纳入其他语言先验，并评估其对深度估计的下游影响。我们的关键发现是，当前语言引导的深度估计仅通过场景级别的描述和违反直觉的效果最佳地发挥作用。尽管利用了其他数据，但这些方法对于对抗性攻击并随着分配变化的增加而对性攻击和绩效下降并不强大。fi-nally，为了为未来的研究提供基础，我们识别出失败点，并提供见解以更好地理解这些缺点。使用语言进行深度估算的越来越多的方法，我们的发现突出了需要仔细考虑在现实世界中有效部署的机会和陷阱。1
培训大语言模型
培训大语言模型（LLM）已成为人工智能进展的核心，数据集，培训前和训练后方法在其性能和可扩展性方面扮演着互补的角色。此博士学位课程探讨了训练这些模型的关键阶段，并强调了数据对下游任务中模型性能的影响。学生将通过全面研究数据集构建，优化技术，缩放定律，培训前策略，合成数据生成以及培训后的改进（例如，进行微调和对齐方式），通过全面的研究构建LLM的理论和实践。该课程将结合理论指导与动手实验相结合。学生将洞悉：＃＃创建高质量，多样化和有效数据集的原则和方法。＃＃¢优化策略，用于大规模模型培训，包括计算效率。＃＃经验缩放定律及其对模型大小和数据集大小的影响。＃¢利用合成数据及其在改善概括和鲁棒性中的作用。＃＃训练技术，例如人类反馈（RLHF）的增强学习以及与期望的结果结合。
Megascale：将大型语言模型培训扩展到10,000多个GPU
Qi Huang 1 Yangrui Chen 1 Zhi Zhang 1 Yanghua Peng 1 Xiang Li 1 Cong Xie 1 Shibiao Nong 1 Yulu Jia 1 Sun He 1 Hongmin Chen 1 Zhihao Bai 1 Qi Hou 1 Shipeng Yan 1 Ding Zhou 1 Yiyao Sheng 1 Zhuo Jiang 1 Haohan Xu 1 Haoran Wei 1 Zhang Zhang 1 Pengfei Nie 1 Leqi Zou 1 Sida Zhao 1 Liang Xiang 1 Zherui Liu 1 Zhe Li 1 Xiaoying Jia 1 Jianxi Ye 1 Xin Jin 2 , Xin Liu 1
可解释的AI（XAI）和大型语言模型（LLM）
➢这是一个欺骗深神经网络（DNN）的实验：在第二和第四张图像中，工程师仅保留了系统用于识别吉他和企鹅的系统的元素，并更改了其余的所有内容，以使系统仍然像吉他和企鹅一样“看到”他们。➢Goodfellow等人的作品。（2014）从普遍的扰动开始打开了进一步发展的大门（Moosavi-Dezfooli等人。2017）最近的一个像素攻击，该攻击显示了如何通过在输入图像中更改一个像素来欺骗神经网络。笔记本在这里一张像素攻击原始纸
语言技术就像人们重要的一样：居中语言技术发展中的社区
在过去的十年中，言语和语言技术已经看到了前所未有的“成功”。在既定基准中衡量的广泛应用的性能显然稳步增长。许多工具通过在消费者和商业计算中的集成而广泛采用，语音和语言技术已成为围绕“人工智能”的兴趣（和炒作）的焦点。结果，研究人员长期以来以某种形式知道的技术，例如自动语音识别（ASR），语音综合（TTS）和（大型）语言模型（LLMS）在新颖的社会环境中被解释（和开发）。上下文中的这些变化，而不是（仅）技术本身，提出了许多埃斯特，技术和法律问题，例如：
调查机器学习和自然语言处理技术用于检测饮食失调：系统文献评论
自然语言处理（NLP）和机器学习（ML）领域的最新发展已显示自动文本处理的显着改进。同时，人类语言的表达在发现心理健康问题中起着核心作用。虽然口语在接受患者的访谈中被隐式评估，但书面语言也可以为临床专业人员提供有趣的见解。现有的工作中经常研究心理健康问题，例如抑郁或焦虑。然而，还在研究饮食失调的诊断如何从这些新技术中受益。在本文中，我们介绍了该领域最新研究的系统概述。Our investigation encompasses four key areas: (a) an analysis of the metadata from published papers, (b) an examination of the sizes and speci fi c topics of the datasets employed, (c) a review of the application of machine learning techniques in detecting eating disorders from text, and fi nally (d) an evaluation of the models used, focusing on their performance, limitations, and the potential risks associated with current methodologies.
欧洲通用语言数据空间
欧盟自 2019 年以来一直在实施其数据战略。1 面向工业的数据单一市场的一个关键组成部分是建立“可互操作的数据空间”以“汇集关键行业的欧洲数据”，在这个市场中“数据可以在欧盟内部和跨行业流动，造福所有人”、“欧洲规则 […] 得到充分尊重”并且“数据访问和使用规则公平、实用和明确”。欧盟委员会（2022 年）描述了一个初步的、相当粗略的概念，包括如何建立和运营这些数据空间，包括相关立法（另见 Nagel 和 Lycklama，2021 年）。该文件还列出了一些针对制造业、交通、医疗、金融、能源、农业和技能等行业的“官方”欧盟数据空间。由数字欧洲计划 (DEP) 2 中的采购合同资助的欧洲通用语言数据空间 (LDS) 就是这些官方欧盟数据空间之一。 3
dnabert，一种在生物学和健康中进行顺序预测的语言方法
本文论文讨论了这种新的DNABERT模型，并解决了它对生物学和健康产生影响的程度。在这里，与当前现有模型相比，DNABERT是否是革命性的。通过比较先前研究中预测模型的准确性与DNABERT的准确性，我得出的结论是，DNABERT可以在剪接位点预测上获得出色的性能，并且可以获得最高的准确性，但无法获得启动子预测的出色性能。因此，我的目的是确定DNABERT的工作原理，以便可以获得可能可以用于进一步优化和自定义的理解。因此，分析了DNABERT的K-MER令牌化方法和字节对编码。这是通过采用Ji等人的DNABERT的所述方法来进行的。（2021）和Zhou等人的DNABERT-2。（2023）。从此分析中可以得出结论，两种方法都比现有的DNA/RNA预测方法更好，但是BPE是最有前途的。之后，使用DNABERT（DNABERT-PROM）重点介绍了启动子预测，以清楚地了解其过程以及如何进行预培训。为了获得此信息，Ji等人的DNABERT-PROM方法的描述。（2021）进行了调整。在这里，可以确定的是，使用具有TATA-Box存在或不存在的远端启动子，对DNABERT-PROM进行了培训，以预测Homo Sapiens。此外，使用EPDNEW数据库获取启动子的数据。为此，Ji等人的DNABERT的描述特性。在分析了DNABERT-PROM之后，我得出的结论是，它是一个高效的模型，可以预测Homo Sapiens中的启动子。最后，我选择提供更广泛的DNABERT观点，以研究如何在生物学和健康领域中应用。（2021）进行了调整，并将其与生物学和健康中的当前限制进行了比较。在这里，我得出的结论是，DNABERT是生物学和健康中转录调节预测的最有前途的模型，因为它可以解决上下文所需的信息。我得出的结论是，DNABERT也应该是执行其他类型的DNA/RNA预测的“第一选择”方法，尽管它们的用法绝不能替代研究和诊断中的决策。尽管DNABERT已经是一个非常充分的预测模型，但仍需要进一步的优化和自定义来扩大其对生物学和健康中顺序预测的贡献。