XiaoMi-AI文件搜索系统
World File Search Systembert
重新审视神经网络近似理论...
Devlin, Jacob 等人。“Bert：用于语言理解的深度双向转换器的预训练。”arXiv 预印本 arXiv:1810.04805 (2018)。Radford, Alec 等人。“语言模型是无监督的多任务学习者。”OpenAI 博客 1.8 (2019)：9。Brown, Tom 等人。“语言模型是少数学习者。”神经信息处理系统进展 33 (2020)：1877-1901。Chowdhery, Aakanksha 等人。“Palm：使用路径扩展语言建模。”arXiv 预印本 arXiv:2204.02311 (2022)。
AI临床试验计划对筛查，匹配的影响，...
作者：Dale Shepard（克利夫兰诊所）Matthias Weiss（TheDacare）Bert O'Neil（社区健康网络）Amol Rao（纪念馆）Nihal Abdulla（癌症和血液研究中心）艾哈迈德·扎尔祖尔（Ahmad Zarzour） Parsons（Gundersen Health System）Paul La Porte（TOI临床研究）Samantha Mallahan，Chelsea Osterman，Danielle Skelly，Emily Patnaude，Amy Gordon Franzen，Ezra Cohen，Ezra Cohen，Matthewewnewoney（Matthewewoney（tempus）
AI临床试验计划对筛查，匹配的影响，...
作者：Dale Shepard（克利夫兰诊所）Matthias Weiss（TheDacare）Bert O'Neil（社区健康网络）Amol Rao（纪念馆）Nihal Abdulla（癌症和血液研究中心）艾哈迈德·扎尔祖尔（Ahmad Zarzour） Parsons（Gundersen Health System）Paul La Porte（TOI临床研究）Samantha Mallahan，Chelsea Osterman，Danielle Skelly，Emily Patnaude，Amy Gordon Franzen，Ezra Cohen，Ezra Cohen，Matthewewnewoney（Matthewewoney（tempus）
MatSci-NLP：使用文本到模式建模评估材料科学语言任务中的科学语言模型
我们提出了 MatSci-NLP，一种自然语言基准，用于评估自然语言处理 (NLP) 模型在材料科学文本上的性能。我们根据公开的材料科学文本数据构建基准，涵盖七种不同的 NLP 任务，包括命名实体识别和关系分类等传统 NLP 任务，以及特定于材料科学的 NLP 任务，例如与创建材料合成程序有关的合成动作检索。我们研究了在 MatSci-NLP 上对不同科学文本语料库进行预训练的各种基于 BERT 的模型，以了解预训练策略对理解材料科学文本的影响。鉴于材料科学领域高质量注释数据的稀缺，我们使用有限的训练数据进行微调实验，以鼓励在 MatSci-NLP 任务中进行泛化。我们在这种低资源训练环境中进行的实验表明，在科学文本上预训练的语言模型优于在一般文本上训练的 BERT。 Mat-BERT 是一种专门针对材料科学期刊进行预训练的模型，通常在大多数任务中表现最佳。此外，我们提出了一种统一的文本到模式的 MatSci-NLP 多任务学习方法，并将其性能与传统的微调方法进行了比较。在对不同训练方法的分析中，我们发现我们提出的受问答启发的文本到模式方法始终优于单任务和多任务 NLP 微调方法。代码和数据集是公开可用的 1 。
聆听时大脑过程的句法结构如何？
句法解析是将句法结构分配给句子的任务。有两种流行的句法解析方法：构成和依赖性解析。最近的作品使用了基于选区树，增量自上而下解析和其他单词句法特征来研究大脑活动预测的句法嵌入，鉴于文本刺激来研究语法结构如何在大脑的语言网络中表示。然而，依赖解析树的有效性或跨大脑区域的各种合成税的相对预测能力，尤其是对于聆听任务而言，尚未探索。In this study, we investigate the predictive power of the brain encoding models in three settings: (i) individual performance of the constituency and dependency syntactic parsing based embedding methods, (ii) efficacy of these syntactic parsing based embedding methods when controlling for basic syntactic signals, (iii) relative effective- ness of each of the syntactic embedding meth- ods when controlling for the other.此外，我们探讨了使用BERT嵌入的语义信息与语义信息的相对重要性。我们发现，选区解析器有助于解释颞叶和中额回的激活，而依赖性解析器更好地编码角回和后扣带回的句法结构。尽管与任何句法特征或嵌入方法相比，来自BERT的语义信号更有效，但句法 - 床上用品方法解释了一些大脑区域的其他方差。我们使我们的代码公开可用1。
![arXiv:2305.08264v1 [cs.CL] 2023 年 5 月 14 日](/simg/2\224978bf81ee1923c87510f0608af411428da40d.webp)
arXiv:2305.08264v1 [cs.CL] 2023 年 5 月 14 日
我们提出了 MatSci-NLP，一种用于评估自然语言处理 (NLP) 模型在材料科学文本上的性能的自然语言基准。我们根据公开的材料科学文本数据构建基准，涵盖七种不同的 NLP 任务，包括命名实体识别和关系分类等传统 NLP 任务，以及特定于材料科学的 NLP 任务，例如与创建材料合成程序有关的合成动作检索。我们研究了在 MatSci-NLP 上在不同科学文本语料库上预训练的各种基于 BERT 的模型，以了解预训练策略对理解材料科学文本的影响。鉴于材料科学领域高质量注释数据的稀缺，我们使用有限的训练数据进行微调实验，以促进在 MatSci-NLP 任务中的推广。我们在这种低资源训练环境中进行的实验表明，在科学文本上预训练的语言模型比在一般文本上训练的 BERT 表现更好。Mat-BERT 是一种专门针对材料科学期刊进行预训练的模型，通常在大多数任务中表现最佳。此外，我们提出了一种用于 MatSci-NLP 多任务学习的统一文本到模式，并将其性能与传统微调方法进行了比较。在对不同训练方法的分析中，我们发现我们提出的受问答启发的文本到模式方法始终优于单任务和多任务 NLP 微调方法。代码和数据集是公开可用的 1 。
巨型语言模型的机器人AI技术趋势
API Application Programming Interface BC Behavior Cloning BERT Bidirectional Encoder Representations from Transformers CaP Code - as - policies GPT Generative Pre - trained Transformer LLM Large Language Model LMM Large Multimodal Model LMP Language Model generated Programs PaLI Pathways Language and Images PaLM Pathways Language Model RL Reinforcement Learning RT Robotics Transformer ViT Vision Transformer VLA Vision - Language - Action VLM Visual Language Model VQA Visual问题回答
HBSB 2025委员会列表
教育和外展委员会委员会成员：HCAI代表：Scott Mackey，侯赛因·巴蒂亚·科迪·巴特利（Hussain Bhatia Cody Bartley），副主席莫妮卡·科洛西（Monica Colosi） 4月23日咨询会员：8月6日，凯利·马丁内斯（Kelly Martinez
语言量化自动编码器
在扩大大型语言模型方面的最新进展表现出令人印象深刻的能力，可以在各种自然语言任务中进行几次学习。但是，一个关键的限制是，这些语言模型从根本上缺乏视觉感知的基础 - 扩展到现实世界任务所需的关键属性，例如在视觉问题上的答案和机器人技术中。虽然先前的作品在很大程度上通过预处理或微调将图像与文本联系在一起，但由于结合了策划的大量数据集和较大的计算负担，学习对齐方式通常是昂贵的。In order to resolve these limitations, we propose a simple yet effective approach called L anguage- Q uantized A uto E ncoder (LQAE), a modification of VQ-VAE that learns to align text-image data in an unsupervised manner by leveraging pretrained language model denoisers ( e .g .bert）。我们的主要思想是通过使用验证的语言代码簿直接量化图像嵌入来编码图像作为文本令牌的序列。然后，我们将量化嵌入的蒙版版本送入BERT，以重建原始输入。这样做，LQAE学会了用相似的文本令牌表示相似的图像，从而在不使用对齐的文本图像对的情况下对齐这两种方式。我们向LQAE显示了学习文本对准图像令牌，这些图像令牌可以通过大型语言模型启用几示多式模式学习，在诸如图像分类和VQA等任务中的基线方法优于基线方法，同时需要1-10张图像 - text Pairs 1。
多域作战中的战区陆军
Mark Balboni 美国陆军中校 John Bonin 博士 概念与理论教授 Megan Casey 女士 研究图书管理员 G.K. Cunningham 博士 战略陆力教授 Gregory D. Hillebrand 先生 太空与网络空间教授 Ben Leitzel 先生 网络空间教授 Paul Mikolashek 高级导师，教授 美国陆军中将，退役 James Morningstar 博士 客座教授 John Eric Powell 博士 客座教授/联络官 MSCoE Bert B. Tussing 博士，国土防御与安全教授 Peter Whalen 先生 客座教授