XiaoMi-AI文件搜索系统
World File Search System训练模型
使用语言特征检测具有预训练模型的AI生成的文本
复杂的大语言模型的出现，例如Chatgpt和其他AI驱动的平台，导致了近距离模仿人类写作的文本的产生，这使得识别它是人类生成还是AI生成的内容非常具有挑战性。这对内容验证，学术完整性和检测误导性信息构成了重大挑战。为了解决这些问题，我们开发了一个分类系统，以使用多样化的HC3英语数据集区分人体编写的文本和a-ager of a-aged文本。此数据集利用语言肛门和结构特征，包括一部分语音标签，词汇大小，单词密度，词密度，具有被动的语音用法以及可读性指标，例如验收的读数，验阅读便捷，引起式和爆发性。我们采用了基于变压器和深入学习的模型来完成策略任务，例如CNN_BILSTM，RNN，BERT，GPT-2和ROBERTA。其中，罗伯塔模型表现出了优越的表现，其出色的精度为99.73。这些结果表明了尖端深度学习方法如何在数字领域中提出信息完整性。
b"作者姓名：Divyanshu Tak 1,2, ；Biniam A. Garomsa 1,2 ；Tafadzwa L. Chaunzwa 1,2,10 ；Anna Zapaishchykova 1,2, ；Juan Carlos Climent Pardo 1,2 ；Zezhong Ye 1,2, ；John Zielke 1,2 ；Yashwanth Ravipati 1,2 ；Sri Vajapeyam 4 ；Ceilidh Smith 2 ；Kevin X.Liu 4 ；Pratiti Bandopadhayay 4,5 ；Sabine Mueller 9 ；黄蒙德4,5,11; Tina Y. Poussaint 4,5；Benjamin H. Kann 1,2,5 * 作者隶属关系：1. 哈佛医学院麻省总医院医学人工智能 (AIM) 项目，美国马萨诸塞州波士顿 2. 哈佛医学院丹娜—法伯癌症研究所和布莱根妇女医院放射肿瘤学系，美国马萨诸塞州波士顿 3. 马斯特里赫特大学 CARIM & GROW 放射学和核医学系，荷兰马斯特里赫特 4. 波士顿儿童医院，美国马萨诸塞州波士顿 5. 丹娜—法伯癌症研究所，美国马萨诸塞州波士顿 6. 密歇根州立大学，美国密歇根州东兰辛 7. 费城儿童医院，美国费城 8. 宾夕法尼亚大学，美国宾夕法尼亚州 9. 加利福尼亚大学神经内科、神经外科和儿科系，美国旧金山 10. 纪念斯隆凯特琳癌症中心中心，纽约，美国 11. 哈佛医学院布莱根妇女医院放射科，马萨诸塞州波士顿。 * 通讯作者 通讯地址：Benjamin H. Kann，医学博士 医学人工智能 (AIM) 项目，麻省总医院布莱根，哈佛医学院，221 Longwood Avenue，Ste 442，波士顿，马萨诸塞州 02115，美国 电子邮件：Benjamin_Kann@dfci.harvard.edu 摘要 应用于脑磁共振成像 (MRI) 的人工智能 (AI) 有可能改善疾病的诊断和管理，但需要具有可泛化知识的算法，以便在各种临床场景中表现良好。到目前为止，该领域受到有限的训练数据和特定于任务的模型的限制，这些模型不能很好地应用于患者群体和医疗任务。基础模型通过利用自我监督学习、预训练和有针对性的适应，提出了一个有前途的范例来克服这些限制。在这里，我们介绍了脑成像自适应核心 (BrainIAC)，这是一种新颖的基础模型，旨在从未标记的脑 MRI 数据中学习广义表示，并作为各种下游应用适应的核心基础。我们在 48,519 个脑 MRI 上进行了广泛任务的训练和验证，证明 BrainIAC 优于局部监督训练和其他预训练模型，特别是在低数据设置和高难度任务中，允许在其他不可行的情况下应用。
b"作者姓名：Divyanshu Tak 1,2, ；Biniam A. Garomsa 1,2 ；Tafadzwa L. Chaunzwa 1,2,10 ；Anna Zapaishchykova 1,2, ；Juan Carlos Climent Pardo 1,2 ；Zezhong Ye 1,2, ；John Zielke 1,2 ；Yashwanth Ravipati 1,2 ；Sri Vajapeyam 4 ；Ceilidh Smith 2 ；Kevin X.Liu 4 ；Pratiti Bandopadhayay 4,5 ；Sabine Mueller 9 ；黄蒙德4,5,11; Tina Y. Poussaint 4,5；Benjamin H. Kann 1,2,5 * 作者隶属关系：1. 哈佛医学院麻省总医院医学人工智能 (AIM) 项目，美国马萨诸塞州波士顿 2. 哈佛医学院丹娜—法伯癌症研究所和布莱根妇女医院放射肿瘤学系，美国马萨诸塞州波士顿 3. 马斯特里赫特大学 CARIM & GROW 放射学和核医学系，荷兰马斯特里赫特 4. 波士顿儿童医院，美国马萨诸塞州波士顿 5. 丹娜—法伯癌症研究所，美国马萨诸塞州波士顿 6. 密歇根州立大学，美国密歇根州东兰辛 7. 费城儿童医院，美国费城 8. 宾夕法尼亚大学，美国宾夕法尼亚州 9. 加利福尼亚大学神经内科、神经外科和儿科系，美国旧金山 10. 纪念斯隆凯特琳癌症中心中心，纽约，美国 11. 哈佛医学院布莱根妇女医院放射科，马萨诸塞州波士顿。 * 通讯作者 通讯地址：Benjamin H. Kann，医学博士 医学人工智能 (AIM) 项目，麻省总医院布莱根，哈佛医学院，221 Longwood Avenue，Ste 442，波士顿，马萨诸塞州 02115，美国 电子邮件：Benjamin_Kann@dfci.harvard.edu 摘要 应用于脑磁共振成像 (MRI) 的人工智能 (AI) 有可能改善疾病的诊断和管理，但需要具有可泛化知识的算法，以便在各种临床场景中表现良好。到目前为止，该领域受到有限的训练数据和特定于任务的模型的限制，这些模型不能很好地应用于患者群体和医疗任务。基础模型通过利用自我监督学习、预训练和有针对性的适应，提出了一个有前途的范例来克服这些限制。在这里，我们介绍了脑成像自适应核心 (BrainIAC)，这是一种新颖的基础模型，旨在从未标记的脑 MRI 数据中学习广义表示，并作为各种下游应用适应的核心基础。我们在 48,519 个脑 MRI 上进行了广泛任务的训练和验证，证明 BrainIAC 优于局部监督训练和其他预训练模型，特别是在低数据设置和高难度任务中，允许在其他不可行的情况下应用。
从分子预训练模型中提取训练数据
图形神经网络（GNN）已显着提高了药物发现领域，从而提高了分子鉴定的速度和效率。但是，培训这些GNN需要大量的分子数据，这促使了协作模型共享计划的出现。这些举措促进了在组织中共享分子预培训模型的情况，而无需暴露专有培训数据。尽管有好处，但这些分子预训练的模型仍可能带来隐私风险。例如，恶意对手可以执行数据提取攻击以恢复私人培训数据，从而威胁商业秘密和协作信任。这项工作首次探讨了从分子预训练模型中提取私人训练分子数据的风险。这项任务是非凡的，因为分子预训练的模型是非生成性的，并且表现出多种模型架构，这与语言和图像模型明显不同。为了解决这些问题，我们引入了一种分子生成方法，并提出了一种新颖的，独立于模型的评分函数，以选择有希望的分子。为了有效地减少潜在分子的搜索空间，我们进一步引入了一个分子提取策略网络，以进行分子提取。我们的实验表明，即使仅查询分子预先训练的模型，也存在提取培训数据的很大风险，这挑战了这样的假设，即单独模型共享提供了足够的保护，以防止数据提取攻击。我们的代码可在以下网址公开获取：https：//github.com/ molextract/data-extraction-from-molecular-molecular-pre-preated-model-model。
语义增强图像-文本预训练模型的零样本三维模型分类
Cheraghian 等人 [ 21 – 23 ] 在零样本 3 维模型分类方 面提出了 3 维点云的零样本学习方法、缓解 3 维零样 本学习中枢纽点问题的方法和基于直推式零样本学 习的 3 维点云分类方法，并将它们封装进一个全新 的零样本 3 维点云方法 [ 24 ] 中。以上方法均是利用已 知类样本的点云表征及其词向量对未知类别进行分 类，开创了零样本 3 维模型分类方法。近年来， CLIP 在零样本图像分类上取得了良好的效果，因此有研 究者将 CLIP 应用到零样本 3 维模型分类方法中， Zhang 等人 [ 25 ] 提出了基于 CLIP 的 3 维点云理解 (Point cloud understanding by CLIP, PointCLIP) 模型， PointCLIP 首先将 3 维点云投影成多个深度图，然 后利用 CLIP 的预训练图像编码器提取深度图特 征，同时将类别名称通过 CLIP 预先训练的文本编 码器提取文本特征。但是 PointCLIP 的性能受到深 度图和图像之间的域差异以及深度分布的多样性限 制。为了解决这一问题，基于图像 - 深度图预训练 CLIP 的点云分类方法 (transfer CLIP to Point cloud classification with image-depth pre-training, CLIP2Point) [ 26 ] 将跨模态学习与模态内学习相结合 训练了一个深度图编码器。在分类时，冻结 CLIP 的图像编码器，使用深度图编码器提取深度图特 征，该方法缓解了深度图和图像间的模型差异。用 于 3 维理解的图像 - 文本 - 点云一致性表征学习方法 (learning Unified representation of Language, Im- age and Point cloud for 3D understanding, ULIP) [ 27 ] 构建了一个图像、文本和点云 3 种模态的 统一嵌入空间，该方法利用大规模图像 - 文本对预 训练的视觉语言模型，并将 3 维点云编码器的特征 空间与预先对齐的视觉 - 文本特征空间对齐，大幅 提高了 3 维模型的识别能力。与之相似的是，基于 提示文本微调的 3 维识别方法 (CLIP Goes 3D, CG3D) [ 28 ] 同样使用 3 元组形式确保同一类别的 3 维模 型特征和图像特征之间以及 3 维模型特征和文本特 征之间存在相似性，从而使点云编码器获得零样本 识别的能力。另外， PointCLIP V2 [ 29 ] 在 Point- CLIP 的基础之上，通过利用更先进的投影算法和 更详细的 3 维模型描述，显着提高了零样本 3 维模型 分类准确率。本文采用语义增强 CLIP 解决图像和文 本的语义鸿沟问题，通过在语义层面为图像和文本 提供更多相似的语义信息，使图像和文本对齐更具有 一致性，从而有效提高 3 维模型的零样本分类性能。 2.2 提示工程
利用预训练模型进行最近邻药物靶标亲和力预测
药物-靶标结合亲和力 (DTA) 预测对于药物发现至关重要。尽管将深度学习方法应用于 DTA 预测，但所获得的准确度仍然不理想。在这项工作中，受到最近检索方法成功的启发，我们提出了 𝑘 NN-DTA，这是一种基于非参数嵌入的检索方法，采用预先训练的 DTA 预测模型，它可以扩展 DTA 模型的功能，而无需或几乎不需要任何成本。与现有方法不同，我们从嵌入空间和标签空间引入了两种邻居聚合方法，并将它们集成到一个统一的框架中。具体而言，我们提出了一种具有成对检索的标签聚合和一种具有逐点检索最近邻居的表示聚合。该方法在推理阶段执行，并且可以在无需训练成本的情况下有效提高 DTA 预测性能。此外，我们提出了一个扩展，Ada-𝑘 NN-DTA，一种具有轻量级学习的实例化和自适应聚合。在四个基准数据集上的结果
使我成为BNN：从预训练模型估算贝叶斯不确定性
其中矩阵w（j）µ和w（j）σ表示层j，j j〜n（0，1）的后验分布的平均值和标准偏差，而操作员norm（β，βJ，γJ），可训练的参数βJ和γj的均值和标准偏差，可以指代任何批次，层，层，层，层或实例化。
释放预先训练模型的零...
摘要 - 在大规模数据集上进行训练的Vision语言模型（VLMS）在各种视觉识别任务中表现出令人印象深刻的性能。这一进步为某些以自我为中心的任务，零射击以自我为中心的行动识别（ZS-EAR）的表现为著名的表现铺平了道路，这需要VLMS零射击，以识别从更现实的人类环境相互作用中富含第一人称视频的动作。通常，VLM将ZS-EAR作为全球视频文本匹配任务处理，这通常会导致视觉和语言知识的次优比对。我们提出了一种使用VLM的Zs-Ear的精致方法，强调了精细元素概念 - 描述对准，该对齐利用了以Egintric视频中丰富的语义和上下文细节来利用。在这项工作中，我们引入了一个直接但有效的VLM框架，即aka gpt4ego，旨在增强视觉和语言之间的概念和描述的细粒度对齐。具体来说，我们首先提出了一个新的面向自我的文本提示（EGOTP♠）方案，该方案通过将单词级别的类名与良好设计的链条链接的链中的文本提示提示，通过将单词级别的类名为句子级别的上下文描述来有效提示与动作相关的文本上下文语义。此外，我们设计了一种新的面向自我的视觉解析（EGOVP♣）策略，该策略通过在SAM的帮助下将全球级别的图像改进到部分级别的上下文概念来学习与动作相关的视觉 - 上下文语义。广泛的实验证明了GPT4EGO在三个大规模的以egintric视频基准上的表现明显优于现有的VLMS，即，Epic- Kitchens-100（33.2％↑+9。4），EGTEA（39.6％↑+5。 6）。4），EGTEA（39.6％↑+5。6）。5）和Cha-Radesego（31.5％↑+2。此外，从新颖的细粒概念和描述对齐的新机制中受益，GPT4EGO可以通过不断发展的预培训的基础模型的发展来可持续发展。我们希望这项工作可以鼓励以自我为中心的社区对预训练的视觉模型进行更多调查。
codereval：具有生成预训练模型的务实代码生成的基准
学术界和行业越来越多地尝试了基于预训练和微调范式的代码生成模型，从而导致了众所周知的工业模型，例如Codex，Codegen和Pangu-Coder。为评估这些模型的有效性，提出了多个现有基准（例如，人道主义者和Aixbench），包括仅生成独立函数的情况，即只能调用或访问内置功能和标准文库的函数。但是，通常不包含在现有的基准中的非标准元函数占流行的开放源项目中70％以上的功能，并且评估模型对独立函数的有效性不能反映这些模型对实用代码生成方案的有效性（即，对于实际源代码的代码，代码生成的开放式或专有代码的代码生成）。为了帮助弥合前面的差距，在本文中，我们提出了一个名为Codereval的基准，由230 Python和230
利用轻量级预训练模型进行脑肿瘤检测
摘要。本研究分析了两种用于脑肿瘤检测的深度学习模型：轻量级预训练的 MobileNetV2 和将轻量级 MobileNetV2 与 VGG16 相结合的新型混合模型。目的是研究这些模型在准确性和训练时间方面的性能和效率。新的混合模型整合了两种架构的优势，利用了 MobileNetV2 的深度可分离卷积和 VGG16 的更深层特征提取功能。通过使用公开的基准脑肿瘤数据集进行实验和评估，结果表明，与独立的 MobileNetV2 模型相比，混合模型的训练准确率和测试准确率分别达到 99% 和 98%，即使在较低的 epoch 中也是如此。这种新型融合模型为增强脑肿瘤检测系统提供了一种有前途的方法，在减少训练时间和计算资源的情况下提高了准确性。
BaGuaLu：以超过 3700 万个核心为目标的大脑规模预训练模型
摘要 大规模预训练人工智能模型在一系列重要应用中展现出了极高的准确率。为了实现更高的准确率，预训练人工智能模型的规模每年都在大幅增长，而训练此类模型需要海量的计算和内存能力，这加速了人工智能与高性能计算的融合。然而，在高性能计算系统上部署人工智能应用仍存在不足，需要基于特定硬件特性进行应用和系统协同设计。为此，本文提出了八卦炉1号，这是第一个在百亿亿次超级计算机——新一代神威超级计算机上训练脑规模模型的工作。通过结合针对硬件的节点内优化和混合并行策略，八卦炉在前所未有的大型模型上实现了良好的性能和可扩展性。评估显示，八卦炉可以使用混合精度训练14.5万亿参数模型，性能超过1 EFLOPS，并且有能力训练174万亿参数模型，其数量堪比人脑的突触数量。