XiaoMi-AI文件搜索系统
World File Search SystemFoundation
一击开放的负担能力学习与基础模型
我们介绍了一声开放的负担能力学习（OOAL），其中一个模型只有一个基本对象类别的一个示例训练，但有望识别新颖的观点和负担能力。虽然视觉语言模型在识别新颖的物体和场景方面表现出色，但它们通常会努力理解诸如亲戚之类的粒度水平。为了解决这个问题，我们对现有基础模型进行了全面分析，以探索他们对负担的理解并评估潜在的数据限制负担能力学习。然后，我们提出了一个视觉语言框架，并具有简单有效的范围，以增强视觉特征和负担能力文本嵌入之间的对齐方式。对两个负担能力分割基准的实验表明，所提出的方法优于最先进的模型，这些模型少于1％的完整培训数据，并且在看不见的物体和负担能力上表现出合理的概括能力。项目页面：https：//reagan1311.github.io/ooal。
在固体基础上建立视觉模型的模型
视觉模型（VLM）的最新进步在弥合计算机视觉和自然语言处理之间的差距方面取得了重大飞跃。然而，传统的VLM通过对有限和嘈杂的图像文本对进行对比学习训练，通常缺乏空间和语言的理解，可以很好地推广到密集的视觉任务或更少的通用语言。我们的方法，坚实的基础剪辑（SF-CLIP），通过隐式建立对经过大量单峰数据训练的基础模型的可靠的视觉和语言理解来避免此问题。sf-clip将对比的图像文本预测与大型基础文本和视觉模型的掩盖知识蒸馏。这种方法可以指导我们的VLM开发强大的文本和图像表示。结果，SF-CLIP显示出异常的零射击分类精度，并增强了图像和文本检索能力，为在YFCC15M和CC12M上训练的VIT-B/16的新最新状态。此外，在语义分割任务中，密集的每个斑点监督增强了我们的零射击和线性探针的性能。我们模型的一个了不起的方面是它的多语言能力，尽管主要接受了英语数据的培训，但通过多种语言的强劲检索结果证明了这一点。我们通过选择性地应用掩盖的蒸馏和教师单词嵌入的继承来实现所有这些改进，而无需牺牲培训效率。
提示病理图像分析的视觉基础模型
近年来非酒精性脂肪肝疾病（NAFLD）病例的迅速增加引起了人们的重大关注。准确地识别组织的改变对NAFLD的诊断至关重要，但是该任务在病理图像分析中带来了挑战，特别是与小规模的数据集有关。最近，从完整的微调转变为改编视觉模型的提示的范式转变为小规模数据分析提供了新的视角。然而，基于任务不足提示的现有提示方法主要是为了通用图像识别而开发的，该方法在为复杂病理学图像提供指导的指示方面缺乏。在本文中，我们提出了基于定量属性的提示（QAP），这是一种专门用于肝脏病理学分析的新提示方法。QAP基于两个定量属性，即基于K功能的空间属性和基于直方图的形态学属性，旨在对组织状态进行标准评估。此外，condi-
导航和解决基础模型的数据问题（DPFM），ICLR 2024研讨会
本研讨会旨在将开拓者和从业人员汇集到研究问题上的研究问题，以讨论其新的范式并寻找路线图，从而促进对新兴研究问题的理解，从而引起广泛的兴趣并以方向向前发展交流见解。我们努力在这个基本主题背后建立一个社区，并提供平台，共享想法，探索共识并创造协作机会。值得一提的是，基础模型的当前数据实践在很大程度上是不透明的1。本研讨会的一个使命是在预处理阶段本身就开源数据工作进行社区努力。随后的努力包括创建数据集，基准（例如MLCommons和Dataperf）以及专门的场所（例如DMLR）来促进基础模型数据问题的研究，并最终促进FMS在社交技术方面的广泛部署，从而为大体而提供受益的型社会技术。
治疗LGMD2D研究基金会信
lgmd2d/r3是一种超罕见和进行性的肌肉营养不良的形式，具有类似于杜钦（Duchenne）肌肉营养不良的表型。在美国，少于400个人患有这种疾病，少于50名儿童被诊断出患有这种疾病。与LGMD 2D成年人相比，10岁之前被诊断出的儿童失去了失去的移动，并且疾病进展率要高得多。肉糖蛋白是肌营养不良蛋白相关蛋白复合物的一部分。有四种蛋白质，Alpha（2d），β（2E），Delta（2F）和Gamma（2C），将肌肉膜锚定为DPC（营养不良相关的蛋白质复合物）。一种蛋白质的损失可防止整个4单位复合物在肌肉膜上组装。肌肉损伤，无法修复骨骼和心脏肌肉中DMD中看到的肌肉组织，也是LGMD肉毒杆菌病的病理生理基础。在肌肉和替代纤维化中脂肪浸润的发展导致行动丧失是DMD和LGMD Sarcoglycanopathy中常见的下游途径。相对于DMD，LGMD肉毒杆菌病缺乏进展是由于样本量较小，并且缺乏自然历史数据。Ja那教基金会，MDA和行业等几个组织已经涉足收集自然历史数据。，但样本量的巨大差异阻碍了LGMD肉毒杆菌病的药物发展，尽管儿童的表型与DMD的表型完全相同。
朝着基础模型中的开放框架
7多模式系统不仅包含LLM。例如，诸如Midjourney，稳定扩散和DALL-E之类的文本到图像模型是多模式的，但缺乏语言模型组件。术语“多模式”可以参考各种场景，包括用于输入和输出的不同模态（文本到图像，图像到文本），多模式输入（文本和图像）的处理或多模式输出的生成。因此，FMS的细粒分类法可能是有用的，以及相应的技术堆栈和缓解措施的变化。
OpenEQA：基础模型时代的具体问题回答
我们提出了一种现代的体现问题答案（EQA），这是理解环境足以以自然语言回答问题的任务。代理可以通过借鉴情节记忆来实现这种理解，就像在移动机器人的情况下一样，由代理商在智能眼镜上示例或积极探索环境。我们使用OpenEQA（用于EQA的第一个开放式基准基准数据集）伴随着我们的配方。OpenEQA包含超过180个现实环境提取的1600多个高质量的人类生成的问题。除了数据集外，我们还提供了一种自动LLM驱动的评估协议，该协议与人类判断具有良好的相关性。使用此数据集和评估协议，
Nextera Energy Foundation教育匹配礼品计划Nextera Energy Foundation，Inc。第1页
»»填写此表格的第1部分，并将其礼物发送给教育机构（请勿发送现金）。»»教育机构必须填写表格的第2部分，并将其退还给Nextera Energy Foundation，并在提供给学校的礼物之日起一年内提供所请求的信息。»»匹配的礼物管理员将查看表格的完整性和资格，并建议申请人如果由于任何原因无法处理礼物。»»Nextera Energy Foundation将每季度处理匹配礼物。将在匹配贡献时建议所有申请人。将提供教育机构的名字列表，其礼物是匹配的。Nextera Energy Foundation保留申请员工礼物证明的权利。
功能重新安装：迈向计算病理学中的基础模型级表现
多个实例学习（MIL）是计算病理学中最广泛使用的框架，包括分型，诊断，预后等等。但是，iS-iSting MIL范式通常需要脱机实例提取器，例如预训练的重新网络或Foun-Dation模型。这种方法缺乏在特定下游任务中进行微调进行微调的能力，从而限制了其适应性和性能。为了解决此问题，我们提出了一个重新安装的区域变压器（R 2 T），用于在线重新安装实例功能，该功能可以限制精细元素的本地功能并在不同地区建立联系。与现有的作品不同，该作品专注于预训练强大的功能提取器或设计复杂的实例聚合器，r 2 t量身定制为在线重新设计实例功能。它是一种便携式模块，可以无缝集成到主流MIL模型中。对常见的综合病理学任务的广泛实验结果验证：1）功能重新嵌入基于Resnet-50特征的MIL模型的性能到基础模型模型的水平，并进一步增强了基础模型特征的性能； 2）r 2 t可以对各种MIL模型引入更大的性能改进； 3）R 2 T-MIL，作为R 2 T-增强的AB-MIL，以大幅度优于其他最新方法。该代码可在以下网址提供：https：//github.com/dearcaat/rrt-mil。
NTIA RFC-开放基础模型
我们发现，对于七个领域中的六个，我们分析的研究并未为开放基础模型的边际风险提供有说服力的证据：他们不考虑框架中的步骤，例如现有技术或防御能力如何适应边际风险。但是，对于与CSAM相关的风险，Thiel等人。（2023）3进行了完整的分析，该分析显示了未能令人满意解决的开放基础模型的边际风险。4为了提供指导，我们对自动网络安全脆弱性检测和NCII进行了初步的边际风险评估，我们发现，当前开放基础模型的边际风险较低，对于自动化脆弱性检测（部分是由于AI的有效性而用于防御的效率），而开放模型的开放型风险对NCII有可能。