XiaoMi-AI文件搜索系统
World File Search SystemLanguage
开放式对象检测的生成区域训练
在最近的研究中，已对开放式摄制对象检测任务进行了大量关注，旨在概括训练期间标记的类别的有限级别，并检测推理时任意类别名称所描述的对象。与常规对象检测相比，打开的词汇对象检测在很大程度上扩展了对象检测类别。但是，它依赖于计算图像区域与一组具有验证视觉和语言模型的任意类别名称之间的相似性。这意味着，尽管具有开放式的性质，但该任务仍然需要在推理阶段的预定义对象类别。这提出了一个问题：如果我们在推理中对对象类别没有确切的了解，该怎么办？在本文中，我们称之为新的设置为生成性开放式对象检测，这是一个更普遍和实际的问题。为了解决它，我们将对象检测形式为生成问题，并提出了一个名为generateu的简单框架，该框架可以检测密集的对象并以自由形式的方式生成其名称。尤其是，我们采用可变形的DETR作为区域促成生成器，其语言模型将视觉区域转换为对象名称。为了评估自由形式的对象划分任务，我们介绍了一种评估方法，旨在定量测量生成量的性能。广泛的实验表明我们的生成量强烈的零射击性能。代码可在以下网址获得：https：//github.com/foundationvision/generateu。例如，在LVIS数据集上，我们的GenerateU在推理过程中属于类别名称，即类别名称无法看到类别名称，即使类别名称看不见类别名称，我们的GenerateU也可以与开放式唱机对象检测方法GLIP相当。
基于语料库的语言教学方法
摘要 本文综合了教师的观点、学习者产出和学习者印象的分析、材料开发的想法以及总结性研究者的观察结果，这些观察源于在美国两个大学和成人留学环境中实施为期一学期（约 8 周的教学）的基于语料库和数据驱动的英语作为第二语言 (ESL) 教学。案例研究 1 调查了学习者和教师对语料库教学在培养专门为中国访问学者群体设计的学术写作技能方面的有效性的态度。案例研究 2 采用混合方法、探索性调查，研究使用支架式学生工作表指导不同熟练程度的学习者在一所位于美国的非营利性私人机构为期一学期的留学项目中使用语料库和语料库工具的情况。该工作表旨在定期将基于语料库的课程和数据纳入课堂教学或家庭作业活动。结果表明，教师们对将语料库工具纳入自己的语言课堂教学中可能带来的巨大而有希望的好处充满热情。通过具体明确的学习目标和使用指导，语料库工具可以成为课程期间和课程结束后适合学生的宝贵资源。
Megascale：将大型语言模型培训扩展到10,000多个GPU
Qi Huang 1 Yangrui Chen 1 Zhi Zhang 1 Yanghua Peng 1 Xiang Li 1 Cong Xie 1 Shibiao Nong 1 Yulu Jia 1 Sun He 1 Hongmin Chen 1 Zhihao Bai 1 Qi Hou 1 Shipeng Yan 1 Ding Zhou 1 Yiyao Sheng 1 Zhuo Jiang 1 Haohan Xu 1 Haoran Wei 1 Zhang Zhang 1 Pengfei Nie 1 Leqi Zou 1 Sida Zhao 1 Liang Xiang 1 Zherui Liu 1 Zhe Li 1 Xiaoying Jia 1 Jianxi Ye 1 Xin Jin 2 , Xin Liu 1
开发基于精细语言模型的瑞典法律判断的语义搜索工具
大型语言模型（LLMS）是非常大的深度学习模型，可根据大量数据进行重新训练。是句子的双向编码器表示，来自变形金刚（SBERT）的句子是基于变压器的DeNoising AutoCoder（TSDAE），生成查询网络（GENQ）和生成假伪标记（GPL）的改编。本论文项目旨在为瑞典法律判断开发语义搜索工具，以克服法律文件检索中传统关键字搜索的局限性。为此，使用高级培训方法（例如TSDAE，GENQ和GPL的改编），通过利用自然语言处理（NLP）（NLP）（NLP）（NLP）和精细的LLM来开发一种善于理解法律语言的语义细微差别的模型。要从未标记的数据中生成标记的数据，对其进行微调后使用了GPT3.5模型。使用生成模型的使用标记数据的生成对于该项目有效训练Sbert至关重要。已经评估了搜索工具。评估表明，搜索工具可以根据语义查询准确检索相关文档，并同样提高法律研究的效率和准确性。genq已被证明是此用例的最有效的训练方法。
培训计算最佳的大语言模型
Layton，D。“ Chatgpt - 我们如何到达今天的位置 - GPT开发的时间表。” https://medium.com/@dlaytonj2/chatgpt-how-we-we-got-to-wher-we-we-are-today-a-timeline-timeline-fppt-development-f7a35dcc660e（2023）。Lubbad，M。“ GPT-4参数：无限制指南NLP的游戏规则改变者。”https://mlubbad.medium.com/the-ultimate-guide-to-gpt-4-parameters-verything-nything-to-to-to-to-to-to-about-about-about-about-about-about-nlps-changer-changer-109b87678555a（2023）。Shree，P。“开放AI GPT模型的旅程。”https://medium.com/walmartglobaltech/the-journey-open-open-ai-gpt-models-32d95b7b7fb2（2020）。
视觉导航的体积环境表示
Vision语言导航（VLN）要求代理在基于视觉观察和自然语言说明的3D环境中导航。很明显，成功导航的关键因素在于全面的场景理解。以前的VLN代理使用单眼框架直接提取透视视图的2D特征。虽然很简单，但他们为捕获3D几何和语义而努力，导致部分不完整的环境代表。为了实现具有细粒细节的全面3D表示，我们引入了体积环境（VER），将物理世界脱氧于结构化的3D细胞中。对于每个单元格，通过2D-3D采样将多视图2D特征归纳到如此统一的3D空间中。通过对VER的粗略到纤维特征进行推断和多任务学习，我们的代理人可以共同预测3D占用率，3D房间布局和3D边界框。基于在线收集的vers，我们的代理构成了体积状态估计，并构建情节内存以预测下一步。实验结果表明，我们从多任务学习的环境表示导致了VLN的可观绩效提高。我们的模型在VLN基准（R2R，Reverie和R4R）之间实现了最新的性能。
调整视觉语言模型以实现医学图像中的通用异常检测
大规模视觉语言预训练模型的最新进展已在自然图像领域中的零样本/少样本异常检测方面取得了重大进展。然而，自然图像和医学图像之间巨大的领域差异限制了这些方法在医学异常检测中的有效性。本文介绍了一种新颖的轻量级多级自适应和比较框架，以重新利用 CLIP 模型进行医学异常检测。我们的方法将多个残差适配器集成到预训练的视觉编码器中，从而实现不同级别视觉特征的逐步增强。这种多级自适应由多级、逐像素的视觉语言特征对齐损失函数引导，将模型的重点从自然图像中的对象语义重新校准到医学图像中的异常识别。调整后的特征在各种医学数据类型中表现出更好的泛化能力，即使在模型在训练期间遇到看不见的医学模态和解剖区域的零样本场景中也是如此。我们在医学异常检测基准上进行的实验表明，我们的方法明显优于当前最先进的模型，在零样本和少样本设置下，异常分类的平均 AUC 改进分别为 6.24% 和 7.33%，异常分割的平均 AUC 改进分别为 2.03% 和 2.37%。源代码可从以下网址获取：https://github.com/MediaBrain-SJTU/MVFA-AD
语言模型的视觉检查
学习建模字符串之间的关系的学习是什么教授大型语言模型（LLMS）关于Vi-Sual世界的？我们系统地评估了LLMS生成和识别出增加复杂性的各种视觉概念的能力，然后演示如何使用文本模型来培训预先的视觉表示学习系统。由于语言模型缺乏将视觉信息作为像素消耗或输出视觉信息的能力，因此我们使用代码来表示研究中的图像。尽管LLM生成的图像看起来不像自然图像，但图像产生的结果以及模型校正这些固定图像的能力表明，字符串的精确建模可以教授有关Vi-Sual World的许多方面的语言模型。此外，使用文本模型生成的图像进行了自我监督的视觉表示学习的实验，突出了能够训练能够使用LLMS对自然IM的语义评估进行训练视觉模型的潜力。