XiaoMi-AI文件搜索系统
World File Search SystemSemantic
用大语言模型在语言刺激下解码语义表示
大脑解码技术为解释神经活动的解释以重现思想，情感和运动的方式铺平了道路。Tang等。 （2023）引入了一种新颖的方法，该方法将语言模型用作基于功能磁共振成像（fMRI）数据的大脑解码的生成模型。 在他们的工作中构建，这项研究探讨了使用三种其他语言模型的使用以及先前研究中使用的GPT模型，以改善解码功能。 此外，我们使用嵌入模型添加了一个评估度量，提供了比BertScore更高水平的语义相似性。 通过比较解码的表现并确定导致良好性能的因素，我们发现高解码精度并不仅仅取决于准确预测大脑活动的能力。 相反，该模型倾向于生成更精确的句子重新构造的文本类型（例如Web文本，博客，新闻文章和书籍），它倾向于生成更重要的作用。Tang等。（2023）引入了一种新颖的方法，该方法将语言模型用作基于功能磁共振成像（fMRI）数据的大脑解码的生成模型。在他们的工作中构建，这项研究探讨了使用三种其他语言模型的使用以及先前研究中使用的GPT模型，以改善解码功能。此外，我们使用嵌入模型添加了一个评估度量，提供了比BertScore更高水平的语义相似性。通过比较解码的表现并确定导致良好性能的因素，我们发现高解码精度并不仅仅取决于准确预测大脑活动的能力。相反，该模型倾向于生成更精确的句子重新构造的文本类型（例如Web文本，博客，新闻文章和书籍），它倾向于生成更重要的作用。
基于空间表征语义层次的机器人探索与绘图策略
许多科学家 [Lynch，1960；Piaget 和 Inhelder，1967；Siegel 和 White，1975] 已经观察到认知地图被组织成连续的层，并提出对大规模环境的有用且有力的描述的核心要素是拓扑描述。分层模型包括从局部感官信息中识别和辨认地标和地点；路线控制知识（从一个地方到另一个地方的过程）；连通性、顺序和包含的拓扑模型；以及形状、距离、方向、方位以及局部和全局坐标系的度量描述。看来，认知地图的分层结构是人类在大规模空间中稳健表现的原因。我们的方法试图将这些方法应用于机器人探索和地图学习问题。我们定性方法中对环境的核心描述是拓扑模型，如 TOUR 模型 [Kuipers，1978]。该模型由一组节点和弧组成，其中节点代表环境中可识别的位置，弧代表连接它们的行进路径。节点和弧是根据机器人的感觉运动控制能力程序性定义的。度量信息添加到拓扑模型之上。
镜子u-net：将多模式裂变与多任务学习嫁给医学成像中的语义分割
正电子发射断层扫描（PET）和计算的刻录术（CT）通常共同用于检测肿瘤。PET/CT分割模型可以自动化肿瘤的描述，但是，当前的多模式模型不能完全阐明每种模式中的互补信息，因为它们要么串联PET和CT数据，要么在决策水平上融合它们。为了对抗这一点，我们提出了镜像u-net，它通过将多模式表示形式分配到模态特异性的解码器分支和辅助多模态解码器中，以多模态化的方式代替了传统的融合方法。在这些分支上，镜像u-net标志着一个针对每种模式量身定制的任务，以增强单峰特征，同时保留共享表示中的多模式特征。与以前的方法相比使用了其他方法或多任务学习，Mirror U-net将两个范式结合在一个统一的框架中。我们探索各种任务组合，并检查在模型中共享的哪些参数。我们在Autopet PET/CT和多模式MSD Braintumor数据集上评估了Mirror U-NET，证明了其在多模式分段中的有效性并在两个数据集中实现了先进的性能。代码：https：//github.com/zrrrrr1997/ autopet_challenge_mirrorunet
用原始特征重新思考知识蒸馏
用于半分割的大多数现有知识蒸馏方法着重于从原始特征中提取各种复杂知识。但是，这种知识通常是手动设计的，并且像传统功能工程一样依赖于先前的知识。在本文中，我们旨在提出一种使用RAW功能的简单有效的功能蒸馏方法。为此，我们重新审视了功能蒸馏中的开创性工作，Fitnets可以将平方误差（MSE）损失（MSE）损失最小化。我们的实验表明，在某些情况下，这种幼稚的方法可以产生良好的结果，甚至超过了一些精心设计的方法。但是，它需要仔细调整蒸馏损失的重量。通过将fitnets的损失函数分解为差异项和角度差项，我们发现角度差异项的重量受教师特征和学生特征的幅度的影响。我们通过实验表明，角度差异项在特征蒸馏中起着至关重要的作用，而不同模型产生的特征的大小可能会有很大变化。因此，很难确定各种模型的适合减肥体重。为了避免角度蒸馏术语的重量受到特征的影响，我们提出了角度蒸馏，并探索沿不同效率尺寸的蒸馏角度信息，以进行语义分割。广泛的例子表明，我们的简单方法对超级参数表现出极大的效果，并实现了语义细分的最先进的蒸馏性能。
在扩散模型中使用令牌优化的开放式摄取注意图
扩散模型代表文本到图像生成中的新范式。除了从文本提示中生成高质量的图像之外，诸如稳定扩散之类的模型已成功扩展到了共同生成的分段伪遮罩。但是，当前的敏感主要依赖于提取与用于图像合成的及时单词相关的关注。这种方法限制了从文本提示中未包含的单词代币中得出的分割掩码的产生。在这项工作中，我们介绍了开放式摄影注意力图（OVAM） - 用于文本到图像扩散模型的无训练方法，可为任何单词生成注意力图。此外，我们提出了一个基于OVAM的轻巧优化过程，用于查找具有单个注释的对象类的准确注意图。
摘要 研究：AI 社会认知评估与建模。评估 LLM 中的心智理论及其在心理学中的应用 NLP：LLM IFT、表征学习（对比和三重态损失）、语义聚类、总结 DL：Transformers、MoE、EncDec、RNNs、DPO、LoRA 工具：Python、Pytorch、Deepspeed、AWS Sagemaker、hydra、SQL 管理：建立 ML 团队、职能、策略和 OKR、招募和指导科学家和实习生以及建立数据和注释伙伴关系。
摘要 研究：AI 社会认知评估与建模。评估 LLM 中的心智理论及其在心理学中的应用 NLP：LLM IFT、表征学习（对比和三重态损失）、语义聚类、总结 DL：Transformers、MoE、EncDec、RNNs、DPO、LoRA 工具：Python、Pytorch、Deepspeed、AWS Sagemaker、hydra、SQL 管理：建立 ML 团队、职能、策略和 OKR、招聘和指导科学家和实习生以及建立数据和注释合作伙伴关系。
开放世界的语义细分包括类相似性
解释摄像机数据是自主行动系统（例如自动驾驶汽车）的关键。在现实世界环境中运行的视觉系统必须能够解释其周围环境，并需要能够处理新型情况。本文解决了开放世界的分段，即解释训练过程中未见对象的图像数据的变体。我们提出了一种新的方法，该方法可以执行确定性封闭世界的语义分割，同时可以识别新类别，而无需任何适当的培训数据。我们的方法1另外，为图像中的每个新发现的类与已知类别提供了相似性度量，这在下游任务（例如计划或映射）中可能是有用的信息。通过广泛的实验，我们表明我们的模型在已知的训练数据以及异常分割的类别上实现了最新的结果，并且可以区分不同的未知类别。
开发基于精细语言模型的瑞典法律判断的语义搜索工具
大型语言模型（LLMS）是非常大的深度学习模型，可根据大量数据进行重新训练。是句子的双向编码器表示，来自变形金刚（SBERT）的句子是基于变压器的DeNoising AutoCoder（TSDAE），生成查询网络（GENQ）和生成假伪标记（GPL）的改编。本论文项目旨在为瑞典法律判断开发语义搜索工具，以克服法律文件检索中传统关键字搜索的局限性。为此，使用高级培训方法（例如TSDAE，GENQ和GPL的改编），通过利用自然语言处理（NLP）（NLP）（NLP）（NLP）和精细的LLM来开发一种善于理解法律语言的语义细微差别的模型。要从未标记的数据中生成标记的数据，对其进行微调后使用了GPT3.5模型。使用生成模型的使用标记数据的生成对于该项目有效训练Sbert至关重要。已经评估了搜索工具。评估表明，搜索工具可以根据语义查询准确检索相关文档，并同样提高法律研究的效率和准确性。genq已被证明是此用例的最有效的训练方法。
用于指导建筑设计课程构思的语义 AI 模型 Emmanouil Vermisso 建筑学院 佛罗里达大西洋大学 111 East Las Olas Boulevard 劳德代尔堡，佛罗里达州 33301，美国 evermiss@fau.edu
摘要 本文讨论了可用的人工智能 (AI) 模型的组合，即神经语言模型 (NLM) 与经过训练的 GAN 和人类解释，以促进架构构思。工作流程使用语义提示识别推测设计的概念场景。结果成为视觉参考，以补充修订的语义描述，以指导 VQGAN+CLIP 模型，利用对结果的控制，然后使用降维对结果进行排序，并进一步策划以训练其他模型 (GAN)。NLM 对文本输入的解释增加了跨越更大语义距离的可能性，以实现创造性的视觉结果，而 AI-人类步骤的嵌套工作流程可以自动查询更大的解决方案空间。此外，它还考虑了基于语言 (NLM) 的处理模型 (LeCun, 2021) 导致的视觉数据 (Hadamard, 1945) 的低带宽、还原编码问题，这可能会限制设计机构。
对话式人工智能的增量式基于图的语义和推理
下一代对话式 AI 系统需要：（1）逐步处理语言，逐个标记，以提高响应速度，并能够处理对话现象，例如暂停、重新开始和自我更正；（2）逐步推理，允许建立超出所说内容的意义；（3）透明且可控，允许设计人员和系统本身轻松确定特定行为的原因并针对特定用户组或领域进行定制。在这篇短文中，我们介绍了正在进行的初步工作，将动态语法（DS） - 一种增量语义语法框架 - 与资源描述框架（RDF）相结合。这为创建增量语义解析器铺平了道路，该解析器在话语展开时逐步输出语义 RDF 图。我们还概述了如何通过 RDF 将解析器与增量推理引擎集成。我们认为，这种 DS - RDF 混合体满足了上面列出的要求，产生了可用于构建响应式、实时、可解释的会话式 AI 的语义基础设施，可以针对特定用户群体（例如痴呆症患者）快速定制。