XiaoMi-AI文件搜索系统
World File Search SystemAttention
使用交叉注意信号对大型语言模型进行微调模型的一种自我监督的强化学习方法
我们为不依赖于人类反馈的大型语言模型（LLMS）提出了一种新颖的增强学习（RL）框架。相反，我们的方法使用模型本身中的交叉注意信号来获得自我监督的奖励，从而指导对模型策略的迭代微调。通过分析模型在生成过程中如何“参加”输入提示，我们构建了及时的覆盖，重点和连贯性的度量。然后，我们使用这些措施来对候选响应进行排名或评分，提供了奖励信号，鼓励模型产生良好的一致，主题文本。在与标准策略梯度方法的经验比较和合成偏好模型的RL微调中，我们的方法在非RL基线的迅速相关性和一致性方面显示出显着的提高。虽然它尚未与完全监督的RLHF系统的性能相匹配，但它突出了使用最小的人类标记来扩展对齐的重要方向。我们提供了详细的分析，讨论潜在的局限性，并概述了将基于跨注意的信号与较少人类反馈相结合的未来工作。
MR图像超级分辨率与挤压和激发推理注意力网络
高质量的高分辨率（HR）磁共振（MR）图像提供了更详细的信息，可用于可靠的诊断和定量图像分析。深度综合神经网络（CNN）显示出低分辨率（LR）MR图像的MR图像超分辨率（SR）的有希望的Abil。LR MR图像通常具有一些vi-Sual特征：重复模式，相对简单的结构和信息较少的背景。大多数以前的基于CNN的SR方法同样处理空间像素（包括背景）。他们也无法感知输入的整个空间，这对于高质量的MR IMPIMSR至关重要。为了解决这些问题，我们提出了挤压和激发推理注意网络（SERAN），以获得MR Image SR。我们建议从输入的全球空间信息中挤出注意力，并获得全球描述符。这样的全球描述符增强了网络专注于MR图像中更具信息区域和结构的能力。我们在这些全球描述符之间进一步建立了关系，并提出了引起关注的原始关系。全球描述符将以学习的关注进一步确定。为了充分利用汇总信息，我们通过学习的自适应注意向量自适应地重新校准了特征响应。这些注意向量选择一个全局描述符的子集，以补充每个空间位置以进行准确的细节和纹理重新分解。我们通过残留的缩放提出挤压和激发注意力，这不仅可以稳定训练，而且还使其对其他基本网络的灵感变得非常灵活。广泛的例证显示了我们提出的Seran的有效性，该塞伦在定量和视觉上清楚地超过了基准标记的最新方法。
tcl-net：具有频率域融合和多角度注意的轻巧有效的飞行网络
摘要。朦胧的图像带来了一个具有挑战性的问题，由于信息丢失和颜色失真而遭受。当前的基于深度学习的去悬式方法通过增加网络深度来增强性能，但会导致大量参数开销。同时，标准卷积层集中在低频细节上，通常会说出高频信息，这阻碍了模糊图像中提出的先前信息的有效利用。在本文中，我们提出了TCL-NET，这是一个轻巧的飞行网络，该网络强调了频域特征。我们的网络首先包含一个用于提取高频和低频内形式的所谓层，该层是针对原始模糊图像的快速变压器专门设计的。同时，我们设计了一个频率域信息融合模块，该模块将高频和低频信息与后续卷积层的卷积网络作品集成在一起。此外，为了更好地利用原始图像的空间信息，我们引入了一个多角度注意模块。使用上述设计，我们的网络以仅0.48MB的总参数大小实现了出色的性能，与其他最先进的轻量级网络相比，参数的数量级降低了。
LAA-NET：质量的本地化工件注意网络...
本文介绍了一种新型的高质量深层检测方法，称为局部伪影注意网（LAA-NET）。现有的高质量深伪检测方法主要基于有监督的二进制分类器与隐式注意机制。因此，它们并不能很好地概括到看不见的射精。为了解决这个问题，做出了两个主要贡献。首先，提出了多任务学习框架内的明确注意机制。通过结合基于热图的和自矛盾的关注策略，LAA-NET被迫专注于一些小伪像易受攻击的区域。第二，提出了一个增强的特征金字塔网络（E-FPN），作为一种简单而有效的机制，用于将歧视性低级特征扩展到最终特征输出中，具有限制冗余的优势。在基准基准上进行的实验表明，在曲线下（AUC）和平均精度（AP）方面，我们方法的优越性。该代码可在https：// github上找到。com/10ring/laa-net。
卫星和地面视图之间的跨注意，以增强细粒度的机器人地理位置
跨视图图像地理位置定位旨在通过用GPS标记的卫星图像补丁绘制当前的街道视图图像来确定户外机器人的位置。最近的作品在识别卫星贴片中达到了显着的准确性，该卫星贴片在机器人所在，其中将中央像素在匹配的卫星贴片中用作机器人粗糙位置估计。这项工作着重于机器人在已知的卫星贴片中的细粒度定位。现有的细颗粒定位工作利用相关操作来获得卫星图像本地描述符和街道视图全局描述符之间的相似性。基于衬里匹配的相关操作简化了两个视图之间的相互作用过程，从而导致距离误差很大并影响模型的概括。为了解决这个问题，我们设计了一个具有自我注意力和跨注意层的跨视图功能fu-sion网络，以取代相关操作。此外，我们将分类和回归预测结合在一起，以进一步降低位置距离误差。实验表明，我们的新型网络体系结构的表现优于最先进的，可以在看不见的地区更好的概括能力。具体而言，我们的方法在同一区域和在活力基准的同一区域和看不见的区域中分别将中位定位距离误差降低了43％和50％。
3D猫：脑肿瘤的通道注意变压器
摘要 - 脑肿瘤诊断是一项具有挑战性的任务，但对于计划治疗以停止或减慢肿瘤的生长至关重要。在过去的十年中，卷积神经网络（CNN）在医学图像中肿瘤的自动分割中的高性能急剧增加。最近，与CNN相比，视觉变压器（VIT）已成为医学成像的稳健性和效率的核心重点。在本文中，我们提出了一个新颖的3D变压器，称为3D catbrats，用于基于最先进的SWIN变压器的磁共振图像（MRIS），用于使用残留块和通道注意模块的最先进的SWIN变压器进行磁共振图像（MRI）。在Brats 2021数据集上评估了所提出的方法，并实现了在验证阶段超过当前最新方法的平均骰子相似性系数（DSC）的定量度量。索引项 - CNN，变形金刚，VIT，语义段
在不同姿势下的外源空间注意力的触觉 - 视觉联系：心理物理学和ERP的收敛证据
空间注意力的机制优先考虑与其他位置相对于其他位置的感官信息。这些机制已通过多种方法进行了深入的研究，包括心理物理学，事件型大脑电位，功能成像和单细胞记录（例如，参见Parasuraman，1998年，有关所有这些方法的发现）。这项工作导致了许多可复制的发现和一些重要的区别。的秘密关注转移（例如Mangun，Hillyard和Luck，1993； Posner，1978）。刺激驱动的外源机制已与预期驱动的内源性机制区分开来（例如Hopfinger＆Mangun，1998; Jonides，1981; Posner，1978）。通常通过使用空间非预测的外围提示来研究前者，后者通过中央提示或指示可能目标位置的指令进行研究。两种形式的提示都可以在提示的位置带来性能优势，但是外源和内源性机制被认为在几种方面有所不同，包括其效果的时间过程（例如，外源性效应通常更短暂地遵循
IDEA-Net：用于单幅图像去噪的自适应双自注意网络
由于可能存在数据偏差和预测方差，图像去噪是一项具有挑战性的任务。现有方法通常计算成本高。在这项工作中，我们提出了一种无监督图像去噪器，称为自适应双自注意网络（IDEA-Net），以应对这些挑战。IDEA-Net 受益于生成学习的图像双自注意区域，其中强制执行去噪过程。此外，IDEA-Net 不仅对可能的数据偏差具有鲁棒性，而且还通过仅在单个噪声图像上应用具有泊松丢失操作的简化编码器-解码器来帮助减少预测方差。与其他基于单图像的学习和非学习图像去噪器相比，所提出的 IDEA-Net 在四个基准数据集上表现出色。 IDEA-Net 还展示了在低光和嘈杂场景中去除真实世界噪声的适当选择，这反过来有助于更准确地检测暗脸。源代码可在 https://github.com/zhemingzuo/IDEA-Net 获得。
您的全神贯注播客合成人类
我希望所有听众首先记住的是，当你将人工智能称为聊天机器人和将其称为合成关系时，你脑海中的想法是不同的。正是这种变化开始正确衡量这项技术的强大程度。只要我们称它为聊天机器人，我们就会在我们的脑海中将其视为 20 世纪 90 年代的 AOL 聊天机器人，它并没有那么有说服力，也没有改变我的力量。它不能改变我的想法，改变我的观点，改变我的政治倾向，改变我对自己的感觉。如果每个听这集的人都做一件事，那就是每次看到媒体使用聊天机器人这个词时，就把它划掉，在你的脑海中用合成关系代替它。它不是一个聊天机器人，而是一个你将与之建立关系的新实体。
用于医学图像超分辨率的多模态多头卷积注意
超分辨率医学图像可帮助医生提供更准确的诊断。在许多情况下，计算机断层扫描 (CT) 或磁共振成像 (MRI) 技术在一次检查期间会捕获多个扫描 (模式)，这些扫描 (模式) 可以联合使用 (以多模态方式) 来进一步提高超分辨率结果的质量。为此，我们提出了一种新颖的多模态多头卷积注意模块来超分辨率 CT 和 MRI 扫描。我们的注意模块使用卷积运算对多个连接的输入张量执行联合空间通道注意，其中核 (感受野) 大小控制空间注意的减少率，卷积滤波器的数量控制通道注意的减少率。我们引入了多个注意头，每个头具有不同的感受野大小，对应于空间注意的特定减少率。我们将多模态多头卷积注意力 (MMHCA) 集成到两个深度神经架构中以实现超分辨率，并对三个数据集进行了实验。我们的实证结果表明，我们的注意力模块优于超分辨率中使用的最先进的注意力机制。此外，我们进行了一项消融研究，以评估注意力模块中涉及的组件的影响，例如输入的数量或头部的数量。我们的代码可在 https://github.com/lilygeorgescu/MHCA 免费获取。