XiaoMi-AI文件搜索系统
World File Search Systemformer
视觉变压器具有分层注意力
摘要：本文解决了香草视觉变压器中与多头自我注意（MHSA）相关的高计算/空间复杂性。为此，我们提出了层次MHSA（H-MHSA），这是一种新颖的方法，以层次的方式计算自我注意力。具体来说，我们首先将输入图像分为通常完成的补丁，每个补丁都被视为令牌。然后，提议的H-MHSA学习本地贴片中的令牌关系，作为局部关系建模。然后，将小斑块合并为较大的贴片，H-MHSA对少量合并令牌的全局依赖性建模。终于，将本地和全球专注的特征汇总为具有强大表示能力的功能。由于我们仅在每个步骤中计算有限数量的令牌的注意力，因此计算负载大大减少。因此，H-MHSA可以在不牺牲细粒度信息的情况下有效地模拟令牌之间的环境关系。与H-MHSA模块合并，我们建立了一个基于层次的变压器网络的家族，即HAT-NET。为了证明帽子网络在场景中的优越性，我们就基本视觉任务进行了广泛的实验，包括图像分类，语义分割，对象titection和实例分段。因此，HAT-NET为视觉变压器提供了新的视角。代码和预估计的模型可在https://github.com/yun-liu/hat-net上找到。
使用UNET变压器神经网络在染色的微观切片上进行定量木材解剖结构
森林在地面碳循环中至关重要，并且对它们对持续气候变化的反应的了解对于确定未来的碳浮动和气候轨迹至关重要。在具有对比季节的区域，树木形成可以分配给日历年的离散年环，从而可以提取有关树木对环境的反应的宝贵信息。木材的解剖结构提供了有关树木对气候的反应和适应的高度分辨信息。定量木材解剖结构有助于通过使用木材微剖面的高分辨率图像在细胞水平上测量木材来检索这些信息。然而，尽管在识别细胞结构方面已经取得了很大的进步，但获得有意义的细胞信息仍然受图像上正确的年度树环界定的阻碍。这是一项耗时的任务，需要经验丰富的操作员手动界定环边界。基于像素值的自动分割的经典方法正在用能够区分结构的新方法代替，即使分界需要高水平的专业知识。尽管已使用神经网络进行木环的分割，但木制的木材图像，但阔叶物种染色的微观切片中细胞模式的复杂性需要自适应模型才能准确地完成此任务。我们在山毛榉核心染色的横截面微隔板图像上使用神经网络提出了自动树环边界划定。基于卷积神经网络的应用我们训练了一个UNETR，一个UNET的联合神经网络和视觉变压器的注意机制，以自动分段年度环边界。考虑到具有手动分割的差异以及数量木材解剖学分析目标的差异以及差异的后果。在大多数情况下（91.8％），自动分割匹配或改进了手动细分，即使将手动细分视为更好的情况，两种类别之间的船只分配率也相似。
摘要 研究：AI 社会认知评估与建模。评估 LLM 中的心智理论及其在心理学中的应用 NLP：LLM IFT、表征学习（对比和三重态损失）、语义聚类、总结 DL：Transformers、MoE、EncDec、RNNs、DPO、LoRA 工具：Python、Pytorch、Deepspeed、AWS Sagemaker、hydra、SQL 管理：建立 ML 团队、职能、策略和 OKR、招募和指导科学家和实习生以及建立数据和注释伙伴关系。
摘要 研究：AI 社会认知评估与建模。评估 LLM 中的心智理论及其在心理学中的应用 NLP：LLM IFT、表征学习（对比和三重态损失）、语义聚类、总结 DL：Transformers、MoE、EncDec、RNNs、DPO、LoRA 工具：Python、Pytorch、Deepspeed、AWS Sagemaker、hydra、SQL 管理：建立 ML 团队、职能、策略和 OKR、招聘和指导科学家和实习生以及建立数据和注释合作伙伴关系。
Longformer：利用结构 MRI 对阿尔茨海默病进行分类的纵向转换器
结构磁共振成像 (sMRI)，尤其是纵向 sMRI，通常用于在阿尔茨海默病 (AD) 临床诊断期间监测和捕捉病情进展。然而，目前的方法忽视了 AD 的渐进性，大多依赖单一图像来识别 AD。在本文中，我们考虑利用受试者的纵向 MRI 进行 AD 分类的问题。为了解决学习纵向 3D MRI 时缺失数据、数据需求和随时间发生的细微变化等挑战，我们提出了一个新模型 LongFormer，它是一种混合 3D CNN 和变压器设计，可从图像和纵向流对中学习。我们的模型可以充分利用数据集中的所有图像，并有效地融合时空特征进行分类。我们在三个数据集（即 ADNI、OASIS 和 AIBL）上评估我们的模型，并将其与八种基线算法进行比较。我们提出的 LongFormer 在对来自所有三个公共数据集的 AD 和 NC 对象进行分类方面取得了最先进的性能。我们的源代码可从 https://github.com/Qybc/LongFormer 在线获取。
m3t：使用多平面和多板变压器
在这项研究中，我们提出了使用多平面和多层跨前（M3T）网络的三维医学图像分类器，以在3D MRI图像中对阿尔茨海默氏病（AD）进行分类。提出的网络协同委托3D CNN，2D CNN和变压器用于准确的AD分类。3D CNN用于执行本机3D表示学习，而2D CNN用于利用大型2D数据库和2D代表学习的预训练权重。使用具有感应性偏置的CNN网络有效地提取局部大脑中与AD相关的异常的信息信息。跨前网络还用于获得CNN后多平面（轴向，冠状和矢状）和多切片图像之间的注意力关系。也可以使用不感应偏置的变压器学习分布在大脑中较大区域的差异。在此期间，我们使用了来自阿尔茨海默氏病神经影像学计划（ADNI）的训练数据集，该计划总共包含4,786 3D T1加权MRI图像。对于有效数据，我们使用了来自三个不同机构的数据集：澳大利亚成像，生物标志物和生活方式旗舰研究（AIBL）（AIBL），开放访问Imaging研究（OASIS）的开放访问系列（OASIS）以及来自培训数据集中的一些ADNI数据。我们提出的M3T基于曲线（AUC）下的区域（AUC）和AD分类的分类精度，与常规的3D分类网络相结合。这项研究表示，所构成的网络M3T在多机构验证数据库中实现了最高的性能，并证明了该方法有效地将CNN和Transformer用于3D医学图像的可行性。
表演探索生成预训练的变压器-2歌词生成
摘要。近年来，自然语言处理领域（NLP）发生了一场革命，文字一代在这一转变中起着关键作用。这种转变不仅限于技术领域，而且还无缝渗透了创意领域，一个很好的例子是歌曲歌词的一代。真正有效的生成模型，例如生成训练的预训练变压器（GPT）-2，需要进行微调作为关键步骤。本文利用了广泛参考的Kaggle数据集的鲁棒性，标题为“歌曲歌词”，仔细探讨了调节三个关键参数的影响：学习率，批处理大小和序列长度。数据集提出了一个引人入胜的叙述，该叙述将学习率视为最有影响力的决定因素，直接影响了产生的歌词的质量和连贯性。在增加批处理大小和扩展序列长度有望增强模型性能的同时，很明显，还有一个饱和点，超出该点的效果受到限制。通过此探索，本文旨在揭开模型校准的复杂世界，并强调战略参数选择在追求抒情卓越方面的重要性。
VIT-COMER：具有卷积多尺度特征相互作用的视觉变压器，用于密集预测
尽管Vision Transformer（VIT）在计算机视觉方面取得了显着的成功，但由于缺乏内部绘制互动和特征量表的多样性有限，它在密集的预测任务中表现不佳。大多数现有的研究致力于设计视觉特定的变压器来解决上述问题，从而涉及额外的培训前成本。因此，我们提出了一种普通的，无培训的且具有特征增强的vit背骨，并具有指定性的特征性动作，称为Vit-Comer，可促进CNN和Transformer之间的双向相互作用。与现状相比，VIT-COMER具有以下优点：（1）我们将空间金字塔多触发性场卷积特征注入VIT体系结构，从而有效地减轻了VIT中局部信息相互作用和单场表述的有限问题。（2）我们提出了一个简单有效的CNN转换器双向交互模块，该模块在跨层次特征上执行多尺度融合，这对Han-dling密集的预测任务有益。（3）我们评估了在各种密集的预测任务，不同框架和多个高级预训练中VIT-COMER的能力。值得注意的是，我们的VIT-COMER-L在没有额外训练数据的情况下可可Val2017上的AP达到64.3％，而ADE20K Val上的MIOU为62.1％，这两种方法都与最先进的方法相当。我们希望VIT-COMER可以作为密集预测任务的新骨干，以促进未来的研究。该代码将在https：//github.com/traffic-x/vit-comer上发布。
前任专家委员会的最后报告...
安全理事会 1992 年 10 月 6 日第 780 (1992) 号决议要求我设立一个专家委员会，负责审查和分析所收集的信息，以便向秘书长提供关于前南斯拉夫境内严重违反日内瓦四公约和其他违反国际人道主义法行为的证据的结论。1992 年 10 月 26 日，我任命了一个由五名成员组成的委员会，由弗里茨·卡尔斯霍芬教授担任主席，后者辞职后，由切里夫·巴西奥尼教授担任主席。我关于设立专家委员会的报告于 1992 年 10 月 14 日提交安理会 (S/24657)。委员会于 1992 年 11 月开始活动，并于 1994 年 4 月结束工作。在此期间，委员会举行了 12 届会议，并进行了一系列研究和现场调查，为此目的利用了各国政府和非政府组织提供的援助。委员会还建立了一个数据库，旨在全面记录所有已报告的严重违反日内瓦公约和其他违反国际人道主义法的行为。委员会的两份临时报告描述了其工作状况和初步结论，已在我 1993 年 2 月 9 日（S/25274）和 1993 年 10 月 5 日（S/26545）的信中转交给安全理事会。委员会的最后报告包括对委员会自成立以来的工作、任务、结构和工作方法的调查、对前南斯拉夫背景下特别重要的某些法律问题的看法、对“交战派别”军事结构及其所采用的战略和战术的一般性研究，以及对波斯尼亚和黑塞哥维那各地犯下的所谓“种族清洗”、种族灭绝和其他大规模违反基本人道规定的罪行、强奸和性侵犯以及破坏文化财产等罪行的实质性调查结果。
商务预约申请咨询：前国防部国防人员与退伍军人事务部长、内阁办公室退伍军人事务部长、国会议员约翰尼·默瑟 (Johnny Mercer) 与 WithYouWithMe 进行了预约。
1. 您根据政府的《前部长商业任命规则》（简称“规则”）联系了商业任命咨询委员会（简称“委员会”），寻求有关担任 WithYouWithMe 顾问的建议。委员会考虑的重要信息列于下面的附件中。 2. 《规则》的目的是保护政府的诚信。根据《规则》，委员会的职责是考虑任职期间采取的行动和做出的决定所带来的风险，以及前部长可能向 WithYouWithMe 提供的信息和影响。 3. 《部长守则》规定，部长必须遵守委员会的建议。管理任何任命的得体性是申请人的个人责任。前内阁大臣和国会议员应坚持最高的得体标准，并按照公共生活的 7 项原则行事。 4. 还应注意的是，除了政府《商业任命规则》对此项任命规定的条件外，还有关于您作为下议院议员的职责的单独规则。委员会的审议
小波损耗的训练变压器模型可改善单图像超分辨率
基于变压器的模型已在包括图像超级分辨率（SR）在内的低级视觉任务中取得了显着的结果。但是，在获得全球信息时，基于不重叠的窗口中依赖自我注意的早期aperach遇到了挑战。为了激活全球更多输入像素，已经提出了混合注意模型。此外，通过仅将像素的RGB损失（例如L 1）降至最低而无法捕获基本的高频降低，训练不足。本文提出了两种贡献：i）我们引入了卷积非本地稀疏注意（NLSA）块，以扩展混合变压器体系结构，以增强其接受场。ii）我们采用小波损失来训练变压器模型，以提高定量和主观性能。虽然先前已经探索过小波损耗，但在基于训练变压器的SR模型中显示了它们的力量是新颖的。我们的实验结果表明，所提出的模型在各种基准数据集中提供了状态的PSNR结果以及出色的视觉性能。