XiaoMi-AI文件搜索系统
World File Search SystemTransformers
Genai / Transformers研讨会概述，内部和见解< / div>
➢j和l是损失 /错误 /成本功能的通常符号，即< / div>模型预测的内容与根据地面真理预测的内容之间的区别。
视觉变压器具有分层注意力
摘要：本文解决了香草视觉变压器中与多头自我注意（MHSA）相关的高计算/空间复杂性。为此，我们提出了层次MHSA（H-MHSA），这是一种新颖的方法，以层次的方式计算自我注意力。具体来说，我们首先将输入图像分为通常完成的补丁，每个补丁都被视为令牌。然后，提议的H-MHSA学习本地贴片中的令牌关系，作为局部关系建模。然后，将小斑块合并为较大的贴片，H-MHSA对少量合并令牌的全局依赖性建模。终于，将本地和全球专注的特征汇总为具有强大表示能力的功能。由于我们仅在每个步骤中计算有限数量的令牌的注意力，因此计算负载大大减少。因此，H-MHSA可以在不牺牲细粒度信息的情况下有效地模拟令牌之间的环境关系。与H-MHSA模块合并，我们建立了一个基于层次的变压器网络的家族，即HAT-NET。为了证明帽子网络在场景中的优越性，我们就基本视觉任务进行了广泛的实验，包括图像分类，语义分割，对象titection和实例分段。因此，HAT-NET为视觉变压器提供了新的视角。代码和预估计的模型可在https://github.com/yun-liu/hat-net上找到。
摘要 研究：AI 社会认知评估与建模。评估 LLM 中的心智理论及其在心理学中的应用 NLP：LLM IFT、表征学习（对比和三重态损失）、语义聚类、总结 DL：Transformers、MoE、EncDec、RNNs、DPO、LoRA 工具：Python、Pytorch、Deepspeed、AWS Sagemaker、hydra、SQL 管理：建立 ML 团队、职能、策略和 OKR、招募和指导科学家和实习生以及建立数据和注释伙伴关系。
摘要 研究：AI 社会认知评估与建模。评估 LLM 中的心智理论及其在心理学中的应用 NLP：LLM IFT、表征学习（对比和三重态损失）、语义聚类、总结 DL：Transformers、MoE、EncDec、RNNs、DPO、LoRA 工具：Python、Pytorch、Deepspeed、AWS Sagemaker、hydra、SQL 管理：建立 ML 团队、职能、策略和 OKR、招聘和指导科学家和实习生以及建立数据和注释合作伙伴关系。
边缘视觉变压器：对模型压缩和加速策略的全面调查
近年来，视觉变形金刚（VIT）已成为计算机视觉任务（例如图像分类，对象检测和分割）的强大而有前途的技术。与依赖层次特征提取的卷积神经网络（CNN）不同，VIT将图像视为斑块和杠杆自我发项机制的序列。但是，它们的高计算复杂性和内存要求对资源受限的边缘设备部署构成重大挑战。为了解决这些局限性，广泛的研究集中在模型压缩技术和硬件感知加速策略上。尽管如此，一项全面的审查系统地将这些技术及其在精确，效率和硬件适应性方面进行了对边缘部署的适应性的权衡。这项调查通过提供模型压缩技术的结构化分析，用于推理边缘的软件工具以及VIT的硬件加速策略来弥合此差距。我们讨论了它们对准确性，效率和硬件适应性的影响，突出了关键的挑战和新兴的研究方案，以推动Edge平台上的VIT部署，包括图形处理单元（GPU），张量处理单元（TPU）（TPU）和现场编程的门阵列（FPGAS）。目标是通过当代指南，以优化VIT，以在边缘设备上进行有效部署，以激发进一步的研究。
边缘视觉变压器：对模型压缩和加速策略的全面调查
近年来，视觉变形金刚（VIT）已成为计算机视觉任务（例如图像分类，对象检测和分割）的强大而有前途的技术。与依赖层次特征提取的卷积神经网络（CNN）不同，VIT将图像视为斑块和杠杆自我发项机制的序列。但是，它们的高计算复杂性和内存要求对资源受限的边缘设备部署构成重大挑战。为了解决这些局限性，广泛的研究集中在模型压缩技术和硬件感知加速策略上。尽管如此，一项全面的审查系统地将这些技术及其在精确，效率和硬件适应性方面进行了对边缘部署的适应性的权衡。这项调查通过提供模型压缩技术的结构化分析，用于推理边缘的软件工具以及VIT的硬件加速策略来弥合此差距。我们讨论了它们对准确性，效率和硬件适应性的影响，突出了关键的挑战和新兴的研究方案，以推动Edge平台上的VIT部署，包括图形处理单元（GPU），张量处理单元（TPU）（TPU）和现场编程的门阵列（FPGAS）。目标是通过当代指南，以优化VIT，以在边缘设备上进行有效部署，以激发进一步的研究。
![[re] Birt：在视觉变形金刚中以生物风格的重播用于持续学习](/simg/4/4c1c4fb6909873de81a732fa517961b80c3e6721.webp)
[re] Birt：在视觉变形金刚中以生物风格的重播用于持续学习
持续学习（CL）构成了深层神经网络（DNN）的重大挑战，这是由于灾难性的忘记在引入新的任务时对先前获得的任务的灾难性忘记。人类在学习和适应新任务的情况下擅长而无需忘记，这是通过大脑中的融合学习系统归因于抽象体验的彩排的能力。这项研究旨在复制和验证Birt的发现，Birt的发现是一种新型方法，利用视觉变压器来增强表示练习的代表性，以进行持续学习。birt在视觉变压器的各个阶段引入了建设性噪声，并与工作模型的指数移动平均值（以减轻过度拟合并增强鲁棒性）相加。通过复制Birt的方法，我们试图验证其声称的改善，比传统的原始图像排练和香草代表对几个具有挑战性的CLENCHM分析进行排练。此外，这项研究还研究了Birt对自然和对抗性腐败的记忆效率和稳健性，旨在增强其实际适用性。复制将提供对原始论文中介绍的思想的可这种可总合性和普遍性的关键见解。
bevgan：生成鱼眼交叉视图变形金刚
摘要：当前的停车援助和监测系统合成鸟类视图（BEV）图像，以提高驱动程序的可见度。这些BEV图像是使用称为“逆透视图”（IPM）的流行透视转换创建的，该转换将其投射到FishEye摄像头捕获的环绕视图图像的像素上。然而，IPM在准确地表示高度和接缝的对象方面面临挑战，因为它依赖于刚性几何变换，因此将预计的环绕视图缝合在一起。为了解决这些局限性，我们提出了Bevgan，这是一种新型的几何形状引导的条件生成副本网络（CGAN）模型，将多尺度鉴别器与基于变形金刚的生成器相结合，该生成器利用Fisheye摄像机校准和注意力机械机制，以隐含地模拟该视图之间的几个几何形式的变换。实验结果表明，在图像保真度和质量方面，Bevgan的表现优于IPM和最先进的跨视图生成方法。与IPM相比，我们报告了 + 6的改进。在PSNR上的2 dB，MS-SSIM上的 + 170％在描绘停车场和驾驶场景的合成数据集上进行评估。此外，还通过零射推理证明了Bevgan在现实世界中的图像上的概括能力。
生物学启发的认知体系结构和生成的预训练的变形金刚是朋友或敌人？
bica*ai是一个悠久的长期研发企业，旨在创建旨在模仿人类水平人工智能的计算体系结构。最近，在其领域非常出乎意料的是，似乎是另一个竞争者 - 一种基于GPT的AI工具，旨在模仿用户友好的自然人类语言的人类计算机对话。正如其设计师所声称的那样，该设备展示了一般AI的迹象。在激动人心而快乐的接待之后，很明显，新竞争对手无法履行其预期的承诺 - 它会返回错误和误导性的回应，欺骗和虚假信息。该问题引发了一波公共反对意见，并要求停止并防止进一步的设备部署。另一方面，设备设计人员声称不完美是暂时的，很快该产品将富裕其备用的品质。不，这永远不会发生！本文的目的是说明最初基于GPT的AI工具设计的方法最初是有缺陷，错误和不合适的，因为它忽略了智能和信息专业人士的基本定义。该论文加入了普遍的意识，即对基于GPT的AI工具的不受限制和自由散布对人类社会构成威胁，类似于粗心的生物武器研究的威胁。
![arxiv：2502.10437v1 [q-bio.pe] 2025年2月9日](/simg/5/5ee1b28253fd57f67c8de75bac41fc3c62096654.webp)
arxiv：2502.10437v1 [q-bio.pe] 2025年2月9日
摘要 - 基于变压器的模型主导了NLP和视觉应用，其基本机制却尚不清楚为标签空间映射到标签空间的基本机制。在本文中，我们研究了视觉变压器（VIT）的已知表示形式漏洞的来源，其中感知相同的图像可以具有非常不同的表示，而语义上无关的图像可以具有相同的表示形式。我们的分析表明，对输入的不可感知的变化可能会导致显着的表示变化，尤其是在以后的层中，这表明VIT的性能中的潜在不稳定性。我们的全面研究表明，在早期层中微妙的较微妙的效果通过网络传播和放大，在中间到晚层中变得最明显。这种洞察力激发了神经维特 - 武器的发展，这是一种新型的防御机制，在战略上使早期层中脆弱的神经元中和脆弱的神经元，以防止一系列对抗性效应。我们在各种攻击中展示了神经果赛的有效性，尤其是在强烈的迭代攻击中出色，并展示了其非凡的零弹性概括能力。在没有微调的情况下，我们的方法在对抗性示例中实现了77.8％的效率精度，超过了常规的鲁棒性方法。我们的结果为对抗性效应如何通过VIT层传播，同时提供了一种有希望的方法来增强视觉变压器对对抗性攻击的鲁棒性。此外，它们还提供了一种有希望的方法来增强视力变压器对对抗攻击的鲁棒性。索引术语 - 代表脆弱性，对抗性攻击，视觉变压器，可靠的嵌入