XiaoMi-AI文件搜索系统
World File Search System计算开销
AASD：通过在多模式大型语言模型中对准投机解码来加速推理
多模式大型语言模型（MLLM）在视觉教学调整中取得了显着的成功，但由于大型语言模型（LLM）骨干的自动回归解码，它们的推论既耗时又耗时。传统的加速推理方法，包括模型压缩和从语言模型加速的迁移，通常会损害输出质量或有效整合多模式特征的face Challenges。为了解决这些问题，我们提出了AASD，这是一个新型的框架，用于加速使用精制的KV缓存并在MLLM中对准投机解码。我们的方法利用目标模型的缓存键值（KV）对提取生成草稿令牌的重要信息，从而有效地投机解码。为了减少与长多模式令牌序列相关的计算负担，我们会引入KV投影仪，以压缩KV缓存，同时保持代表性保真度。此外，我们设计了一种目标放射线注意机制，以优化草稿和目标模型之间的对齐方式，从而以最小的计算开销来实现真实推理情景的好处。主流MLLM的广泛实验表明，我们的方法在不牺牲准确性的情况下达到了2倍推理的速度。这项研究不仅为加速MLLM推断提供了有效且轻巧的解决方案，而且还引入了一种新颖的对齐策略，用于在多模式背景下进行投机解码，从而为未来的有效MLLM研究奠定了强大的基础。代码可在https://anonymon.4open.science/r/asd-f571上使用。
脉冲网络中使用忆阻器进行持续学习的概率元可塑性
在动态环境中运行的边缘设备迫切需要能够持续学习而不会发生灾难性遗忘。这些设备中严格的资源限制对实现这一目标构成了重大挑战，因为持续学习需要内存和计算开销。使用忆阻器设备的交叉开关架构通过内存计算提供能源效率，并有望解决此问题。然而，忆阻器在电导调制中通常表现出低精度和高可变性，这使得它们不适合需要精确调制权重大小以进行整合的持续学习解决方案。当前的方法无法直接解决这一挑战，并且依赖于辅助高精度内存，导致频繁的内存访问、高内存开销和能量耗散。在这项研究中，我们提出了概率元可塑性，它通过调节权重的更新概率而不是大小来整合权重。所提出的机制消除了对权重大小的高精度修改，从而消除了对辅助高精度内存的需求。我们通过将概率元可塑性集成到以低精度忆阻器权重在错误阈值上训练的脉冲网络中，证明了所提机制的有效性。持续学习基准的评估表明，与基于辅助内存的解决方案相比，概率元可塑性实现了与具有高精度权重的最先进的持续学习模型相当的性能，同时用于附加参数的内存消耗减少了约 67%，参数更新期间的能量消耗减少了约 60 倍。所提出的模型显示出使用低精度新兴设备进行节能持续学习的潜力。
基于备忘录的量化硬件神经网络的体系结构和大小的分析
在过去的几年中，使用无人驾驶汽车（无人机）也被称为私人和商业用途的无人机。现代无人机非常适应性，需要较低的维护，并且运营成本较低。但是，自主无人机仍然是一种新兴和开发的技术。任何无人机，包括一组自主无人机，都必须通过无线电（遥测）链接连接到地面控制站（GCS），以由操作员或预编程任务路径远程引导。为了在无人机和GC之间建立连接，广泛使用了称为Mavlink（Micro Air Dever Link）[1]的标准化通信协议。这是一种开源轻型通信协议，旨在在GCS和自主操作的车辆之间进行快速，简单的通信。当该协议是由Mavlink V1.0设计并首次发布的，它不包括任何安全功能，这意味着消息是通过空中发送为明文的。考虑到该协议已成为GCS与无人机之间通信的非正式标准，并得到了PX4 [2]和Ardupilot [3]等流行的自动驾驶系统的支持，2017年发布了Mavlink V2.0，其中包括一个消息签名功能，以提供数据真实性和完整性。但是，未提供消息机密性，即攻击者可以拦截敏感信息，例如无人机的任务计划或GPS协调，使无人机的整个任务和安全处于危险之中。为了避免这种风险并确保数据机密性，我们建议基于Vernam Xor Cipher [4]集成快速轻巧的加密算法。建议的加密方法与Mavlink V2.0消息签名功能结合使用，提供数据机密性，真实性和完整性。可以通过对通讯协议进行稍作修改来实现所提出的加密，并将导致低计算开销。
神经网络的有效且可扩展的零知识证明框架
近年来，云供应商已开始通过提供训练有素的神经网络模型来提供付费服务进行数据分析。但是，面对懒惰或恶意供应商，客户缺乏工具来验证云供应商提供的结果是否是正确推断的。称为零知识证明（ZKP）的Cryp-tographic原始人解决了此问题。它使结果可以进行验证，而无需泄漏有关模型的信息。不幸的是，神经网络的现有ZKP方案具有较高的计算开销，尤其是对于神经网络中的非线性层。在本文中，我们提出了为神经网络的有效且可扩展的ZKP框架。我们的工作改善了非线性层的证明的性能。与以前依靠位分解技术的工作相比，我们将非线性关系转换为范围和指数关系，这大大减少了证明非线性层所需的约束数量。此外，我们采用模块化设计，使我们的框架与更多的神经网络兼容。具体来说，我们提出了两个增强的范围和查找证明作为基本块。他们有效地证明了范围和指数关系的满意度。然后，我们使用少量范围和指数关系来限制原始非线性操作的正确计算。最后，我们建立了从原始操作到整个神经网络的ZKP框架，从而为各种神经网络提供了灵活性。6×（最多477。我们将ZKP实施用于卷积和变压器的网络网络。评估结果表明，我们的工作达到了168多个。2×）分离的非线性层和41的加速。与最先进的作品Mystique相比，整个Resnet-101卷积神经网络的4倍加速度。此外，我们的工作还可以证明GPT-2是一种具有1.17亿个参数的变压器神经网络，287。1秒，达到35。超过ZKML的7×加速度，这是支持变压器神经网络的最先进的工作。
一种用于双线性回归的频域机器学习方法...
磁共振成像 (MRI) 可以非侵入性地绘制大脑的代谢氧消耗 (CMRO 2 )，这对于理解和监测健康和疾病状态下的神经功能至关重要。然而，由于缺乏稳健的方法，对 MRI 氧代谢的深入研究迄今为止受到阻碍。一种绘制 CMRO 2 的 MRI 方法基于在氧气和二氧化碳的呼吸调节期间同时获取脑血流 (CBF) 和血氧水平依赖 (BOLD) 加权图像。虽然这种双校准方法在研究环境中显示出良好的前景，但当前的分析方法在存在噪声的情况下不稳定和/或计算要求高。在本文中，我们提出了一种机器学习实现，用于对双校准 fMRI 数据进行多参数评估。所提出的方法旨在解决稳定性、准确性和计算开销问题，消除使用 MRI 研究氧代谢的重大障碍。该方法利用获取的灌注和 BOLD 加权数据的时间频率变换，从中选择适当的特征向量来训练机器学习回归器。实施的机器学习方法之所以被选中，是因为它们对噪声具有鲁棒性，并且能够映射复杂的非线性关系（例如 BOLD 信号加权和血氧之间存在的关系）。极端随机树 (ET) 回归器用于估计静息血流量，多层感知器 (MLP) 用于估计 CMRO 2 和氧提取分数 (OEF)。带有加性噪声的合成数据用于训练回归器，模拟数据涵盖广泛的生理合理参数。在模拟和体内数据（n = 30）中，将实施的分析方法的性能与已发表的方法进行了比较。所提出的
肌萎缩性侧面硬化症的寡聚结构具有基因检测，咨询和治疗意义
数据生成的迅速增加，结合了大型数据集的不切实际性以及机器学习任务的日益增长的复杂性，促进了分布式学习技术的发展。在其中，联邦学习（FL）由于其隐私保护方法而受到了极大的关注，在这种方法中，多个客户在不共享本地数据的情况下协作训练全球模型。但是，FL面临着几个关键的挑战，包括数据异质性，高计算成本和效率低下。这些问题在客户数据分布是非IID，计算资源有限的现实情况下变得更加明显，并且可以限制通信。本论文通过开发用于个性化联合学习（PFL）的有效算法和受到限制的联邦学习来解决这些挑战。所提出的方法旨在处理异质数据，最大程度地减少计算开销并降低沟通成本，同时保持强大的理论保证。具体而言，论文介绍了三个关键贡献：（1）PFL MF，一种基于低级矩阵优化的新型PFL公式，利用burer-Monteiro分解以实现个性化，而无需依赖预定义的距离指标。（2）PERMFL，一种用于多层PFL的算法，该算法介绍了针对团队和单个设备的个性化决策变量，从而在具有分层客户端结构的情况下有效地优化了。（3）FedFW，一种用于约束FL的无预测算法，该算法强调了通过稀疏信号交换的低计算成本，隐私保存和通信效率。通过解决FL中的关键问题，例如数据异质性，计算成本和通信瓶颈，拟议的算法推进了联合学习的领域，为实地世界应用提供了可靠的可扩展解决方案。
变分...
HAMON FZCO，研发摘要这项工作提出了一个广义梯度估计器，该梯度估计器优化了涉及已知或黑框函数的期望，用于离散和连续的随机变量。我们合成并扩展了用于构建梯度估计器的标准方法，提供了一个框架，该框架会产生最小的计算开销。我们提出的方法证明了各种自动编码器的有效性，并引入了对加强学习，适应离散和连续的动作设置的直接扩展。实验结果揭示了提高的训练性能和样本效率，突出了我们在各个领域中估计器的实用性。未来的应用程序包括具有复杂注意力机制的培训模型，具有非差异可能性的连续远值模型，以及将我们的方法与现有方差减少技术和优化方法相结合。关键字：梯度估计，变异自动编码器（VAE），增强学习，重新聚集技巧，控制变体，策略梯度方法1。简介基于坡度的增强支持AI中的推进和支持学习。反向传播[16,19,12]的数字确定了可区分目标的斜率，而重新聚集技巧[24,4,4,13]赋予了概率模型的实际改进。尽管如此，许多目标需要斜率进行反向传播，例如，支持学习的黑盒能力[18]或离散抽样的不连续性[7,2]。[22]通过持续的放松提出了一个有思想的，低裂开的评估者。2。正在进行的技术通过角度评估者（包括艺人专家方法[21]和持续放松[7,2]来解决这一问题。我们通过学习基于大脑网络的控制变量来扩大这一点，即使没有一致的放松，也可以产生较低的，公平的评估材料，例如在支持学习或黑盒改进中。背景2.1。倾斜度估计器简化边界θ扩大支持学习中显示的假设（预期奖励Eτ〜π [r]）和休眠变量模型（增强p（x |θ）= e p（z |θ）[p（x | z）]）。我们增强L（θ）= E P（B |θ）[F（B）]。（1）
医疗保健中联合学习的量子：从开发到部署以及从模型到数据的转变
医疗组织具有大量敏感数据，传统技术的存储容量和计算资源有限。由于与患者隐私相关的公司法规，共享机器学习的医疗数据的前景更加艰巨。对医疗保健数据的确定性，完整性和可用性的良好保护已成为古典数据安全考虑之外的主要关注点。近年来，联邦学习为加速分布式机器学习的解决方案解决了与数据隐私和治理有关的问题。目前，量子计算和机器学习的融合已经引起了学术机构和研究社区的注意。量子计算机表明，通过在几个量子节点上的有效分布培训为医疗保健部门带来巨大的好处。这项工作的最终目标是开发一个量子联合学习框架（QFL），以应对医疗和医疗成像任务的医疗保健和临床行业的优化，安全和隐私挑战。在这项工作中，我们提出了联合量子卷积神经网络（QCNN），并在边缘设备上进行了分布式培训。为了证明拟议的QFL框架的可行性，我们在医疗数据集（肺炎MNIST和CT-Kidney疾病分析）上进行了广泛的实验，这些实验是非独立和非独立地分区的医疗机构/客户/客户/客户的。通过大规模模拟对拟议的量子联合学习框架进行了验证和评估。量子联盟全球模型保持了高分类测试的准确性和义务的能力，并且无论医疗数据如何在客户之间分配如何不平衡，都超过了本地培训客户。与本地客户相比，全球模型在接收器操作特征曲线（Auc-Roc）（0.953）和全类平均（0.98）方面取得了最佳性能，以预测肺炎和CT-Kidney数据集的结果。此外，提出了客户选择机制，以减少每个通信的计算开销，从而有效地提高了收敛速度。基于我们来自数值模拟的结果，分布式和安全的量子机学习算法的部署用于启用可扩展和隐私的智能医疗保健应用程序将非常有价值。
基于深度学习的恶意软件检测的自动化机器学习
深度学习（DL）已被证明在检测不断发展的复杂恶意软件方面具有有效性。，尽管深度学习减轻了功能工程问题，从而找到了最佳的DL模型的体系结构和一组超参数，但仍然是一个需要领域专业知识的挑战。此外，许多提出的最新模型非常复杂，可能不是不同数据集的最佳选择。一种有希望的方法，即自动化机器学习（AUTOML），可以通过自动化ML管道密钥组件（即超参数优化和神经架构搜索（NAS））来减少开发自定义DL模型所需的域专业知识。Automl减少了设计DL模型所涉及的人类反复试验的数量，在最近的实现中，可以找到具有相对较低计算开销的新模型体系结构。对使用汽车进行恶意软件检测的可行性的研究非常有限。这项工作提供了全面的分析和有关将AUTOML用于静态和在线恶意软件检测的见解。对于静态，我们的分析是在两个广泛使用的恶意软件数据集上进行的：Sorel-20m，以在大型数据集上演示效率；和Ember-2018，这是一个较小的数据集，该数据集特定于策划，以阻碍机器学习模型的性能。此外，我们还显示了调整NAS过程参数的效果，以在这些静态分析数据集中找到更佳的恶意软件检测模型。此外，我们还证明了Automl是在线恶意软件检测方案中使用卷积神经网络（CNN）的云IAAS的表现。我们使用新生成的在线恶意软件数据集将AutoML技术与六个现有的最先进的CNN进行了比较，而在恶意软件执行期间，有或没有其他应用程序在后台运行。我们表明，与最先进的CNN相比，汽车技术的性能更高，而在架构上很少有开销。一般而言，我们的实验结果表明，基于汽车的静态和在线恶意软件检测模型的性能比文献中介绍的最先进的模型或手工设计的模型在标准杆上甚至更好。
使用ECC
摘要在增加网络威胁的时代，确保电子邮件通信的安全变得至关重要。传统的加密方法虽然强大，但在计算中通常是计算密集型的，并且并不总是有效地对不断增长的数据要求有效。本文使用椭圆曲线密码学（ECC）探讨了安全电子邮件服务的实施，这是一种以高度安全性和效率而闻名的现代加密技术。ECC提供了与RSA这样的传统系统的等效安全性，但密钥尺寸明显较小，导致计算更快并减少了存储要求。在安全的电子邮件服务中采用ECC既解决了强大加密的需求和对绩效效率的需求。利用较小的钥匙尺寸，ECC不仅可以增强安全性，还可以减少服务器和客户端的计算负载，从而改善加密和解密过程的性能。本文详细介绍了ECC算法的结构，比传统加密方法的优势以及其在确保电子邮件通信方面的实际应用。此外，本文讨论了ECC与现有电子邮件协议的集成，从而确保无缝实施而不会损害用户体验。通过案例研究和比较分析，评估了ECC在通过电子邮件传输的敏感信息中的有效性。结果表明，ECC不仅符合目前的安全标准，还超过了当前的安全标准，为不断发展的网络威胁提供了强有力的解决方案。对保护电子邮件通信的强大安全措施的需求从来都不是至关重要的。1在当今数字时代的介绍中，电子邮件仍然是一种基本的沟通方式，促进每天交换大量敏感信息。但是，这种对电子邮件的依赖也使其成为网络攻击的主要目标，包括拦截，未经授权的访问和数据泄露。传统的加密方法，例如RSA（Rivest-Shamir-Adleman），已被广泛用于保护电子邮件。虽然有效，但这些方法通常涉及大键尺寸和较高的计算需求，这对于服务器和最终用户来说都是繁重的。椭圆曲线加密（ECC）是一种高效的替代方案，与RSA和其他传统方法相比，具有相同或更大的安全性，其密钥尺寸明显较小。ECC通过减少的计算开销提供可靠加密的能力，使其特别适合具有性能和安全性至关重要的现代应用程序。这种加密技术利用了椭圆曲线在有限字段上的数学特性，从而允许安全的密钥交换，数字签名和加密。