XiaoMi-AI文件搜索系统
World File Search SystemMNIST
具有定制的人工神经网络处理器...
摘要 — 本文介绍了一种具有自定义指令集架构的嵌入式可编程处理器的设计和实现，用于高效实现人工神经网络 (ANN)。ANN 处理器架构可扩展，支持任意数量的层和每层人工神经元 (AN) 数量。此外，该处理器支持具有任意 AN 间互连结构的 ANN，以实现前馈和动态循环网络。该处理器架构是可定制的，其中 AN 之间的输入、输出和信号的数值表示可以参数化为任意定点格式。本文介绍了一种设计的可编程 ANN 处理器的 ASIC 实现，用于具有多达 512 个 AN 和 262,000 个互连的网络，估计占用 2.23 mm2 的硅片面积，在 1.6 V 电源下以 74 MHz 运行，采用标准 32 nm CMOS 技术，功耗为 1.25 mW。为了评估和比较所设计的 ANN 处理器的效率，我们设计并实现了专用的可重构硬件架构，用于直接实现 ANN。本文介绍了所设计的可编程 ANN 处理器和 Xilinx Artix-7 现场可编程门阵列 (FPGA) 上的专用 ANN 硬件的特性和实现结果，并使用两个基准进行了比较，即使用前馈 ANN 的 MNIST 基准和使用循环神经网络的电影评论情绪分析基准。
通过利用反馈馈线对准
在自然视觉中，反馈连接支持多功能的视觉推理，例如使遮挡或嘈杂的自下而上的感觉信息或介导纯自上而下的过程，例如想象力。但是，反馈途径学会产生这些功能的机械主义尚不清楚。我们提出，自上而下的效果通过进料和反馈途径之间的对齐方式出现，每个效果都优化了自己的目标。为了实现这种合作化，我们引入了反馈馈线对齐（FFA），这是一种学习算法，将反馈和馈电路径作为相互信用分配计算图，从而使对齐。在我们的研究中，我们证明了FFA在广泛使用的MNIST和CIFAR10数据集上进行分类和重建任务的有效性。值得注意的是，FFA中的对准机制具有反馈连接，具有新兴的视觉推理功能，包括降解，解决阻塞，幻觉和想象力。此外，与传统的背面传播方法（BP）方法相比，FFA提供了生物学知识。通过将信用分配的计算图将其重新用于目标驱动的反馈途径，FFA减轻了BP中遇到的重量传输问题，从而增强了学习算法的生物学知识。我们的研究表明，FFA是对视觉皮层中反馈连接如何支持灵活视觉功能的机制的有希望的概念概念。这项工作还有助于更广泛的视觉推断潜在的感知现象，并有影响，对开发更具生物学启发的学习算法有影响。
模拟飞行任务中的认知负载识别
量子卷积神经网络（QCNN）代表量子机学习中的一种有希望的方法，为量子和经典数据分析铺平了新方向。由于缺乏贫瘠的高原问题，训练量子神经网络（QNN）及其可行性，这种方法特别有吸引力。但是，将QCNN应用于经典数据时会产生一个限制。当输入量子数的数量为两个功率时，网络体系结构是最自然的，因为每个池层中的数量减少了两个倍。输入量子位的数量确定可以处理的输入数据的尺寸（即功能数量），从而限制了QCNN算法对现实世界数据的适用性。为了解决此问题，我们提出了一个QCNN体系结构，能够处理任意输入数据尺寸，同时优化量子资源（例如辅助量子器和量子门）的分配。这种优化不仅对于最大程度地减少计算资源很重要，而且在嘈杂的中间量子量子（NISQ）计算中至关重要，因为可以可靠地执行的量子电路的大小是有限的。通过数值模拟，我们基准了具有任意输入数据维度的多个数据集的各种QCNN体系结构的分类性能，包括MNIST，Landsat卫星，时尚 - 纳斯特和电离层。结果验证了提出的QCNN体系结构在利用最小资源开销的同时实现了出色的分类性能，当可靠的量子计算受噪声和缺陷限制时，提供了最佳解决方案。
AI x 设计井上光和
1) https://aws.amazon.com/jp/ 2) https://cloud.google.com/products/ai/ 3) https://www.ibm.com/watson/ 4) https://azure.microsoft.com/ja-jp/services/cognitive-services/ 5) https://trends.google.co.jp/trends/ 6) https://colab.research.google.com/ 7) http://jupyter.org/ 8) https://www.anaconda.com/ 9) http://archive.ics.uci.edu/ml/datasets/Iris 10) http://lib.stat.cmu.edu/datasets/boston 11) https://archive.ics.uci.edu/ml/datasets/wine+quality 12) http://yann.lecun.com/exdb/mnist/ 12) http://megaface.cs.washington.edu/ 14）ReLU（Ramp函数）：激活函数之一。当输入值为0以下时，变为0，当大于1时，则按输入原样输出。 15）Softmax函数：将判断结果以百分比的形式输出到输出层的各个单元。一般取百分比最高者作为答案。 16）铃木隆宏，《工作的消失》，讲谈社，2017，第76页 17）新井纪子，《人工智能与不会读教科书的孩子》，东洋经济，2018年 18）小川宏，《中小学编程教育及其在地区的实践》，日本艺术设计协会期刊第77期，2018年，第50-51页 19）迈克尔·施密特、Hod Lipson，《从实验数据中提炼自由形式的自然法则》，2009年，《科学》第324卷 计算机从摆动的钟摆的运动中推导出运动定律。 20）大脑中的侏儒：脑外科医生彭菲尔德绘制的图表，显示了人类大脑皮层的运动区和体感区与身体各部位之间的对应关系。
利用深度神经网络从神经脉冲重建自然视觉场景
神经编码是系统神经科学中理解大脑如何处理来自环境的刺激的核心问题之一，此外，它也是设计脑机接口算法的基石，其中解码传入的刺激对于提高物理设备的性能至关重要。传统上，研究人员专注于将功能性磁共振成像 (fMRI) 数据作为解码视觉场景的神经信号。然而，我们的视觉感知在称为神经尖峰的事件中以毫秒为单位的快速时间尺度运行。很少有关于使用尖峰进行解码的研究。在这里，我们通过开发一种基于深度神经网络的新型解码框架来实现这一目标，称为尖峰图像解码器 (SID)，用于从实验记录的视网膜神经节细胞群尖峰重建自然视觉场景，包括静态图像和动态视频。SID 是一个端到端解码器，一端是神经尖峰，另一端是图像，可以直接对其进行训练，以便以高精度的方式从尖峰重建视觉场景。与现有的 fMRI 解码模型相比，我们的 SID 在视觉刺激重建方面也表现出色。此外，借助脉冲编码器，我们展示了 SID 可以通过使用 MNIST、CIFAR10 和 CIFAR100 的图像数据集推广到任意视觉场景。此外，使用预先训练的 SID，可以解码任何动态视频，实现脉冲对视觉场景的实时编码和解码。总之，我们的结果为人工视觉系统的神经形态计算提供了新的启示，例如基于事件的视觉相机和视觉神经假体。
通过噪声生长和自组织的神经网络
活神经网络通过生长和自组织过程出现，从单个细胞开始，最终形成大脑，一个有组织、有功能的计算设备。然而，人工神经网络依靠人类设计的手工编程架构来实现其卓越的性能。我们能否开发出无需人工干预就能生长和自组织的人工计算设备？在本文中，我们提出了一种受生物启发的开发算法，该算法可以从单个初始细胞“生长”出一个功能齐全的分层神经网络。该算法组织层间连接以构建视网膜主题池化层。我们的方法受到早期视觉系统所采用的机制的启发，在动物睁开眼睛前几天，该系统将视网膜连接到外侧膝状体 (LGN)。稳健自组织的关键因素是第一层中出现的自发时空活动波和第二层中“学习”第一层中底层活动模式的局部学习规则。该算法可适应各种输入层几何形状，对第一层中的故障单元具有鲁棒性，因此可用于成功增长和自组织不同池大小和形状的池架构。该算法提供了一种通过增长和自组织构建分层神经网络的原始程序。我们还证明了从单个单元增长的网络在 MNIST 上的表现与手工制作的网络一样好。从广义上讲，我们的工作表明，受生物启发的开发算法可以应用于在计算机中自主生长功能性“大脑”。
superfl：具有效率和鲁棒性的联合学习隐私性
联邦学习（FL）完成了协作模型培训，而无需共享本地培训数据。但是，现有的FL聚合方法遭受了效率低下，隐私脆弱性和对中毒攻击的忽视，从而严重影响了模型培训的整体性能和可靠性。为了应对这些挑战，我们提出了Superfl，这是一种有效的两服务汇总计划，既可以保存又可以保护中毒攻击。两个半honest服务器S 0和S 1相互协作，带有Shuffle Server S 0负责隐私聚类，而分析服务器S 1负责稳健性检测，识别和过滤恶意模型更新。我们的计划采用了同质加密和代理重新加密的新型组合，以实现安全的服务器与服务器协作。我们还利用一种新型的稀疏矩阵投影压缩技术来提高通信效率并显着降低开销。为了抵制中毒攻击，我们基于可信赖的根，将降低维度降低和规范计算引入双过滤算法，以识别恶意模型更新。广泛的实验验证了我们方案的效率和鲁棒性。SuperFL达到了令人印象深刻的压缩比，范围从5-40 x，在不同的模型下，同时以基线为基准的可比较模型精度。值得注意的是，我们的解决方案在MNIST和CIFAR-10数据集中分别显示出最大模型的准确性不超过2％和6％，在特定的压缩比和恶意客户的存在下。
![arxiv：2405.17388V2 [QUANT-PH] 2024年11月20日](/simg/g:\will\search\icon\source\1\19ada02297a65b7d4af6674422efcf2b7a6aaef1.webp)
arxiv：2405.17388V2 [QUANT-PH] 2024年11月20日
我们介绍了几种概率量子算法，这些算法通过利用单位线（LCU）方法的线性组合（LCU）方法来克服量子机学习中正常的单一重复。是残留网络（RESNET）的量子本机实现，在其中我们表明，变异ansatz层之间的残留连接可以防止模型中含有贫瘠的高原，否则将包含它们。其次，我们使用单量子器控制的基本算术运算符对卷积网络的平均合并层实现量子类似物，并表明LCU成功概率对于MNIST数据库仍然稳定。此方法可以进一步推广到卷积过滤器，而使用指数较少的受控单位与以前的方法相比。最后，我们提出了一个通用框架，用于在量子编码的数据上应用不可还原子空间投影的线性组合。这使量子状态可以保持在指数较大的空间内，同时选择性地放大了特定的子空间相对于其他子空间，从而减轻了完全投射到多个多个尺寸的子空间时出现的模拟性问题。与非不变或完全置换不变的编码相比，我们证明了对部分扩增置换不变的点云数据的提高分类性能。我们还通过schur-weyl二元性展示了一种新颖的旋转不变编码，用于点云数据。这些量子计算框架都是使用LCU方法构建的，这表明可以通过使用LCU技术创建进一步的新型量子机学习算法。
用于可解释人工智能的随机模糊规则泡沫
摘要 随机泡沫训练多个模糊规则泡沫函数近似器，然后将它们组合成单个基于规则的近似器。泡沫系统在来自训练有素的神经分类器的引导随机样本上独立训练。泡沫系统将神经黑匣子转换为可解释的规则集。基于模糊规则的系统具有底层概率混合结构，可对每个输入的规则产生可解释的贝叶斯后验。规则泡沫还通过广义概率混合的条件方差来衡量其输出的不确定性。随机泡沫通过平均其吞吐量或规则结构来组合学习到的加性模糊系统。随机泡沫在其规则、规则后验和条件方差方面也是可解释的。30 个 1000 规则泡沫在 MNIST 数字数据集的随机子集上进行训练。每个这样的泡沫系统的分类准确率约为 93.5%。平均吞吐量的随机泡沫实现了 96。 80% 的准确率，而仅对其输出进行平均的随机泡沫则实现了 96.06% 的准确率。吞吐量平均的随机泡沫也略胜于对 30 棵分类树进行平均输出的标准随机森林。30 个 1000 规则泡沫也在深度神经分类器上进行训练，准确率为 96.26%。对这些泡沫吞吐量进行平均的随机泡沫本身的准确率为 96.14%。对其输出进行平均的随机泡沫准确率仅为 95.6%。附录证明了加法系统模糊近似定理的高斯组合泡沫版本。
针对机器学习模型的动态后门攻击
摘要 — 机器学习 (ML) 在过去十年中取得了巨大进步，并被应用于各种关键的现实应用。然而，最近的研究表明，ML 模型容易受到多种安全和隐私攻击。特别是，针对 ML 模型的后门攻击最近引起了人们的广泛关注。成功的后门攻击会造成严重后果，例如允许对手绕过关键的身份验证系统。当前的后门技术依赖于在 ML 模型输入上添加静态触发器（具有固定模式和位置），而这些触发器很容易被当前的后门检测机制检测到。在本文中，我们提出了第一类针对深度神经网络 (DNN) 的动态后门技术，即随机后门、后门生成网络 (BaN) 和条件后门生成网络 (c-BaN)。我们的技术生成的触发器可以具有随机模式和位置，从而降低当前后门检测机制的有效性。特别是，基于新型生成网络的 BaN 和 c-BaN 是前两种通过算法生成触发器的方案。此外，c-BaN 是第一种条件后门技术，给定目标标签，它可以生成特定于目标的触发器。BaN 和 c-BaN 本质上都是一个通用框架，为对手提供了进一步定制后门攻击的灵活性。我们在三个基准数据集上对我们的技术进行了广泛的评估：MNIST、CelebA 和 CIFAR-10。我们的技术在后门数据上实现了近乎完美的攻击性能，而效用损失可以忽略不计。我们进一步表明，我们的技术可以绕过当前最先进的后门攻击防御机制，包括 ABS、Februus、MNTD、Neural Cleanse 和 STRIP。