XiaoMi-AI文件搜索系统
World File Search System反向传播
采用混合 CMOS-RRAM 集成的混合信号神经形态计算电路
随着深度神经网络 (DNN) 在嵌入式设备上的广泛应用，硬件的能效和尺寸成为关注焦点。例如，最近基于 Arduino 的 MAIXDuino 套件集成了用于卷积神经网络 (CNN) 的 K210 神经网络处理器，旨在开发嵌入式人工智能 (AI) 和物联网 (IoT) 解决方案 [1]，[2]。在这种 Edge-AI 加速器专用集成电路 (ASIC) 中，DNN 模型在图形处理单元 (GPU) 上使用基于梯度下降的反向传播或 Backprop 算法 [3]–[5] 进行离线训练，然后“传输”到“推理”ASIC。反向传播是计算密集型的，由于冯诺依曼瓶颈，大量数据在内存和 CNN 加速器之间不断穿梭，因此会消耗大量能量。人们越来越重视创新“非冯·诺依曼”架构，即在内存内部执行计算。此类架构有望利用超越摩尔或后 CMOS 非易失性存储器 (NVM) 技术 [6]。这需要对整个设备、电路和算法层次结构中的非冯·诺依曼计算架构进行跨层研究。神经启发或神经形态片上系统 (NeuSoC) 架构将内存计算与基于稀疏尖峰的计算和通信相结合，以实现接近生物大脑能效的超低功耗运行 [7]。基于 NVM 的计算架构采用 1R 或 1T1R 交叉开关或交叉点架构，其中 DNN 权重存储在 NVM 单元的状态中，神经元驻留在
CBCS 2024 人工智能和机器学习基础知识
深度学习简介、深度学习与机器学习的区别、大脑与深度学习、人工神经网络、反向传播、各种神经网络、深度学习应用、深度学习硬件、深度学习的缺点。模块 IV：NLP（15 小时）NLP-NLP 的挑战、了解 AI 如何翻译语言、语音识别、现实世界中的 NLP-用例、语音商务、虚拟助理、图表、AI 的实施-实施 AI 的方法、AI 实施的步骤、组建团队、正确的工具和平台、AI 框架、部署和监控 AI 系统 5。参考
人工智能和数据分析行业培训
- 简介、神经网络和深度学习的历史、生物神经元的基础知识； - 深度多层感知器 (MLP)：符号、反向传播算法、激活函数、Dropout 层和正则化、整流线性单元 (ReLU)、权重初始化、批量标准化、用于多类分类的 Softmax； - 人工神经网络 - 卷积神经网络 (CNN)、卷积、图像边缘检测、填充和步幅、RGB 图像卷积、卷积层、最大池化、RNN、LSTM、使用 Keras 的神经网络模型和 Tensorflow、迁移学习。7 种用于人工智能和数据分析的工具和应用程序
神经网络中的量化优势与局限性
● 1943 年 - Pitts 和 McCulloch 创建了基于人脑神经网络的计算机模型 ● 20 世纪 60 年代 - 反向传播模型基础 ● 20 世纪 70 年代 - AI 寒冬：无法兑现的承诺 ● 20 世纪 80 年代 - 卷积出现，LeNet 实现数字识别 ● 1988-90 年代 - 第二次 AI 寒冬：AI 的“直接”潜力被夸大。AI = 伪科学地位 ● 2000-2010 年 - 大数据引入，第一个大数据集 (ImageNet) ● 2010-2020 年 - 计算能力，GAN 出现 ● 现在 - 深度学习热潮。AI 无处不在，影响着新商业模式的创建
基于阶段的神经网络进行回流焊曲线预测和回流焊配方优化，以实现质量和节能
在回流过程中，放置元件的电路板上会形成焊点，因此回流炉腔内的温度设置对 PCB 的质量至关重要。不适当的温度曲线会导致各种缺陷，如裂纹、桥接、分层等。焊膏制造商通常会提供理想的温度曲线（即目标温度曲线），而 PCB 制造商则会尝试通过微调炉的配方来满足给定的温度曲线。传统方法是调整配方，使用热测量设备收集热数据。它调整温度曲线依赖于反复试验的方法，这需要花费大量时间和精力。本文提出了 (1) 配方初始化方法，用于确定用于收集训练数据的初始配方；(2) 基于阶段（升温、浸泡和回流）的输入数据分割方法，用于数据预处理；(3) 反向传播神经网络 (BPNN) 模型，用于预测所需的区域温度以减少实际处理曲线与目标曲线之间的差距；(4) 混合整数线性规划 (MILP) 算法，用于生成最佳配方以最小化温度设置。本文旨在通过一次实验实现所需空气温度的非接触式预测。MILP 优化模型利用了从预测结果中获得的上限和下限约束。该模型已通过不同的初始配方和不同的目标曲线进行了交叉验证。结果，在开始实验的 10 分钟内，生成的最佳配方将与目标曲线的匹配度提高了 4.2%，达到 99%，同时降低了 23% 的能源成本。关键词：回流热配方优化、机器学习、基于阶段的分割、反向传播神经网络（BPNN）、混合整数线性规划（MILP）。
利用虚拟密集连接提升视觉变换器的对抗性迁移能力
随着视觉变换器 (ViT) 的巨大成就，基于变换器的方法已成为解决各种计算机视觉任务的新范式。然而，最近的研究表明，与卷积神经网络 (CNN) 类似，ViT 仍然容易受到对抗性攻击。为了探索不同结构模型的共同缺陷，研究人员开始分析跨结构对抗性迁移能力，而这方面仍未得到充分研究。因此，在本文中，我们专注于 ViT 攻击，以提高基于变换器和基于卷积的模型之间的跨结构迁移能力。先前的研究未能彻底调查 ViT 模型内部组件对对抗性迁移能力的影响，导致性能较差。为了克服这个缺点，我们开展了一项激励研究，通过线性缩小 ViT 模型内部组件的梯度来分析它们对对抗性迁移能力的影响。基于这项激励研究，我们发现跳跃连接的梯度对迁移能力的影响最大，并相信来自更深块的反向传播梯度可以增强迁移能力。因此，我们提出了虚拟密集连接方法（VDC）。具体来说，在不改变前向传播的情况下，我们首先重构原始网络以添加虚拟密集连接。然后，在生成对抗样本时，我们通过虚拟密集连接反向传播更深层注意力图和多层感知器（MLP）块的梯度。大量实验证实了我们提出的方法优于最先进的基线方法，ViT模型之间的可迁移性提高了8.2%，从ViT到CNN的跨结构可迁移性提高了7.2%。
训练稳定的神经普通微分方程-Indiento
神经普通微分方程（神经odes）是一个深层神经网络的新家族。本质上，神经极是一个微分方程，其向量场是神经网络。将神经颂作为机器学习模型的一部分，使该模型比标准模型更有效。的确，可以使用伴随灵敏度方法来训练模型的神经ode块，该方法计算梯度下降方法的梯度，以避免经典的反向传播的计算成本。我们对这一领域的贡献是对神经ode块的稳定性和合同性的研究，是一个微分方程，目的是设计训练策略，以使整体机器学习模型稳健且稳定，以抗对抗攻击。此海报基于[1]，[2]和[3]。
MATH0114 机器学习和人工智能数学
本模块将向学生介绍机器学习和人工智能中最广泛使用的一些方法背后的理论基础。我们将深入研究三种学习范式的数学基础，每种范式都包含一种旗舰方法：（i）监督学习的线性回归，（ii）无监督学习的主成分分析，以及（iii）深度学习的反向传播。此外，我们将研究扩散模型背后的数学原理，扩散模型是目前最值得注意的从文本生成图像的生成式人工智能方法之一。除了这些技术的理论方面，学生还将通过讲座中展示的实际示例接触机器学习算法的实际实施。将提供有关所研究方法的编码（使用 Python）的在线教程。