XiaoMi-AI文件搜索系统
World File Search SystemBACKPROPAGATION
![arxiv：2403.18929v1 [CS.NE] 2024年2月16日](/simg/g:\will\search\icon\source\a\a890579cc2bf33bdaefbe8ccb29a693d2a8a1909.webp)
arxiv：2403.18929v1 [CS.NE] 2024年2月16日
对深度学习中心的一项主要批评围绕用于学习的信用分配模式的生物学不可能 - 错误的反向传播。这种难以置信的性能转化为实际的局限性，涵盖了科学领域，包括与硬件和非差异实现的不兼容，从而导致了昂贵的能源需求。相比之下，生物学上合理的信用分配实际上与任何学习条件兼容，并且具有节能。因此，它适合硬件和科学建模，例如通过物理系统和非不同的行为学习。此外，它可以导致实时，自适应神经形态处理系统的发展。在解决这个问题时，已经出现了神经科学，认知科学和机器学习的交集的人工智能研究的跨学科分支。在本文中，我们调查了几种重要的算法，这些算法对人工神经网络中的信用分配规则进行了建模，讨论了它们为不同的科学领域提供的解决方案，以及它们在CPU，GPU和新颖的神经形态硬件实现方面提供的优势。我们通过探讨将需要解决的未来挑战，以使这种算法在实际应用中更有用。
机器学习的参数化量子电路
是否可以将量子计算机用于实现比传统方法更好的机器学习模型，并且此类方法适合当今的嘈杂量子硬件吗？在本论文中，我们制作了一个Python框架，用于基于在量子硬件上评估的参数化量子电路来实施机器学习模型。该框架能够实现量子神经网络（QNN）和量子电路网络（QCN），并使用基于梯度的方法训练它们。为了计算量子电路网络的梯度，我们基于利用经典和量子硬件的参数移动规则开发了一种反向传播算法。我们进行了一项数值研究，我们试图表征密集神经网络（DNNS），QNN和QCN的表现如何作为模型架构的函数。我们专注于研究消失的梯度现象，并分别使用经验纤维信息矩阵（EFIM）和轨迹长度来量化模型的训练性和表达性。我们还通过对人工数据以及现实世界数据集训练模型来测试模型的性能。
手语识别方法：综述
摘要：聋哑人士的翻译一直是人们面临的一个问题，因为他们主要依靠手语进行交流。尽管多个国家为聋哑人士提供了资源，例如新西兰就有一名手语翻译和新闻传播者，但聋哑人士社区的积极参与仍处于初级阶段。绑架、欺骗、火灾等令人不安的情况或任何其他普遍痛苦的情况可能会进一步加剧这种沟通障碍，因为哑巴尽了最大努力进行交流，但大多数人仍然不了解他们的语言。因此，弥合这两个世界之间的差距是至关重要的。本文旨在让读者简要了解手语交流的工作原理，并提出在该领域进行的研究，解释如何捕捉和识别手语，并尝试提出系统化的解决方案。关键词：希尔伯特曲线、支持向量机、随机森林、人工神经网络、前馈反向传播、霍夫变换、卷积神经网络、堆叠去离子解码器、多层感知器神经网络、自适应神经网络。
利用新兴存储设备进行内存计算
内存计算 (IMC) 已成为一种新的计算范式，能够缓解或抑制内存瓶颈，这是现代数字计算中能源效率和延迟的主要问题。虽然 IMC 概念简单且前景广阔，但其实施细节涵盖了广泛的问题和解决方案，包括各种内存技术、电路拓扑和编程/处理算法。本观点旨在提供涵盖 IMC 这一广泛主题的方向图。首先，将介绍内存技术，包括传统的互补金属氧化物半导体和新兴的电阻/忆阻设备。然后，将考虑电路架构，描述其目的和应用。电路包括流行的交叉点阵列和其他更先进的结构，例如闭环存储器阵列和三元内容可寻址存储器。同一电路可能服务于完全不同的应用，例如，交叉点阵列可用于加速神经网络中前向传播的矩阵向量乘法和反向传播训练的外积。本文将讨论实现电路功能多样化的不同算法和记忆特性。最后，本文将介绍 IMC 面临的主要挑战和机遇。
基于M-SVR算法的激光直接沉积熔体轨迹几何特征预测
摘要：几何特征是表征激光直接沉积质量的重要手段，提高预测模型的精度有助于提高沉积效率和质量。模型主要输入变量为激光功率、扫描速度和送粉速率，输出变量为熔轨宽度和高度。应用基于径向基函数（RBF）的多输出支持向量回归（M-SVR）模型，建立了熔轨几何特征预测的非线性模型。采用正交试验设计进行试验，随机选取试验结果作为训练和测试数据集。一方面，与单输出支持向量回归（S-SVR）建模相比，该方法将高度预测的均方根误差降低了22％，且训练速度更快，预测精度更高；另一方面，与反向传播（BP）神经网络相比，宽度的平均绝对误差降低了5.5％，平均绝对误差更小，泛化性能更好。因此，建立的模型可以为精确选择直接激光沉积工艺参数提供参考，提高沉积效率和质量。
StreamBrain：一种用于 CPU、GPU 和 FPGA 上的类脑神经网络的 HPC 框架
摘要 基于反向传播的现代深度学习方法越来越受欢迎，并已用于多个领域和应用领域。与此同时，还有其他鲜为人知的机器学习算法，它们具有成熟而坚实的理论基础，但其性能仍未被探索。类似大脑的贝叶斯置信传播神经网络 (BCPNN) 就是一个例子。在本文中，我们介绍了 StreamBrain——一个允许基于 BCPNN 的神经网络实际部署在高性能计算系统中的框架。StreamBrain 是一种领域特定语言 (DSL)，概念上类似于现有的机器学习 (ML) 框架，并支持 CPU、GPU 甚至 FPGA 的后端。我们通过经验证明 StreamBrain 可以在几秒钟内训练著名的 ML 基准数据集 MNIST，并且我们是第一个在 STL-10 大小网络上展示 BCPNN 的人。我们还展示了如何使用 StreamBrain 进行自定义浮点格式训练，并说明了使用 FPGA 对 BCPNN 使用不同 bfloat 变体的影响。关键词 HPC、无监督学习、表示学习、神经网络、AI、新兴机器学习、BCPNN、GPU、FPGA
相邻：扩散模型的有效梯度
相对于在模型输出上定义的某些可区分的度量标准的潜伏模型的潜在和参数的优化是一个具有挑战性且复杂的问题。通过求解概率流ode或扩散SDE来完成扩散模型的采样，其中神经网络近似得分函数，允许使用数值ode/sde求解器。但是，幼稚的反向传播技术是内存密集的，需要所有中间状态的存储，并且在处理扩散SDE扩散项的注入噪声时面临额外的复杂性。我们向扩散模型的连续伴随方程提出了一个新型的定制ode求解器家族，我们称之为相邻。我们利用扩散SDE的唯一构建，以进一步简化使用指数积分器的连续伴随方程的制定。此外，我们为定制求解器提供收敛订单保证。显着，我们表明，扩散SDE的连续伴随方程实际上简化为简单的ODE。最后，我们以面部变形问题的形式以对抗性发作的形式证明了相邻生成的有效性。我们的代码将在https：//github.com/zblasingame/adjointdeis上发布。
CLIF：用于脉冲神经网络的互补泄漏积分激发神经元
脉冲神经网络 (SNN) 是一种很有前途的受大脑启发的节能模型。与传统的深度人工神经网络 (ANN) 相比，SNN 表现出卓越的效率和处理时间信息的能力。然而，由于其不可微的脉冲机制，训练 SNN 仍然是一个挑战。替代梯度法通常用于训练 SNN，但与 ANN 相比，其准确性往往较差。我们通过对基于泄漏积分和激发 (LIF) 神经元的 SNN 的训练过程进行分析和实验研究，将准确性的下降与时间维度上梯度的消失联系起来。此外，我们提出了互补泄漏积分和激发 (CLIF) 神经元。CLIF 创建了额外的路径来促进计算时间梯度的反向传播，同时保持二进制输出。CLIF 是无超参数的，具有广泛的适用性。在各种数据集上进行的大量实验表明，CLIF 比其他神经元模型具有明显的性能优势。此外，CLIF 的性能甚至略优于具有相同网络结构和训练条件的优秀 ANN。代码可在 https://github.com/HuuYuLong/Complementary-LIF 获得。
人工智能 – 学士学位考试题目
1.[计算入门] 1 位加法器和半加器有什么区别，如何组合它们来构建 N 位加法器？2.[计算入门] 定义正则表达式，给出如何使用它们处理文本数据的示例 3.[人工智能入门] 用于学习前馈神经网络参数的反向传播算法。4.[人工智能入门] 数据挖掘中考虑的问题的基本类别（例如聚类和分类算法）。5.[编程入门] 根据示例简要描述以下机制：map、filter、zip 和列表推导。6.[编程入门] 简要描述 Python 中提供的面向对象原则。7.[编程入门] 简要描述 Python 中提供的基本数据结构。8.[人工生命和认知系统] 解释进化算法/进化策略/遗传编程/蚁群优化/粒子群优化的工作原理。9.[人工生命和认知系统] 列举认知架构的组成部分并讨论其用途。10.[概率简介] 描述条件概率、全概率定理和
人工智能在牙科实践中的应用
牙科修复治疗实践包括永久性和临时性填充材料、粘合系统、预防性应用、高速旋转工具以及用于腔体准备的手动工具。8 在他们的研究中，Zakeri 等人 9 分析了牙科中使用的高速旋转工具与牙齿和修复材料接触时的声音，并研究了这些声音的区别。在该研究中，汞合金和复合材料被用作修复材料，旨在帮助牙医防止在去除修复体过程中牙组织物质意外流失。Aliaga 等人 10 尝试使用他们开发的 AI 模型来确定最适合腔体的修复材料（汞合金或复合材料），该模型使用他们对过去几年进行的修复治疗的分析和放射学信息开发。在另一项研究中，开发了全景X光片（PR）中牙齿修复体的检测和分类模型，确定了83个PR中的11种修复体，发现该模型的修复体检测率为94.6％。11 在另一项研究中，结合反向传播和遗传算法方法，开发了一种可以在牙齿修复体中使用的材料与自然牙齿颜色匹配方面提供更准确估计的方法。12