XiaoMi-AI文件搜索系统
World File Search System神经网
介绍深度神经网络优化中的突触整合原理
众所周知，大脑中的可塑性电路通过突触整合和突触强度局部调节机制受到突触权重分布的影响。然而，迄今为止设计的大多数人工神经网络训练算法都忽略了刺激依赖性可塑性与局部学习信号之间的复杂相互作用。在这里，我们提出了一种新型的生物启发式人工神经网络和脉冲神经网络优化器，它结合了皮质树突中观察到的突触可塑性的关键原理：GRAPES（调整误差信号传播的组责任）。GRAPES 在网络的每个节点上实施依赖于权重分布的误差信号调制。我们表明，这种生物启发式机制可以显著提高具有前馈、卷积和循环架构的人工神经网络和脉冲神经网络的性能，它可以减轻灾难性遗忘，并且最适合专用硬件实现。总的来说，我们的工作表明，将神经生理学见解与机器智能相结合是提高神经网络性能的关键。
在 HPC 基础设施上扩展脉冲神经网络
1 机器人、人工智能与实时系统，慕尼黑工业大学信息学院，德国慕尼黑，2 于利希超级计算中心 (JSC) 神经科学模拟与数据实验室，高级模拟研究所，JARA，于利希研究中心有限公司，德国于利希，3 瑞士国家超级计算中心 (CSCS)，苏黎世联邦理工学院，瑞士卢加诺，4 神经计算单元，冲绳科学技术研究生院，日本冲绳，5 机器人与人工智能卓越系，生物机器人研究所，Scuola Superiore Sant'Anna，意大利蓬泰代拉，6 计算机架构与技术系，格拉纳达大学信息与通信技术研究中心，西班牙格拉纳达，7 图像处理研究团队，日本理化学研究所先进光子学中心，和光，8 计算工程应用单元，信息系统与网络安全总部，理化学研究所，日本和光市、9 日本东京电气通信大学信息与工程研究生院、10 德国于利希研究中心、神经科学与医学研究所 (INM-6)、高级模拟研究所 (IAS-6)、JARA BRAIN 研究所 I、11 德国亚琛工业大学计算机科学 3-软件工程、12 日本神户理化学研究所计算科学中心
通过图卷积和可逆神经网络对潜在空间中的点云进行去噪
点云经常包含噪声和异常值，为下游应用带来障碍。在本文中，我们介绍了一种新颖的点云去噪方法。通过利用潜在空间，我们明确地发现噪声成分，从而可以提取干净的潜在代码。这反过来又有助于通过逆变换恢复干净点。我们网络中的一个关键组件是一个新的多层图卷积网络，用于捕获从局部到全局各个尺度的丰富几何结构特征。然后将这些特征集成到可逆神经网络中，该网络双射映射潜在空间，以指导噪声解缠结过程。此外，我们使用可逆单调算子来模拟变换过程，有效地增强了集成几何特征的表示。这种增强使我们的网络能够通过将噪声因素和潜在代码中的内在干净点投影到单独的通道上来精确区分它们。定性和定量评估均表明，我们的方法在各种噪声水平下都优于最先进的方法。源代码可在 https://github.com/yanbiao1/PD-LTS 获得。
证明生产的神经网络验证
a b s t r a c t - d ee p n e u r a l a l a l a l a l a t w o rk s（d nn s） EE t h e ir c o rr e c t n e ss。C o n s e qu e n t l y , t h e v e ri f i c a t i o n c o m - m un i t y h a s d e v i s e d m u l t i p l e t e c hn i qu e s a nd t oo l s f o r v e ri f y i ng D NN s .w h e n d nn v e ri f i e r s d i s d i s c o v e r a n i n i n i n i n i n p t t h t h t t t ri gg e r s a n e rr o r s a n e rr o r，t h a t h a t i s e s e s e s s y s y t o c o c o c o c o n f ir m; bu t w h e n t h e y r e p o r t t h a t n o e rr o r e x i sts , t h e r e i s n o w a y t o e n s u r e t h a t t h e v e ri f i c a t i o n t oo l i ts e l f i s n o t f l a w e d .A s m u l t i p l e e rr o r s h a v e a lr e a d y b ee n o b s e r v e d i n D NN v e ri f i c a t i o n t oo l s , t h i s c a ll s t h e a pp li c a b ili t y o f D NN v e ri f i c a t i o n i n t o qu e st i o n .I n t h i s w o rk, w e p r e s e n t a n o v e l m e c h a n i s m f o r e nh a n c i ng Si m p l e x - b a s e d D NN v e ri f i e r s wi t h p r oo f p r od u c t i o n c a p a b ili t i e s : t h e g e n e r a t i o n o f a n e a s y -t o -c h e c k wi t n e ss o f un s a t i s f i s f i a a b ili t y，w h i c h a tt e sts tt e sts t o t o t h e a a b s e a a b s e n c e n c e o f e rr s r s r s。o u r p r o f p r o o d o d o d o n i s b a s e s e n e n e n e n e n e n e f f f i c i c i c i c i e n t a d a p t a p t a t a t a t a t a t i o n o n o n o n o f t i o n o f t e w e ll -k n o w n f a rk a rk a rk a rk a rk a rk a s s'l e l e mma -li n e a r f un c t i o n s and nd nu m e ri c a l p r e c i s i o n e rr o r s。a s a p r oo f c o n c e p t e nn v e gh e d e c e d e c e c e c e c e. div>o u r e a t y s e g A. t y s a c a c a t y s e q -c ir e o n l y m i n i m o v e r h e a d a d。 div>
权重无关神经网络
并非所有神经网络架构都是一样的，有些架构在某些任务上的表现比其他架构好得多。但是，与神经网络架构相比，权重参数有多重要？在这项工作中，我们想知道，在没有学习任何权重参数的情况下，神经网络架构本身能在多大程度上为给定任务编码解决方案。我们提出了一种搜索方法，用于搜索无需任何明确权重训练就能执行任务的神经网络架构。为了评估这些网络，我们用从均匀随机分布中采样的单个共享权重参数填充连接，并测量预期性能。我们证明，我们的方法可以找到无需权重训练就能执行多项强化学习任务的最小神经网络架构。在监督学习领域，我们发现使用随机权重在 MNIST 上实现远高于偶然准确率的网络架构。本文的交互式版本位于 https://weightagnostic.github.io/
神经网络中的量化优势与局限性
● 1943 年 - Pitts 和 McCulloch 创建了基于人脑神经网络的计算机模型 ● 20 世纪 60 年代 - 反向传播模型基础 ● 20 世纪 70 年代 - AI 寒冬：无法兑现的承诺 ● 20 世纪 80 年代 - 卷积出现，LeNet 实现数字识别 ● 1988-90 年代 - 第二次 AI 寒冬：AI 的“直接”潜力被夸大。AI = 伪科学地位 ● 2000-2010 年 - 大数据引入，第一个大数据集 (ImageNet) ● 2010-2020 年 - 计算能力，GAN 出现 ● 现在 - 深度学习热潮。AI 无处不在，影响着新商业模式的创建
使用以 Morgan 指纹为特征的深度神经网络模型预测 ErbB 抑制剂的结合亲和力
ErbB 受体家族（包括 EGFR 和 HER2）在细胞生长和存活中起着至关重要的作用，并与乳腺癌和肺癌等各种癌症的进展有关。在本研究中，我们开发了一个深度学习模型，使用基于 SMILES 表示的分子指纹来预测 ErbB 抑制剂的结合亲和力。每种 ErbB 抑制剂的 SMILES 表示均来自 ChEMBL 数据库。我们首先从 SMILES 字符串生成 Morgan 指纹，并应用 AutoDock Vina 对接来计算结合亲和力值。根据结合亲和力过滤数据集后，我们训练了一个深度神经网络 (DNN) 模型来根据分子指纹预测结合亲和力值。该模型取得了显著的性能，训练集上的均方误差 (MSE) 为 0.2591，平均绝对误差 (MAE) 为 0.3658，R 平方 (R²) 值为 0.9389。尽管在测试集上性能略有下降（R² = 0.7731），但该模型仍然表现出强大的泛化能力。这些结果表明深度学习方法对于预测 ErbB 抑制剂的结合亲和力非常有效，为虚拟筛选和药物发现提供了宝贵的工具。