动物神经系统在处理感觉输入方面非常有效。神经形态计算范式的目的是针对神经网络计算的硬件实施,以支持用于构建脑启发的计算系统的新颖解决方案。在这里,我们从果实幼虫的神经系统中的感觉处理中汲取灵感。具有<200个神经元和<1.000的强烈有限的计算资源,幼虫嗅觉途径采用基本计算来转变外围的广泛调节的益人的输入,成为中央大脑中良好的稀疏代码。我们展示了这种方法如何使我们能够在尖峰神经网络中实现刺激模式的稀疏编码和提高的可分离性,并在混合体信号实时神经形态硬件上通过软件仿真和硬件仿真验证。我们验证反馈抑制是在神经元种群中支持空间结构域稀疏性的主要基础,而尖峰频率适应和反馈抑制的组合决定了时间域中的稀疏性。我们的例外表明,在神经形态硬件上有效地实现了如此大小的生物学上现实的神经网络,可以实现并行处理并有效地编码在全时间分辨率下进行感官。
基于CRISPR的单细胞转录组筛选是有效的遗传工具,可同时评估由一组指南RNA(GRNA)靶向的细胞的表达式,并从观察到的扰动中推断靶基因函数。然而,由于各种局限性,这种方法在检测弱扰动方面缺乏灵敏度,并且在研究主调节器(例如转录因子)时基本上是可靠的。为了克服检测微妙的GRNA诱导的转录组扰动和对响应最快的细胞进行分类的挑战,我们开发了一种新的监督自动编码器神经网络方法。我们稀疏的监督自动编码器(SSAE)神经网络提供相关特征(基因)和实际扰动细胞的选择。我们将此方法应用于基于基于缺氧的长期非编码RNA(LNCRNA)的子集的基于内部单细胞CRISPR干扰(CRISPRI)转录组筛查(CROCPRI)转录组筛选(CROP-SEQ),该子集受缺氧调节的疾病,该疾病在肺腺癌(Lung adenacoarcinoma)(LUAD)的背景下促进了肿瘤的侵略性和耐药性。针对LNCRNA的子集进行了经过验证的GRNA的农作物序列库,并且作为阳性对照,HIF1A和HIF2A(低氧反应的2个主要转录因子)在3、6或24 h期间在正态氧中培养的A549 LUAD细胞中转导的2个主要转录因子。我们首先通过确定在低氧反应的时间开关期间确定其敲低的特定效应,从而验证了HIF1A和HIF2上的SSAE方法。接下来,SSAE方法能够检测出稳定的短缺氧依赖性转录组特征,该特征是由某些LNCRNA候选者的敲低诱导的,表现优于先前发表的
人类大脑利用尖峰进行信息传输,并动态地重组其网络结构,以提高能源效率和认知能力的整个生命周期。从这种基于尖峰的计算中汲取灵感,已开发出尖峰神经网络(SNN)来构建模仿该效率的事件驱动的模型。尽管有这些进步,但在训练和推断期间,深SNN仍遭受过度参数化,与大脑自我组织的能力形成鲜明对比。此外,由于静态修剪比率保持最佳的修剪水平,现有的稀疏SNN受到挑战,导致下降或过度修剪。在本文中,我们为深SNN提出了一种新型的两阶段动态结构学习方法,旨在从头开始进行有效的稀疏训练,同时优化压缩效率。第一阶段使用PQ索引评估了SNN中现有稀疏子网络的可压缩性,这促进了基于数据压缩见解的突触连接的重新线的自适应确定。在第二阶段,这种重新布线的比率严格告知动态突触连接过程,包括修剪和再生。这种方法显着改善了对深SNN中稀疏结构训练的探索,从压缩效率的角度来动态地调整稀疏性。我们的实验表明,这种稀疏的训练方法不仅与当前的深SNNS模型的性能保持一致,而且还显着提高了压缩稀疏SNN的效率。至关重要的是,它保留了使用稀疏模型启动培训的优势,并为将AI授予神经形态硬件的边缘提供了有前途的解决方案。
在临床研究中采用高含量的OMIC技术,再加上计算方法,产生了大量的候选生物标志物。但是,将这种发现转化为真正的临床生物标志物仍然具有挑战性。为了促进此过程,我们引入了Stabl,这是一种通用的机器学习方法,该方法通过将噪声注入和数据驱动的信号对噪声阈值集成到多变量的预测建模中来识别稀疏,可靠的生物标志物。对合成数据集的STABL评估和五项独立的临床研究表明,与常用的稀疏性促进正则化方法相比,生物标志物的稀疏性和可靠性得到了改善,同时保持预测性能;它将包含1,400-35,000个功能的数据集蒸馏到4-34个候选生物标志物。stabl扩展到多摩尼克的整合任务,从而实现了复杂预测模型的生物学解释,因为它可以在蛋白质组织,代谢组和细胞计算事件的入围名单中进行磨练,从而预测了劳动力发作,术前出生的微生物生物标记物,并在术后术后的免疫特征。Stabl可从https://github.com/gregbellan/stabl获得。
摘要。稀疏的RGBD场景完成是一项具有挑战性的任务,尤其是在整个场景中考虑一致的纹理和几何形状时。与依赖人类设计的文本提示或预定义相机轨迹的现有解决方案不同,我们建议GenRC(一种无自动训练的管道)来完成带有高保真纹理的房间尺度3D网格。为了实现这一目标,我们首先将稀疏的RGBD图像投射到高度不完整的3D网格上。我们利用提出的电子扩散来生成视图一致的全景RGBD图像,而不是填充空白的新视图来填补空白,以确保全局几何形状和外观一致性。此外,我们通过文本内版本维护输入输出场景风格的一致性,以替换人类设计的文本提示。为了弥合数据集之间的域间隙,电子扩散利用了在大规模数据集中训练的模型,以生成各种外观。genRC在Scan-Net和Arkitscenes数据集上的大多数外观和几何指标下的最新方法都优于ART方法,即使没有在这些数据集上训练GENRC,也没有使用预定义的摄像机轨迹。项目页面:https://minfenli.github.io/genrc/
结构该课程应在完全离线模式下进行,讲座24小时和24小时的教程。更多详细信息可以在网站上找到:https://sites.google.com/view/giansparsegraph/home重要日期的最后日期注册的最后日期:2025年1月31日(优先级给予较早注册的人)接受: (星期日)2025)参与▪主要目标参与者是博士学位。来自数学或计算机科学的学生或研究兴趣的相关部门在于图理论和图形算法。本课程可能会导致研究项目和合作。▪高级大师(M.Sc./m.tech。或同等的)学生也鼓励具有特殊兴趣和背景的学生和算法参与。▪来自知名的学术机构和技术机构的感兴趣的教职员工也被视为潜在参与者。
深度神经网络 (DNN) 是图像、语音和文本处理的最新技术。为了解决训练时间长和能耗高的问题,自定义加速器可以利用稀疏性,即零值权重、激活和梯度。提出的稀疏卷积神经网络 (CNN) 加速器支持使用不超过一个动态稀疏卷积输入进行训练。在现有的加速器类别中,唯一支持双面动态稀疏性的是基于外积的加速器。然而,当将卷积映射到外积时,会发生与任何有效输出都不对应的乘法。这些冗余笛卡尔积 (RCP) 降低了能源效率和性能。我们观察到在稀疏训练中,高达 90% 的计算都是 RCP,它们是由 CNN 训练后向传递期间大矩阵的卷积产生的,用于更新权重。在本文中,我们设计了一种机制 ANT 来预测和消除 RCP,与外积加速器结合使用时可以实现更高效的稀疏训练。通过预测超过 90% 的 RCP,在使用 DenseNet- 121 [ 38 ]、ResNet18 [ 35 ]、VGG16 [ 73 ]、Wide ResNet (WRN) [ 85 ] 和 ResNet-50 [ 35 ] 的 90% 稀疏训练中,ANT 比类 SCNN 加速器 [67] 实现了 3.71 倍的几何平均速度提升,能耗降低了 4.40 倍,面积增加了 0.0017 平方毫米。我们将 ANT 扩展到稀疏矩阵乘法,以便同一个加速器可以预测稀疏全连接层、Transformer 和 RNN 中的 RCP。
摘要随着脑机接口 (BCI) 的最新进展,脑电图 (EEG) 分析得到了各个领域的广泛研究关注。了解 EEG 分析的弱点对于在日常生活中安全地应用这项新兴技术非常重要。最近的研究表明,在 EEG 数据上添加小扰动时,EEG 分析容易受到对抗性攻击。然而,对于在仅攻击一小部分数据的稀疏扰动下 EEG 分析的稳健性的研究较少。在本文中,我们首次深入研究了稀疏扰动下 EEG 分析的稳健性,并提出了第一个稀疏对抗性 eeG 攻击 SAGA,以识别 EEG 分析的弱点。具体而言,通过将 EEG 数据视为从多个通道收集的时间序列,我们设计了一个自适应掩码来统一表示对抗性攻击中的不同稀疏性。我们进一步引入了基于 PGD 的迭代求解器,在给定的稀疏性约束下自动选择时间步长和通道,并有效地识别 EEG 数据上的对抗性示例。大量实验表明,SAGA 可以有效地生成稀疏扰动,并且仅通过扰动 5% 的通道和时间步长就平均导致准确率下降 77.02%。
结构在运行时可以做到即使某一个模态信息缺失整个网络也能取得不错的效果 , 在多通道情感识别、 语义理解、目标学习等领域取得很好的效果 .尽管如此 , 这类网络相对于任务来说还是相对 “ 具体 ”, 如 果要换一个任务 , 用户就需要修改网络结构包括重新调整参数 , 这使得深度神经网络结构的设计是一 个耗时耗力的过程 .因此研究者们希望一个混合的神经网络结构可以同时胜任多个任务 , 以减少其在 结构设计和训练方面的工作量 .鉴于此 , 研究者开始致力于首先采用大数据联合训练构建出多通道联 合特征分享层 , 然后在识别阶段可以同时进行多任务处理的深度多模态融合结构 .如 Google 的学者 尝试建议一个统一的深度学习模型来自适应地适配解决不同领域、不同数据模态下的多个不同类型 的任务 , 且在特定任务上的性能没有明显损失的模型 [71] .该模型构架请见文献 [71] 的图 2, 由处理输 入的编码器、编码输入与输出混合的混合器、混合输出的解码器 3 个部分构成 , 文献 [71] 的图 3 给 出了这 3 个部分的详细描述 .每一个部分的主体结构类似 , 均包含多个卷积层、注意力机制和稀疏门 控专家混合层 .其中 , 不同模块中的卷积层的作用是发现局部模式 , 然后将它泛化到整个空间 ; 注意力 模块和传统的注意力机制的主要区别是定时信号 , 定时信号的加入能让基于内容的注意力基于所处的 位置来进行归纳和集中 ; 最后的稀疏阵列混合专家层 , 由前馈神经网络 ( 专家 ) 和可训练的门控网络组 成 , 其选择稀疏专家组合处理和鉴别每个输入 .
摘要 — 神经形态计算机提供了低功耗、高效计算的机会。虽然它们主要应用于神经网络任务,但也有机会利用神经形态计算机的固有特性(低功耗、大规模并行、共置处理和内存)来执行非神经网络任务。在这里,我们演示了一种在神经形态计算机上执行稀疏二进制矩阵向量乘法的方法。我们描述了这种方法,它依赖于二进制矩阵向量乘法和广度优先搜索之间的联系,并介绍了以神经形态方式执行此计算的算法。我们在模拟中验证了该方法。最后,我们讨论了该算法的运行时间,并讨论了未来神经形态计算机在执行此计算时可能具有计算优势的地方。索引术语 — 神经形态计算、图算法、矩阵向量乘法、脉冲神经网络