大脑图对大脑区域之间的结构和功能关系进行了建模,在涉及图分类的神经科学和临床应用中至关重要。然而,密集的大脑图构成了计算挑战,包括高运行时间和记忆使用和有限的解释性。在本文中,我们研究了图神经网络(GNN)中的有效设计,以消除嘈杂的边缘来稀疏脑图。虽然先前的作品根据解释性或任务 - 涉及属性去除嘈杂的边缘,但不能保证它们在通过频繁图提高性能方面的有效性。此外,现有方法通常忽略了多个图形的集体边缘去除。为了解决这些问题,我们引入了一个迭代框架来分析不同的稀疏模型。我们的发现是作为下降的:(i)优先考虑可解释性的方法可能不适合图形稀疏性,因为它们可以在图形分类任务中降低GNNS的性能; (ii)与GNN训练同时学习边缘分类比训练后更有益; (iii)跨图的共享边缘选择优于每个图的单独选择; (iv)与任务相关的梯度信息有助于边缘选择。基于这些见解,我们提出了一个新的模型,可解释的图形泄漏(IGS),该模型可增强图形分类性能高达5.1%,而边缘减少了55.0%。IG识别的保留边缘提供了神经科学解释,并得到了公认的文献的支持。
在各种下游应用中,稀疏正则化的优化问题无处不在,例如深层神经网络(DNNS)的特征选择和压缩。尽管如此,当将这种正则化与随机损耗函数结合使用时,文献中现有的方法并不能很好地执行。,设计具有转换保证的计算有效算法并可以计算组较高的解决方案是一项挑战。最近,提出了一种半空间的预测梯度(HSPG)方法,部分解决了这些挑战。本文介绍了我们称之为ADAHSPG+的HSPG的大大增强版本,这取得了两个明显的进步。首先,与HSPG所要求的假设相比,ADAHSPG+在明显较宽的假设下具有更强的收敛结果。通过将差异技术与新的自适应策略整合在一起,以迭代预测解决方案的支持来实现这种改善。第二,与HSPG相比,ADAHSPG+的参数调整要少得多,从而使其更实用和用户友好。通过设计自动和自适应策略来选择每次迭代中采用的步骤类型并更新关键的HyperParam-eters来实现这一进步。我们提出的ADAHSPG+算法的数值有效性在凸面和非凸基准问题上都证明了。源代码可在https://github.com/tianyic/adahspg上找到。
摘要 - 本文提出了基于动态预测采样(DPS)类似物对数字转换器(ADC),该转换器(ADC)提供了输入类似物连续时间信号的非均匀采样。处理单元使用两个先前的采样来生成输入信号的动态预测,以计算上阈值的数字值和较低的阈值。数字阈值值转换为模拟阈值以形成跟踪窗口。动态比较器将输入模拟信号与跟踪窗口进行比较,以确定词典是否成功。A计数器记录时间戳在不成功的预测之间,这是用于量化的选定采样点。未对成功预测的采样点执行量化,以便可以保存数据吞吐量和功率。使用0.18微型CMOS工艺采样在1 kHz时设计为10位ADC。结果表明,与用于ECG监测的Nyquist Rate SAR ADC相比,提出的系统可以达到6.17的数据压缩系数,而节省的功率为31%。
深度神经网络越来越大,因此更难在受限的物联网设备上部署。拆分计算提供了一种解决方案,即拆分网络并将前几层放置在物联网设备上。这些层的输出被传输到云端,然后继续进行推理。早期的研究表明中间激活输出具有一定程度的高稀疏性,本文分析并利用激活稀疏性来减少将中间数据传输到云端时的网络通信开销。具体来说,我们分析了 CIFAR-10 和 ImageNet 上 ResNet-50 中两个早期层的中间激活,重点关注稀疏性以指导选择分割点的过程。我们对激活和特征图进行了动态修剪,发现稀疏性非常依赖于层的大小,权重与卷积层中的激活稀疏性无关。此外,我们表明,稀疏中间输出可以压缩 3.3 倍,准确度损失 1.1%,无需任何微调。当添加微调时,压缩系数增加到 14 倍,总体准确度损失为 1%。
我们引入了一种基于在随机两部分图上解决约束满意度问题(CSP)的生成随机多量稳定器代码的方法。此框架使我们能够在CSP中同时执行X/z平衡,X/z平衡,有限速度,稀疏性和最大程度的结合,然后我们可以在数值上解决。使用状态的CSP求解器,我们获得了令人信服的证据,证明存在着满意的阈值。此外,可满足相的范围随量子的数量而增加。在该阶段,发现稀疏代码成为一个简单的问题。此外,我们观察到在满足相的相中发现的稀疏代码实际上实现了擦除噪声的通道容量。我们的申请表明,中间大小的有限速率稀疏量子代码很容易找到,同时还展示了一种具有自定义properties的良好代码的功能可靠方法。因此,我们建立了一个完整且可自定义的管道,以进行随机Quantum code Discovery。
赫布学习是大脑最成熟的原理之一,它催生了神经组装的理论概念。在此基础上,许多有趣的大脑理论应运而生。Palm 的工作通过二元联想记忆实现了这一概念,该模型不仅具有广泛的认知解释能力,而且还能做出神经科学预测。然而,联想记忆只能与对数稀疏表示一起工作,这使得将该模型应用于真实数据极其困难。我们提出了一个生物学上合理的网络,将图像编码为适合联想记忆的代码。它被组织成专门研究局部接受场的神经元组,并通过竞争方案进行学习。在对两个视觉数据集进行自关联和异关联实验后,我们可以得出结论,我们的网络不仅超越了稀疏编码基线,而且接近使用最佳随机代码实现的性能。
摘要 - 为了主动浏览和遍历各种特征,主动使用视觉感知是必不可少的。我们旨在调查使用稀疏视觉观测值的可行性和性能,以在以人为中心的环境中在一系列常见的地形(步骤,坡道,间隙和楼梯)上实现感知运动。我们制定了适合在感兴趣地形上运动的稀疏视觉输入的选择,并提出了一个学习框架,以整合外部感受和本体感受状态。我们专门设计了状态观察和培训课程,以在各种不同的地形上有效地学习反馈控制政策。我们在各种任务中广泛验证和基准了学到的政策:在地面上行走的全向行走,并在各种障碍物上向前移动,显示出高成功的遍历率。此外,我们通过在新的看不见的地形上增加各种水平的噪声和测试来研究外观感受性消融并评估政策概括。我们证明了自主感知运动的能力,只能使用直接深度测量中的稀疏视觉观测来实现,这些观察值易于从激光雷达或RGB-D传感器中易于获得,在20厘米高度的高高高度上显示出强大的上升和下降,即20 cm的高度,即50%的腿长和强劲的腿部和稳健的噪声和Unigeseen anderseenseles anderseens anderseens anderseen anderseenseles anderseen anderseen sereen seleseen anderains ternales anderains。
时间分解是官方统计中常用的一种方法,用于对 GDP 等关键经济指标进行高频估计。传统上,这种方法仅依赖几个高频指标系列来生成估计值。然而,大量且不断增加的行政和替代数据源的盛行促使需要将这种方法调整为高维设置。在本文中,我们提出了一种新颖的稀疏时间分解程序,并将其与经典的 Chow-Lin 方法进行了对比。我们通过模拟研究展示了我们提出的方法的性能,强调了实现的各种优势。我们还探讨了它在英国国内生产总值数据分解中的应用,证明了该方法在潜在指标数量大于低频观测数量时能够发挥作用。
摘要 量子范式呈现出一种称为退化的现象,这种现象可以潜在地提高量子纠错码的性能。然而,在评估稀疏量子码的性能时,这种机制的影响有时会被忽略,逻辑错误率并不总是能被正确报告。在本文中,我们讨论了以前存在的计算逻辑错误率的方法,并提出了一种受经典编码策略启发的基于陪集的有效方法来估计退化错误并将其与逻辑错误区分开来。此外,我们表明,所提出的方法为 Calderbank-Shor-Steane 码系列提供了计算优势。我们使用这种方法证明,退化错误在特定的稀疏量子码系列中很常见,这强调了准确报告其性能的重要性。我们的结果还表明,文献中提出的改进解码策略是提高稀疏量子码性能的重要工具。
