XiaoMi-AI文件搜索系统
World File Search System稀疏
通过最优稀疏决策树预测医学实验室测试的紧急程度：超声心动图案例研究
背景：在当代医疗保健领域，实验室测试是推动精准医疗进步的基石。这些测试提供了对各种医疗状况的深入见解，从而促进了诊断、预后和治疗。然而，某些测试的可及性受到诸如高成本、专业人员短缺或地理差异等因素的阻碍，这对实现公平的医疗保健构成了障碍。例如，超声心动图是一种极其重要且不易获得的实验室测试。对超声心动图的需求不断增加，凸显了更高效的调度协议的必要性。尽管有这种迫切的需求，但在这一领域的研究却有限。目标：本研究旨在开发一种可解释的机器学习模型，以确定需要超声心动图检查的患者的紧急程度，从而帮助确定调度程序的优先级。此外，本研究旨在利用机器学习模型的高可解释性，深入了解影响超声心动图预约优先级的关键属性。方法：基于来自电子健康记录的大量现实世界超声心动图预约数据集（即 34,293 个预约），进行了实证和预测分析以评估患者的紧急程度，该数据集包含管理信息、转诊诊断和潜在患者状况。我们使用了一种最先进的可解释机器学习算法，即最佳稀疏决策树 (OSDT)，该算法以高准确性和可解释性而闻名，来研究与超声心动图预约相关的属性。结果：与表现最佳的基线模型相比，该方法表现出令人满意的性能（F 1 -score=36.18%，提高了 1.7% 和 F 2 -score=28.18%，比表现最佳的基线模型提高了 0.79%）。此外，由于其高度可解释性，结果为通过从 OSDT 模型中提取决策规则来识别紧急患者进行测试提供了宝贵的医学见解。结论：该方法表现出了最先进的预测性能，证实了其有效性。此外，我们通过将 OSDT 模型得出的决策规则与既定的医学知识进行比较来验证这些决策规则。这些可解释的结果（例如 OSDT 模型中的属性重要性和决策规则）强调了我们的方法在优先考虑患者紧急程度的超声心动图预约方面的潜力，并且可以扩展到使用电子健康记录数据优先考虑其他实验室测试预约。
sfpnet：用于一般激光雷德点云上语义分割的稀疏焦点网络
摘要。尽管LiDAR语义分割迅速发展，但最先进的方法通常融合了源自机械旋转激光雷的基准的专门设计的诱导偏差。这可以将模型的通用性限制在其他类型的LiDAR技术中，并使超参数调整更加复杂。为了解决这些问题，我们提出了一个广义框架，以通过我们稀疏的焦点调制来代替窗户注意力来适应市场中普遍存在的各种各样的发光剂。我们的SFPNET能够阐述多层上下文，并使用栅极机制动态聚集它们。通过实现渠道信息查询，编码包含本地和全局上下文的功能。我们还引入了一种新型的大型混合溶质激光雷达语义segmentation数据集，用于机器人应用。sfpnet表现出对源自机械旋转激光雷达的常规基准测试的竞争性能，同时在从固态激光拉尔的基准上实现最新结果。此外，它在我们的新型数据集中的现有方法胜过来自混合固体激光雷达的新型数据集。代码和数据集可从https://github.com/cavendish518/sfpnet和https://www.semanticindustry.top获得。
Andrew V. Sutherland稀疏的自动编码器用于增强学习模型中的可解释性
最近的工作表明，稀疏的自动编码器（SAE）能够有效地发现语言模型中的人解释功能，从玩具模型到最先进的大语言模型等等。这项工作探讨了SAE的使用是否可以推广到机器学习的其他品种，特定的，加固学习，以及如何（如果有的话）将SAES适应这一实质上不同的任务所需的修改。本研究使用玩具加强学习环境来进行经验实验，研究了SAE代表强化学习模型作为可解释特征的能力的定性和定量度量。发现SAE成功地将深Q网络的内部激活分解为可解释的特征，此外，这些人解释的某些特征代表了对仅凭深度Q网络单独输出而无法发现的基本任务的内部理解。
受大脑启发的稀疏训练使 Transformers 和 LLM 能够像全连接模型一样运行
本研究旨在扩大我们目前对脑启发网络科学原理在训练具有稀疏连接的人工神经网络（ANN）中的应用的认识。动态稀疏训练（DST）可以减少ANN训练和推理的计算需求，但现有方法在高连接稀疏度水平下难以保持最佳性能。Cannistraci-Hebb训练（CHT）是一种受大脑启发的增加DST连接的方法。CHT利用无梯度、拓扑驱动的链接再生机制，与完全连接的网络相比，该机制已被证明可以在各种任务中实现超稀疏（1％连接或更低）的优势。然而，CHT有两个主要缺点：（i）它的时间复杂度为O（N·d3） - N节点网络大小，d节点度 - 因此它只能有效地应用于超稀疏网络。 (ii) 它严格选择最高的链接预测分数，这不适合早期的训练阶段，因为此时网络拓扑结构中存在许多不可靠的连接。在这里，我们提出了一个矩阵乘法 GPU 友好的 CH 链接预测器近似值，它将计算复杂度降低到 O(N3)，从而能够在大型模型中快速实现 CHT。此外，我们引入了 Cannistraci-Hebb 训练软规则 (CHTs)，它采用灵活的策略在链接移除和重新生长中采样连接，平衡网络拓扑的探索和利用。为了进一步提高性能，我们将 CHT 与 S 型逐渐密度衰减策略相结合，称为 CHTss。经验
分析中排名列表的稀疏数据列表得分阐明了算法折衷
。cc-by-nd 4.0国际许可在A未获得Peer Review的认证）是作者/资助者，他已授予Biorxiv的许可证，以永久显示预印本。它是制作
Andrew V. Sutherland 稀疏的自动编码器用于增强学习模型中的可解释性
美国专利US-6609117-B2和US-6349292-B1，“通过公共网络分配邮资的系统和方法，可以有效地打印邮政指示，并在要邮寄的项目上进行邮寄并进行身份验证，” A.V.Sutherland，M.R。Klugerman，F.M。 d'ippolito，2002和2003。Klugerman，F.M。d'ippolito，2002和2003。
基于熵的逻辑回归与自动相关性判定，用于稳健的稀疏脑活动解码
摘要 —最近的研究利用稀疏分类从高维大脑活动信号中预测分类变量以揭示人类的意图和心理状态，并在模型训练过程中自动选择相关特征。然而，现有的稀疏分类模型很容易受到大脑记录中固有噪声的影响而导致性能下降。为了解决这个问题，我们旨在在本研究中提出一种新的稳健稀疏分类算法。为此，我们将相关熵学习框架引入基于自动相关性确定的稀疏分类模型，提出一种新的基于相关熵的稳健稀疏逻辑回归算法。为了证明所提算法卓越的大脑活动解码性能，我们在合成数据集、脑电图 (EEG) 数据集和功能性磁共振成像 (fMRI) 数据集上对其进行了评估。大量实验结果证实，所提出的方法不仅可以在噪声和高维分类任务中实现更高的分类准确率，而且可以为解码场景选择更具信息量的特征。将相关熵学习方法与自动相关性确定技术相结合将显著提高对噪声的鲁棒性，从而产生更充分鲁棒的稀疏脑解码算法。它为现实世界的脑活动解码和脑机接口提供了更强大的方法。
NISPA：受神经启发的稳定性-可塑性适应，用于稀疏网络中的持续学习
持续学习 (CL) 的目标是随着时间的推移学习不同的任务。与 CL 相关的主要需求是保持旧任务的表现，利用后者来改进未来任务的学习，并在训练过程中引入最小的开销（例如，不需要增长模型或重新训练）。我们提出了神经启发稳定性-可塑性适应 (NISPA) 架构，通过固定密度的稀疏神经网络解决这些需求。NISPA 形成稳定的路径来保存从旧任务中学到的知识。此外，NISPA 使用连接重新布线来创建新的可塑性路径，以便在新任务上重用现有知识。我们对 EMNIST、FashionM-NIST、CIFAR10 和 CIFAR100 数据集的广泛评估表明，NISPA 的表现明显优于具有代表性的最先进的持续学习基线，并且与基线相比，它使用的可学习参数减少了十倍。我们还认为稀疏性是持续学习的必要因素。NISPA 代码可在 https://github.com/BurakGurbuz97/NISPA 上找到
通过联合多任务稀疏规范相关分析和分类来识别诊断特异性基因型 - 表型关联
摘要：基因疗法在与年龄相关的黄斑变性（AMD），糖尿病性视网膜病（DR）和糖尿病性黄斑水肿（DME）的治疗领域中有望成为一种变革性方法，旨在应对频繁的频繁发生的抗血管内血管内膜生长因子（VEGF）的挑战。本手稿评论了这些疾病的持续基因治疗临床试验，包括ABBV-RGX-314，ixoberogene Soroparvovec（IXO-VEC）和4D-150。ABBV-RGX-314利用腺相关病毒（AAV）载体来提供编码ranibizumab样抗VEGF抗体抗体片段的转基因，在1/2A和正在进行的阶段2B/3试验中表现出令人鼓舞的结果。IXO-VEC使用AAV2.7M8 CAPSID用于玻璃体内递送的转基因表达Aflibercept，在第1阶段和正在进行的2阶段试验中表现出令人鼓舞的结果。4d-150利用进化的载体表达Aflibercept和VEGF-C抑制性RNAi，在1/2阶段的研究中表现出阳性的临时结果。审查的其他疗法包括EXG102-031，FT-003，KH631，OLX10212，JNJ-1887，4D-175和OCU410。这些疗法提供了降低的治疗频率和增强安全概况的潜在优势，这代表了管理范式向耐用和有效的基于细胞的生物效果的范式。基因疗法中的这些进步有望改善AMD的结果并应对DME和DR的复杂挑战，从而为治疗糖尿病眼病提供了新的途径。
一种自适应的半空间投影方法，用于稀疏正则化的随机优化问题
在各种下游应用中，稀疏正则化的优化问题无处不在，例如深层神经网络（DNNS）的特征选择和压缩。尽管如此，当将这种正则化与随机损耗函数结合使用时，文献中现有的方法并不能很好地执行。，设计具有转换保证的计算有效算法并可以计算组较高的解决方案是一项挑战。最近，提出了一种半空间的预测梯度（HSPG）方法，部分解决了这些挑战。本文介绍了我们称之为ADAHSPG+的HSPG的大大增强版本，这取得了两个明显的进步。首先，与HSPG所要求的假设相比，ADAHSPG+在明显较宽的假设下具有更强的收敛结果。通过将差异技术与新的自适应策略整合在一起，以迭代预测解决方案的支持来实现这种改善。第二，与HSPG相比，ADAHSPG+的参数调整要少得多，从而使其更实用和用户友好。通过设计自动和自适应策略来选择每次迭代中采用的步骤类型并更新关键的HyperParam-eters来实现这一进步。我们提出的ADAHSPG+算法的数值有效性在凸面和非凸基准问题上都证明了。源代码可在https://github.com/tianyic/adahspg上找到。