XiaoMi-AI文件搜索系统
World File Search System权重矩阵
研究文章转移具有输出权重对准的极限学习机
极限学习机（ELM）是模式识别和机器学习中的快速且有效的神经网络模型，当标记的训练样本不足以使其下降。转移学习通过使用不同但相关域中的大量标记样本来帮助目标任务学习可靠的模型。在本文中，我们提出了一台具有知识传递性的监督极限学习机器，称为“转移极限学习机器”，具有输出权重对齐（telm-Owa）。首先，它通过对齐由来自源和目标域标记的样品训练的ELM的输出权重矩阵来减少域之间的分布差异。其次，将域间ELM输出权重矩阵之间的近似值添加到目标函数中，以进一步实现知识的跨域转移。tirdly，我们将目标函数视为最小平方问题，并将其转换为标准的ELM模型，以便有效地解决。最后，通过对16组图像数据集和6组文本数据集进行了分类实验对所提出算法的效果进行了验证，结果证明了我们方法相对于其他ELM模型和转移学习方法的竞争性能。
免费增加模型容量：简单...
最近，对大型预训练基础模型（例如 175B GPT-3）进行微调引起了更多下游任务的关注。虽然已经提出了参数高效的微调方法，并且无需重新训练所有模型参数就被证明是有效的，但它们的性能受到增量模块容量的限制，尤其是在参数预算受限的情况下。为了克服这一挑战，我们提出了 C APA B OOST，这是一种简单而有效的策略，它通过目标层中的并行权重模块利用低秩更新来增强模型容量。通过将静态随机掩码应用于共享权重矩阵，C APA B OOST 构建了一组多样化的权重矩阵，从而无需添加参数即可有效地提高增量权重的秩。值得注意的是，我们的方法可以无缝集成到各种现有的参数高效的微调方法中。我们通过对自然语言理解、问答和图像分类等各种下游任务的实验，广泛验证了 C APA B OOST 的有效性。我们的结果表明，与基线相比，我们有显着的改进，而不会产生额外的计算或存储成本。我们的代码可以在https://github.com/LINs-lab/CapaBoost上找到。
分布式NASH平衡寻求超过时变的定向通信网络
摘要 - 本文提出了一种分布式算法，以在一类不合作凸的游戏中找到NASH均衡，并具有部分决策信息。我们的方法与共识动态一起采用了分布式的投影梯度播放方法，而单个代理通过梯度步骤和与邻居的本地信息交流通过随时间变化的有向通信网络来最大程度地减少其本地成本。解决时变的定向图提出了重大挑战。现有方法通常通过关注静态图或有向图的特定类型或要求使用Perron-Frobenius EigenVectors进行扩展来避免这种情况。相比之下，我们建立了新的结果，该结果为与时变的行定量重量矩阵相关的混合术语提供了收缩特性。我们的方法根据权重矩阵和图形连接结构的特征明确表示收缩系数，而不是通过先前的研究中的第二大重量矩阵的奇异值隐式表示。既定的结果有助于证明所提出的算法的几何融合，并提高了随着时变的定向通信网络中分布式算法的收敛分析。nash-cournot游戏的数值结果证明了该方法的功效。
dipwmsearch：用于搜索 di-PWM 图案的 Python 包
摘要 动机 在序列中寻找概率基序是注释假定转录因子结合位点 (TFBS) 的常见任务。有用的基序表示包括位置权重矩阵 (PWM)、双核苷酸 PWM (di-PWM) 和隐马尔可夫模型 (HMM)。双核苷酸 PWM 结合了 PWM 的简单性（矩阵形式和累积评分函数），但也加入了基序中相邻位置之间的依赖关系（不同于忽略任何依赖关系的 PWM）。例如，为了表示结合位点，HOCOMOCO 数据库提供了来自实验数据的 di-PWM 基序。目前，两个程序 SPRy-SARUS 和 MOODS 可以在序列中搜索 di-PWM。结果 我们提出了一个 Python 包 dipwmsearch，它为这项任务提供了一种原创且高效的算法（它首先枚举 di-PWM 的匹配词，然后立即在序列中搜索它们，即使它包含 IUPAC 代码）。用户可以通过 Pypi 或 conda 轻松安装，使用文档化的 Python 界面和可重复使用的示例脚本，从而顺利使用 di-PWM。可用性和实施：dipwmsearch 可在 https://pypi.org/project/dipwmsearch/ 和 https://gite.lirmm.fr/rivals/dipwmsearch/ 下根据 Cecill 许可获得。
基于空间视角的中介效应模型
尽管数字经济促进经济高质量发展的作用日益增强，但从空间视角分析其作用机制的研究却十分匮乏。本文基于2013—2020年中国31个省份的面板数据，测度了数字经济与经济高质量发展水平。在此基础上，进一步通过空间杜宾模型和中介效应模型，分析了数字经济、科技创新对经济高质量发展的直接作用、溢出作用和中介作用。主要结论为：（1）数字经济、科技创新与经济高质量发展均表现出显著的空间相关性；（2）数字经济能够直接驱动经济高质量发展，溢出效应明显；（3）基于空间视角的作用机制分析表明，科技创新的中介作用显著。在使用滞后变量、更换权重矩阵、改变测量方法等进行稳健性检验后，结论依然成立。本研究为推动数字经济和经济高质量发展提供了理论支持和实证证据。
图神经网络的量子特征嵌入
量子计算提供了一种有希望的途径来降低日益增长的机器学习模型复杂性，这是天气预报、财务预测或工程的大型语言模型和模拟模型所必需的。图神经网络是一类特殊的机器学习模型，因其能够很好地处理结构化数据而备受关注。我们研究如何增强现有的 GNN，并通过归纳偏差发现量子电路最适合用于编码节点特征。提出的量子特征嵌入 (QFE) 将原始输入特征转换为量子态，从而实现非线性和纠缠表示。特别是，QFE 在指数级更大的特征空间中提供规范化、非冗余的权重矩阵，并且所需的量子比特比完全量子图神经网络少得多。在标准图基准数据集上，我们展示了对于相同参数数量，QFE 的表现优于其经典对应物，并且能够匹配指数级更大的模型的性能。最后，我们研究了在具体用例激光切割上使用混合量子图神经网络相对于经典替代方案的潜在优势。我们发现所提出的模型具有提升这些商业应用的性能，因此在短期内有潜力。
Ye Tian, Yang Zhao, Shengping Liu, Qiang Li, Wei Wang, Junbo Feng* and Jin Guo Scalable and compact photonic neural chip with low learning-capability-
摘要：光子计算因能以比数字电子替代方案高得多的时钟频率加速人工神经网络任务而受到广泛关注。特别是由马赫-曾德尔干涉仪 (MZI) 网格组成的可重构光子处理器在光子矩阵乘法器中很有前途。希望实现高基 MZI 网格来提高计算能力。传统上，需要三个级联 MZI 网格（两个通用 N × N 酉 MZI 网格和一个对角 MZI 网格）来表示 N × N 权重矩阵，需要 O ( N 2 ) 个 MZI，这严重限制了可扩展性。在此，我们提出了一种光子矩阵架构，使用一个非通用 N × N 酉 MZI 网格的实部来表示实值矩阵。在光子神经网络等应用中，它可能将所需的 MZI 减少到 O ( N log 2 N ) 级别，同时以较低的学习能力损失为代价。通过实验，我们实现了一个 4 × 4 光子神经芯片，并对其在卷积神经网络中的性能进行了基准测试，以用于手写识别任务。与基于传统架构的 O (N 2) MZI 芯片相比，我们的 4 × 4 芯片的学习能力损失较低。而在光学损耗、芯片尺寸、功耗、编码误差方面，我们的架构表现出全面的优势。
颠倒的强化学习（UDRL）是解决强化学习问题的有前途的框架，该问题着重于学习命令condi
颠倒的强化学习（UDRL）是解决强化学习问题的有前途的框架，该问题着重于学习命令条件条件政策。在这项工作中，我们将UDRL扩展到学习深神经网络策略的命令条件发生器的任务。我们使用HyperNeTworks完成了这一点，这是一系列快速权重程序员，该程序学会解码输入命令，代表所需的预期返回到特定于命令的权重矩阵。我们的方法是通过策略生成器（UDRLPG）被称为颠倒的增强学习，通过消除评估者或评论家以更新生成器的权重来简化可比较的技术。为了抵消由于没有评估者而引起的最后回报的增加的差异，我们将缓冲液的采样概率与其中的绝对策略数量解脱出来，该策略与简单的权重策略一起改善了算法的经验收敛。与现有算法相比，UDRLPG实现了竞争性能和高回报，有时表现出色的架构更为复杂。我们的实验表明，受过训练的发电机可以概括以创建可实现零射击返回的策略。所提出的方法似乎有效缓解与学习高度模式功能相关的一些挑战。总的来说，我们认为UDRLPG代表了在RL中实现更高的经验样本效率方面迈出的前进一步。https://github.com/jacopod/udrlpg全面实现UDRLPG