XiaoMi-AI文件搜索系统
World File Search System剪枝
修剪神经网络中相互抵消的权重
如果神经网络规模较大，则往往在训练时获得更高的准确度，即使生成的模型参数过多。但是，在训练之前、之中或之后小心地删除过多的参数，也可能产生准确度相似甚至更高的模型。在许多情况下，这可以通过简单的启发式方法实现，例如删除一定比例的绝对值最小的权重，即使绝对值并不是权重相关性的完美指标。在获得明显更佳的剪枝性能取决于考虑删除多个权重的综合影响这一前提下，我们重新审视了基于影响的剪枝的经典方法之一：最佳脑外科医生 (OBS)。我们提出了一种易于处理的启发式方法来解决 OBS 的组合扩展，其中我们选择要同时删除的权重，并将其与未剪枝权重的单次系统更新相结合。我们的选择方法在高稀疏性方面优于其他方法，如果在这些方法之后应用单次权重更新，也会很有优势。源代码：github.com/yuxwind/CBS。
组合脑外科医生：修剪神经网络中相互抵消的权重
如果神经网络规模较大，则往往在训练时获得更高的准确度，即使生成的模型参数过多。但是，在训练之前、之中或之后小心地删除过多的参数，也可能产生准确度相似甚至更高的模型。在许多情况下，这可以通过简单的启发式方法实现，例如删除一定比例的绝对值最小的权重，即使绝对值并不是权重相关性的完美指标。在获得明显更佳的剪枝性能取决于考虑删除多个权重的综合影响这一前提下，我们重新审视了基于影响的剪枝的经典方法之一：最佳脑外科医生 (OBS)。我们提出了一种易于处理的启发式方法来解决 OBS 的组合扩展，其中我们选择要同时删除的权重，并将其与未剪枝权重的单次系统更新相结合。我们的选择方法在高稀疏性方面优于其他方法，如果在这些方法之后应用单次权重更新，也会很有优势。源代码：github.com/yuxwind/CBS。
神经网络
深度神经网络 (DNN) 已成为对大脑和行为进行建模的重要工具。一个关键的关注领域是将这些网络应用于对人类相似性判断进行建模。之前的一些研究使用了视觉 DNN 倒数第二层的嵌入，并表明对这些特征进行重新加权可以改善人类相似性判断与 DNN 之间的契合度。这些研究强调了这样一种观点，即这些嵌入形成了良好的基础集，但缺乏正确的显着性水平。在这里，我们重新审视了这一想法的依据，相反，我们假设这些嵌入除了形成良好的基础集之外，还具有正确的显着性水平来解释相似性判断。只是需要修剪大维嵌入以选择与相似性空间建模所考虑的领域相关的特征。在研究 1 中，我们根据人类相似性判断的子集监督了 DNN 修剪。我们发现，剪枝：i) 改进了 DNN 嵌入中人类相似性判断的样本外预测，ii) 与 WordNet 层次结构产生更好的对齐，iii) 保留了比重新加权更高的分类准确率。研究 2 表明，通过神经生物学数据进行剪枝对于改进 DNN 嵌入中大脑衍生的表征相异矩阵的样本外预测非常有效，有时可以充实原本无法观察到的同构。使用剪枝后的 DNN，可以生成图像级热图来识别特征加载在由大脑区域编码的维度上的图像部分。因此，由人类大脑/行为监督的剪枝可以有效地识别 DNN 和人类之间可对齐的知识维度，并构成一种理解神经网络中知识组织的有效方法。© 2023 作者。由 Elsevier Ltd. 出版。这是一篇根据 CC BY 许可协议 ( http://creativecommons.org/licenses/by/4.0/ ) 开放获取的文章。
人工智能主题：• Mini-Max 算法 • Alpha-Bet
最小最大算法 Alpha-Beta 剪枝 人工智能中的最小最大算法 最小最大算法是一种递归或回溯算法，用于决策和博弈论。它为玩家提供最佳走法，假设对手也发挥最佳。最小最大算法使用递归来搜索游戏树。 最小最大算法主要用于人工智能中的游戏，如国际象棋、跳棋、井字游戏、围棋和各种双人游戏。该算法计算当前状态的最小最大决策。在这个算法中，两个玩家玩游戏，一个称为 MAX，另一个称为 MIN。两个玩家都进行战斗，因为对手玩家获得最小利益，而他们获得最大利益。游戏的两个玩家都是对方的对手，其中 MAX 将选择最大值，而 MIN 将选择最小值。最小最大算法执行深度优先搜索算法来探索完整的游戏树。极小最大算法一直进行到树的终端节点，然后以递归的方式回溯树。 极小最大算法的工作原理 可以用一个例子轻松描述极小最大算法的工作原理。下面我们举一个代表双人游戏的游戏树的例子。在这个例子中，有两个玩家，一个叫做最大化者，另一个叫做最小化者。最大化者将尝试获得最高可能的分数，而最小化者将尝试获得最低可能的分数。该算法应用 DFS，因此在这个游戏树中，我们必须一直穿过叶子才能到达终端节点。在终端节点，给出了终端值，因此我们将比较这些值并回溯树，直到初始状态发生。 Alpha-beta 剪枝 Alpha-beta 剪枝是极小最大算法的修改版本。它是极小最大算法的一种优化技术。正如我们在极小最大搜索算法中看到的那样，它必须检查的游戏状态数量在树的深度上呈指数增长。由于我们无法消除指数，但可以将其减半。因此，有一种技术可以计算出正确的极小极大决策，而无需检查博弈树的每个节点，这种技术称为剪枝。这涉及两个阈值参数 Alpha 和 beta，用于未来扩展，因此称为 alpha-beta 剪枝。它也被称为 Alpha-Beta 算法。
矮化和自剪枝的基因组编辑可快速赋予适合植物工厂的特性，同时保留番茄的有用特性
采用人工光照的植物工厂比露天种植受作物栽培环境因素的影响更小，作为解决世界粮食问题的解决方案之一而受到关注。然而，植物工厂的栽培成本高于露天种植，目前，工厂化种植的有利可图的作物品种仅限于那些体型较小或生长期较短的品种。番茄是世界各地主要消费作物之一，但由于其株高和株宽较大，尚不适合在植物工厂中大规模生产。本研究利用 CRISPR–Cas9 方法对 GABA 超积累番茄品种#87-17 的 DWARF( D ) 和 SELF-PRUNING( SP ) 基因进行基因组编辑，以生产矮化番茄植株。在 T 1 基因组编辑代中获得了所需性状，果实性状与原始品种几乎相同。另一方面，含有 d 和 sp 突变的 #87-17 与 Micro-Tom 之间的 F 2 杂交品种矮化，但果实表型是两个品种性状的混合。这表明使用 CRISPR–Cas9 对这两个基因进行基因组编辑可以有效地赋予适合植物工厂化栽培的性状，同时保留原始品种的有用性状。
有限深度的量子格子枚举
1 [1] Albrecht 等人“估计格子筛的量子加速” [5] Chailloux 等人“通过量子随机游动进行格子筛分” 2 [3] Bai 等人“量子格枚举的具体分析” 3 [2] Aono 等人“量子格枚举和调整离散剪枝”
OMAD：针对物质和非物质用户的设备上心理异常检测
摘要 —COVID-19 期间的居家令有助于拉平曲线，但具有讽刺意味的是，它却引发了物质使用障碍患者的心理健康问题。使用现成的消费级可穿戴设备（如智能手表）测量大脑中的电活动信号并将其实时映射到潜在的情绪、行为和情绪变化，在假设心理健康异常方面发挥着重要作用。在这项工作中，我们建议实现一种可穿戴的设备心理异常检测 (OMAD) 系统，以检测导致心理健康问题的异常行为和活动，并帮助临床医生设计有效的干预策略。我们提出了一种基于脑电图 (EEG) 信号的内在伪影去除模型，以更好地关联细粒度的行为变化。我们在伪影去除和活动识别（主要）模块上设计了模型压缩技术。我们在卷积神经网络和多层感知器上实现了基于幅度的权重剪枝技术，以在 Nvidia Jetson Nano 上使用推理阶段；可穿戴设备中最受资源限制的设备之一。我们尝试了三种不同的特征提取和伪影去除方法组合。我们使用对照组和治疗组（酒精组）的 EEG 数据，针对不同的物体识别任务，评估了 OMAD 在未剪枝和压缩模型的准确度、F1 分数、内存使用率和运行时间方面的性能。我们的伪影去除模型和主要活动检测模型分别实现了约 ≈ 93% 和 90% 的准确度，模型大小（70%）和推理时间（31%）显著减少。索引术语 — 物质使用障碍、精神异常检测、EEG 伪影、权重剪枝、资源受限设备。
最佳大脑压缩：准确的训练后量化和修剪框架
我们考虑深度神经网络 (DNN) 在具有挑战性的一次性/后训练环境中的模型压缩问题，在该环境中，我们获得了一个经过精确训练的模型，并且必须仅基于少量校准输入数据对其进行压缩，而无需进行任何重新训练。鉴于新兴的软件和硬件支持通过加速剪枝和/或量化来执行压缩模型，这个问题变得很普遍，并且已经针对这两种压缩方法分别提出了性能良好的解决方案。在本文中，我们介绍了一种新的压缩框架，该框架在统一的环境中涵盖权重剪枝和量化，具有时间和空间效率，并且大大提高了现有后训练方法的实际性能。在技术层面，我们的方法基于 [LeCun、Denker 和 Solla，1990] 的经典最佳脑外科医生 (OBS) 框架的精确和高效实现，该框架扩展到还涵盖现代 DNN 规模的权重量化。从实际角度来看，我们的实验结果表明，它可以显著改善现有后训练方法的压缩-准确度权衡，并且可以在后训练环境中实现修剪和量化的准确复合应用。
CAP 6635 - 人工智能学分
所涵盖主题的简要列表：• 人工智能基本概念概述，• 不知情搜索，包括 DFS、BFS、IDS • 知情搜索，采用启发式方法，包括 A* 搜索和 IDA* 搜索。• 最小-最大搜索 • Alpha beta 剪枝。• 知识表示 • 联结系统，包括人工神经网络 • 以及新兴机器学习，包括粒子群。• 进化系统，包括遗传算法、遗传编程和进化艺术。• 与计算智能和人类智能有关的哲学问题。
第五学期人工智能与机器学习
模块 II：（12 小时）对抗性搜索 - 游戏、Mini-Max 算法、多人游戏中的最佳决策、Alpha-Beta 剪枝、评估函数、切断搜索、逻辑代理 - 基于知识的代理、逻辑、命题逻辑、命题逻辑中的推理模式、解析、前向和后向链接 - 一阶逻辑 - 一阶逻辑的语法和语义、使用一阶逻辑、一阶逻辑中的知识工程 - 一阶逻辑中的推理 - 命题与一阶推理、统一和提升、前向链接、后向链接、解析