XiaoMi-AI文件搜索系统
World File Search SystemCNNS
补充材料
Rameters：内核大小k∈{3，6，12，24}，学习率η∈{0。0001，0。001}，在训练nopt∈{10，100}期间重复使用相同的VMC样品的迭代次数和训练算法a∈{原始，深（L层），Symforce-Init，Symforce-traj}。对于a∈{原始的，symforce-init，symforce-traj}，我们使用l = f = 1，其中l表示CNN层的数量，F表示CNN过滤器的数量。，当a = deep（l层）时，我们遵循[1]进行f和l的选择。我们使用l∈{2，3，8}。对于2层CNN，我们使用f∈{1，8，16}，对于更深的CNN，我们使用f∈{8，16}。对于超参数调整，我们通过设置张量[2]和numpy [3]的隆起种子来运行每个设置5次，并使用不同的随机初始化。收集实验结果后，我们首先删除在5个运行中的任何一个中引起差异的Hy-Perparameter设置。然后，对于每个（a，l，k），我们选择导致基态能量相对误差的最小绝对值的超级反感器。
卷积神经网络用于解码脑电图反应并可视化判别特征的逐次变化
背景：深度学习彻底改变了计算机视觉领域，其中卷积神经网络 (CNN) 从大型数据集中提取复杂的信息模式。深度网络在神经科学中的应用主要集中在神经成像或脑机接口 -BCI- 应用。在脑电图 (EEG) 研究中，多变量模式分析 (MVPA) 主要依赖于线性算法，该算法需要同质数据集，并假设判别特征在试验中以一致的延迟和电极出现。然而，神经反应可能会在实验过程中随时间或空间发生变化，导致对判别特征的低估。在这里，我们旨在利用时间和空间解锁的神经活动，使用 CNN 对 EEG 对外部刺激的反应进行分类，并在每次试验的基础上检查判别特征在实验过程中的变化情况。新方法：我们提出了一种新颖的流程，包括数据增强、CNN 训练和特征可视化技术，针对 EEG 数据的 MVPA 进行了微调。结果：我们的流程提供了高分类性能并可推广到新数据集。此外，我们表明，CNN 识别的分类特征在电生理学上是可解释的，并且可以在单次试验水平上重建，以研究类别特定判别活动的逐次试验演变。与现有技术的比较：将开发的流程与常用的 MVPA 算法（如逻辑回归和支持向量机）以及浅层和深层卷积神经网络进行了比较。我们的方法的分类性能明显高于现有的 MVPA 技术（p = 0.006），并且与其他 EEG 数据的 CNN 的结果相当。结论：总之，我们提出了一种用于 EEG 数据 MVPA 的新型深度学习流程，可以以数据驱动的方式提取逐次试验的判别活动。
黄朝宗（Chao-tsung Huang）副教授...
摘要：在人工智能的时代，卷积神经网络（CNN）正在成为一种用于图像处理的强大技术，例如去核，超分辨率甚至样式转移。他们表现出很大的潜力，可以将下一代相机和展示带入我们的日常生活。但是，传统的CNN加速器很难在边缘生成超高分辨率视频，因为它们的大量急速带宽和功耗。例如，用于降级的高级FFDNET可能需要131 GB/s的DRAM带宽，而在4K UHD 30FPS处则需要106个计算顶部。在这次演讲中，我将介绍我们最近的两部作品，以应对DRAM带宽和功耗的挑战。首先，我将讨论图像处理CNN带来的图像二线革命并阐述其设计挑战；为了清楚起见，他们与识别CNN的差异将得到强调。然后，我将以整体方式介绍我们的第一份作品 - ECNN [Micro'19]，共同优化推理流，网络模型，指令集和处理器设计。尤其是，具有面向硬件的ERNET模型的基于块的推理流可以支持FFDNET级DINOISING和SRRESNET级超分辨率，在4K UHD 30 FPS下使用小于2 GB/s的DRAM带宽。最后，我将介绍我们的第二件作品（ISCA'21]，它利用了Ring Argebra的常规稀疏度，以实现近乎最大的硬件节省和优雅的卷积发动机质量降解。布局结果表明，可以分别使用3.76 W和2.22 W进行等效的41个高位计算，分别以40 nm的技术为50％（无质量下降）和75％和75％（PSNR下降的0.11 dB）。
№1（130）1225年。
摘要本文概述了传统神经网络体系结构的演变，例如完全连接的网络，卷积神经网络（CNNS）和经常性的神经网络（RNNS） - 变形金刚的跨形成范式。它突出了变形金刚通过引入提出机制，实现有效的并行处理并捕获长期依赖性来彻底改变深度学习，而这些依赖性较早就在努力处理。然后，本文专注于将这些原理应用于图形结构化数据。它探讨了图形神经网络（GNNS）如何，尤其是图形注意力网络（GAT），将注意力机制和位置编码整合在一起，以有效地模拟节点之间的复杂关系。重点放在gat在不同领域的实际实用性，从推荐系统和药物发现到欺诈检测和时间序列的异常检测。通过此综合，本文强调了基于注意力的方法对Handling复杂，相互联系的数据集的不断增长，并概述了正在进行的研究方向，这些研究方向推动了图形转换的领域。
最低核心学科领域：机械工程
- 典型主题：机器学习的概率、统计和线性代数；深度学习：神经网络和卷积神经网络（CNN）；强化学习和机器人技术；特征工程和选择；模型选择和评估；机器学习的 Python 和 R 编程语言；机器学习的数据可视化；机器学习中的道德考虑和偏见；机器学习在工程中的实际应用。
EdgeWise：随机通信延迟下边缘设备上的节能 CNN 计算
本文提出了一个框架，以实现边缘设备上卷积神经网络 (CNN) 的节能执行。该框架由一对通过无线网络连接的边缘设备组成：性能和能耗受限的设备 D 作为数据的第一个接收者，能耗不受约束的设备 N 作为 D 的加速器。设备 D 动态决定如何分配工作负载，以尽量减少其能耗，同时考虑到网络延迟固有的不确定性和数据传输所涉及的开销。这些挑战通过采用马尔可夫决策过程 (MDP) 的数据驱动建模框架来解决，其中 D 在 O(1) 时间内查阅最优策略来做出逐层分配决策。作为一个特例，还提出了一种线性时间动态规划算法，用于在假设网络延迟在整个应用程序执行过程中保持不变的情况下一次性找到最佳层分配。所提出的框架在由 Raspberry PI 3 作为 D 和 NVIDIA Jetson TX2 作为 N 组成的平台上进行了演示。与完全在 D 和 N 上执行 CNN 的替代方案相比，能耗平均降低了 31% 和 23%。还实施了两种最先进的方法，并与所提出的方法进行了比较。
调查运动历史图像和卷积神经网络，以供孤立的爱尔兰手语手指识别
摘要手语的全球能力有限，是通过重要和必要的计算处理来改善聋人和听力障碍社区的沟通。为了解决这个问题，我们的研究利用了爱尔兰手语形状（ISL-HS）数据集和最先进的深度学习体系结构来识别爱尔兰手语字母。我们通过使用运动历史图像（MHIS）来监视手语动作，简化特征提取方法，并为有效利用卷积神经网络（CNN）铺平道路。在这项研究中研究了许多强大的CNN体系结构在MHI中捕获的复杂运动模式中的有效性。该过程包括从ISL数据集生成MHI，然后使用这些图像训练多个CNN神经网络模型，并评估其识别爱尔兰手语字母的能力。结果证明了使用高级CNN调查MHI以增强手语识别的可能性，并以值得注意的精度百分比。通过为爱尔兰手语的语言处理工具和技术的开发做出贡献，这项研究有可能解决爱尔兰聋哑和听力障碍社区缺乏技术交流的可访问性和包容性。
神经放射学中的人工智能、机器学习和深度学习：当前的应用
任何模拟人类智能的计算机技术都被视为人工智能。人工智能由机器学习 (ML) 和深度学习 (DL) 组成（图 1）。机器学习设计系统从经验中学习和改进，而无需使用计算机技术基于统计数据进行预编程。机器学习使用作为示例的观察结果和数据来创建一些模型和算法，然后用于做出未来的决策。在机器学习中，存在一些“基本事实”，用于训练算法。一个例子是神经放射科医生将一组脑部 CT 扫描分为不同的组（即出血与无出血）。目标是设计软件自动学习，独立于任何人为干预或协助做出进一步的决策（图 2）。深度学习代表机器学习处理，它应用人工卷积神经网络 (CNN) 来加速学习过程 [2, 3]。CNN 是作为建模工具组织的统计数据的非线性结构。它们可以通过几步（层）非线性变换来模拟输入和输出之间的复杂关系，这是其他解析函数无法表示的[2]。
人工智能在临床实践中的作用
机器能够学习的方法称为深度学习（DL），其中包括人工神经网络（ANN）和复杂的神经网络（CNN）。以下流动（图2和3）解释了人工智能中涉及的每个组件的作用。机器学习（ML）方法可以分为三种类型的学习，可以监督，无监督和加强。第一种类型用于分类或预测任务，而第二种类型的有助于实现数据隐藏模式。增强学习根据以前的学习版本最大化奖励。深度学习（DL）利用CNN可以自动从输入数据中提取相关信息，从而消除了对手动特征识别和提取的需求。dl在医学疾病诊断和个性化治疗建议中表现出了希望。例如，在正畸中，已经出现了基于AI的多模块化诊断系统，例如Diagnocat Ltd.，该系统使用CNN进行精确的牙科诊断。DL模型通过检测CBCT图像中的根尖细胞病变来帮助龋齿检测和牙髓受累，这可能有助于临床工作。2
图形卷积网络用于模拟多孔介质中的多相流量和传输
多孔介质中多相流体动力学的数值模拟对于地球地下的许多能量和环境应用至关重要。数据驱动的次要模型为高保真数字模拟器提供了计算廉价的替代方案。虽然常用的卷积神经网络（CNN）在近似部分微分方程解决方案方面具有强大的功能，但CNN处理不规则和非结构化的模拟网格仍然具有挑战性。然而，地球地下的模拟模型通常涉及与复杂的网格网格的非结构化网格，从而限制了CNN的应用。为了应对这一挑战，我们基于图形卷积网络（GCN）构建了替代模型，以近似多孔介质中多相流和传输过程的空间 - 周期解。我们提出了一种适合耦合PDE系统双曲线特征的新GCN体系结构，以更好地捕获传输动力学。2D异质测试案例的结果表明，我们的替代物以高精度预测压力和饱和状态的演变，并且预测的推出对于多个时间步中仍然稳定。此外，基于GCN的模型可以很好地推广到训练数据集中看不见的不规则域几何和非结构化网格。