XiaoMi-AI文件搜索系统
World File Search System特征映射
ESSCC 2024-机器学习加速器
3 TSMC，Hsinchu，Taiwan *同样信誉的作者（ECAS）增强视频质量对于在包括手机，电视和监视器在内的智能设备上获得了增强的用户体验至关重要。实用的硬件设计应在与带宽，区域和能源预算相关的严格限制下提供最小资源的高性能。在图像处理任务中，深入学习算法的广泛用法（包括超分辨率（SR）和降噪（NR））进一步强调了能量效率硬件解决方案的必要性。因此，新兴的关键要求是在实时和高分辨率方案中部署这些算法。但是，实现这一目标提出了几个挑战，如图20.1.1：1）高分辨率网络推断大大增加了由于其计算复杂性，低稀疏性和高精度要求而引起的功耗； 2）频繁的高精度数据交易到外部内存会导致与带宽使用相关的大量功率使用； 3）有效和灵活的机制对于支持各种网络结构和操作至关重要。域特异性加速器提供了一种有希望的解决方案来处理计算需求。总的来说，这些创新使NVE能够在0.46V时达到23.2吨/w的端到端能量效率，而面积的效率为12.0吨/mm 2的面积为1.0V。图20.1.2显示了整体体系结构，包括卷积（Conv）核心，计算机视觉（CV）核心和直接内存访问（DMA）模块。图20.1.3概述了DCIM核心设计和工作流。在这项工作中，提出了在3NM技术中制造的12B位数基于CIM的神经视觉增强引擎（NVE），其特征是：1）无重量的无重量数字计算机（DCIM）发动机，其重量切换率降低，以增强计算能力的功能； 2）卷积元素（CE）融合建立了工作负载平衡的管道架构，从而减少了外部内存访问和功耗； 3）自适应数据控制和带状优化机制支持DCIM中的卷积和转置卷积，并改善了利用率，并且对有效的数据遍历进行了优化的执行流。Conv Core包含11个阶段的管道CE，用于存储中间数据的功能映射存储器，CE融合接口和融合控制。a fine编译器分区将计算图分隔为时区域的循环和太空划分的条纹，以优化吞吐量和内存访问，然后在命令描述符中编码重量和设置。DMA将描述符解码并从DRAM或TCM中加载输入特征映射，以基于线的栅格扫描顺序为核心。在管道流中，每个CE从特征映射存储器和前面的管道阶段收集数据，并将其分配到DCIM宏。宏计算每个周期中的8组点产量，其中每组涉及72对12B元素。权重局部存储在18组行中，其特定集由行选择器选择。在实验结果中证明了使用更频繁使用的8b的12B激活和权重的必要性。在拟议的行开关更高的精度有助于产生更平滑的边缘和最小化超分辨率任务中的噪声。同样，在降低降噪任务中，更高的精度会导致较少的流动性，并产生更重的图像。DCIM的高效率很大程度上是由于记忆和逻辑之间的数据移动降低，这对于最大程度地减少了频繁的重量重音至关重要。先前的工作[1]引入了带有乒乓重量更新的2行DCIM设计，但除了dcim宏中的乒乓球重量存储外，它会引起重量重加载和其他SRAM的电源和面积。利用像素级网络中的权重较少，采用了18行DCIM来存储所有权重并消除重新加载。与[1]中提出的方法相比，这种方法分别将面积和功率降低了31％和28％。影响DCIM效率的另一个因素是重量排开关的频率，这是计算不同权重集合时发生的能量耗尽操作。延长行开关周期可以减少能源消耗，但它还需要在输入和输出缓冲区中存储更多像素，从而导致较大的面积在开销中。
人工智能与机器学习 IV 年级课程大纲
神经网络与深度学习 B.Tech. IV 第一年 学期 LTPC 3 0 0 3 课程目标： 介绍人工神经网络的基础知识 获取有关深度学习概念的知识 学习各种类型的人工神经网络 获取应用优化策略的知识 课程成果： 能够理解神经网络的概念 能够选择学习网络来建模现实世界系统 能够使用有效的深度模型算法 能够将优化策略应用于大规模应用 UNIT-I 人工神经网络简介、ANN 的基本模型、重要术语、监督学习网络、感知器网络、自适应线性神经元、反向传播网络。联想记忆网络。模式关联的训练算法、BAM 和 Hopfield 网络。 UNIT-II 无监督学习网络-简介，固定权重竞争网络，Maxnet，Hamming 网络，Kohonen 自组织特征映射，学习矢量量化，反向传播网络，自适应共振理论网络。特殊网络-各种网络的介绍。 UNIT - III 深度学习简介、深度学习的历史趋势、深度前馈网络、基于梯度的学习、隐藏单元、架构设计、反向传播和其他微分算法 UNIT - IV 深度学习的正则化：参数范数惩罚、范数惩罚作为约束优化、正则化和欠约束问题、数据集增强、噪声鲁棒性、半监督学习、多任务学习、早期停止、参数类型化和参数共享、稀疏表示、Bagging 和其他集成方法、Dropout、对抗性训练、切线距离、切线 Prop 和流形、切线分类器 UNIT - V 训练深度模型的优化：神经网络优化中的挑战、基本算法、参数初始化策略、具有自适应学习率的算法、近似二阶方法、优化策略和元算法应用：大规模深度学习、计算机视觉、语音识别、自然语言处理教科书：1. 深度学习：麻省理工学院出版社出版的书籍，作者：Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 2. 神经网络和学习机器，Simon Haykin，第 3 版，Pearson Prentice Hall。