XiaoMi-AI文件搜索系统
World File Search System矩阵乘法
抑制剂：有效变压器（学生摘要）
为了提高量化的传输器的计算效率，我们仅用涉及添加和relu激活的替代机制代替了点产生和基于软max的提示。此侧位于矩阵乘法通常需要的双重精度上的扩展，并避免了昂贵的软效果评估，但保持了传统点产物关注的大部分核心功能。它可以在资源约束的硬件或算法算术系统（例如同态加密）上获得更有效的执行并支持更大的量化变压器模型。在四个常见基准任务上进行的训练实验显示了测试集的预测分数，与传统变压器的观点相媲美。我们的缩放体验还表明，无论是在宣传和加密之外，都表明了大量的计算节省。本文中引起的基于RELU和基于加法的注意机制可以通过避免加密变量的昂贵乘法来实现在同态加密下运行的隐私AI应用。
Applied Digital 使用 Supermicro AI 服务器
Applied Digital 认为，最适合其用户的系统是 Supermicro SYS- 821GE-TNHR，它配备双第四代英特尔® 至强® 铂金处理器 8462Y+。这些服务器使用 NVIDIA HGX H100 GPU，每个 GPU 配备 80GB 内存。NVIDIA H100 为 HPC 提供 67 万亿次浮点运算的 FP64 Tensor Core 计算，而融合 AI 的 HPC 应用程序可以利用 H100 的 TF32 精度实现单精度矩阵乘法运算的 1 千万亿次浮点运算吞吐量。该系统在计算节点内托管八个 H100 Tensor Core GPU 和 900GB/s NVSwitch，用于 GPU 到 GPU 的通信。Applied Digital 选择 2TB 的系统 RAM 来在转移到 GPU 内存之前暂存工作负载。对于网络，Applied Digital 使用 100GbE 进行带内管理和对象存储，并使用 NDR 结构进行 GPU Direct 和融合闪存文件系统流量。利用 NVIDIA DGX 参考架构，Applied Digital 可扩展到在单个并行计算集群中工作的数千个 H100 GPU。
线性代数的变分算法
量子算法已经发展成为高效解决线性代数任务的算法。然而，它们通常需要深度电路，因此需要通用容错量子计算机。在这项工作中，我们提出了适用于有噪声的中型量子设备的线性代数任务变分算法。我们表明，线性方程组和矩阵向量乘法的解可以转化为构造的汉密尔顿量的基态。基于变分量子算法，我们引入了汉密尔顿量变形和自适应分析，以高效地找到基态，并展示了解决方案的验证。我们的算法特别适用于具有稀疏矩阵的线性代数问题，并在机器学习和优化问题中有着广泛的应用。矩阵乘法算法也可用于汉密尔顿量模拟和开放系统模拟。我们通过求解线性方程组的数值模拟来评估算法的成本和有效性。我们在 IBM 量子云设备上实现了该算法，解决方案保真度高达 99.95%。2021 中国科学出版社。由 Elsevier BV 和中国科学出版社出版。这是一篇根据 CC BY-NC-ND 许可协议开放获取的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。
m Xu：实现高精度和复杂矩阵...
摘要 - 备受瞩目的人工智能和机器学习（AI/ML）工作负载，对标准和复杂的浮点数的高性能矩阵操作的需求仍然很强，但服务不足。ever，广泛采用的低精度矩阵处理单元（MXU）只能满足对AI/ML工作负载的需求，AI/ML工作负载在其目标域以外运行应用程序时未充分利用或空闲。本文介绍了M 3 XU，支持IEEE 754单精制和复杂32位浮点数的多模式矩阵处理单元。m 3 XU不依赖更精确的乘数。相反，M 3 XU提出了一种多步方法，该方法扩展了AI/ML工作负载的现有MXU。所得的m 3 XU可以无缝地升级现有系统，而无需程序员的努力并保持现有内存子系统的带宽需求。本文通过全系统仿真和硬件综合评估M 3 XU。m 3 XU可以达到32位矩阵乘法的3.64×加速度，与常规矢量处理单元相比，对于复杂数字操作的3.51×速度。
量子到经典神经网络迁移学习应用于药物毒性预测
摘要：毒性是阻碍大量药物用于可能挽救生命的应用的障碍。深度学习为寻找理想的候选药物提供了一种有希望的解决方案；然而，化学空间的广阔性加上底层的 n ( ) 3 矩阵乘法意味着这些努力很快就会变得计算量巨大。为了解决这个问题，我们提出了一种混合量子经典神经网络来预测药物毒性，该网络利用量子电路设计来模仿经典神经行为，通过明确计算复杂度为 n ( ) 2 的矩阵积。利用 Hadamard 测试进行有效的内积估计，而不是传统使用的交换测试，我们将量子比特数减少了一半，并且消除了对量子相位估计的需要。直接以量子力学方式计算矩阵积允许将可学习的权重从量子转移到经典设备以进行进一步训练。我们将我们的框架应用于 Tox21 数据集，并表明它实现了与模型的完全经典相当的预测准确度
一种用于高效量子机器学习的改进去极化方法
摘要：嘈杂中型量子 (NISQ) 时代的量子计算已在机器学习、优化和密码学中展现出良好的应用前景。尽管取得了这些进展，但由于系统噪声、错误和退相干，挑战依然存在。这些系统噪声使量子系统的模拟变得复杂。去极化通道是模拟量子系统噪声的标准工具。然而，当我们的硬件资源有限时，为实际应用建模这种噪声在计算上是昂贵的，就像在 NISQ 时代的情况一样。这项工作提出了一种单量子位去极化通道的改进表示。我们的改进通道使用两个仅基于 X 和 Z Pauli 矩阵的 Kraus 运算符。我们的方法将每个通道执行的计算复杂度从六次矩阵乘法降低到四次。在 Iris 数据集上对量子机器学习 (QML) 模型进行的实验跨越各种电路深度和去极化率，验证了我们的方法在提高效率的同时保持了模型的准确性。这种简化的噪声模型使得去极化下的量子电路模拟更具可扩展性，从而提高了 NISQ 时代的能力。
二阶圆锥编程和支持向量机的量子算法
δ2log（1 /ϵ），其中r是SOCP的等级和n，δ界限了中间溶液与锥形边界的距离，ζ是由√n的参数上限，κ是在经典IPM中出现的矩阵的上限。该算法将其输入作为任意SOCP的合适量子描述，并输出了给定问题的δ-差异ϵ-最佳解决方案的经典描述。此外，我们执行数值模拟，以确定上述参数的值，然后将SOCP求解至固定的精度ϵ。我们提供了实验证据表明，在这种情况下，我们的量子算法在最佳的经典算法上表现出多项式加速，用于解决时间O（NΩ+0。5）（在这里，ω是矩阵乘法指数，值约为2。37理论上，在实践中最多3）。对于随机SVM（支持向量机）大小O（n）的实例，量子算法量表为O（n K），其中指数k估计为2。59使用最小二乘力法。在同一家庭随机实例上，外部SOCP求解器的估计缩放指数为3。31对于最先进的SVM求解器为3。11。
CS 766/QIC 820量子信息理论（2011年秋季）
对于每个a∈γ。映射A 7→M A和M 7→A M是线性的，并且是彼此的，并且线性操作员的组成由矩阵乘法表示：M aB = m a m a m b = m a m b，每当a∈L（y，z），b∈L（x，x，y）和z，y和z是复杂的euclidean euclidean eculidean空间。等价，对于任何选择的矩阵m∈Mγ，∆（c）和k∈M∆，σ（c），对于有限的无空集σ，∆和γ。在这些注释中，线性运算符和矩阵之间的这种对应关系将不明确地提及：我们将在谈到运算符和谈到矩阵之间自由切换，具体取决于哪些更适合于手头的上下文。通常会偏爱谈论运营商，并根据需要将给定运营商的矩阵表示形式隐含地关联。更具体地，对于给定的复杂欧几里德空间的给定选择，x =cσ和y∈Cγ，对于给定的算子a∈L（x，y），矩阵ma∈Ma∈Mγ，σ（c）将简单地表示A，并且（a，b） - （a，b） - AS A（a，a，a，a，a，a，a，b）。
用于数值计算的内存计算
摘要：近年来，内存计算 (CIM) 得到了广泛研究，通过减少数据移动来提高计算的能效。目前，CIM 经常用于数据密集型计算。数据密集型计算应用，例如机器学习 (ML) 中的各种神经网络 (NN)，被视为“软”计算任务。“软”计算任务是可以容忍低计算精度且准确度损失较小的计算。然而，针对数值计算的“硬”任务需要高精度计算，同时也伴随着能效问题。数值计算存在于许多应用中，包括偏微分方程 (PDE) 和大规模矩阵乘法。因此，有必要研究用于数值计算的 CIM。本文回顾了用于数值计算的 CIM 的最新发展。详细推导了求解偏微分方程的不同种类的数值方法和矩阵的变换。本文还讨论了对数值计算效率影响很大的大规模矩阵的迭代计算问题，重点介绍了基于ReRAM的偏微分方程求解器的工作过程，并总结了其他PDE求解器以及CIM在数值计算中的研究进展，最后对高精度CIM在数值计算中的应用前景和未来进行了展望。
表征深神经网络中子诱导的断层模型
摘要 - 在图形处理单元（GPU）上执行的深神经网络（DNN）的可靠性评估是一个具有挑战性的问题，因为硬件体系结构非常复杂，软件框架由许多抽象层组成。虽然软件级故障注入是评估复杂应用程序可靠性的一种常见且快速的方法，但它可能会产生不切实际的结果，因为它对硬件资源的访问有限，并且采用的故障模型可能太幼稚（即单位和双位翻转）。相反，用中子光束注射物理断层提供了现实的错误率，但缺乏故障传播可见性。本文提出了DNN故障模型的表征，该模型在软件级别结合了中子束实验和故障注入。我们将运行一般矩阵乘法（GEMM）和DNN的GPU暴露于梁中子，以测量其错误率。在DNNS上，我们观察到关键错误的百分比可能高达61％，并表明ECC在减少关键错误方面无效。然后，我们使用RTL模拟得出的故障模型进行了互补的软件级故障注入。我们的结果表明，通过注射复杂的断层模型，Yolov3的误导率被验证为非常接近通过光束实验测得的速率，该速率比仅使用单位倒换的断层注射测量的频率高8.66倍。