XiaoMi-AI文件搜索系统
World File Search Systemdistributed
分布式 AI 任务的即时通信
1 简介 人工智能领域的最新进展由 ChatGPT [ 18 ] 和 SORA [ 19 ] 等大型模型推动，带来了巨大的计算挑战。扩展这些模型通常需要多 GPU 或多节点系统 [ 2 , 14 ]，利用张量并行等并行策略 [ 25 ] 来处理计算负载。例如，Llama 3.1-405B 模型训练使用了 16,000 个 H100 GPU [ 16 ]。然而，分布式计算引入了通信作为主要瓶颈，占执行时间的 80%，如 Llama 2-7B 模型所示 [ 1 ]。如 [ 3 ] 所示，将 Llama 2-13B [ 27 ] 训练从 8 个 GPU 扩展到 1,024 个 GPU 会因通信开销而将模型 FLOP 利用率 (MFU) 从 47% 大幅降低至 4%。这凸显了一个关键问题：尽管硬件功能有所进步，但由于引入了通信开销，硬件（尤其是 GPU）往往未得到充分利用。为了提高 MFU，先前的研究探索了通过通信 [ 20 、 22 、 28 、 30 ] 或数据加载 [ 9 ] 来提高硬件利用率的潜力。然而，这些策略主要侧重于重叠计算运算符和独立通信运算符。如果存在依赖关系（例如在推理阶段），则计算和通信都位于关键路径上，运算符间重叠是不可行的。认识到这一机会，我们引入了 DistFuse，这是一个即使在存在依赖关系的情况下也能促进细粒度重叠的系统。DistFuse 的核心旨在协调计算和通信，这样 GPU 就可以在部分数据准备就绪时立即启动通信，而不是等待整个数据。我们进行了一项概念验证实验，通过在单个节点上将 DistFuse 与 Llama 3-70B 的推理相结合来展示性能提升，该节点可以隐藏高达 44.3% 的通信延迟。我们目前的原型专注于 LLM 任务，但即时通信的核心概念是多功能的，可以应用于其他场景，例如卷积模型。鉴于数据中心中大型模型工作负载的日益普及以及对高效通信的需求不断增长，我们预计通过我们的技术将显着提高性能。此外，我们
智能结构的分布式驱动与控制
本论文的版权归作者所有。访问受上述许可约束（如果已提供）。如果上述未指定许可，则本论文中的原创内容根据 Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC-ND 4.0) 许可条款授权（https://creativecommons.org/licenses/by-nc-nd/4.0/）。任何存在的第三方版权材料仍归其各自所有者所有，并根据其现有条款授权。
分发者：国家技术信息服务...
分析以确定非运行时间的性能漂移趋势。在实验室中分析存储期间发生的部件故障，并分离故障机制。本报告的附录中包含了这些分析的案例历史以及非运行时间段后发现的机制列表。故障机制列表包括文献中提到的 Martin Marietta 和其他承包商的经验。
分布式产品开发 - Siemens PLM
Teamcenter 是对 NX 和 Tecnomatix 的补充，使公司能够管理从概念构思到报废处置的整个产品生命周期。它的功能通过安全的数据存储库为全球团队提供对项目整个产品和流程信息的可视性，直接解决分布式流程中潜在的低效率问题。Teamcenter 确保有资格的团队成员能够访问项目最新的决策和设计定义。此外，Teamcenter 的协作社区提供了同步工具（即应用程序共享和虚拟会议）和异步工具（即信息工作流和路由功能）的组合，团队可以使用这些工具推动项目向前发展，同时为授权参与者提供做出明智产品决策所需的数据。
分布式交互式战斗模拟（第 3 部分，共 6 部分）
[罗马人] 在战争时期不会首先使用武器，也不会首先动手，而在和平时期，他们避免这样做；但好像他们的武器总是粘在身上一样，他们从来没有停止过战争演习；。..也不应该把这些演习称为不流血的战斗，而把他们的战斗称为血腥的演习。——弗拉维乌斯·约瑟夫斯，《犹太战争》（79）军队被指责总是为最后一场战争进行训练。为了避免这种困境，美国军方大量使用模拟器、模拟和演习，旨在模拟当前或预计的情况。模型和模拟有几个重要用途：训练（保持战备状态）、分析（拟议战术或系统采购的效果）、作战规划和演练以及新技术演示。模拟器（例如 Link Trainer）主要用于训练和任务演练。更抽象的模拟和模型已用于分析和作战规划。国防研究与工程总监 (DDR&E) 发布的关键技术清单中的模拟条目始终是超越前苏联的无可争议的优势领域。在当今变化的世界中，建模和仿真技术是国防部 (DoD) 选定的 20 个“技术领域”之一，用于研究和开发资金重点。国防部国防建模与仿真办公室 (DMSO) 成立于 1991 年，在构建国防部的建模和仿真方法（尤其是高科技形式）方面发挥着主导作用。| 1
分布式融合算法用于...被动定位
本文研究了使用无线传感器网络 (WSN) 进行多个瞬态发射器 (目标) 定位的问题。一个特定的应用是利用安装在士兵组上的声学枪声检测系统网络来定位战场上的对手 [16][17]。假设目标在感兴趣的时间窗口内是静止的，但目标数量未知。传感器可以通过检测目标发射的声学信号来测量目标的视线 (LOS) 角，并记录检测到的信号的到达时间 (TOA)。这意味着任何单个传感器的目标位置可观测性都不完整。由于传感器的不完善，存在漏检和误报。此外，测量结果与目标之间的关联是未知的，也就是说，每个传感器都不知道特定测量结果来自哪个目标（或杂波）。在估计任何目标的位置之前，必须关联所有传感器的测量结果。因此，数据关联的质量对整体定位性能至关重要。我们之前的工作 [13] 中开发的两种不同的融合算法使用集中式方法解决了这个问题，即我们假设有一个融合中心直接或通过多跳中继（通常通过无线通信）从各个传感器收集所有信息。集中访问所有信息可能很困难。例如，在覆盖大面积的应用中，需要高传输功率才能将信息从单个传感器直接传送到融合中心。此外，基于融合中心的方法不够稳健，也就是说，如果融合中心发生故障，整个系统都会发生故障。这促使人们开展大量关于分布式融合或分布式优化算法的研究，包括本文中提出的算法。一种直接的分布式解决方案是泛洪，即通过网络中的链路广播实际的传感器测量值。在 [7] 中，提出了一种广播新测量值的通信策略，以允许分布式测量融合，对于线性动态系统，在给定所有接收到的测量值的情况下，在每个节点产生最佳估计。对于本文考虑的定位问题，有一个非线性静态系统。该方法需要大量的数据通信、存储内存和簿记开销。泛洪方法仍然适用，通过仔细记账和多次迭代信息交换，每个传感器将拥有所有信息，并可以充当融合中心，以找到与集中式方法相同的全局解决方案。例如，它需要大约 S（传感器数量）乘以基于平均共识（AC）的方法的内存存储。
具有容错资源的分布式感知 - CiteSeerX
估计公共报告信息收集负担平均为每份回应 1 小时，包括审查说明、搜索现有数据源、收集和维护所需数据以及完成和审查信息收集的时间。请将关于此负担估计或此信息收集的任何其他方面的评论（包括减轻此负担的建议）发送至华盛顿总部服务处、信息运营和报告理事会，地址：1215 Jefferson Davis Highway, Suite 1204, Arlington VA 22202-4302。受访者应注意，尽管法律有任何其他规定，但如果信息未显示当前有效的 OMB 控制编号，则任何人都不会因未遵守信息收集而受到处罚。
分布式交互式战斗模拟（第 3 部分，共 6 部分）
[罗马人] 在战争时期不会首先使用武器，也不会首先动手，而在和平时期，他们避免这样做；但好像他们的武器总是粘在身上一样，他们从来没有停止过战争演习；。..也不应该把这些演习称为不流血的战斗，而把他们的战斗称为血腥的演习。——弗拉维乌斯·约瑟夫斯，《犹太战争》（79）军队被指责总是为最后一场战争进行训练。为了避免这种困境，美国军方大量使用模拟器、模拟和演习，旨在模拟当前或预计的情况。模型和模拟有几个重要用途：训练（保持战备状态）、分析（拟议战术或系统采购的效果）、作战规划和演练以及新技术演示。模拟器（例如 Link Trainer）主要用于训练和任务演练。更抽象的模拟和模型已用于分析和作战规划。国防研究与工程总监 (DDR&E) 发布的关键技术清单中的模拟条目始终是超越前苏联的无可争议的优势领域。在当今变化的世界中，建模和仿真技术是国防部 (DoD) 选定的 20 个“技术领域”之一，用于研究和开发资金重点。国防部国防建模与仿真办公室 (DMSO) 成立于 1991 年，在构建国防部的建模和仿真方法（尤其是高科技形式）方面发挥着主导作用。| 1
分布式分类帐技术指南（调节...
5。Scope ............................................................................................................................................................................................. 5
分布式可再生能源助力可持续发展
1 https://pib.gov.in/PressReleaseIframePage.aspx?PRID=1987752#:~:text=In%20August%202022%2C%20India%20更新，增强至50%25%20by%202030。 （截至 2024 年 2 月 19 日） 2 https://pib.gov.in/PressReleseDetail.aspx?PRID=1883915（截至 2024 年 2 月 19 日） 3 https://pib.gov.in/PressReleaseIframePage.aspx?PRID=1993550#:~:text=INCOME%2C%202023%2D24-,Indian%20 economy%20is%20to%20grow%20by%20a%20robust%207.3%25%20in,double%20digits%20growth%20of%- 2010.7%25。 （截至 2024 年 2 月 19 日）4 https://www.globaldata.com/data-insights/macroeconomic/urbanization-rate-in-india-2096096/#:~:text=India%20 had%20an%20urbanization%20rate%20of%201.34%25%20in%202021.,2011%2C%20between%202010%20and%202-021。 （截至 2024 年 2 月 19 日） 5 https://cea.nic.in/dashboard/?lang=en（截至 2024 年 2 月 19 日） 6 https://cea.nic.in/dashboard/?lang=en（截至 2024 年 2 月 19 日） 7 https://pib.gov.in/FeaturesDeatils.aspx?NoteId=151141&ModuleId%20=%202（截至 2024 年 2 月 19 日） 8 https://mnre.gov.in/physical-progress/（截至 2024 年 2 月 19 日） 9 兑换率为 1 美元 = 82 印度卢比 10 https://pib.gov.in/PressReleaseIframePage.aspx?PRID=2005596（截至 2024 年 2 月 19 日）