XiaoMi-AI文件搜索系统
World File Search SystemInference
分散推理的框架
ML模型在医疗保健，财务和安全等关键领域的快速发展增强了对强大的数据安全性，模型完整性和可靠输出的需求。大型多模式基础模型，同时对于复杂任务至关重要，在可伸缩性，可靠性和潜在滥用方面面临着挑战。分权系统通过分配工作量和减轻失败的中心点来提供解决方案，但它们引入了未经授权访问跨节点敏感数据的风险。我们通过旨在负责AI开发的综合框架来应对这些挑战。我们的方法包括：1）零知识证明，以确保安全模型验证，增强信任，而不会损害实践。2）基于共识的验证检查，以确保节点之间的一致输出，减轻幻觉并维持模型完整性。3）拆分学习技术，可以将模型跨不同节点进行分割，从而通过任何时候防止完整的数据访问来保留数据隐私。4）通过受信任的执行环境（TEE）来保护数据和计算，基于硬件的安全性。此框架旨在增强安全性和隐私，并提高多模式AI系统的可靠性和公平性。促进有效的资源利用有助于更可持续的AI开发。我们的最先进的证明和原则证明了该框架在负责任地使人工智能民主化的有效性，为建立安全和私人的基础模型提供了有前途的方法。
AI培训和推理
1月1日，田纳西州HB 1891年1月1日，要求社交媒体公司验证试图创建和维护帐户的用户年龄。要求平台获得18岁以下未成年人的父母同意，并为这些用户执行更严格的隐私和安全措施。该法律旨在通过确保社交媒体公司遵守这些新法规来保护未成年人免受潜在的在线危害。还有其他三个通过并将生效。佛罗里达州，我之前提到的HB 3，要求社交媒体平台验证用户的年龄，获得18岁以下用户的父母同意，保护未成年人的个人数据，限制其对有害内容的影响。佐治亚州的SB 351，被称为《 2024年社交媒体法案保护佐治亚州的孩子》，要求社交媒体平台为用户实施年龄验证流程，要求父母同意未成年人创建帐户，并限制社交媒体在学校中的使用。
开发高效记忆推理
项目详情：深度学习的快速发展催化了大规模模型的发展，尤其是基于 Transformer 的架构（例如 BERT 和 GPT），它们在自然语言处理、计算机视觉和语音识别领域树立了新的性能标准。尽管这些模型功能强大，但它们需要大量的计算能力和内存，这给资源受限环境下的微调和推理带来了巨大挑战。这种限制阻碍了此类模型在计算资源有限的实际应用中的广泛应用，例如移动设备、边缘计算以及技术基础设施较差的发展中地区。问题陈述：问题的关键在于调整和部署大规模模型需要大量的资源。针对特定任务对这些模型进行微调需要大量的计算工作，通常需要重新训练数百万甚至数十亿个参数。此外，使用这些模型进行推理需要大量的内存和处理能力，这使得实时或设备端应用变得不切实际。我们迫切需要一种能够减少计算和内存开销且不严重影响模型性能的技术。
能量感知分布式推理的视角
摘要 — 对快速响应的高质量人工智能生成内容 (AIGC) 的追求推动了自然语言处理 (NLP) 服务的发展，尤其是在边缘启用的服务 (即边缘 NLP)。具体来说，我们研究了下一个单词预测的分布式推理，这是用户设备上移动键盘的流行边缘 NLP 服务。因此，我们优化了耦合指标，即最大化预测点击率 (CTR) 以提高服务质量 (QoS)，最小化用户不耐烦以增强体验质量 (QoE)，并将能耗控制在可持续发展的预算范围内。此外，我们考虑了现实世界的环境，其中没有关于异构 NLP 模型预测准确性的先验知识。通过集成在线学习和在线控制，我们提出了一种新颖的分布式推理算法，用于考虑用户不耐烦的在线下一个单词预测 (DONUT)，以估计模型的预测准确性并平衡耦合指标之间的权衡。我们的理论分析表明，DONUT 实现了亚线性遗憾（CTR 损失），确保了有限的用户不耐烦，并保持了预算内的能耗。通过数值模拟，我们不仅证明了 DONUT 优于其他基线方法的性能，还证明了其对各种设置的适应性。
贝叶斯推理的计算技术
统计计算很大程度上由概率的加权总和或积分组成。贝叶斯推论和频繁统计之间的关键实际差异之一是，在将这些竞争性的方法解决相同问题的情况下出现了巨大不同类型的积分类型（Loredo 1992）。例如，考虑到某些观察到的数据d，估计某些模型的参数m；用θ共同表示参数。在贝叶斯和频繁的积分中出现的关键数量是假设模型为真的数据并假定要知道的参数的概率，p（d |θ，m）。被认为是数据的函数，这称为采样分布；作为参数的函数，它称为可能性函数，它将缩写为l（θ）。该方法之间的基本实际差异是，频繁计算需要在数据维度（样本空间）上进行此数量的积分，而贝叶斯计算需要在参数空间上进行积分。基于通过参数空间进行求和或集成在试图使用样品空间中计算的概率进行推断的概率的概率上的推断。在这里的简短空间中，对这些优势的重要讨论是不可能的。必须提及两个具有巨大实际实用性的积极优势。在贝叶斯推理中，可以直接消除滋扰参数，同时简单地通过在φ上整合（ψ，φ）的关节分布来解决它们的不确定性。首先，在绝大多数的实际应用中，参数空间可以分为两个部分θ=（ψ，φ），其中兴趣集中在ψ上，并且φ由对数据建模但不感兴趣的“滋扰”参数组成（例如，背景强度）。没有完全的SAT-
