诸如变形金刚这样的模型的生成AI在各个领域开辟了新的可能性,但也引起了人们对公平,透明和可靠性的关注,尤其是医学和法律等领域。本文强调了通过生成AI确保这些方法公平和质量的紧迫性。它使用加密技术(尤其是零知识证明(ZKP))探索,以解决对性能公正和准确性的担忧,同时保护模型隐私。将ZKP应用于Ma-Chine学习模型,称为ZKML(零知识机器学习),可以独立验证AI-I-Inti-Intergation contrication Aceration Actent,而无需揭示敏感的模型信息,促进透明度和信任。ZKML通过为模型预示例提供加密审核跟踪并确保用户统一的性能来增强AI的公平性。我们介绍了针对变形金刚的实用ZKML实现Snarkgpt,以授权用户验证输出准确性和质量,同时保留模型隐私。我们提出了一系列研究Snarkgpt的可伸缩性和能力的经验结果,以评估采用ZKML驱动方法来捕获生成AI模型中质量和表现公平问题的可行性和挑战。
零知识(ZK)证明:零知识证明算法允许一方向另一方证明知识的情况而不揭示知识本身[22]。例如,随着时间的推移,敏感或专有的数据(人口统计学,健康,粮食作物,市场和天气洞察)可以在数据集中传递,并且可以由某些实体传输,即使将接收实体保证为数据集的有效性,并且可以进一步应用机器学习模型,以使其在生成AI的基于生成的AI II基于生成的AI基础产品中,以进一步应用机器学习模型。这种对ZK证明的使用已被称为ZKML [23]。通过使用紧急完全同型加密(FHE)的链接处理器和汇总,可以进一步增强隐私数据挖掘的速度和规模,从而可以分析加密的数据集而无需解密[28]。
抽象生成的AI模型(例如GPT-4和稳定的扩散)在自然语言和图像任务中表现出强大而破坏性的功能。但是,将这些模型部署在分散环境中仍然具有挑战性。与传统的集中部署不同,从系统上保证了在完全分散的环境中AI模型服务的完整性,特别是在无信任的区块链上,既重要又困难。在本文中,我们提出了一种称为质量证明(POQ)的新推论范式,以使在区块链体系结构上的任意大型生成模型中部署。与基于验证推理程序(例如ZKML或OPML)的传统方法不同,我们的POQ范式着重于模型推理的结果质量。使用基于BERT的轻质跨编码器作为我们的基本质量评估模型,我们设计和实施PQML,这是对区块链现实世界中NLP生成模型推断的第一个实用协议,该模型针对流行的开源模型量身定制,例如Llama 3和Mixtral。我们的分析表明,我们的协议对生态系统中的对抗性但理性的参与者具有牢固的态度,在这种情况下,与行为良好的参与者相比,懒惰或不诚实的行为较少。验证质量评估的计算开销很小,即使仅使用CPU,也可以在几秒钟内完成质量检查。初步仿真结果表明,POQ共识以毫秒为单位生成,比任何现有方案都快1,000倍。
摘要 - 大型语言模型(LLM)引起了人们的重大关注,因为它们显示出人工通用智能(AGI)的令人惊讶的迹象。人工智能和大型语言模型可用于各种良好目的,例如用于创造知识的数字助手。但是,如此强大的模型也可以具有潜在的风险。除其他问题和风险外,AI模型可以对数据和用户构成的安全和隐私风险。在本文中,我们讨论了多项式和矢量空间等数学结构以及多项式和矩阵矢量函数的隐私保留委派如何用于将计算模型(包括LLMS)转换为隐私保护计算模型。此外,我们重点介绍了一些众所周知的加密结构以及一些可以改进LLM的解决方案,从某种意义上说,它们可以保留数据的隐私和安全性以及用户。总体而言,我们在本文中介绍的隐私性和零知识LLM可能是潜在的解决方案,可以在某种程度上且合理地保留数据和用户的隐私。更重要的是,也许应该对AI模型进行公开可信的数据培训;训练有素的模型应在当地被压缩和使用。索引术语 - 私有的计算,私人多样性计算,隐私提供大语言模式,安全计算,完全同源性加密,Peovacy-Preservice机器学习,零知识范围,零知识模型,可信度的AI,可靠的AI,安全和隐私风险
近年来,云供应商已开始通过提供训练有素的神经网络模型来提供付费服务进行数据分析。但是,面对懒惰或恶意供应商,客户缺乏工具来验证云供应商提供的结果是否是正确推断的。称为零知识证明(ZKP)的Cryp-tographic原始人解决了此问题。它使结果可以进行验证,而无需泄漏有关模型的信息。不幸的是,神经网络的现有ZKP方案具有较高的计算开销,尤其是对于神经网络中的非线性层。在本文中,我们提出了为神经网络的有效且可扩展的ZKP框架。我们的工作改善了非线性层的证明的性能。与以前依靠位分解技术的工作相比,我们将非线性关系转换为范围和指数关系,这大大减少了证明非线性层所需的约束数量。此外,我们采用模块化设计,使我们的框架与更多的神经网络兼容。具体来说,我们提出了两个增强的范围和查找证明作为基本块。他们有效地证明了范围和指数关系的满意度。然后,我们使用少量范围和指数关系来限制原始非线性操作的正确计算。最后,我们建立了从原始操作到整个神经网络的ZKP框架,从而为各种神经网络提供了灵活性。6×(最多477。我们将ZKP实施用于卷积和变压器的网络网络。评估结果表明,我们的工作达到了168多个。2×)分离的非线性层和41的加速。与最先进的作品Mystique相比,整个Resnet-101卷积神经网络的4倍加速度。此外,我们的工作还可以证明GPT-2是一种具有1.17亿个参数的变压器神经网络,287。1秒,达到35。超过ZKML的7×加速度,这是支持变压器神经网络的最先进的工作。