详细内容或原文请订阅后点击阅览
如何通过 AI 取得成功：结合 Kafka 和 AI 护栏
为什么实时数据和治理对于 AI 来说是不可协商的Photo by Sid Verma on UnsplashKafka 很棒。AI 很棒。当我们将两者结合起来会发生什么？连续性。—AI 正在改变我们的效率和运营方式的许多方面：卓越的翻译、客户互动、代码生成器、驾驶汽车等。即使我们喜欢尖端的东西，我们也很难跟上它。我们往往会忘记一个巨大的问题：如果没有正确的护栏，AI 很容易脱轨。一旦发生，这不仅仅是一个技术故障，还可能给企业带来灾难性的后果。从我作为 CTO 的经验来看，我亲眼看到真正的 AI 成功不仅仅来自速度。它来自控制——控制你的 AI 消耗的数据、它的运行方式，并确保它不会提供错误的输出（更多内容见下文）。成功的另一个部分是最大限度地发挥 AI 的潜力和影响力。这就是 Kafka 和数据流发挥作用的地方AI Guardrails 和 Kafka 都是扩展安全、合规和可靠的 AI 的关键。没有 Guardrails 的 AI 是一扇打开的书处理 AI 时最大的风险之一是缺乏内置治理。当您依靠 AI/LLM 来自动化流程、与客户交谈、处理敏感数据或做出决策时，您将面临一系列风险：数据泄露（以及我们习惯看到的即时泄露）隐私泄露和合规违规数据偏见和歧视域外专业人士
来源:走向数据科学没有护栏的AI是一本开放书
处理AI时最大的风险之一是缺乏内置治理。当您依靠AI/LLM来自动化流程，与客户交谈，处理敏感数据或做出决定时，您将为各种风险敞开大门：
- 数据泄漏（以及我们过去所看到的提示泄漏）隐私漏洞和合规性违反偏见和歧视域intermain提示po nistingpoor决策
还记得2023年3月吗？ Openai发生了一个事件，错误导致聊天数据暴露于其他用户。最重要的是，LLMS没有内置的安全性，身份验证或授权控件。 LLM就像一本大型的开放书一样 - 任何访问它的人都可以检索他们不应该的信息。这就是为什么您需要在介于两者之间，控制访问，验证输入并确保敏感数据保持良好的控制和上下文层的原因。
Openai发生了一个事件在某些地方，例如Nemo（Nvidia）和LLM Guard等AI护栏就进入了图片。他们提供了有关LLM的输入和输出的必要检查：
nemo LLM Guard- 及时注入偏见或有毒的满足感个人数据并没有在裂缝中滑落。
https://github.com/leondz/garak是LLM漏洞扫描仪。它检查是否可以使LLM以我们不想要的方式失败。它探究了幻觉，数据泄漏，及时注射，错误信息，毒性产生，越狱和许多其他弱点。
https://github.com/leondz/garak与Kafka有什么联系？
kafka结合了Kafka，AI护栏和抹布的典型流式结构：