详细内容或原文请订阅后点击阅览
Sberbank：用于数据质量控制的人工智能代理
Mark Dubinsky，俄罗斯联邦储蓄银行综合风险管理部执行总监，介绍基于 GigaChat 的完全自主人工智能代理的开发，用于数据质量控制。
来源:OSP网站大数据新闻Sberbank 通过开发基于 GigaChat 的完全自主的 AI 代理来实现自动化数据质量控制。该解决方案独立分析数据异常，并自动将数据质量事件登记在ITSM系统中。 100%覆盖风险管理数据。俄罗斯联邦储蓄银行综合风险管理部执行董事、数据奖提名者马克·杜宾斯基（Mark Dubinsky）讲述了该项目的实施情况。
- 告诉我们该项目的背景。
如今，数据的出现和使用速度非常快：任何属性都可以在几天内出现在机器学习模型或高层管理人员的报告中。因此，在风险块中，我们坚持“100%的数据至关重要”的原则。 2024 年，我们的团队对存储进行了统计检查，以识别异常情况 - 这是 8 PB 的数据，这显着降低了在块流程中使用它们的风险。在这里，我们面临着一个经典问题——统计测试会产生大量的“噪音”。想象一下，您每天检查整个贝加尔湖的水质 - 世界上最大、最透明的湖泊。我们创建了一个系统，可以自动查找水突然变得浑浊或温度发生变化的地方（即异常情况）。
在“科学”语言中，异常是指与其特征行为不相符的数据：一组或一组值、趋势、模型预测。例如，一个月内每天表中都会出现 100 条新记录。如果有一天表中有 500 条新记录，这就是一种异常现象。
整个团队需要每天手动分析数千个这样的信号，并区分真正的问题和“噪音”。这最多可能需要一天半的时间。在此期间，“脏水”可能已经流入管道并“损害”整个过程。
- 为什么您对当前情况不满意？它对数据质量有多大影响？以及您期望达到哪些指标？
- 选择了哪种方法？
- 取得了哪些成果？