详细内容或原文请订阅后点击阅览
Alfa-Bank:选秀的市场规模 div>
Lev Abramov是Alfa-Bank ML技术中心框架开发的负责人,该框架启动了在线市场,用于创建和重复使用ML模型迹象的数据和工具。
来源:OSP网站大数据新闻Alfa-Bank 推出了特征存储 - 一个在线数据市场和一个用于创建和重用 ML 模型特征(特征)的工具,从而简化了数据处理工作。该解决方案可自动收集、计算和监控特征,从而缩短开发时间并降低使用错误数据的风险。 Alfa-Bank 机器学习技术开发中心框架开发部负责人、数据奖提名者 Lev Abramov 讲述该项目的实施情况。
数据奖- 哪些问题导致了特征存储的创建?
Alfa-Bank 存储了数百万客户的海量数据,存储深度长达数年。直到最近,我们还没有一个统一的方法来存储、处理数据和创建所谓的“特征”——机器学习模型的特征。这导致了很多问题。其中包括为每个模型手动准备数据集的高昂劳动力成本、数据科学家团队之间的特征重复、计算关键参数的不同方法以及缺乏统一的数据质量和安全方法。
所有这些都大大减慢了模型开发的进程,“消耗”了员工资源,并妨碍了银行数据工作质量的稳定维持。
- 这个问题有哪些可能的解决方案?
可以为每个团队甚至每个模型创建本地数据集市,但这会导致更多的重复和混乱。另一种选择是集中管理机器学习模型的特征,这就是我们选择的路径。这使得特征创建和重用方法标准化。
- 您是如何想到创建要素存储的想法的?你在哪里见过它,还是你自己发明的?
特征存储的想法并不是 Alfa-Bank 的发明。 Uber、Airbnb、Google 等科技公司也采用了类似的方法。然而,阿尔法银行的实施适应了银行的具体流程、架构和要求,这使其独一无二。
- 该解决方案的主要特点是什么?
