当数据增长减慢业务速度时:两大基础设施挑战 - 一种平台方法

业务发展必然导致数据更加复杂,体量增大。看来这应该会刺激产品的更快开发和开发。在实践中,组织面临着相反的情况:基础设施变成了一组集成不良的元素,支持它的成本不断增长,管理架构需要越来越多的努力。

来源:OSP网站大数据新闻

在本文中,我们将了解数据开发如何减缓业务以及如何重新获得对数据基础设施的控制。

为什么数据管理变得越来越困难?

负责存储和处理数据的 IT 系统的格局正在经历积极的转变。大型企业正在经历大规模数字化:信息量不断增长,AI场景不断推出,数字产品不断丰富。组织越来越多地转向基于私有云和公共云的灵活架构。此类环境是基于自助服务原则构建的,基础设施是按需部署的,绕过了平台团队。

与此同时,技术主权的趋势正在加剧。俄罗斯产品的数量正在增长:存储系统和服务器设备的新替代供应商正在出现,DBMS 和分析系统正在更新。

建筑本身的模式也在发生转变。传统数据湖和数据仓库正在输给混合 Lakehouse 格式。通用解决方案取代了传统的关系 DBMS。用于分析、报告和流处理的工具种类不断增加。数据正在转变为需要系统方法的战略资源。

所有这些因素构成了组织在创建和开发 IT 环境时面临的障碍。

数据存储和计算成本昂贵

数据量的增长导致组织的财务负担增加——设备及其维护成本增加。寻找合格人员会遇到困难。服务器容量被部分使用,购买的软件没有得到充分利用,传统技术(例如Greenplum、Hadoop、MapReduce)需要大量的精力来操作并且不能很好地扩展。事务数据库也会出现类似的情况 - 当设备负载较低时,其支持成本就会增加。

如何将风险降到最低?