分析自动化问题:如何避免常见错误

为了自动化分析,通常使用无代码/低代码 ETL 工具。然而,这些工具也有缺点。这是正确的选择吗?

来源:OSP网站大数据新闻

作者:Corus Consulting Complise Group of Companies div>的数据科学组主管Ekaterina Torsukova div

Ekaterina Torsukova Corus Consulting 由于一些员工的热情,这些员工的热情经常在公司中引入自动分析。当公司意识到常规操作可以自动化时,它开始引入无代码和低代码ETL工具。 但是,这些工具具有重要的缺点:数据处理的算法有限。由于数据通常是“不完美的”(也就是说,它们可能是不完整的,存储的或处理的),因此通常找不到用于解决错误的问题,用于解决问题,通常找不到复杂的逻辑或数学操作。结果,迟早是在现成的无代码和低代码ETL中没有必要的数据处理算法的那一刻,公司再次被迫诉诸手动处理 - 这导致需要过渡到更专业的工具。 现场的一个不是战士:创建有效的团队的问题 通常在公司中,向专业ETL工具的过渡是由1-3人组成的小团队进行的,分析师的能力不足或半均匀。为了朝这个方向进行全面工作,需要数据,业务或系统分析师,数据工程师,BI分析师以及复杂分析的架构师,需要使用式固定师。公司经常试图提高建筑和计算的模块,而资格不足的资格部队不足。 这些专家的市场正在发展,但是到目前为止,尚未开发关键技能的标准,并且很难组建与分析解决方案合作的同质强大团队。 选择的问题:您自己的团队还是外部承包商? 我们不努力完成该项目,而只支持其存在 div> Ekaterina Torsukova

Corus Consulting

由于一些员工的热情,这些员工的热情经常在公司中引入自动分析。当公司意识到常规操作可以自动化时,它开始引入无代码和低代码ETL工具。

但是,这些工具具有重要的缺点:数据处理的算法有限。由于数据通常是“不完美的”(也就是说,它们可能是不完整的,存储的或处理的),因此通常找不到用于解决错误的问题,用于解决问题,通常找不到复杂的逻辑或数学操作。结果,迟早是在现成的无代码和低代码ETL中没有必要的数据处理算法的那一刻,公司再次被迫诉诸手动处理 - 这导致需要过渡到更专业的工具。

现场的一个不是战士:创建有效的团队的问题

通常在公司中,向专业ETL工具的过渡是由1-3人组成的小团队进行的,分析师的能力不足或半均匀。为了朝这个方向进行全面工作,需要数据,业务或系统分析师,数据工程师,BI分析师以及复杂分析的架构师,需要使用式固定师。公司经常试图提高建筑和计算的模块,而资格不足的资格部队不足。

这些专家的市场正在发展,但是到目前为止,尚未开发关键技能的标准,并且很难组建与分析解决方案合作的同质强大团队。

选择的问题:您自己的团队还是外部承包商?我们不努力完成该项目,而只支持其存在 div>