什么是数据操作 (DataOps)?
当我撰写有关 AI 的文章时,我经常提到数据操作,以及它对大多数 AI 解决方案的重要性。如果没有适当的数据操作,您很容易陷入这样的境地:处理必要的数据将变得过于困难和昂贵,以至于 AI 业务案例毫无意义。因此,为了稍微澄清一下,我想让您了解它的真正含义。数据操作是以安全且经济高效的方式获取、清理、存储和交付数据的过程。它是业务战略、DevOps 和数据科学的混合体,是许多大数据和 AI 解决方案的底层供应链。数据操作最初是在大数据领域创造的,但在后来几年已成为一个更广泛使用的术语。数据操作是最重要的竞争优势正如我之前在许多帖子中提到的那样,当试图击败竞争对手时,我认为数据操作比算法开发更重要。在大多数 AI 案例中,使用的算法是来自标准框架的标准 AI 算法,这些算法在部署之前会输入数据、进行训练和调整。因此,由于底层算法大致相同,真正的区别在于数据。与使用普通数据所需的工作量相比,从高质量数据中获得良好结果所需的工作量几乎微不足道。以比竞争对手更低的成本获取数据也是一个非常重要的因素。特别是在需要持续动态的 AI 案例中
来源:Dan Rose AI | 应用人工智能博客当我撰写有关 AI 的文章时,我经常提到数据操作,以及它对于大多数 AI 解决方案的重要性。如果没有适当的数据操作,您很容易陷入这样的境地:处理必要的数据会变得过于困难和昂贵,以至于 AI 商业案例毫无意义。因此,为了稍微澄清一下,我想让您了解它的真正含义。
数据操作是以安全且经济高效的方式获取、清理、存储和交付数据的过程。它是业务战略、DevOps 和数据科学的混合体,是许多大数据和 AI 解决方案的底层供应链。
数据操作最初是在大数据领域创造的,但在后来几年已成为一个更广泛使用的术语。
数据操作是最重要的竞争优势
正如我在很多之前的帖子中提到的那样,当试图击败竞争对手时,我认为数据操作比算法开发具有更高的优先级。在大多数 AI 案例中,所使用的算法都是来自标准框架的标准 AI 算法,这些算法在部署之前会输入数据、进行训练和调整。因此,由于底层算法大致相同,真正的区别在于数据。与使用平庸数据所需的工作量相比,从高质量数据中获得良好结果所需的工作量几乎微不足道。以比竞争对手更低的成本获取数据也是一个非常重要的因素。特别是在需要持续新数据流的 AI 案例中。在这些情况下,不断获取新数据可能会成为拖累业务的经济负担。
数据操作 Paperflow 示例
Paperflow Paperflow因此,在 Paperflow 中,我们找到了一种获取更好数据的方法。但是,如何降低成本呢?
概率编程 概率编程 主动学习 主动学习