详细内容或原文请订阅后点击阅览
数据管道及其在人工智能时代的新角色
连接系统和平台的数据管道不断发展。
来源:OSP网站大数据新闻现代数据处理体系结构由微服务，API，分析，生成AI模型组成，不仅是。它们用于搜索，分析和发布最终用户和各种服务的数据。由各种处理工具组成的数据输送机将数据从系统移动到系统。
在这种运动期间，可以进行数据的复制和同步，但是通常可以在自动化模式下进行集成（从各种来源中提取和进一步使用）。为了使用In -Line数据，使用一定服务水平的高评级可靠输送机，这些输送机可以调节性能，允许的延迟和错误的概率。如果分发了数据管理体系结构，则可以根据网格（数据网格）或矩阵（数据织物）的原理构建；在这方面，重要的作用还可以扮演监管和参考信息的管理系统（NSI）。
使用不同级别复杂性的技术用于数据输送机的组织：最简单的http-calls（webhook）中，出版物 - 订阅的机制和IFTTT服务的机制以及更困难的包括微服务。输送机可以具有各种体系结构：软件包处理，当录制组完成时，录制组在系统中从系统转移到系统；与事件有关的体系结构； Lambda和Kappa Architecture，结合了实时和包装；基于微服务的输送机。
此外，如今，数据传送带用于生成AI系统的运行 - 它们连接向量数据库，数据湖泊和大型语言模型，以支持企业的相关数据加强答案。这样的输送机提供了整个开发，测试，部署，监视和培训模型（MLOP）及其领导（治理）的周期。