Microsoft Fabric中的实时智能:终极指南

曾几何时,处理流数据被认为是一种前卫的方法。自从 20 世纪 70 年代关系数据库管理系统和 80 年代末传统数据仓库系统引入以来,所有数据工作负载都以所谓的批处理开始和结束。批处理依赖于在一个组(或批)中收集大量任务的概念[…]Microsoft Fabric 中的实时智能:终极指南首先出现在《走向数据科学》上。

来源:走向数据科学

,处理流数据被认为是一种前卫方法。自1970年代引入关系数据库管理系统以及1980年代后期传统数据仓库系统以来,所有数据工作负载始于所谓的批处理处理。批处理处理取决于在组(或批次)中收集众多任务并在单个操作中处理这些任务的概念。

前卫 批处理处理

在另一侧,有一个流数据的概念。尽管流媒体数据有时仍然被认为是一种尖端技术,但它已经具有扎实的历史。一切始于2002年,当时斯坦福大学的研究人员发表了“数据流系统中的模型和问题”的论文。但是,直到将近十年后(2011年),流媒体数据系统开始吸引更广泛的受众,当时开源了用于存储和处理流数据的Apache Kafka平台。正如人们所说,其余的就是历史。如今,处理流数据不被视为奢侈品,而是必要的。

流数据 数据流系统中的模型和问题”

Microsoft认识到“到达一旦到达数据”的需求日益增长。因此,在这方面,Microsoft Fabric并不令人失望,因为实时智能是整个平台的核心,并提供了有效处理流数据的各种功能。

一旦到达

在我们深入研究实时智能的每个组成部分之前,让我们退后一步,采取一种更具工具的方法来进行流处理。

什么是流处理?

如果您在Google搜索中输入“部分”标题中的短语,您将获得超过100,000个结果!因此,我分享一个插图,代表我们对流处理的理解。

我们的
作者的插图

现在让我们检查典型的流处理用例:

  • 欺诈检测
  • 实时股票交易
  • 客户活动
  • 仓库库存
  • 实时集线器