Flink 学习笔记十二

2017/12/04 Flink

Flink2 学习笔记十二

Complex Event Processing

Flink对支持CEP较好一些,相对SPARK和STORM来说。CEP是对高频和低延迟数据离散数据的分析。 在CEP中,对数据Pattern的分析很重要,因为从中看出数据异常的谢常华是非常重要的。CEP能够理解数据模式和序列,CEP能够识别有意义的模式,从而从复杂的事件关系中发现信息。 图一 CEP应有的能力通常如下:

  • 实时产生计算结果
  • 能够根据时间聚合数据
  • 实时告警和对复杂数据模式的识别
  • 多种数据源数据处理
  • 高吞吐量 实现CEP有很多种解决方案,Apache Spark,Spache Samza,Apache Beam,但是上述方案都没有能用的处理方案。

Flink提供了CEP库,实现了CEP API,核心组件如下:

  • Event stream
  • Pattern definition
  • Pattern detection
  • Alert generation 图二 Flink CEP 基于DataStream API 上实现,程序员定义要发现的数据Pattern,Flink CEP引擎会处理并且采用适当的处理方案。
Show Disqus Comments

Search

    Table of Contents