flinkbarrier(flinkbarrier不对齐 execlyonce)

本文目录一览:

Flink:特性、概念、组件栈、架构及原理分析

1、组件栈 Flink是一个分层架构flinkbarrier的系统flinkbarrier,每一层所包含的组件都提供flinkbarrier了特定的抽象,用来服务于上层组件。

2、Flink流处理特性: Flink以层级式系统形式组件其软件栈,不同层的栈建立在其下层基础上,并且各层接受程序不同层的抽象形式。

3、在Flink整个软件架构体系中,统一遵循了分层的架构设计理念,在降低系统耦合度的同时,为上层用户构建Flink应用提供了丰富且友好的接口。

4、对于分析类任务,Flink提供了类似SQL的查询,图形化处理,以及机器学习库,此外还支持内存计算。Flink能很好地与其他组件配合使用。如果配合Hadoop 堆栈使用,该技术可以很好地融入整个环境,在任何时候都只占用必要的资源。

flink的Snapshot

Flink采用的是ABS(Asynchronous Barrier Snapshotting)算法。ABS只保存节点的状态,而不保存channel的状态。 由中心调度节点(JobManager)向所有的source注入barrier。

Flink 是采用轻量级的分布式异步快照,其实现是采用栅栏 barrier 作为 checkpoint 的传递信号,与业务数据一样无差别地传递下去 ,目的是使得数据流被切分成微批,进行 checkpoint 保存为 snapshot。

Flink 容错机制的核心就是持续地创建分布式数据流和操作算子状态的 snapshot。

要使用此 Reporter,必须复制 /opt/flink-metrics-datadog-1-SNAPSHOT.jar 到 Flink 的 /lib 文件夹下。

回到开篇的问题,Flink使用了一种称作 Asynchronous Barrier Snapshotting(ABS)算法 来生成全局快照。

如下图所示,通过Flink Web UI 监控 subtask 数据量 和反压 BackPressure。介绍Checkpoint Barrier 对齐机制,算子 Operator 收齐上游的 barrier n 才能触发 snapshot。

Powered By Z-BlogPHP 1.7.2

备案号:蜀ICP备2023005218号