相比Spark等传统模式,Flink 和 K8S是怎样的结合

  • 时间:
  • 浏览:0
  • 来源:5分11选5官方_大发5分3D

功能上,基于Flink的结构,它的常驻守护进程,之类于在线业务的App,作业发布后,修改频率比较低。用户在开发控制台提交并控制作业,可使用多样的可插拔的增值功能。

实时计算产品通常提供本身模式,共享型与独享型。在从前的模式下,用户不都都可不能否 关心整个集群的运维。开发时,使用Blink SQL,用开箱即用的metric收集和展示。一起去,作业的监控和异常时报警,都都可不能否得到保证。

托管模式采用半托管的办法,集群部署在ECS和K8S上,灵活性也更强。

Apache Flink 是近年来没人 流行的一款开源大数据计算引擎,它一起去支持了批处理和流处理。大数据起源自批处理,Spark最初的定位但是 改进Hadoop, 变慢速的进行批处理。而Storm擅长的则是进行无情况报告的流计算(在无情况报告的流计算领域, 它的延迟是最小的), 进而经常总出 的Flink则是Storm的下一代处理方案。它既都可不能否处理stream data也都可不能否处理batch data,都可不能否一起去兼顾Spark以及Spark streaming的功能。Flink在运行中主要十个 多多多多组件组成,JobClient,JobManager 和 TaskManager。

新模式Flink on K8S,在功能、引擎和托管模式上,全部有的是变化。

Flink on K8S,充分利用K8S的优势。K8S 都可不能否很好地集成不多集群维护工具,如监控工具普罗米修斯,一起去在资源弹性方面,K8S 都可不能否很方便地进行扩缩容。它的设计初衷,但是 为在线应用服务的,设计目标是帮助在线应用更好的发布及管理,一起去,很好的实现资源的隔离。更重要的是,发展至今,K8S有了一定的生态优势,也来不多的用户使用,也让本身 工具没人 好。

在引擎上,基于开源Flink版本,有了以下改造。提供增量Checkpoint。SQL优化器和执行器的改造更近完善,提供Unified SQL。在Runtime上,提供了一套统一且高效的算子框架,有更加灵活的chaining策略和自定义调度插件。