Flink On K8s实战课程2023
网盘地址:https://pan.baidu.com/s/1pAsd778FyO0t6rQ4l_G3qA 提取码:ww3t
腾讯微云下载地址:https://share.weiyun.com/mefYLY7T 密码:zkin6j
分享课程——Flink On K8s实战课程2023,附源码+文档+虚拟机+软件包下载。
平台工程是一个在云原生时代重新焕发活力的旧概念,被视为解决云和集群扩张、资源浪费和成本失控问题的有效手段。
容器和 WebAssembly (WASM) 提供了一个清晰的接口,使开发者可以自由选择他们喜欢的任何语言和框架(不同于 Java EE 的限制),同时也便于核心团队进行平台标准的设定和治理。
Kubernetes 的清晰容器管理接口将开发和运营的关注点分离,从而提升效率和生产力。我知道许多开发者可能会抱怨:"平台团队只是想再次控制我们使用的工具,他们总是阻碍我们,拖慢我们的进度,让我们感到困扰。" 但我认为这次情况有所不同。为什么呢?因为有一个简单的约定,那就是只要能放进一个容器,它就能被部署。
一般情况下,flink都是默认允许共用slot的,即便不是相同的task,只要都是来同一个job即可。共享slot的好处有以下两点:
1. 当Job的最高并行度正好和flink集群的slot数量相等时,则不需要计算总的task数量。例如,最高并行度是6时,则只需要6个slot,各个subtask都可以共享这6个slot; 2. 共享slot可以优化资源管理。如下图,非资源密集型subtask source/map在不共享slot时会占用6个slot,而在共享的情况下,可以保证其他的资源密集型subtask也能使用这6个slot,保证了资源分配。