flink on k8s (flink-1.13.0 最新版本 application 部署方式)

flink on k8s (flink-1.13.0 最新版本 application 部署方式)

run-application模式

(此方式一劳永逸,节省资源+数据隔离,集群之间不会相互影响)

①,将自己的项目jar包 和 flink镜像 打在一起生成新的镜像

(默认jdk是1.8,如果有jdk版本要求可将jdk的home目录一起打进镜像,然后通过配置文件内添加参数 env.java.home: /opt/flink/jdk-11.0.10+0 来指定jdk )


 Dockerfile:
FROM flink
RUN mkdir -p /opt/flink/usrlib
COPY matest.jar /opt/flink/usrlib/matest.jar
COPY jdk-11.0.10+0 /opt/flink/jdk-11.0.10+0
        
//RUN echo "env.java.home=/opt/flink/jdk-11.0.10+0" > /opt/flink/conf/flink-conf.yaml

②,构建镜像

 docker build -t wordcount:1.0(你的镜像自定义名字) ./

③,如果有本地仓库的push到本地仓库,这样其他kubernetes的节点就不需要手动拷贝镜像了

docker tag wordcount:1.0 192.168.xx.xx:30002/gtcom/wordcount:1.0
docker push 192.168.xx.xx:30002/gtcom/wordcount:1.0

④,创建kubernets命名空间

  kubectl create namespace flink-application-cluster

⑤,创建该空间的用户 flink (自定义)

  kubectl create serviceaccount flink -n flink-application-cluster

⑥,给该用户赋权
(不创建用户和赋权启动时候会报 "权限"错)

kubectl create clusterrolebinding flink-role-binding-flink \
        --clusterrole=edit \
        --serviceaccount=flink-application-cluster:flink

⑦,到你服务器flink的home目录下,用flink命令 启动集群

bin/flink  run-application --target kubernetes-application  \
       -Dkubernetes.cluster-id=gtcom-application-cluster(自定义任务名称,否则会自动创建)  \
       -Dkubernetes.namespace=flink-application-cluster  \
       -Dkubernetes.service-account=flink  \
       -Dkubernetes.container.image= 192.168.xx.xx:30002/gtcom/wordcount:1.0  \
       local:///opt/flink/usrlib/gxxxxxxxx-2.3.0.jar  --driverType AccessGovern --flow news --topicName flink-index --kafkaParallelism 3 --sinkParallelism 3

(从“–driverType” 开始是你的jar包需要传递的一些自定义参数)

图片

flink on k8s (flink-1.13.0 最新版本 application 部署方式)_第1张图片

flink on k8s (flink-1.13.0 最新版本 application 部署方式)_第2张图片

flink on k8s (flink-1.13.0 最新版本 application 部署方式)_第3张图片

flink on k8s (flink-1.13.0 最新版本 application 部署方式)_第4张图片
flink on k8s (flink-1.13.0 最新版本 application 部署方式)_第5张图片

你可能感兴趣的:(flink,k8s,kubernetes,java,docker)