CDH6.3.2 集成flink的部署配置

CDH6.3.2 集成flink的部署配置

标签（空格分隔）： 大数据平台构建

---

• 一：flink的简介
• 二：cdh6.3.2 集成flink

---

一：flink的简介

Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行

在 2019 年 10 月于柏林举行的 Flink Forward 活动上，Cloudera 的工程主管 Marton Balassi 和 Field CTO Andrew Psaltis 在大会上宣布，Cloudera 承诺将通过 CSA 产品不断给 Apache Flink 社区做出贡献。

相信 Cloudera 对 Apache Flink 的集成将会为社区带来更多创新、为企业及开发者提供更便捷的操作与更友好的使用体验

---

二：CDH6.3.2 集成flink

介绍如何在CDH6.3中安装Flink1.9以及运行你的第一个Flink例子，以下是测试环境信息：

1.CM和CDH版本为6.3.2

2.CentOS7.5x64

3.JDK1.8.0_181

4.集群启用Kerberos

5.root用户安装

flink 的parcels 包下载地址：

https://archive.cloudera.com/csa/1.0.0.0

FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel  
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha  

FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar

manifest.json

mv FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar /opt/cloudera/csd/

chown cloudera-scm:cloudera-scm -R csd/ -R
cd ..

mv flink /var/wwww/html/

service cloudera-scm-server restart 
service httpd start 

CM 增加 parcels 文件  然后从新启动CM

---

---

第一个Flink例子

1.执行Flink自带的example的wordcount例子。

hdfs dfs -put word.txt /tmp

flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs://192.168.11.160:8020/tmp/word.txt --output hdfs://192.168.11.160:8020/tmp/result4