Centos7下的Filnk集群部署

装JDK的过程不再赘述 采用源码安装，直接解压在/etc/profile中写入PATH即可
1.下载
flink-1.7.1-bin-hadoop27-scala_2.11.tgz
2.解压

tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz

3.设置系统变量
vi /etc/profile

#flink
export FLINK_HOME=/usr/local/flink-1.7.1
export PATH=$FLINK_HOME/bin:$PATH

source /etc/profile
4.配置Flink 注意在配置的时候:的后边要有一个空格，否则不会生效
/usr/local/flink-1.7.1/conf/flink-conf.yaml

# JobManager runs.
jobmanager.rpc.address: cdh1
# The RPC port where the JobManager is reachable.
jobmanager.rpc.port: 6123
# The heap size for the JobManager JVM
jobmanager.heap.size: 1024m
# The heap size for the TaskManager JVM
taskmanager.heap.size: 1024m
# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.
taskmanager.numberOfTaskSlots: 1
# The parallelism used for programs that did not specify and other parallelism.
parallelism.default: 1
#配置是否在Flink集群启动时候给TaskManager分配内存，默认不进行预分配，这样在我们不适用flink集群时候不会占用集群资源
taskmanager.memory.preallocate: false
# 用于未指定的程序的并行性和其他并行性，默认并行度 
parallelism.default: 2 
 #指定JobManger的可视化端口，尽量配置一个不容易冲突的端口
 jobmanager.web.port: 5566
 #配置checkpoint目录
state.backend.fs.checkpointdir: hdfs://cdh1:9000/flink-checkpoints 
#配置hadoop的配置文件
fs.hdfs.hadoopconf: /usr/local/hadoop/etc/hadoop/ 
#访问hdfs系统使用的
fs.hdfs.hdfssite: /usr/local/hadoop/etc/hadoop/hdfs-site.xml 

修改slaves和masters

vim /usr/local/flink-1.7.1/conf/slaves
例:cdh2
   cdh3

加入从节点的主机名 (前提是hosts文件已做了主机和ip地址之间的映射)

vim /usr/local/flink-1.7.1/conf/masters

加入主节点的 主机名以及端口
例：cdh1:8081

5.同传配置好的信息给其他节点

scp /etc/profile root@cdh1:etc/profile
scp -r  /usr/local/flink-1.7.1 root@cdh1:/usr/local

source /etc/proflie 其他两节点都执行
6.启动集群

[root@cdh1 bin]# start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host cdh1 

7.查看进程

[root@cdh1 bin]$ jps
3876 StandaloneSessionClusterEntrypoint
[root@cdh2 ~]$ jps
3544 TaskManagerRunner

也可登录登录JobManager的地址查看web界面 http://192.168.63.128:8081