Flink入门之Standalone模式集群伪分布式搭建

 

1：首先配置Java相关环境以及Flink下载，解压就不说了。

2：接下来看看Flink的conf的配置文件：

                                                 

这里面需要我们配置的有：slaves和flink-conf.yaml文件，这里面masters文件是用来配置HA的，只要我们不配置HA的话，就不需要配置masters文件（flink也是master/slave结构，但是对于此时master的选择是执行启动脚本的机器为master）。但是slave需要我们配置，配置对应的主机名即可（伪分布式和分布式的区别也就是实际上slave节点的个数，以及分布式在多个节点上而已）。接下来需要我们配置的就是flink-conf.yaml，flink和spark还是有区别的，spark配置文件分spark-env.sh和spark-default.conf文件，而flink的配置都在flink-conf.yaml中完成配置。

 

 

我们挑重点参数进行说明：（这些文件配置最好看官网配置文档进行配置）

 

文档地址：https://ci.apache.org/projects/flink/flink-docs-release-1.2/setup/config.html#collapse-105

jobmanager.rpc.address: node  #配置JobManager进行RPC通信的地址，使用默认即可
jobmanager.rpc.port: 6123          #配置JobManager进行RPC通信的端口，使用默认即可
taskmanager.numberOfTaskSlots: 2  #配置每一个slave节点上task的数目
taskmanager.memory.preallocate: false  #配置是否在Flink集群启动时候给TaskManager分配内存，默认不进行预分配，这样在我们不适用flink集群时候不会占用集群资源
parallelism.default: 2  # 用于未指定的程序的并行性和其他并行性，默认并行度
jobmanager.web.port: 5566  #指定JobManger的可视化端口，尽量配置一个不容易冲突的端口
state.backend.fs.checkpointdir: hdfs://node:9000/flink-checkpoints #配置checkpoint目录
fs.hdfs.hadoopconf: /home/daxin/bigdata/hadoop/etc/hadoop/ #配置hadoop的配置文件
fs.hdfs.hdfssite: /home/daxin/bigdata/hadoop/etc/hadoop/hdfs-site.xml  #访问hdfs系统使用的

 

fs.default-scheme: hdfs://node:9000/   #设置默认文件系统，笔者在开始搭建集群时候由于没设置此项导致读“/word/hadoop.txt”无法访问hdfs文件系统，默认值是本地文件系统

 

注意：flink-conf.yaml中配置key/value时候在“:”后面需要有一个空格，否则配置不会生效。

更多配置请查看官网

 

3:接下来我们就可以启动Flink集群了，使用bin/start-cluster.sh完成启动。

                                  

然后jps查看一下进程：

 

5401 TaskManager

5085 JobManager

看见这两个进程就代表启动成功了。接下来就可以打开Web UI了：

 

4：最后我们可以启动一个shell连接到集群上运行一个job试一试了，可以使用start-scala-shell.sh启动shell控制台进行写程序，但是如果不跟参数的话，则启动的是一个本地的shell，所以我们需要输入我们的 Master URL，我们可以输入start-scala-shell.sh --help 看看脚本需要的参数：

 

所以我们输入：start-scala-shell.sh remote  node 6123启动一个集群Shell控制台：

 

 

接下来我们就可以写一个最简单的count程序了，统计输入元素的个数：

 

到此就完成了Flink的最简单配置！！！