07-flink环境搭建

07-flink环境搭建

Standalone Cluster环境

下载部署包

上传到Linux服务器上

通过FTP工具上传；也可以将win安装Linux子系统；或者直接win上运行(没有测试过)

解压安装包

tar -zxvf flink-1.6.2-bin-hadoop27-scala_2.11.tgz

创建软链接

ln -s flink-1.6.2 flink

配置环境变量

vi /etc/profile
#追加
#flink
export FLINK_HOME=/dwb/data/program/flink
export PATH=${FLINK_HOME}/bin:$PATH

#然后
source /etc/profile

修改配置文件

进入conf文件夹下

[root@flink1 conf]# pwd
/dwb/data/program/flink/conf
vi flink-conf.yaml
#修改 jobManager 节点
jobmanager.rpc.address: flink1

vi slaves
#添加 taskManager节点
spark2

将刚刚flink 文件夹 分发到其它机器

scp -r flink root@spark2:/dwb/data/program

分发的机器修改环境变量

安装 nc

yum install -y nc

验证环境

进入 flink/bin 目录

#master机器上
./start-cluster.sh
#查看进程
jps
3936 StandaloneSessionClusterEntrypoint
4199 Jps

#查看slave机器上进程
jps
2662 Jps
2615 TaskManagerRunner

#slave机器上启动 9000端口
nc -l 9000

#master机器上；进入flink/bin
./flink run ../examples/streaming/SocketWindowWordCount.jar --hostname hadoop2 --port 9000

#slave机器上 9000端口程序中输入
hello java
hello flink

flinkui 依次查看