01 在CentOS7中安装flink

数据分两类,一类是静态处理,多做批量处理,属于OLAP,一类是流式数据,多做实时处理,属于OLTP。Spark Streaming属于微批处理,并非真正意义上的实时处理。本节将介绍一个顶级的流处理框架Flink。

1 系统、软件以及前提约束

  • CentOS 7 64 工作站 作者的机子ip是192.168.100.200,请读者根据自己实际情况设置
  • jdk1.8已经安装并配置环境变量
    https://www.jianshu.com/p/826dc5eca7cb
  • scala已完成安装
    https://www.jianshu.com/p/8384ab76e8d4
  • flink-1.2.1-bin-hadoop2-scala_2.10
    下载链接:https://pan.baidu.com/s/1c_skDYabCRSkS5hRUB6lFQ
    已下载flink-1.2.1-bin-hadoop2-scala_2.10.tgz并上传到/root
    提取码:a00t
  • 为去除权限对操作的影响,所有操作都以root进行

2 操作

  • 1 解压
# 进入家目录
cd
# 解压
tar -xvf flink-1.2.1-bin-hadoop2-scala_2.10.tgz
  • 2 启动
# 进入flink的启动目录
cd /root/flink-1.2.1/bin
# 启动
./start-local.sh
  • 3 测试
    在浏览器中输入http://192.168.100.200:8081查看flink界面
  • 4 运行自带词频统计demo
# 打开一个xshell窗口,登录,执行nc,监听8888
nc -lk 8888
# 进入flink启动目录
cd /root/flink-1.2.1/bin
# 执行词频统计
./flink run /root/flink-1.2.1/examples/streaming/SocketWindowWordCount.jar  --port 8888
# 打开一个xshell窗口,登录,查看日志
cd /root/flink-1.2.1/log
# 查看日志【注意作者的机子名称为danji,因此日志文件中包含danji】
tail -f flink-root-jobmanager-0-danji.out

在nc窗口输入字符串,在查看日志窗口就能看到统计的结果。
以上,就是在CentOS7中安装flink,并且运行自带词频统计的过程。

你可能感兴趣的:(29,flink入门)