【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础009--flink分布式部署004

四、flink批处理测试

1.创建文件夹并上传flink的readme文件

略，见上章节！

2.运行wordcount程序

2.1检查安装包中是否存在WordCount.jar

cd ${FLINK_HOME}/examples/batch
tree -L 1 .

执行效果：

2.2运行wordcount程序

计算hdfs://qingcheng11:9000/input/flink/README.txt中单词的个数

执行命令：

${FLINK_HOME}/bin/flink run -p 8 ${FLINK_HOME}/examples/batch/WordCount.jar \
--input  hdfs://qingcheng11:9000/input/flink/README.txt \
--output hdfs://qingcheng11:9000/output/flink/readme_result

其中：-p 8：是设置8个任务并发执行，也就是Job parallelism=8，每个任务输出一个结果到hdfs上hdfs上将生产8个结果文件。

fink web ui中的效果：

hadoop hdfs web ui中的效果：

分别查看结果文件中的内容：

 hadoop fs -text /output/flink/readme_result/1
 hadoop fs -text /output/flink/readme_result/2
 hadoop fs -text /output/flink/readme_result/3
 hadoop fs -text /output/flink/readme_result/4
 hadoop fs -text /output/flink/readme_result/5
 hadoop fs -text /output/flink/readme_result/6
 hadoop fs -text /output/flink/readme_result/7
 hadoop fs -text /output/flink/readme_result/8