Hadoop学习笔记（六）（Spark + Flink + Beam）
spark:计算框架（速度，易用，通用性）
Mapreduce是进程级别的，Spark是线程级别的
Spark生态系统：DBAS（Berkeley Data Analytics Stack）
Mesos，HDFS，Tachyon（基于内存的文件系统），Spark（核心）
自框架：Spark Streaming，GraphX，MLib，SparkSQL
外部交互：Hive，Storm，MPI
- spark可用语言：python，scala，java，R
- spak运行模式：standalone，Yarn，Mesos，local
-----------------------------------------------------------
scala安装
1）tar
2）vi ~/.bash_profile
export SCALA_HOME=/home/hadoop/app/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH
3）source
4）scala启动
Spark编译过程..
Spark 2.1.0，source code 下载
cd bin 目录：spark启动：./spark-shell --master local[2]
spark实现wc：
val file = sc.textFile("file:///root/hello.txt")//a.collect输出
val a = file.flatMap(line => line.split(" "))
val b = a.map(word => (word,1))
//Array((hadoop,1), (welcome,1), (hadoop,1), (hdfs,1), (mapreduce,1), (hadoop,1), (hdfs,1))
val c = b.reduceByKey(_ + _)
//Array((mapreduce,1), (welcome,1), (hadoop,3), (hdfs,2))
sc.textFile("file:///home/hadoop/data/hello.txt").flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_ + _).collect监控页面：localhost:4040
-----------------------------------------------------------
Flink安装、运行
启动：bin/start.local.sh
./bin/flink run ./examples/batch/WordCount.jar \
--input file:///home/hadoop/data/hello.txt --output file:///home/hadoop/tmp/flink_wc_output
查看：localhost:8081
-----------------------------------------------------------
Beam：将批处理（Spark，Flink）和流处理运行在执行引擎上
Beam运行：
1）#direct方式运行
mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \
-Dexec.args="--inputFile=/home/hadoop/data/hello.txt --output=counts" \
-Pdirect-runner
2）#spark方式运行
mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \
-Dexec.args="--runner=SparkRunner --inputFile=/home/hadoop/data/hello.txt --output=counts" -Pspark-runner
3）#flink方式运行