大三寒假生活6

今天完成了实验三,跟着实验三把hadoop的内容复习了一下,还学习了spark的相关内容,但是还是没有战胜eclipse,明天继续奋战,并进行实验四。

(1)在 spark-shell 中读取 Linux 系统本地文件“/home/hadoop/test.txt”,然后统计出文件的行数;
 
$ cd /usr/local/spark
$./bin/spark-shell
scala>val textFile=sc.textFile("file:///home/hadoop/test.txt")
scala>textFile.count()
大三寒假生活6_第1张图片
(2)在 spark-shell 中读取 HDFS 系统文件“/user/hadoop/test.txt”(如果该文件不存在,请先创建),然后,统计出文件的行数; 
 
scala>val textFile=sc.textFile("hdfs://192.168.137.67:9000/user/hadoop/test.txt")
scala>textFile.count()
大三寒假生活6_第2张图片
(3)编写独立应用程序,读取 HDFS 系统文件“/user/hadoop/test.txt”(如果该文件不存在,请先创建),然后,统计出文件的行数;通过 sbt 工具将整个应用程序编译打包成 JAR 包,并将生成的 JAR 包通过 spark-submit 提交到 Spark 中运行命令。 
 
$ cd ~ 
$ mkdir ./sparkapp # 创建应用程序根目录
$ mkdir -p ./sparkapp/src/main/scala #创建所需的文件夹结构
 
在“~/sparkapp/src/main/scala”下建立一个名为 Shiyan.scala 的 Scala 代码文件
 
$ vim ./sparkapp/src/main/scala/Shiyan.scala
然后,在 Shiyan.scala 代码文件中输入以下代码:
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object Shiyan{
 def main(args: Array[String]) {
 val logFile = " hdfs://192.168.137.67:9000/user/hadoop/test.txt"
 val conf = new SparkConf().setAppName("Shiyan")
 val sc = new SparkContext(conf)
 val logData = sc.textFile(logFile, 2)
 val num = logData.count()
 printf("行数为:", num)
 } 
}

然后进行打包

$ cd ~/sparkapp 
$ /usr/local/sbt/sbt package
生成的 JAR 包的位置为“~/sparkapp/target/scala-2.12/simple-project_2.12-1.0.jar”。
对于前面 sbt 打包得到的应用程序 JAR 包,可以通过 spark-submit 提交到 Spark 中运行,命令如下: 
第一个命令会产生很多无用的信息,通常使用第二个提取有用信息。
$ /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.12/simple-project_2.12-1.0.jar 
$ /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.12/simple-project_2.12-1.0.jar  2>&1 | grep "行数为:" 

大三寒假生活6_第3张图片

你可能感兴趣的:(大三寒假生活6)