Spark从入门到精通19：Spark实战案例之统计网站访问量

本节来介绍Spark实战案例：通过分析网站的访问日志，来求出网站中访问量最高的两个页面。

access_log.txt 提取码：xxjc

本节用到的日志文件格式如下所示：

192.168.88.1 - - [30/Jul/2017:12:54:52 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:53 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242
192.168.88.1 - - [30/Jul/2017:12:54:54 +0800] "GET /MyDemoWeb/mysql.jsp HTTP/1.1" 200 241

1.下载Spark安装目录下的所有Jar包

使用WinSCP工具将$SPARK_HOME/jars目录下的所有Jar包下载到本地目录如E:/sparklib中。

2.使用IDEA搭建Spark程序开发环境

1. 打开IDEA开发工具，选择“Create New Project”，选择Scala下面的sbt工程，Next
2. 工程名字：WebAccessCount，选择一个保存位置，比如：E:/WebAccessCount，Java版本和Scala版本需要和Spark集群环境中的保持一致，sbt版本保持默认，Finish
3. 在WebAccessCount工程上右键单击，New，Directory，输入目录名：lib，OK
4. 将刚才下载好的所有Jar包，复制粘贴到lib文件夹，在弹出的确认对话框中单击OK
5. 选中lib目录下的所有的Jar包，右键，选中“Add as Libirary”，在弹出的对话框中输入库的名字，比如：spark_jars，OK

注意：IDEA构建工程的过程比较慢，请耐心等待。只有等工程构建完成后，工程的结构才会完整，写代码时才会有智能提示。可以通过更改sbt源的方式来提高构建速度，这里不作介绍。

3.编写WebAccessCount程序

1. 在WebAccessCount工程下的src/main/scala目录上右键，New，Package：demo，OK
2. 在demo下面New，Scala Class：WebAccessCount.scala，种类选择：Object，OK
3. 编写WebAccessCount.scala代码如下：

package demo
import org.apache.spark.{SparkConf, SparkContext}
//功能：求出访问量最高的两个页面
object WebAccessCount {
    def main(args: Array[String]): Unit = {
        //创建SparkConf对象：设置为本地运行模式
        val conf = new SparkConf().setAppName("WebAccessCount").setMaster("local")

        //创建SparkContext对象
        val sc = new SparkContext(conf)

        //从本地磁盘读入访问日志数据："192.168.88.1 - - [30/Jul/2017:12:54:41 +0800] 
        //"GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242"
        val rdd1 = sc.textFile("E:\\access_log.txt").map(
        line => {
            //解析每一行，找出jsp文件的名字，并返回结果：(hadoop.jsp,1)
            //解析出子串: GET /MyDemoWeb/hadoop.jsp HTTP/1.1
            val index1 = line.indexOf("\"") //左双引号的位置
            val index2 = line.lastIndexOf("\"") //右双引号的位置
            val command = line.substring(index1+1,index2)

            //解析出子串：/MyDemoWeb/hadoop.jsp
            val index3 = command.indexOf(" ") //第一个空格
            val index4 = command.lastIndexOf(" ") //最后一个空格
            val path = command.substring(index3+1,index4)

            //解析出jsp文件名字：hadoop.jsp
            val jspFileName = path.substring(line2.lastIndexOf("/")+1)

            //返回结果：(hadoop.jsp,1)
            (jspFileName,1)
        }
        )

        //将每个页面的访问量求和
        val rdd2 = rdd1.reduceByKey(_+_)

        //将每个页面按照访问量降序排列：true表示升序，false表示降序
        val rdd3 = rdd2.sortBy(_._2,false)

        //输出访问量最高的两个页面
        println(rdd3.take(2).toBuffer)

        //停止SparkContext对象
        sc.stop()
    }
}

3.运行结果

按Ctrl + Shift + F10或者在代码上右键，选择Run “WebAccessCount”运行，结果如下：

image