pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中

目录

  • PvUvToMysql类
  • ConnectionUtils类
  • jdbc.properties文件
  • 在IDEA中打jar包的两种方式
    • IDEA打jar包
    • IDEA中maven方式打jar包
  • 提交spark程序jar包运行
    • 参数解释
    • 本地模式运行
    • 集群上运行
    • yarn上运行


PvUvToMysql类

package com.fuyun.bigdate.spark

import java.sql.{Connection, PreparedStatement}

import org.apache.spark.storage.StorageLevel
import org.apache.spark.{SparkConf, SparkContext}

/**
  * 统计PVUV将结果保存到MySQL中.
  */
object PvUvToMysql {

  def main(args: Array[String]): Unit = {
    /**
      * 初始化
      */
    // 实例化sparkconf并设置程序运行名称
    val sparkConf = new SparkConf().setAppName("pvuv")
    //  实例化sparkcontext并将sparkconf传入
    val sc = new SparkContext(sparkConf)
    // 设置日志级别
    sc.setLogLevel("WARN")
    /**
      * 输入
      */
    //  读取输入文件的内容,并设置分区数为4
    val inputRdd = sc.textFile("hdfs://192.168.xxx.xx/datas/2015082818.data",4)
    //  打印文件内容的第一行
    println(s"first = ${inputRdd.first()}")
    //  统计文件的行数
    println(s"count = ${inputRdd.count()}")
    /**
      * 转换
      */
    // 先将输入的每行去除首尾空格,再保留长度大于0的元素
    val filterRdd = inputRdd.filter(_.trim.length > 0)
      .map(line => {
        //  将每行数据按"\t"分割
        val arr = line.split("\t")
        // 返回date、url、guid
        (arr(17).substring(0, 10),arr(1), arr(5))
      })
    // 缓存
    filterRdd.persist(StorageLevel.MEMORY_AND_DISK_SER_2)
    // pv
    val pvRdd = filterRdd.map{
      //  取出date、url
      case (date, url, guid) => (date, url)
    }
      // 先将每个元素去除首尾空格,然后只保留长度大于0的元素
      .filter(_._2.trim.length > 0)
      // 返回(date,1)的元组
      .map(tuple => (tuple._1, 1))
      // 按日期分组求和统计每天的pv数
      .reduceByKey(_ + _)
    println("====================pv output======================")
    // foreachPartition比foreach更优化
    pvRdd.foreachPartition(iter => iter.foreach(println))

    // uv
    // 先得到(date, guid)
    val uvRdd = filterRdd.map{case (date, url, guid) => (date, guid)}
      // 去重
        .distinct()
      // 先将元素去除首尾空格再保留长度大于0 的元素
        .filter(_._2.trim.length > 0)
      // 构造(date, 1)的元组
        .map(tuple => (tuple._1, 1))
      // 按date分组再根据value求和统计每天的uv数
        .reduceByKey(_ + _)
    println("======================uv output========================")
    uvRdd.foreachPartition(iter => iter.foreach(println))

    /**
      * union
      *   def union[T: ClassTag](first: RDD[T], rest: RDD[T]*)
      *   注意:union合并时要求两个rdd的类型必须一致
      */
    val unionRdd = pvRdd.union(uvRdd)
    unionRdd.foreach(println)
    /**
      * join
      *  def join[W](other: RDD[(K, W)], partitioner: Partitioner): RDD[(K, (V, W))]
      *  注意:join时要求所有的RDD必须为二元组类型的rdd
      *
      */
    val joinRdd = pvRdd.join(uvRdd)
    joinRdd.foreach{case (date, (pv, uv)) => println(s"${date}\t${pv}\t${uv}")}

    /**
      * 输出
      */
    // 合并后设置分区数为1
    joinRdd.coalesce(1).foreachPartition(iter => {
      // conn初始化为null
      var conn:Connection = null
      // 初始化ps_create为null
      var ps_create:PreparedStatement =null
      // 初始化ps_tru为null
      var ps_tru:PreparedStatement =null
      // 初始化ps_insert为null
      var ps_insert:PreparedStatement =null
      try{
        // 得到connection
        conn = ConnectionUtils.getConnection
        // 如果表不存在,则创建表
        val sql_create = "create table if not exists pvuv_tb (date varchar(66), pv int(10), uv int(10))"
        ps_create = conn.prepareStatement(sql_create)
        ps_create.execute()
        // 清空表格内容
        /*val sql_tru = "truncate pvuv_tb"
        ps_tru = conn.prepareStatement(sql_tru)
        ps_tru.execute()*/
        // 插入数据
        val sql_insert = "insert into pvuv_tb values (?, ?, ?)"
        ps_insert = conn.prepareStatement(sql_insert)
        iter.foreach{
          case (date, (pv, uv)) => println(s"${date}\t${pv}\t${uv}")
            ps_insert.setString(1, date) // 将date添加到第一个?
            ps_insert.setInt(2, uv) // 将pv添加到第二个?
            ps_insert.setInt(3, uv) // 将uv添加到第三个?
            ps_insert.executeUpdate() // 提交SQL语句
        }
      }catch{
        case e:Exception => println("MySQL Exception")
      }finally{
        // 关流
        if (ps_create != null) {
          ps_create.close()
        }
        if (ps_tru != null) {
          ps_tru.close()
        }
        if (ps_insert != null) {
          ps_insert.close()
        }
        ConnectionUtils.closeConnection(conn)
      }
    })

    // 关闭缓存
    filterRdd.unpersist()
    /**
      * 关闭资源
      */
    // 设置线程睡眠时间
    Thread.sleep(10000000000L)
    sc.stop()
  }
}


ConnectionUtils类

package com.fuyun.bigdate.spark

import java.io.InputStream
import java.sql.{Connection, DriverManager, PreparedStatement}
import java.util.Properties

/**
  * Created by lenovo on 2018/9/26.
  */
object ConnectionUtils {
  // 读取properties文件
  val inputStream:InputStream = ConnectionUtils.getClass.getClassLoader.getResourceAsStream("jdbc.properties")
  // 实例化properties对象
  val prop = new Properties()
  // 加载properties文件
  prop.load(inputStream)
  // 加载driver.class.name
  Class.forName(prop.getProperty("driver.class.name"))
  // 加载mysql.url
  val url = prop.getProperty("mysql.url")
  // 加载mysql.user
  val username = prop.getProperty("mysql.user")
  // 加载mysql.password
  val password = prop.getProperty("mysql.password")

  def getConnection:Connection = {
     DriverManager.getConnection(url, username, password)
  }
  def closeConnection(conn: Connection){
    if (conn != null) {
      conn.close()
    }
  }
}


jdbc.properties文件

此文件在main中的resources中创建,方便以后修改此文件而实现不同的需求

driver.class.name=com.mysql.jdbc.Driver
mysql.url=jdbc:mysql://192.168.xxx.xx:3306/spark_db
mysql.user=root
mysql.password=123456

在IDEA中打jar包的两种方式

IDEA打jar包

idea打包java可执行jar包

1,在项目上鼠标右键 --> Open Module Settings
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第1张图片
2, Artifacts --> + --> JAR --> From modules with dependencies…
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第2张图片
3, Main Class是你这个项目(脚本)的主方法,就是要运行的类,选一个
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第3张图片
4,如下图,设置 META-INF/MANIFEST.MF
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第4张图片
5,选中你这个项目的根目录,一定要放在根目录下
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第5张图片
6,设置完是这样子的,关于 JAR files from libraries的两个选项:

选中第一个的话,打完包后是一个jar包

选中第二个的话,打完包后是一个jar包,外带你项目所用的jar包,个人推荐第二个
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第6张图片
7,设置完后就可以点OK了

8,这个页面, Build on make打上勾,其他的不一样也没事
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第7张图片

9,最后一步, Build Artifacts… --> XXX.jar --> Build
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第8张图片
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第9张图片

10,复制这里的路径去找jar包就行
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第10张图片

IDEA中maven方式打jar包

  1. 先清除,在右侧的Maven Projects-> Lifecycle -> clean
    pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第11张图片
  2. 编译项目,菜单栏Build -> Make Project
    pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第12张图片
  3. 打jar包,在右侧的Maven Projects-> Lifecycle -> package
    pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第13张图片
  4. 然后到左侧项目的target中寻找jar包
    pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第14张图片

提交spark程序jar包运行

先将jar包放入linux的/opt/datas/目录

将mysql-connector-java-5.1.27-bin.jar放入/opt/cdh-5.7.6/spark-2.2.0-cdh5.7.6/jars/目录中

参数解释

--master 设置模式:本地、集群、yarn
--class  包含main方法的driver类的地址
--driver-memory  设置driver的内存
--executor-memory  设置executor的内存
--executor-cores  设置每个executor的核心数
--total-executor-cores  设置executor的总核心数
又上两个参数可以算出executor的个数total-executor-cores/executor-cores
--num-executors  设置executor的个数(只有在yarn上运行才有这个参数)

本地模式运行

bin/spark-submit
–master local[2]
–class com.fuyun.bigdate.spark.PvUvToMysql
–driver-memory 512M
–executor-memory 512M
–executor-cores 1
–total-executor-cores 2
/opt/datas/sparkLearning.jar
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第15张图片

pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第16张图片
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第17张图片

集群上运行

集群运行
bin/spark-submit
–master spark://192.168.xxx.xx:7077
–class com.fuyun.bigdate.spark.PvUvToMysql
–driver-memory 512M
–executor-memory 512M
–executor-cores 1
–total-executor-cores 2
/opt/datas/sparkLearning.jar
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第18张图片

pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第19张图片
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第20张图片

yarn上运行

yarn上运行
bin/spark-submit
–master yarn
–class com.fuyun.bigdate.spark.PvUvToMysql
–driver-memory 512M
–executor-memory 512M
–num-executors 2
/opt/datas/sparkLearning.jar
pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第21张图片

pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第22张图片

pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中_第23张图片

你可能感兴趣的:(spark)