Spark连接mysql数据库的方法

Spark连接mysql数据库的方法

引入pom文件

• 在maven项目中的pom.xml中引入mysql连接的依赖

 
        <dependency>
            <groupId>mysqlgroupId>
            <artifactId>mysql-connector-javaartifactId>
            <version>5.1.6version>
        dependency>

编辑方法

• 以插入一条数据为例

val data2Mysql = (it:Iterator[(String, Int)]) => {
    var conn: Connection = null;//连接器
    var ps: PreparedStatement = null;//操作对象
    val sql = "insert into tb_location_info(location,counts,access_date) values (?,?,?)"//编辑sql语言，?是占位符，用于值的添加，防止注入攻击
    val jdbc = "jdbc:mysql://localhost:3306/db_bigdataSpark?useUnicode=true&characterEncoding=utf8"//设置连接的url
    val user = "root"//设置登录的用户
    val password = "123456"//设置登录用户的密码
    try {
      conn = DriverManager.getConnection(jdbc, user, password)//建立数据库的连接
      it.foreach(line => {//设置参数
        ps = conn.prepareStatement(sql)
        ps.setString(1, line._1)
        ps.setInt(2, line._2)
        ps.setDate(3, new Date(System.currentTimeMillis()))
        ps.executeUpdate()
      })
    } catch {
      case  e: Exception=>println(e.printStackTrace())
    } finally {//反向关闭连接
      if(ps != null) ps.close()
      if(conn != null) conn.close()
    }
  }

到此数据库连接成功