Spark On ElasticSearch初探

一、写在前面

ElasticSearch 是一个快速索引检索的库。在实践中，我们用Hbase 存储海量业务数据，再通过ES存储索引，以这种相互结合的方式，将数据暴露给Web服务端做海量数据的查询。
实际项目中遇到的问题是：

1. Hadoop 平台采用的JDK版本为 1.7， ES的JDK版本为1.8
2. 需要频繁大批量的初始化数据,每次大约200G，要求在几个小时内导入
3. 不能接受数据丢失

二、解决思路

ElasticSearch本身提供有ElasticSearch-hadoop 插件，当由于JDK版本不同，该插件不可用。因此选择Jest
一种Rest方式访问ES。
另外，为保证数据导入速度、成功率，对导入程序做以下改进

1. Spark对大文件拆分（200G拆分为200个文件）
2. 监控每个文件导入的日志
3. 使用Bulk模式导入,每个分区做一次提交
4. 压测网络传输和ES集群能接受的一次Bulk 数据量的峰值
5. 压测Spark运行的核数，节点数（连接起的过多会导致ES CPU占用率超过90%，进而降低导入速率）

三、代码实现

1. 连接工厂

package org.hhl.esETL.es
import com.google.gson.GsonBuilder
import io.searchbox.client.JestClientFactory
import io.searchbox.client.config.HttpClientConfig
/**
  * Created by huanghl4 on 2017/11/15.
  */
object esConnFactory extends Serializable{
  @transient private var factory: JestClientFactory = null
  def getESFactory(): JestClientFactory = {
    //设置连接ES
    if (factory == null) {
      factory = new JestClientFactory()
      factory.setHttpClientConfig(new HttpClientConfig.Builder("http://10.120.193.9:9200")
        .addServer("http://10.120.193.10:9200").addServer("http://10.120.193.26:9200")
        .maxTotalConnection(20)//.defaultMaxTotalConnectionPerRoute(10)
        .gson(new GsonBuilder().setDateFormat("yyyy-MM-dd'T'HH:mm:ss") create())
        .readTimeout(100000)
        .build())
    }
    factory
  }
}

2. 大文件拆分
   大文件拆分，可用randomsplit 或者repatition 之后，存成parquet.

方法一，使用Spark 拆分为Parquet,再读HDFS文件

val data = spark.sql("select id,json from hive.table")
    data.repartition(200).write.parquet("/data")
// 返回路径下文件列表
def getPathFileNameList(sc: SparkContext, path: String): List[String] = {
    val hdfs = org.apache.hadoop.fs.FileSystem.get(sc.hadoopConfiguration)
    val hdfsPath = new org.apache.hadoop.fs.Path(path)
    val listBuff = new ListBuffer[String]

    if (hdfs.exists(hdfsPath)) {
      val it =  hdfs.listFiles(hdfsPath,false)
      while(it.hasNext){
        val f = it.next().getPath.getName
        if (f.startsWith("part")) listBuff.append(f)
      }
    }
    listBuff.toList
  }
// 读取文件
val fileList = HdfsFileUntil.getPathFileNameList(spark.sparkContext, userGraphPath)
    for (fileName <- fileList){
      val filePath = userGraphPath + "/" + fileName
// 保存到ES
      saveToES(spark, filePath)
    }

方法二，randomSplit 拆分

// 拆分
def splitTable(df:DataFrame,prefix:String,num:Int) =  {
    val weight = new Array[Double](num)
    val average = 1 / num
    for (i <- 1 until  weight.size) weight(i) = average
    val splitDF = df.randomSplit(weight)
    for(i<- 0 until splitDF.size) splitDF(i).write.mode(SaveMode.Overwrite).saveAsTable(s"$prefix" +"_"+ i)
  }
// 读取
for(I<- 0 to num-1)   {
val df = spark.read.table(s"$prefix" +"_"+ i)
saveToES(df)
}

3. 存储到ES

private def saveToES(rdd: RDD[(String, String)], repartitions: Int): Unit = {
    rdd.repartition(repartitions).foreachPartition(x => {
      val client = EsUtil.getESFactory().getObject()
      val bulk = new Bulk.Builder().defaultIndex(USER_GRAPH_INDEX).defaultType(USER_GRAPH_TYPE)
      x.foreach(msg => {
        val index = new Index.Builder(msg._2).id(msg._1).build()
        bulk.addAction(index)
      })
      try {
        client.execute(bulk.build())
      } catch {
        case e: Exception => {
          Thread.sleep(10000)
          client.execute(bulk.build())
        }
      }
    })
    rdd.unpersist(true)
  }

参考：https://github.com/Smallhi/ElasticSearchETL