Spark2.x与ElasticSearch的完美结合

2019独角兽企业重金招聘Python工程师标准>>>

ElasticSearch（简称ES）是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RestFul web接口。ElasticSearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便的目地，当前在各大公司使用非常普遍。而Spark是基于分布式内存的高性能计算框架，用来处理大量的数据。本篇文章，我将与大家探讨如何用Spark从ES中加载数据，并将数据保存到ES里面。

1. FEA-spk集成ElasticSearch

FEA-spk技术，它的底层基于最流行的大数据开发框架Spark，对各种算子的操作都是基于DataFrame的。使用FEA-spk来做交互分析，不但非常简单易懂，而且几乎和Spark的功能一样强大，更重要的一点是，它可以实现可视化，处理的数据规模更大，可以进行分布式的机器学习等。

Spark2.x与ElasticSearch的完美结合，大大丰富了FEA-spk的业务处理能力。

2. FEA处理ElasticSearch的原语实现

（1） 创建spk的连接

（2） 创建ElasticSearch的连接

（3） 加载数据到ES中

数据的格式如下表所示

可以看到数据有一亿多条，73个字段，数据量还是比较大的。

（4）查看一下df1表的前十行

（5） 下面将df1表的数据写回到ES里面，其中spark是index,people是type。

由于数据量比较大，所以我们选择后台运行。

进入spark web界面，查看运行情况。

可以看到花费了3.6h,如果能够再调优一下，可能花费的时间更短

如果对我的文章感兴趣，请帮忙点个赞噢。

转载于:https://my.oschina.net/u/3115904/blog/1553172