Spark2.x与ElasticSearch的完美结合

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

ElasticSearch(简称ES)是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RestFul web接口。ElasticSearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便的目地,当前在各大公司使用非常普遍。而Spark是基于分布式内存的高性能计算框架,用来处理大量的数据。本篇文章,我将与大家探讨如何用Spark从ES中加载数据,并将数据保存到ES里面。

1. FEA-spk集成ElasticSearch

FEA-spk技术,它的底层基于最流行的大数据开发框架Spark,对各种算子的操作都是基于DataFrame的。使用FEA-spk来做交互分析,不但非常简单易懂,而且几乎和Spark的功能一样强大,更重要的一点是,它可以实现可视化,处理的数据规模更大,可以进行分布式的机器学习等。

Spark2.x与ElasticSearch的完美结合,大大丰富了FEA-spk的业务处理能力。

2. FEA处理ElasticSearch的原语实现

(1) 创建spk的连接

(2) 创建ElasticSearch的连接

095727_uxMy_3115904.png

(3) 加载数据到ES中

数据的格式如下表所示

095737_ynqn_3115904.png

可以看到数据有一亿多条,73个字段,数据量还是比较大的。

095757_sLPo_3115904.png

(4)查看一下df1表的前十行

095808_HWBX_3115904.png

095816_XcMn_3115904.png

(5) 下面将df1表的数据写回到ES里面,其中spark是index,people是type。

095825_jsY9_3115904.png

由于数据量比较大,所以我们选择后台运行。

095843_XhPo_3115904.png

进入spark web界面,查看运行情况。

095855_yTYN_3115904.png

可以看到花费了3.6h,如果能够再调优一下,可能花费的时间更短

如果对我的文章感兴趣,请帮忙点个赞噢。

转载于:https://my.oschina.net/u/3115904/blog/1553172

你可能感兴趣的:(Spark2.x与ElasticSearch的完美结合)