大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化

Spark大数据分析中涉及到RDD、Data Frame和SparkSQL的操作,本文简要介绍三种方式在数据统计中的算子使用。


1、在IPython Notebook运行Python Spark程序

IPython Notebook具备交互式界面,可以在Web界面输入Python命令后立刻看到结果,还可将数据分析的过程和运行后的命令与结果存储成笔记本,下次可以打开笔记本,重新执行这些命令,IPython Notebook笔记本可以包含文字、数学公式、程序代码、结果、图形等。

1.1 安装IPython

1)若无gcc,需先安装gcc

[root@tango-spark01 /]# gcc –v
[root@tango-spark01 /]# yum install gcc

2)若无pip,安装pip

[root@tango-spark01 /]# pip –v
[root@tango-spark01 /]# wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate

3)安装Python开发包

[root@tango-spark01 /]# yum install python-devel

4)执行以下命令安装IPython和IPython Notebook:

[root@tango-spark01 /]# pip install ipython
[root@tango-spark01 /]# pip install urllib3
[root@tango-spark01 /]# pip install jupyter

5)输入ipython进入交互界面

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第1张图片

6)输入jupyter notebook

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第2张图片

1.2 IPython配置

1)创建远程连接密码

In [2]: from notebook.auth import passwd;
In [3]: passwd()
Enter password: 
Verify password: 
Out[3]: 'sha1:fea9052f4d92:114eb32c684004bf4a6196faac0b26a28156fe5d'

2)生成jupyter配置文件

[root@tango-spark01 /]# jupyter notebook --generate-config
Writing default config to: /root/.jupyter/jupyter_notebook_config.py

3)打开配置文件,设置以下内容

## The IP address the notebook server will listen on.
#c.NotebookApp.ip = 'localhost'
c.NotebookApp.ip = '0.0.0.0'
## The directory to use for notebooks and kernels.
#c.NotebookApp.notebook_dir = u''
c.NotebookApp.notebook_dir = u'/usr/local/spark/ipynotebook'
## Hashed password to use for web authentication.
#  To generate, type in a python/IPython shell:
#    from notebook.auth import passwd; passwd()
#  The string should be of the form type:salt:hashed-password.
#c.NotebookApp.password = u''
c.NotebookApp.password = u'sha1:fea9052f4d92:114eb32c684004bf4a6196faac0b26a28156fe5d'

4)打开jupyter notebook

[root@tango-spark01 /]# jupyter notebook --allow-root
[I 14:20:05.618 NotebookApp] Serving notebooks from local directory: /usr/local/spark/ipynotebook
[I 14:20:05.618 NotebookApp] The Jupyter Notebook is running at:
[I 14:20:05.619 NotebookApp] http://(tango-spark01 or 127.0.0.1):8888/
[I 14:20:05.619 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[W 14:20:05.619 NotebookApp] No web browser found: could not locate runnable browser.
[I 14:21:00.346 NotebookApp] 302 GET / (192.168.112.1) 2.50ms
[I 14:21:00.352 NotebookApp] 302 GET /tree? (192.168.112.1) 1.71ms
[I 14:22:16.241 NotebookApp] 302 POST /login?next=%2Ftree%3F (192.168.112.1) 1.58ms

5)浏览器输入地址和端口

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第3张图片

输入密码登录进去

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第4张图片

1.3 在IPython Notebook中使用Spark

1)进入ipynotebook工作目录

[root@tango-spark01 /]# cd /usr/local/spark/ipynotebook
[root@tango-spark01 ipynotebook]#

2)在IPython Notebook界面中运行pyspark

[root@tango-spark01 ipynotebook]# PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook"  pyspark

3)单击New选择Python 2,新建Notebook

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第5张图片

4)新建Notebook后会出现新的页面,默认notebook名称为Untitled,单击后修改名称

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第6张图片

5)在Notebook运行程序代码

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第7张图片

6)保存Notebook下次可继续打开使用

2、Spark SQL、DataFrame、RDD数据统计与可视化

2.1 RDD、DataFrame和Spark SQL比较

RDD和Data Frame都是Spark平台下分布式弹性数据集,都有惰性机制,在进行创建、转换时不会立即执行,等到Action时才会遍历运算。

  1. RDD API进行数据统计,主要使用map配合reduceByKey,需要有Map/Reduce概念
  2. 与RDD不同的是Data Frame更像是传统的数据库表格,除了数据以外,还记录了数据的结构信息
  3. Spark SQL则是由DataFrame派生出来,必须先创建DataFrame,然后通过登录Spark SQL temp table就可以使用Spark SQL语句,直接使用SQL语句进行查询

下表列出在进行数据统计计算时候,RDD、Data Frame和Spark SQL使用的不同方法。

Items 功能描述
RDD API userRDD.map(lambda x:(x[2],1)).reduceByKey(lambda x,y: x+y).collect()
DataFrame user_df.select(“gender”).groupby(“gender”).count().show()
Spark SQL sqlContext.sql(“””SELECT gender,count(*) counts FROM user_table GROUP BY gender”””).show()
2.2 创建RDD、DataFrame和Spark SQL

在Hadoop YARN-client模式运行IPython Notebook

[root@tango-spark01 ipynotebook]# PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook"  HADOOP_CONF_DIR=/usr/local/spark/hadoop-2.9.0/etc/hadoop  pyspark --master yarn --deploy-mode client
  • 创建RDD

1)配置文件读取路径

global Path
if sc.master[0:5] =="local":
    Path="file:/usr/local/spark/ipynotebook/"
else:
    Path="hdfs://tango-spark01:9000/input/"
  1. 如果sc.master[0:5]是“local”,代表当前在本地运行,读取本地文件
  2. 如果sc.master[0:5]不是“local”,有可能是YARN client或Spark Stand Alone,必须读取HDFS文件

2)读取文本文件并且查看数据项数

RawUserRDD=sc.textFile(Path+"data/u.user")
RawUserRDD.count()
RawUserRDD.take(5)

3)获取每一个字段

userRDD= RawUserRDD.map(lambda line:line.split("|"))
userRDD.take(5)

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第8张图片

  • 创建Data Frame

1)创建sqlContext:在Spark早期版本中,spark context是Spark的入口、SQLContext是SQL入口、HiveContext是hive入口。在Spark 2.0中,使用Spark Session可同时具备spark context、sqlContext、HiveContext功能

sqlContext=SparkSession.builder.getOrCreate()

2)定义Schema:定义DataFrames的每个字段名与数据类型

from pyspark.sql import Row
user_Rows = userRDD.map(lambda p:
    Row(userid=int(p[0]),age=int(p[1]),gender=p[2],occupation=p[3],zipcode=p[4]))
user_Rows.take(5)

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第9张图片

3)创建DataFrames:使用sqlContext.createDataFrame()方法创建DataFrame

user_df=sqlContext.createDataFrame(user_Rows)
user_df.printSchema()

4)查看DataFrames数据

user_df.show(5)

5)为DataFrame创建别名:可以使用.alias帮DataFrame创建别名

df=user_df.alias("df")
df.show(5)

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第10张图片

  • 使用SparkSQL

创建DataFrame后,使用该DataFrame登录Spark SQL temp table,登录后可以使用Spark SQL

1)登录临时表

user_df.registerTempTable("user_table")

2)使用Spark SQL查看项数

sqlContext.sql("SELECT count(*) counts FROM user_table").show()

3)多行输入Spark SQL语句,需要使用3个双引号引住SQL

sqlContext.sql("""
    SELECT count(*) counts
    FROM user_table
    """).show()

4)使用SparkSQL查看数据,限定数据项

sqlContext.sql("SELECT * FROM user_table").show()
sqlContext.sql("SELECT * FROM user_table").show(5)
sqlContext.sql("SELECT * FROM user_table LIMIT 5").show()

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第11张图片

2.3 数据统计操作
2.3.1 筛选数据
  • 使用RDD筛选数据

RDD中使用filter方法筛选每一项数据,配合lambda语句创建匿名函数传入参数

userRDD.filter(lambda r:r[3]=='technician' and r[2]=='M' and r[1]=='24').take(5)
  • 输入DataFrames筛选数据
user_df.filter((df.occupation=='technician')&(df.gender=='M')&(df.age==24)).show()
  • 使用Spark SQL筛选数据
sqlContext.sql("""
SELECT * 
FROM user_table
where occupation='technician' and gender='M' and age=24""").show(5)
2.3.2 按字段给数据排序
  • RDD按字段给数据排序
userRDD.takeOrdered(5,key=lambda x:int(x[1]))——升序排序
userRDD.takeOrdered(5,key=lambda x:-1*int(x[1]))——降序排序
userRDD.takeOrdered(5,key=lambda x:(-int(x[1]),x[2]))——多个字段排序
  • 使用DataFrame排序
user_df.select("userid","occupation","gender","age").orderBy("age").show(5)——升序
user_df.select("userid","occupation","gender","age").orderBy("age",ascending=0).show(5)
df.orderBy(["age","gender"],ascending=[0,1]).show(5)——多个字段排序
  • 使用Spark SQL排序
sqlContext.sql("""
SELECT userid,occupation,gender,age FROM user_table
order by age desc,gender""").show(5)
2.3.3 显示不重复数据
  • RDD显示不重复数据
userRDD.map(lambda x:x[2]).distinct().collect()
  • DataFrame显示不重复数据
user_df.select("gender").distinct().show()
  • Spark SQL显示不重复数据
sqlContext.sql("select distinct gender FROM user_table").show()
2.3.4 分组统计数据

1)RDD分组统计数据

userRDD.map(lambda x:(x[2],1)).reduceByKey(lambda x,y:x+y).collect()

2)DataFrames分组统计数据

user_df.select("gender").groupby("gender").count().show()

3)Spark SQL分组统计数据

sqlContext.sql("""
SELECT gender,count(*) counts FROM user_table
group by gender""").show()
2.3.5 Join联接数据
  • 准备zipcode数据

1)拷贝数据到HDFS目录下

[root@tango-spark01 data]# hadoop fs -copyFromLocal -f /usr/local/spark/ipynotebook/data/free-zipcode-database-Primary.csv  /input/data

2)读取并查看数据

Path="hdfs://tango-spark01:9000/input/"
rawDataWithHeader=sc.textFile(Path+"data/free-zipcode-database-Primary.csv")
rawDataWithHeader.take(5)

3)删除第一项数据

header = rawDataWithHeader.first()
rawData = rawDataWithHeader.filter(lambda x:x !=header)

4)删除特殊符号

rawData.first()
rData=rawData.map(lambda x:x.replace("\"",""))
rData.first()

5)获取每一个字段

zipRDD=rData.map(lambda x:x.split(","))
zipRDD.first()
  • 创建zipcode_tab

1)创建zipCode Row的schema

from pyspark.sql import Row
zipcode_data = zipRDD.map(lambda p:
    Row(zipcode=int(p[0]),zipCodeType=p[1],city=p[2],state=p[3]))
zipcode_data.take(5)

2)Row类型数据创建DataFrames

zipcode_df=sqlContext.createDataFrame(zipcode_data)
zipcode_df.printSchema()

3)创建登录临时表

zipcode_df.registerTempTable("zipcode_table")
zipcode_df.show(10)
  • Spark SQL联接zipcode_table
sqlContext.sql("""
select u.*,z.city,z.state from user_table u
left join zipcode_table z ON u.zipcode=z.zipcode
where z.state='NY'
""").show(10)
2.3.6 使用Pandas DataFrame绘图
  • 按照不同的州统计并以直方图显示

1)转换为Pandas DataFrames

import pandas as pd
GroupByState_pandas_df = GroupByState_df.toPandas().set_index('state')
GroupByState_pandas_df

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第12张图片

2)使用Pandas DataFrames绘出直方图

import matplotlib.pyplot as plt
#matplotlib inline
ax=GroupByState_pandas_df['count'].plot(kind='bar',title='State',figsize=(12,6),legend=True,fontsize=12)
plt.show()

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第13张图片

  • 按照不同的职业统计并以饼图显示

1)创建Occupation_df

Occupation_df=sqlContext.sql("""
SELECT u.occupation,count(*) counts
FROM user_table u
GROUP BY occupation
""")
Occupation_df.show(5)

2)创建Occupation_pandas_df

Occupation_pandas_df=Occupation_df.toPandas().set_index('occupation')
Occupation_pandas_df

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第14张图片

3)用Pandas DataFrame是绘出饼图PieChart

ax=Occupation_pandas_df['counts'].plot(kind='pie',
        title='occupation',figsize=(8,8),startangle=90,autopct='%1.1f%%')
ax.legend(bbox_to_anchor=(1.05,1),loc=2,borderaxespad=0.)
plt.show()
  1. kind=‘pie’:绘制饼图
  2. startangle=90:设置图形旋转角度
  3. autopct=’%1.1f%%’:设置显示饼图%

大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化_第15张图片


参考资料

  1. Python+Spark 2.0+Hadoop机器学习与大数据实战,林大贵

转载请注明原文地址:https://blog.csdn.net/solihawk/article/details/116050157
文章会同步在公众号“牧羊人的方向”更新,感兴趣的可以关注公众号,谢谢!
在这里插入图片描述

你可能感兴趣的:(大数据系列,#,spark,python,大数据,spark,python)