spark SQL and DataFrame(一)
1. SparkSession
需要使用spark SQL之前需要SparkSession类，可以通过 SparkSession.builder来创建一个SparkSession。如果SparkContext已经存在，SparkSession就会重用它；如果不存在，Spark就会创建一个新的SparkContext。在每一个JVM中只能有一个SparkContext，但是在一个Spark程序中可以有多个SparkSession
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.master("local") \
.appName("dataframe sql example") \
.config("spark.some.config.option", "some-value") \
.getOrCreate()
其中appName中的参数为工程的名字，config(key=None, value=None, conf=None)，设置一个config选项，使用这种方式设置config选项可以自动的同步到sparkconf中和sparkSession自己的配置中。master中的参数默认是“local”，也可以设置成“local[4]”是在本地4核运行，或者是“spark://master:7077”在一个spark上的单独的集群上运行。
如果已经存在了sparkconf, 可以使用以下方式建立SparkSession
from pyspark.conf import SparkConf
SparkSession.builder.config(conf=SparkConf())下面的方式用于获取一个已经存在的sparkSession或者如果已经存在了一个sparkSession在这个sparkSession的设置的基础上建立一个新的sparkSession.
s1 = SparkSession.builder.config("k1", "v1").getOrCreate()
s1.conf.get("k1") == s1.sparkContext.getConf().get("k1") == "v1"
以上代码会返回True
这种方式首先查看是否有一个有效的全局的SparkSession，如果有则返回这个SparkSession。如果没有一个有效的SparkSession存在，这个方法会新创建一个SparkSession作为一个全局的默认的SparkSession
为了保证已经存在的SparkSession被返回，这个config选项将会应用于已经存在的SparkSession上
s2 = SparkSession.builder.config("k2", "v2").getOrCreate()
s1.conf.get("k1") == s2.conf.get("k1")
s1.conf.get("k2") == s2.conf.get("k2")上述代码会返回True
创建dataframe
可以通过以下方式创建一个dataframe
l = [('Alice', 1)]
spark.createDataFrame(l).collect()
spark.createDataFrame(l, ['name', 'age']).collect()d = [{'name':'Alice', 'age':1}]
spark.createDataFrame(d).collect()读取数据
# 读取文件
dpath = '/Users/huoshirui/Desktop/xyworking/pythonData/dataClean/'
df = spark.read.csv(dpath + 'tengxun_data.csv', header=True)
df返回的结果是一个dataframe
展示dataframe
df.show()查看dataframe中字段类型
df.printSchema()
select 操作
df.select(df['target']).show(5)
df.select(df['tx_score'], df['target'] + 1).show()
filter操作
df.filter(df['target'] > 0).show(5)groupby操作
df.groupBy(df['target']).count()
创建临时视图
parkSession 的 sql 函数可以让应用程序以编程的方式运行 SQL 查询, 并将结果作为一个 DataFrame 返回
df.createOrReplaceTempView("df")
sqlDF = spark.sql("SELECT target FROM df")
sqlDF.show(5)
创建全局视图
Spark SQL中的临时视图是session级别的, 也就是会随着session的消失而消失. 如果你想让一个临时视图在所有session中相互传递并且可用,
直到Spark 应用退出, 你可以建立一个全局的临时视图.全局的临时视图存在于系统数据库 global_temp中, 我们必须加上库名去引用它,
比如: SELECT * FROM global_temp.view.
df.createGlobalTempView("df")
sqlGLDF = spark.sql("select target from global_temp.df")
sqlGLDF.show(5)
写出文件
df.toPandas().to_csv(path_or_buf = '/Users/huoshirui/Desktop/spark_save_test.csv', index=False)