MongoDB on SparkSql的读取和写入操作(Python版本)
MongoDB on SparkSql的读取和写入操作(Python版本)
1.1 读取mongodb数据
python方式需要使用pyspark 或者 spark-submit的方式进行提交。
下面pyspark启动的方式：
1.1.1 使用pyspark启动命令行
本地安装的spark版本为2.3.1，如果是其他版本需要修改版本号和scala的版本号
pyspark --packages org.mongodb.spark:mongo-spark-connector_2.11:2.3.1
1.1.2 在pyspark shell脚本输入如下代码：
spark = SparkSession
.builder
.appName(‘MyApp’)
.config(‘spark.mongodb.input.uri’, ‘mongodb://127.0.0.1/test.user’)
.getOrCreate()
df = spark.read.format(‘com.mongodb.spark.sql.DefaultSource’).load()
df.createOrReplaceTempView(‘user’)
resDf = spark.sql(‘select name,age,sex from user’)
resDf.show()
spark.stop()
exit(0)
结果输出：
mongo中查询的结果：
使用spark-submit的方式启动
1.1.3 编写read_mongo.py脚本，脚本内容如下：
#!/usr/bin/env python3
-- coding: utf-8 --
from pyspark.sql import SparkSession
pyspark 的方式启动，这里我本地的spark使用的是spark 2.3.1 版本。如果是其他spark版本，mongo-spark-connector的版本号是不一样的，具体查看mongodb的官方文档
pyspark --packages org.mongodb.spark:mongo-spark-connector_2.11:2.3.1
spark-submit的方式提交，我才用的是nohup的方式提交
nohup spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.11:2.3.1 /Users/zhangzhiqiang/Documents/pythonproject/demo/mongodb-on-spark/read_mongo.py >> /Users/zhangzhiqiang/Documents/pythonproject/demo/mongodb-on-spark/read_mongo.log &
if name == ‘main’:
spark = SparkSession
.builder
.appName(‘MyApp’)
.config(‘spark.mongodb.input.uri’, ‘mongodb://127.0.0.1/test.user’)
.getOrCreate()
df = spark.read.format('com.mongodb.spark.sql.DefaultSource').load()
df.createOrReplaceTempView('user')
resDf = spark.sql('select name,age,sex from user')
resDf.show()
spark.stop()
exit(0)
1.1.4 使用spark-submit的方式提交
这里我采用的是nohup的方式提交，结果输出在log文件中
nohup spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.11:2.3.1 /Users/zhangzhiqiang/Documents/pythonproject/demo/mongodb-on-spark/read_mongo.py >> /Users/zhangzhiqiang/Documents/pythonproject/demo/mongodb-on-spark/read_mongo.log &
1
1.2 读取mongo数据，使用Schema约束
1.2.1 采用pyspark的方式
在命令行中编写如下代码：
导入包
from pyspark.sql.types import StructType, StructField, StringType, IntegerType
spark = SparkSession
.builder
.appName(‘MyApp’)
.config(‘spark.mongodb.input.uri’, ‘mongodb://127.0.0.1/test.user’)
.getOrCreate()
如果mongodb中的json字段太多，我们也可以通过schema限制，过滤掉不要的数据
name 设置为StringType
age 设置为IntegerType
schema = StructType([
StructField(“name”, StringType()),
StructField(“age”, IntegerType())
])
df = spark.read.format(‘com.mongodb.spark.sql.DefaultSource’).schema(schema).load()
df.createOrReplaceTempView(‘user’)
resDf = spark.sql(‘select * from user’)
resDf.show()
spark.stop()
exit(0)
1.3 写入mongodb数据
1.3.1 在pyspark中编写
导入包
from pyspark.sql.types import StructType, StructField, StringType, IntegerType
spark = SparkSession
.builder
.appName(‘MyApp’)
.config(‘spark.mongodb.output.uri’, ‘mongodb://127.0.0.1/test.user’)
.getOrCreate()
schema = StructType([
StructField(“name”, StringType()),
StructField(“age”, IntegerType()),
StructField(“sex”, StringType())
])
df = spark.createDataFrame([(‘caocao’, 36, ‘male’), (‘sunquan’, 26, ‘male’), (‘zhugeliang’, 26, ‘male’)], schema)
df.show()
df.write.format(‘com.mongodb.spark.sql.DefaultSource’).mode(“append”).save()
spark.stop()
exit(0)
mongo中查询的结果：
这里补充一个知识点
pyspark --packages org.mongodb.spark:mongo-spark-connector_2.11:2.3.1
1
上面使用 --package的方式可以直接在代码中通过配置写入，如下：
spark = SparkSession
.builder
.appName(“Test”)
.config(“spark.mongodb.input.uri”, “mongodb://127.0.0.1:27017/test.user”)
.config(‘spark.jars.packages’, ‘org.mongodb.spark:mongo-spark-connector_2.11:2.3.1’)
.getOrCreate()
github源代码示例