PySpark实际应用踩坑

PySpark实际应用踩坑

  • PySpark踩坑记录
    • 1. spark-cassandra-connector
    • 2. 配置spark master和worker节点的python环境
    • 3. PySpark操作Cassandra
    • 4. crontab定时任务无法执行
  • 总体来说

PySpark踩坑记录

PySpark是Apache Spark支持python编写的工具,python简单实用,使用python操作spark做简单的数据分析处理也是一种选择。Cassandra是分布式NoSQL数据库系统,可以简单理解它和HBase和MongoDB类似。本文主要分享PySpark实际应用和通过PySpark操作Cassandra遇到的坑。

1. spark-cassandra-connector

首先根据spark、cassandra版本选择connector版本,参考链接:
[https://github.com/datastax/spark-cassandra-connector]

添加connector,可以在提交任务中添加:

./bin/pyspark --packages com.datastax.spark:spark-cassandra-connector_2.11:2.4.2

也可以在python脚本中添加:

os.environ["PYSPARK_SUBMIT_ARGS"] = '--packages com.datastax.spark:spark-cassandra-connector_2

2. 配置spark master和worker节点的python环境

Python版本问题首先是一个坑。
如果写代码用的python3,但是master和worker上默认python2,此时会报python运行的错误。对于用java和scala,spark-submit上传打好的jar包即可提交执行,因为driver和executor都是以JVM为载体来运行和执行任务。而对于PySpark,Spark是在外围包装一层Python API,借助Py4j实现Python和Java的交互。

因此,如果提交的脚本python版本是3,需要在master和worker节点安装python3,并在python脚本中配置节点的python路径:

os.environ["PYSPARK_PYTHON"] = '/bin/python3'
os.environ["PYSPARK_DRIVER_PYTHON"] = '/bin/python3'

此处的python路径,是master和worker节点的python路径,与上传spark任务的机器中的python路径无关。

3. PySpark操作Cassandra

比较推荐的是应用sparksql中的sparksession对象,创建spark dataset或spark dataframe。

样例如下:

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName(sys.argv[0])\
    .config("spark.cassandra.connection.host", "cassandra_host_ip").getOrCreate()
# 加载Cassandra数据到dataframe
df = spark.read.format("org.apache.spark.sql.cassandra")\
    .options(table="table_name", keyspace="keyspace_name").load()
# UDF
from pyspark.sql.functions import udf
class UdfSample(object):
 ......
udf1 = udf(lambda z: UdfSample(z)......, StringType())
# dataframe写入Cassandra
df.write.format("org.apache.spark.sql.cassandra")\
    .options(table="table_name ", keyspace="keyspace_name")\
    .mode('append').save()

Dataframe中特别多的会应用udf和lambda。对于自定义udf,序列化、反序列化、及通信IO性能损耗比较明显,而Spark sql中内置的udf会降低数据在executor jvm和python worker之间序列化反序列化、通信等损耗。
spark dataframe和pandas dataframe是两种不同的数据格式,虽然有方法实现两者相互转化,但是实用性不大,且浪费资源。

4. crontab定时任务无法执行

使用spark-submit提交python脚本到spark集群,例如

./bin/spark-submit  --master spark://ip:port  ./python1.py

同样的命令手动输入运行没问题,但是在crontab上无法执行。

问题本质和crontab无关,这也是python环境的问题。如果在python脚本中加入打印sys.path的代码,会发现手动执行和crontab执行的sys.path中python路径不同。简单直接的方法是在提交命令中加入本地的python运行路径。

./bin/spark-submit 
--master spark://ip:port 
--conf spark.pyspark.python=/bin/python 
--conf spark.pyspark.driver.python=/bin/python 
./python1.py

总体来说

对于简单离线任务,可以使用PySpark快速部署提交,简单方便。但在大数据情景中,JVM和Python进程间频繁通信会导致性能损耗,尽量慎用PySpark。后续实际中遇到问题,也会继续补充。

你可能感兴趣的:(PySpark实际应用踩坑)