使用Python开发spark
使用Python开发
一、Python编程语言
1.1、Python语言的特点
Python是一种面向对象的解释型计算机程序设计语言，具有丰富和强大的库。如今Python已经成为继JAVA，C++之后的的第三大编程语言。
1、可性移强植 简易单学
2、免开费源 丰富库的
3、可性移强植 高语层言
4、可扩性展
1.2、Python与人工智能
Python被认为是人工智能、机器学习的首选语言。
1.3、PySpark简介
PySpark 是 Spark 为 Python 开发者提供的 API，为了不破坏Spark已有的运行时架构，Spark在外围包装一层Python API，借助Py 4 j实现Python和Java的交互，进而实现通过Python编写Spark应用程序。
二、PySpark启动与日志设置
2.1、PySpark的启动方式
Spark是分为local、standalone、yarn-client、yarn-cluster等运行模式的。local模式用于Spark单机运行，一般用于开发测试。standalone模式用于构建一个由Master+Slave构成的Spark集群，Spark将运行在集群中。Spark on Yarn模式用于Spark客户端直接连接Yarn。Sparkon Mesos模式用于Spark客户端直接连接Mesos。前两个模式都不需要额外构建Spark集群。
启动命令：
pyspark - - master 参数
2.2、日志输出内容控制
控制日志级别，有效的日志级别包括：ALL, DEBUG, ERROR, FATAL,INFO, OFF, TRACE, WARN，控制日志输出内容的方式有两种。
（ 1 ）修改spark/conf/log 4 j.properties文件中的设置，如设置成WARN
级别以上的信息输出：log 4 j.rootCategory=WARN ， console
（ 2 ）代码中使用setLogLevel(logLevel)控制日志输出，如：sc.setLogLevel(“WARN”)
三、Pyspark开发包的安装
3.1、PySpark的安装
3.1.1、使用pip命令安装，命令：
pip install pyspark
3.1.2、使用离线包安装
其实在安装Spark当中已经包含了PySpark的一个执行文件，路劲为: spark/bin
3.1.3、Pycharm中安装
也可以在Pycharm中安装，在setting中找到解释器，给解释器安装第三方包即可。
四、使用Pycharm 编写Spark应用
4.1、Spark开发应用流程
本地编写 本地调试 提交集群
4.2、Pycharm安装与基本配置
PyCharm是比较好用的Python开发IDE，官网下载地址：
http://www.jetbrains.com/pycharm/download/。目前有Professional和Community两种版本，Professional需要付费，而Community是免费版本，根据需要自己下载安装就行。
4.3、使用Pycharm编写并运行Spark程序
下面运行一个简单的程序，来验证开发环境是否正常，代码如下。如果是
Linux下安装的PyCharm可以直接运行，注意要统计的文本文件的路径要
写对。如果是Windows下的，则需要做一点小小的配置才能直接运行。
import findspark
findspark.init()
from pyspark import SparkContext
logFile = 'F:\software\spark\README.md'
sc = SparkContext() #加载文件
logData = sc.textFile(logFile).cache() #数据缓存
numAs = logData.filter(lambda s: 'a' in s).count() #元素过滤
numBs = logData.filter(lambda s: 'b' in s).count()
print("Lines with a:%i,lines with b: %i"%(numAs,numBs))
使用findspark库自动识别spark依赖包，安装findspark模块命令如下：
pip install findspark
4.4、使用spark_submit命令提交Spark程序
程序编写完成后，也可以使用spark-submit命令来提交程序，这样程序就会被提交到Spark集群上运行。
4.5、使用pyspark命令直接编写程序
也可以在命令行直接使用pyspark命令编写我们的程序，注意pyspark命令会自己实例化一个SparkContext，名字叫sc，不需要我们自己实例化。
