spark初试牛刀（python）

一.需要环境

1.python
2.pyspark
3.spark

二.代码

from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local[*]").setAppName("First_App")  #配置环境
sc = SparkContext(conf=conf) #加载环境
textFile = sc.textFile('example.txt') #读取文件
count = textFile.countByValue()  #统计单词频数
print(count)