如何使用pyspark统计词频？

假如进化的历史重来一遍，

人的出现概率是零。 

—— 古德尔

 

Spark 作为一个用途广泛的大数据运算平台。

Spark 允许用户将数据加载到多台计算机所建立的 cluster 集群的内存中存储，执行分布式计算，再加上 Spark 特有的内存运算，让执行速度大幅提升，非常适合用于机器学习的算法。况且，spark包含大量开箱即用的机器学习库。 

算法包括分类与回归、支持向量机、回归、线性回归、决策树、朴素贝叶斯、聚类分析、协同过滤等。

使用spark必须先了解Spark的核心——RDD

分布式数据集Resiliennt Distributed Datasets(简称RDD)之上的，这使得 Spark 的各个组件可以无缝地进行集成，能够在同一个应用程序中完成大数据处理。

使用spark统计词频

今天分享一个最基础的应用，就是统计语料里的词频，找到高频词。

from pyspark import SparkContext	
sc = SparkContext('local', "WordCount")

先初始化spark，然后加载数据

data=["mixlab", "mixlab 无界 社区","mixlab 让 每个人 无限 可能 跨界 设计师 全栈 程序员 算法 工程师","shadow","hello shadow"]	

	
lines = sc.parallelize(data)

注意以上代码，data是一个list，通过sc.parallelize可以把Python list，NumPy array或者Pandas Series,Pandas DataFrame转成Spark的RDD数据。

然后，开始处理

result = lines.flatMap(lambda x: x.split(" ")).countByValue()	

	
for key, value in result.items():	
    print("%s %i" % (key, value))	
    

处理结果

mixlab 3	
无界 1	
社区 1	
让 1	
每个人 1	
无限 1	
可能 1	
跨界 1	
设计师 1	
全栈 1	
程序员 1	
算法 1	
工程师 1	
shadow 2	
hello 1

通过简单的代码，了解flatMap的作用

x = sc.parallelize([1,2,3])	
y = x.flatMap(lambda x: (x+1,300*x,x/2))	
print(x.collect())	
print(y.collect())	

	
#[1, 2, 3]	
#[2, 300, 0.5, 3, 600, 1.0, 4, 900, 1.5]

可以看到输出结果，flatMap是先映射后扁平化。

在通过代码，了解countByValue的作用。

"AB",	
"B",	
"B"])	
y = x.countByValue()	
print(x.collect())	
print(y)	

	
#['AB', 'B', 'B']	
#{'AB': 1, 'B': 2}

统计一个RDD中各个value的出现次数。返回一个map，map的key是元素的值，value是出现的次数。

统计词频的技能你get了吗？可以加入mixlab无界社区交流~