RDD（python
RDD创建
从文件系统加载
.textFile()
- 支持本地文件系统
- 分布式文件系统HDFS
- 云端文件
>>lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")
>>lines.foreach(print)
Hadoop is good
Spark is fast
Spark is better
sc : spark context
textFile效果
分布式文件系统
通过并行集合（数组）创建RDD
.Parallelize()
>>>array = [1,2,3,4,5]
>>>rdd = sc.parallelize(array)
>>>rdd.foreach(print)
1
2
3
4
5
RDD操作
转换：并不会发生正在的计算，只是记录下这个操作，最后再输出。
- filter
- map
- flatMap
针对spark 的一次次转换操作
- filter：筛选
>>>lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")
>>>linesWithSpark = lines.fliter(lambda line : "Spark" in line)//判断"spark"在不在里面
>>>linesWithSpark.foreach(print)
Spark is better
spark is fast
- map:一一对应
>>>data = [1,2,3,4,5]
>>>rdd1 = sc.parallelize(data)
>>>rdd2 = rdd1.map(lambda x:x+10)
>>>rdd2.foreach(print）
11
12
13
14
15
>>>lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")
>>>words = lines.map(lambda line:line.split(" "))//分拆
>>>words.foreach(print)
['Hadoop','is','good']
['spark','is','fast']
['spark','is','better']
- flatMap : 得到每个单词（词频统计）
>>>lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")
>>>words = lines.flatMap(lambda line:line.split(" "))
-
groupByKey：相同值的元素归到一起
-
reduceByKey
动作： -
count：返回元素个数
-
collect：以数组形式返回所有元素
-
first：返回第一个元素
-
take(n)：以数组形式返回前n个元素
-
reduce(func):通过函数func（输入两个参数返回一个值）聚合数据集中的元素
-
foreach(func):将每个元素传到func中
持久化：用persist()方法标记一个RDD为持久化，保存在内存中方便重复使用
- MEMORY_ONLY = cache:内存不足，替换内容
- MEMORY_AND_DISK:内存不足，存放磁盘
unpersist：从缓存中移除持久化的RDD
分区
- 增加并行度
- 减少通信开销
分区原则
设置分区
>>>list = [1,2,3,4,5]
>>>rdd = sc.parallelize(list,2)//设置两个分区
repartition重新设置分区个数
>>>data = sc.parallelize([1,2,3,4,5],2)
>>>len(data.glom().collect())//显示分区数量
>>>rdd = data.repartition(1)//对data这个RDD重新分区
>>>len(rdd.glom().collect())//显示分区数量
自定义分区
from pyspark import SparkConf,SparkContext
//分区函数
def MyPartitioner(key):
print("MyPartitoner is running")
print('The key is %d'%key)
return key%10
def main():
print("main is running")
conf = SparkCaonf().setMaster("local`").set AppName("MyApp")
sc = SparkContext(conf = conf)
data = sc.paeallelize(range()10,5)
data.map(lambda x:(x,1)).partitionBy(10.MyPartitioner)//只接受键值对类型.map(lambda x:x[0])//取出数值.saveAsTextFile(".../rdd/partitioner")
if__name__ == '__main__':
main()
键值对RDD(pair RDD)
生成
通过并行集合生成
键值对RDD转换
- reduceByKey(func)
- groupByKey()
- keys：把键值对RDD中的key返回成一个新的RDD
- values：取出value返回成RDD
- sortByKey：根据key排序（默认升序，true）
sortBy：可根据具体的值进行排序 - mapValues(func)
- join：内连接
综合实例：key——图书名称，value——销量，计算每种图书每天的平均销量
