七.scala之wordCount

1.需求

统计每个单词出现的字数

"hello rose"
"hello kevin rose"
"hello jack"

2. 读文件

用换行符分割读文件，得到如下内容

Array("hello rose","hello kevin rose","hello jack")

3. 用scala实现wordCount

1. 用空格分割单词

scala> lines.map(_.split(" "))
res1: Array[Array[String]] = Array(Array(hello,rose),Array(hello,kevin,rose),Array(hello,jack))

2. 使用flat把所有单词放到一个数组中

scala> lines.map(_.split(" ")).flatten
res2: Array[String] = Array(hello,rose,hello,kevin,rose,hello,jack)

3. 每个单词计数1

scala> lines.map(_.split(" ")).flatten.map((_,1))
res3: Array[(String,Int)] = Array((hello,1),(rose,1),(hello,1),(kevin,1),(rose,1),(hello,1),(jack,1))

4. 根据出现的单词分组

scala> lines.map(_.split(" ")).flatten.map((_,1)).map(_._1)
res4: scala.collection.immutable.Map[String,Array[(String, Int)]] = Map(jack ->
 Array((jack,1)), rose -> Array((rose,1), (rose,1)), kevin -> Array((kevin,1)),
hello -> Array((hello,1), (hello,1), (hello,1)))

5. 进行count，Map当成特殊的元组，t._1为要进行count的单词，t._2为Array。Array.size为单词出现的次数

scala> lines.map(_.split(" ")).flatten.map((_,1)).groupBy(_._1).map(t=>(t._1,t._
2.size))
res5: scala.collection.immutable.Map[String,Int] = Map(jack -> 1, rose -> 2, ke
vin -> 1, hello -> 3)

6. 按照单词出现的次数排序，由于map不能进行排序，所有需要先转换成list

scala> lines.map(_.split(" ")).flatten.map((_,1)).groupBy(_._1).map(t=>(t._1,t._
2.size)).toList.sortBy(_._2)
res6: List[(String, Int)] = List((jack,1), (kevin,1), (rose,2), (hello,3))

4. mapValues来进行单词计数

• 在上面第四步的时候按照单词分组之后，不在需要对key进行操作了，只需要对value进行计数就可以了。所以使用mapValues来进行优化。

hello -> Array((hello,1), (hello,1), (hello,1))

• 对分组后的数据进行分析，调用了mapValues。mapValues(_.fold Left(0)((x,y)=>x+y._2)).那么参数中的第一个_表示的就是Array.对array中的值进行叠加，调用fold。fold有2个参数，第一个参数是初始值，第二个参数为一个函数_+_._2,也就是(x,y)=>x+y,x为初始值。y为array的元素也就是元组(hello,1)

scala> lines.map(_.split(" ")).flatten.map((_,1)).groupBy(_._1).mapValues(_.fold
Left(0)((x,y)=>x+y._2))
res34: scala.collection.immutable.Map[String,Int] = Map(jack -> 1, rose -> 2, ke
vin -> 1, hello -> 3)