Scala-初学
前提，已经安装好Scala
在Linux终端
准备资料：
a.txt 内容
HIVE 底层 是 hdfs 和 mapreduce 实现存储 和 计算的 。
HIVE 也 可以 使用 hadoop 配置 的 压缩 方法 对 中间 结果 或 最终 数据 进行 压缩
1
import scala.io.Source
scala> val lines = Source.fromFile(“/usr/local/src/test_data/a.txt”).getLines()
lines： Iterator[String] = non-empty iterator
Iterator : 迭代器，不是一个集合
it…next() : 返回迭代器中的下一个元素，同时更新迭代器的状态
it.hasNext(): 用于检查迭代器中是否还有元素
scala> val lines = Source.fromFile(“/usr/local/src/test/a.txt”).getLines().toList
toList：将迭代器中的元素归入到列表中进行返回
Range
定义： 序列， 包括起点和终点，按照给定步长的所有值，是一个特殊的Array
- [0,5)
scala> val a= Range(0,5)
a: scala.collection.immutable.Range = Range(0, 1, 2, 3, 4)
等价于
scala> val a = 0 until 5
a: scala.collection.immutable.Range = Range(0, 1, 2, 3, 4)
2.[0,5]
scala> val a = 0 until 5
a: scala.collection.immutable.Range = Range(0, 1, 2, 3, 4)
等价于
scala> val a = 0.to(5)
a: scala.collection.immutable.Range.Inclusive = Range(0, 1, 2, 3, 4, 5)
3.Range 和 list 转换
scala> val list1 = (1 to 20).toList
list1: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20)
map
对 a 的每个元素进行遍历然后 * 2
scala> val a = 1 to 5
a: scala.collection.immutable.Range.Inclusive = Range(1, 2, 3, 4, 5)
scala> a.map(x=>x*2)
res0: scala.collection.immutable.IndexedSeq[Int] = Vector(2, 4, 6, 8, 10)
Vector 是一个容器，保存其他的数据对象，也可以称为集合，是Scala标准包的，不用导包
1.创建Vector 对象
scala> var v1 = Vector(1,2,3)
v1: scala.collection.immutable.Vector[Int] = Vector(1, 2, 3)
2.索引Vector中的元素，索引是从0开始的
scala> print(v1(0))
1
3 遍历Vector
scala> for(i<-v1) print(i+"/")
1/2/3/
Scala中（下划线） _ 的用法
1,获取集合中的每一个元素
scala> a.map(_*2)
res3: scala.collection.immutable.IndexedSeq[Int] = Vector(2, 4, 6, 8, 10)
2 获取元组(Tuple)中的元素
scala> val s = ("hello","scala")
s: (String, String) = (hello,scala)
scala> s._1
res4: String = hello
scala> s._2
res5: String = scala
3 导入所有包
import scala.io._
4 初始化变量 val 声明的变量不能被修改
scala> var name:String=_
name: String = null
scala> var age:Int=_
age: Int = 0
函数 split
scala> var s = "all back money"
s: String = all back money
scala> s.split(" ")
res6: Array[String] = Array(all, back, money)
打平函数：
flatten
scala> val s1 = List(Range(1,5),Range(0,5),Range(0,5))
s1: List[scala.collection.immutable.Range] = List(Range(1, 2, 3, 4), Range(0, 1, 2, 3, 4), Range(0, 1, 2, 3, 4))
scala> val s2 = s1.flatten
s2: List[Int] = List(1, 2, 3, 4, 0, 1, 2, 3, 4, 0, 1, 2, 3, 4)
1.针对每一个元素 * 2
方式一：
scala> s2.map(x=>x*2)
res9: List[Int] = List(2, 4, 6, 8, 0, 2, 4, 6, 8, 0, 2, 4, 6, 8)
方式二：
scala> s2.map(_*2)
res9: List[Int] = List(2, 4, 6, 8, 0, 2, 4, 6, 8, 0, 2, 4, 6, 8)
2 针对s1每个元素直接*2
方式一：
scala> s1.map(x=>x.map(x=>x*2))
res10: List[scala.collection.immutable.IndexedSeq[Int]] = List(Vector(2, 4, 6, 8), Vector(0, 2, 4, 6, 8), Vector(0, 2, 4, 6, 8))
方式二：
scala> s1.map(_.map(_*2))
res11: List[scala.collection.immutable.IndexedSeq[Int]] = List(Vector(2, 4, 6, 8), Vector(0, 2, 4, 6, 8), Vector(0, 2, 4, 6, 8))
flatMap
scala> s1.flatMap(_.map(_*2))
res12: List[Int] = List(2, 4, 6, 8, 0, 2, 4, 6, 8, 0, 2, 4, 6, 8)
等价于
scala> s1.map(_.map(_*2)).flatten
res13: List[Int] = List(2, 4, 6, 8, 0, 2, 4, 6, 8, 0, 2, 4, 6, 8)
练习：对lines进行 wordCount
scala> val lines = Source.fromFile("/usr/local/src/test_data/a.txt").getLines().toList
lines: List[String] = List("HIVE 底层 是 hdfs 和 mapreduce 实现存储 和 计算的 。 ", HIVE 也 可以 使用 hadoop 配置 的 压缩 方法 对 中间 结果 或 最终 数据 进行 压缩)
scala> lines.map(_.split(" "))
res7: List[Array[String]] = List(Array(HIVE, 底层, 是, hdfs, 和, mapreduce, 实现存储, 和, 计算的, 。), Array(HIVE, 也, 可以, 使用, hadoop, 配置, 的, 压缩, 方法, 对, 中间, 结果, 或, 最终, 数据, 进行, 压缩))
scala> lines.map(_.split(" ")).flatten
res14: List[String] = List(HIVE, 底层, 是, hdfs, 和, mapreduce, 实现存储, 和, 计算的, 。, HIVE, 也, 可以, 使用, hadoop, 配置, 的, 压缩, 方法, 对, 中间, 结果, 或, 最终, 数据, 进行, 压缩)
scala> lines.flatMap(_.split(" "))
res15: List[String] = List(HIVE, 底层, 是, hdfs, 和, mapreduce, 实现存储, 和, 计算的, 。, HIVE, 也, 可以, 使用, hadoop, 配置, 的, 压缩, 方法, 对, 中间, 结果, 或, 最终, 数据, 进行, 压缩)