【学习笔记】大数据技术之Scala（上）

【学习笔记】大数据技术之Scala（下）

尚硅谷大数据技术之Scala（新版）

思考：

1. 为什么scala在生成字节码文件的过程中，会有 类名$.class文件生成？

涉及到底层。
.class文件问调用$.class文件里面的方法（构造方法私有化，然后在定义一个静态对象）（单例设计模式）
Object相当于声明个对象。
详细讲解

2. 闭包时如何实现的？

调用函数（jvm虚拟机栈里的栈帧，func1调用，func1弹出，func2调用，func2弹出）时，相当于调用对象实例（保存在jvn虚拟机堆里），然后在对象实例里，把相关的，它所依赖的外部环境和局部变量打包保存在对象实例

第 1 章 Scala 入门

1.1 概述

1.1.1 为什么学习 Scala

为什么学习Scala
1）Spark—新一代内存级大数据计算框架，是大数据的重要内容。
2）Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言。
3）Spark的兴起，带动Scala语言的发展！

Scala - Java++
1）Scala基于JVM，和Java完全兼容，同样具有跨平台、可移植性好、方便的垃圾回收等特性
2）Scala 比 Java 更加面向对象
3）Scala是一门函数式编程语言

1.1.2 Scala 发展历史

Scala发展历史
联邦理工学院的马丁·奥德斯基（Martin Odersky）于2001年开始设计Scala。
马丁·奥德斯基是编译器及编程的狂热爱好者，长时间的编程之后，希望发明一种语言，能够让写程序这样的基础工作变得高效，简单。所以当接触到JAVA语言后，对JAVA这门便携式，运行在网络，且存在垃圾回收的语言产生了极大的兴趣，所以决定将函数式编程语言的特点融合到JAVA中，由此发明了两种语言（Pizza & Scala）。
Pizza和Scala极大地推动了Java编程语言的发展。
⚫ JDK5.0 的泛型、增 强for循环、自动类型转换等，都是从Pizza引入的新特性。
⚫ JDK8.0 的类型推断、Lambda表达式就是从Scala引入的特性。
JDK5.0和JDK8.0的编辑器就是马丁·奥德斯基写的，因此马丁·奥德斯基一个人的战斗力抵得上一个Java开发团队。

1.1.3 Scala 和 Java 关系

一般来说，学 Scala 的人，都会 Java，而 Scala 是基于 Java 的，因此我们需要将 Scala和 Java 以及 JVM 之间的关系搞清楚，否则学习 Scala 你会蒙圈。

1.1.4 Scala 语言特点

Scala是一门以Java虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言（静态语言需要提前编译的如：Java、c、c++等，动态语言如：js）。

1）Scala是一门多范式的编程语言，Scala支持面向对象和函数式编程。（多范式，就是多种编程方法的意思。有面向过程、面向对象、泛型、函数式四种程序设计方法。）

2）Scala源代码（.scala）会被编译成Java字节码（.class），然后运行于JVM之上，并可以调用现有的Java类库，实现两种语言的无缝对接。

3）Scala单作为一门语言来看，非常的简洁高效。

4）Scala在设计时，马丁·奥德斯基是参考了Java的设计思想，可以说Scala是源于Java，同时马丁·奥德斯基也加入了自己的思想，将函数式编程语言的特点融合到JAVA中, 因此，对于学习过Java的同学，只要在学习Scala的过程中，搞清楚Scala和Java相同点和不同点，就可以快速的掌握Scala这门语言。

1.2 Scala 环境搭建

1）安装步骤
（1）首先确保 JDK1.8 安装成功
（2）下载对应的 Scala 安装文件 scala-2.12.11.zip
（3）解压 scala-2.12.11.zip，我这里解压到 D:\Tools
（4）配置 Scala 的环境变量,path

注意 1：解压路径不能有任何中文路径，最好不要有空格。
注意 2：环境变量要大写 SCALA_HOME
2）测试
需求：计算两数 a 和 b 的和。
步骤
（1）在键盘上同时按 win+r 键，并在运行窗口输入 cmd 命令
（2）输入 Scala 并按回车键，启动 Scala 环境。然后定义两个变量，并计算求和。

1.3 Scala 插件安装

默认情况下 IDEA 不支持 Scala 的开发，需要安装 Scala 插件。
1）插件离线安装步骤
（1）建议将该插件 scala-intellij-bin-2017.2.6.zip 文件，放到 Scala 的安装目录D:\Tools\scala-2.12.11 下，方便管理。
（2）打开 IDEA，在左上角找到 File->在下拉菜单中点击 Setting… ->点击 Plugins->点击右 下 角 Install plugin from disk… ， 找 到 插 件 存 储 路 径
D:\Tools\scala-2.12.11\scala-intellij-bin-2017.2.6.zip，最后点击 ok。
2）插件在线安装（可选）
（1）在搜索插件框里面输入 Scala->点击 Install->点击 ok->点击 apply。

（2）重启 IDEA，再次来到 Scala 插件页面，已经变成 Uninstall。

1.4 HelloWorld 案例

1.4.1 创建 IDEA 项目工程

1）打开 IDEA->点击左侧的 Flie->选择 New->选择 Project…
2）创建一个 Maven 工程，并点击 next
3）GroupId 输入 com.atguigu->ArtifactId 输入 scala->点击 next->点击 Finish
注意：工程存储路径一定不要有中文和空格。
4）指定项目工作目录空间
5）默认下，Maven 不支持 Scala 的开发，需要引入 Scala 框架。
在 scala0513 项目上，点击右键-> Add Framework Support… ->选择 Scala->点击 OK
注意：如果是第一次引入框架，Use libary 看不到，需要选择你的 Scala 安装目录，然后工具就会自动识别，就会显示 user libary。
6）创建项目的源文件目录
右键点击 main 目录->New->点击 Diretory -> 写个名字（比如 scala）。
右键点击 scala 目录->Mark Directory as->选择 Sources root，观察文件夹颜色发生变化。
7）在 scala 包下，创建包 com.atguigu.chapter01 包名和 Hello 类名，
右键点击 scala 目录->New->Package->输入 com.atguigu.chapter01->点击 OK。
右键点击 com.atguigu.chapter01->New->Scala Class->Kind 项选择 Object->Name 项输入
Hello。
8）编写输出 Hello Scala 案例

package chapter01

/**
 * object: 关键字，声明一个单例对象（伴生对象）
 */
object HelloWorld {
   
  /*
    main 方法： 从外部可以执行调用执行的方法
    def 方法名称（参数名称：参数类型）：返回值类型 = { 方法体 }
   */
  def main(args: Array[String]): Unit = {
   
    // string（泛型）类型的数组
    println("hello world")
    System.out.println("heleo scalla rom hava")
  }
}

在类中中输入 main，然后回车可以快速生成 main 方法；
在 main 方法中输入 println(“hello scala”)
运行后，观察控制台打印输出：
hello scala
hello scala
说明：Java 中部分代码也是可以在 Scala 中运行。

1.4.2 class 和 object 说明

单例对象（伴生对象）也就是object关键字，就是为了解决java中的static关键字静态功能提出来的。
object本身就是一个对象，所有功能都是基于它来做调用。（所以就完全的面对对象了）

Scala是一个完全面向对象的语言，所以没有静态语法，为了能调用静态语法（模仿静态语法），采用伴生对象单例的方式调用方法

在scala如何实现静态属性school的调用呢？

package chapter01
// 入口类 + 伴生类

// 属性像参数一样传进去，连构造方法都定义好了，构造方法不用写
class Student(name:String, age:Int) {
   
  // 定义一个方法
  def printlnfo():Unit = {
   
    println(name + " " + age + " " + Student.school)
  }
}

// 引入伴生对象， 解决静态属性，school调用问题  会放在 $.class文件里面
// 伴生对象里面所有的私有成员都是可以互相访问的
object Student{
   
  // 将全局只有一份的属性直接放到 全局只有一份的伴生对象里面
  val  school:String = "atguigu"

  def main(args: Array[String]): Unit = {
   
    val alice = new Student("alice", 20)
    val bob = new Student("bob", 23)
    alice.printlnfo()
    bob.printlnfo()
  }
}

Scala完全面向对象，故Scala去掉了Java中非面向对象的元素，如static关键字，void类型
1）static
Scala无static关键字，由object实现类似静态方法的功能（类名.方法名）。
class关键字和Java中的class关键字作用相同，用来定义一个类；
2）void
对于无返回值的函数，Scala定义其返回值类型为Unit类

1.4.3 Scala 程序反编译

1）在项目的 target 目录 Hello 文件上点击右键->Show in Explorer->看到 object 底层生成Hello$.class 和Hello.class 两个文件
2）采用 Java 反编译工具 jd-gui.exe 反编译代码，将 Hello.class 拖到 jd-gui.exe 页面

1.5 关联 Scala 源码

在使用 Scala 过程中，为了搞清楚 Scala 底层的机制，需要查看源码，下面看看如何关联和查看 Scala 的源码包。
1）查看源码
例如查看 Array 源码。按住 ctrl 键->点击 Array->右上角出现 Attach Soures…
2）关联源码
（1）将我们的源码包 scala-sources-2.12.11.tar.gz 拷贝到 D:\Tools\scala-2.12.11\lib 文件夹
下，并解压为 scala-sources-2.12.11 文件夹
（2）点击 Attach Sources…->选择 D:\Tools\scala-2.12.11\lib\scala-sources-2.12.11，这个

文件夹，就可以看到源码了
1.6 官方编程指南
1）在线查看：https://www.scala-lang.org/
2）离线查看：解压 scala-docs-2.11.8.zip，可以获得 Scala 的 API 操作。

第 2 章 变量和数据类型

2.1 注释

Scala 注释使用和 Java 完全一样。
注释是一个程序员必须要具有的良好编程习惯。将自己的思想通过注释先整理出来，再用代码去体现。

1）基本语法
（1）单行注释：//
（2）多行注释：/* */
（3）文档注释：

/**
*
 */

2）案例实操

package chapter02

/*
    多行注释
    这是一个简单的测试程序
 */
object Test01_Comment {
   
  /**
   * 可以直接生成文档
   * 这是程序的入口方法
   * @param args 外部传入的参数
   */
  def main(args: Array[String]): Unit = {
   
    // 打印输出
    println("hello")
  }
}

3） 代码规范
（1）使用一次 tab 操作，实现缩进，默认整体向右边移动，用 shift+tab 整体向左移
（2）或者使用 ctrl + alt + L 来进行格式化
（3）运算符两边习惯性各加一个空格。比如：2 + 4 * 5。
（4）一行最长不超过 80 个字符，超过的请使用换行展示，尽量保持格式优雅

2.2 变量和常量（重点）

常量：在程序执行的过程中，其值不会被改变的变量

0）回顾：Java 变量和常量语法
变量类型 变量名称 = 初始值 int a = 10
final 常量类型 常量名称 = 初始值 final int b = 20

1）基本语法
var 变量名 [: 变量类型] = 初始值 var i:Int = 10
val 常量名 [: 常量类型] = 初始值 val j:Int = 20
注意：能用常量的地方不用变量

2）案例实操
（1）声明变量时，类型可以省略，编译器自动推导，即类型推导
（2）类型确定后，就不能修改，说明 Scala 是强数据类型语言。
（3）变量声明时，必须要有初始值
（4）在声明/定义一个变量时，可以使用 var 或者 val 来修饰，var 修饰的变量可改变，val 修饰的变量不可改。

2.3 标识符的命名规范

Scala 对各种变量、方法、函数等命名时使用的字符序列称为标识符。即：凡是自己可以起名字的地方都叫标识符。
1）命名规则
Scala 中的标识符声明，基本和 Java 是一致的，但是细节上会有所变化，有以下三种规则：
（1）以字母或者下划线开头，后接字母、数字、下划线
（2）以操作符开头，且只包含操作符（+ - * / # !等）
（3）用反引号....包括的任意字符串，即使是 Scala 关键字（39 个）也可以
• package, import, class, object, trait, extends, with, type, for
• private, protected, abstract, sealed, final, implicit, lazy, override
• try, catch, finally, throw
• if, else, match, case, do, while, for, return, yield
• def, val, var
• this, super
• new
• true, false, null

2）案例实操
需求：判断 hello、Hello12、1hello、h-b、x h、h_4、ab、Int、、+-/#!、+-/#!1、if、if，这些名字是否合法。

2.4 字符串输出

1）基本语法
（1）字符串，通过+号连接
（2）printf 用法：字符串，通过%传值。
（3）字符串模板（插值字符串）：通过$获取变量值
2）案例实操

package chapter02

object Test04_String {
   
  def main(args: Array[String]): Unit = {
   
    var name: String = "jinlian"
    var age: Int = 18
    //（1）字符串，通过+号连接
    println(name + " " + age)
    println(name * 8)
    //（2）printf 用法字符串，通过%传值。
    printf("name=%s age=%d\n", name, age)
    //（3）字符串，通过$引用
    //多行字符串，在 Scala中，利用三个双引号包围多行字符串就可以实现。
    //输入的内容，带有空格、\t 之类，导致每一行的开始位置不能整洁对齐。
    //应用 scala 的 stripMargin 方法，在 scala 中 stripMargin 默认 是“|”作为连接符，//在多行换行的行头前面加一个“|”符号即可。
    val s =
      """
        |select
        | name,
        | age
        |from user
        |where name="zhangsan"
      """.stripMargin
    println(s)
    //如果需要对变量进行运算，那么可以加${}
    val s1 =
      s"""
         |select
         | name,
         | age
         |from user
         |where name="$name" and age=${age+2}
 """.stripMargin
    println(s1)
    val s2 = s"name=$name"
    println(s2)

    val num: Double = 2.3456
    println(f"The num is ${num}%2.2f") // 格式化目标字符串
    println(raw"The num is ${num}%2.2f")
  }
}

2.5 键盘输入 和输出

在编程中，需要接收用户输入的数据，就可以使用键盘输入语句来获取。
1）基本语法
StdIn.readLine()、StdIn.readShort()、StdIn.readDouble()
2）案例实操
需求：可以从控制台接收用户信息，【姓名，年龄，薪水】。

package chapter02
import scala.io.StdIn

object Test05_StdIn {
   
  def main(args: Array[String]): Unit = {
   
    // 1 输入姓名
    println("input name:")
    var name = StdIn.readLine()
    // 2 输入年龄
    println("input age:")
    var age = StdIn.readShort()
    // 3 输入薪水
    println("input sal:")
    var sal = StdIn.readDouble()
    // 4 打印
    println("name=" + name)
    println("age=" + age)
    println("sal=" + sal)
  }
}

从文件读取数据

package chapter02

import java.io.{
   File, PrintWriter}
import scala.io.Source

object Test06_FileO {
   
  def main(args: Array[String]): Unit = {
   
    // 1. 从文件中读取数据
    Source.fromFile("src\\main\\resources\\test.txt").foreach(print)
    // 2. 将数据写入文件
    val writer = new PrintWriter(new File("src\\main\\resources\\output.txt"))
    writer.write("hello scala from java")
    writer.close()
  }

}

2.6 数据类型（重点）

回顾：Java数据类型
Java基本类型：char、byte、short、int、long、float、double、boolean
Java引用类型：（对象类型）

由于Java有基本类型，而且基本类型不是真正意义的对象，即使后面产生了基本类型的包装类，但是仍然存在基本数据类型，所以Java语言并不是真正意思的面向对象。
Java基本类型的包装类：Character、Byte、Short、Integer、Long、Float、Double、Boolean
注意：Java中基本类型和引用类型没有共同的祖先。

2.7 整数类型（Byte、Short、Int、Long）

Scala 的整数类型就是用于存放整数值的，比如 12，30，3456 等等。
1）整型分类
第一位为符号数
0000 0000 0
1000 0000 -128

2^10 = 1K
2^20 = 1M
2^30 = 1G
2）案例实操
（1）Scala 各整数类型有固定的表示范围和字段长度，不受具体操作的影响，以保证Scala 程序的可移植性。

整数默认类型为Int

object TestDataType {
   
 def main(args: Array[String]): Unit = {
   
 // 正确
 var n1:Byte = 127
 var n2:Byte = -128
 // 错误
 // var n3:Byte = 128
 // var n4:Byte = -129
 }
}

（2）Scala 的整型，默认为 Int 型，声明 Long 型，须后加‘l’或‘L’

object TestDataType {
   
 def main(args: Array[String]): Unit = {
   
 var n5 = 10
 println(n5)
 var n6 = 9223372036854775807L
 println(n6)
 }
}

（3）Scala 程序中变量常声明为 Int 型，除非不足以表示大数，才使用 Long

2.8 浮点类型（Float、Double）

Scala 的浮点类型可以表示一个小数，比如 123.4f，7.8，0.12 等等。
1）浮点型分类

2）案例实操
Scala 的浮点型常量默认为 Double 型，声明 Float 型常量，须后加‘f’或‘F’。

object TestDataType {
   
 def main(args: Array[String]): Unit = {
   
 // 建议，在开发中需要高精度小数时，请选择 Double
 var n7 = 2.2345678912f
 var n8 = 2.2345678912
 println("n7=" + n7)
 println("n8=" + n8)
 }
}
//运行的结果
n7=2.2345679
n8=2.2345678912

2.9 字符类型（Char）

1）基本说明
字符类型可以表示单个字符，字符类型是 Char。

2）案例实操
（1）字符常量是用单引号 ’ ’ 括起来的单个字符。
（2）\t ：一个制表位，实现对齐的功能
（3）\n ：换行符
（4）\ ：表示
（5）" ：表示"

object TestCharType {
   
 def main(args: Array[String]): Unit = {
   
 //（1）字符常量是用单引号 ' ' 括起来的单个字符。
 var c1: Char = 'a'
 println("c1=" + c1)
//注意：这里涉及自动类型提升，其实编译器可以自定判断是否超出范围，
 //不过 idea 提示报错
var c2:Char = 'a' + 1
println(c2)
 
 //（2）\t ：一个制表位，实现对齐的功能
 println("姓名\t 年龄")
 //（3）\n ：换行符
 println("西门庆\n 潘金莲")
 //（4）\\ ：表示\
 println("c:\\岛国\\avi")
 //（5）\" ：表示"
 println("同学们都说：\"大海哥最帅\"")
 }
}

2.10 布尔类型：Boolean

1）基本说明
（1）布尔类型也叫 Boolean 类型，Booolean 类型数据只允许取值 true 和 false
（2）boolean 类型占 1 个字节。

2）案例实操

object TestBooleanType {
   
 def main(args: Array[String]): Unit = {
   
 var isResult : Boolean = false
 var isResult2 : Boolean = true
 }
}

2.11 Unit 类型、Null 类型和 Nothing 类型（重点）

1）基本说明

2）案例实操
（1）Unit 类型用来标识过程，也就是没有明确返回值的函数。
由此可见，Unit 类似于 Java 里的 void。Unit 只有一个实例——( )，这个实例也没有实质意义

 // 空值 Unit
  def m1():Unit={
   // unit 表示没有返回值，即 void
    print("m1被调用执行")
  }
  val a :Unit= m1()
  println(a)

（2）Null 类只有一个实例对象，Null 类似于 Java 中的 null 引用。Null 可以赋值给任意引用类型（AnyRef），但是不能赋值给值类型（AnyVal）

object TestDataType {
   
 def main(args: Array[String]): Unit = {
   

 //null 可以赋值给任意引用类型（AnyRef），但是不能赋值给值类型（AnyVal）
 var cat = new Cat();
 cat = null // 正确
 var n1: Int = null // 错误
 println("n1:" + n1)
 }
}
class Cat {
   
}

（3）Nothing，可以作为没有正常返回值的方法的返回类型，非常直观的告诉你这个方法不会正常返回，而且由于 Nothing 是其他任意类型的子类，他还能跟要求返回值的方法兼容。

object TestSpecialType {
   
 def main(args: Array[String]): Unit = {
   
 def test() : Nothing={
   
 throw new Exception()
 }
 test
 }
}

2.12 类型转换

扩展 Java 面试题（隐式类型转换）：

2.12.1 数值类型自动转换

当 Scala 程序在进行赋值或者运算时，精度小的类型自动转换为精度大的数值类型，这个就是自动类型转换（隐式转换）。数据类型按精度（容量）大小排序为：

1）基本说明
（1）自动提升原则：有多种类型的数据混合运算时，系统首先自动将所有数据转换成精度大的那种数据类型，然后再进行计算。
（2）把精度大的数值类型赋值给精度小的数值类型时，就会报错，反之就会进行自动类型转换。
（3）（byte，short）和 char 之间不会相互自动转换。
（4）byte，short，char 他们三者可以计算，在计算时首先转换为 int 类型。
2）案例实操

object TestValueTransfer {
   
 def main(args: Array[String]): Unit = {
   
 //（1）自动提升原则：有多种类型的数据混合运算时，系统首先自动将所有数据转换成精度大的那种数值类型，然后再进行计算。
 var n = 1 + 2.0
 println(n) // n 就是 Double
 //（2）把精度大的数值类型赋值给精度小的数值类型时，就会报错，反之就会进行自动类型转换。
 var n2 : Double= 1.0
 //var n3 : Int = n2 //错误，原因不能把高精度的数据直接赋值和低精度。