Kryo序列化

Spark序列化概述

在Spark的架构中，在网络中传递的或者缓存在内存、硬盘中的对象需要进行序列化操作，序列化的作用主要是利用时间换空间：

• 分发给Executor上的Task
• 需要缓存的RDD（前提是使用序列化方式缓存）
• 广播变量
• Shuffle过程中的数据缓存
• 使用receiver方式接收的流数据缓存
• 算子函数中使用的外部变量

​ 上面的六种数据，通过Java序列化（默认的序列化方式）形成一个二进制字节数组，大大减少了数据在内存、硬盘中占用的空间，减少了网络数据传输的开销，并且可以精确的推测内存使用情况，降低GC频率。

​ 其好处很多，但是缺陷也很明显：

​ 把数据序列化为字节数组、把字节数组反序列化为对象的操作，是会消耗CPU、延长作业时间的，从而降低了Spark的性能。 至少默认的Java序列化方式在这方面是不尽如人意的。Java序列化很灵活但性能较差，同时序列化后占用的字节数也较多。

---

​ 所以官方也推荐尽量使用Kryo的序列化库（版本2）。官文介绍，Kryo序列化机制比Java序列化机制性能提高10倍左右，Spark之所以没有默认使用Kryo作为序列化类库，是因为它不支持所有对象的序列化，同时Kryo需要用户在使用前注册需要序列化的类型，不够方便。

---

相关配置参数

Property Name	Default
spark.serializer	org.apache.spark.serializer.JavaSerializer
spark.kryoserializer.buffer	64k
spark.kryoserializer.buffer.max	64m
spark.kryo.classesToRegister	none
spark.kryo.referenceTracking	true
spark.kryo.registrationRequired	false
spark.kryo.registrator	none
spark.kryo.unsafe	false

配置说明：

• spark.serializer：序列化时用的类，需要申明为org.apache.spark.serializer.KryoSerializer。这个设置不仅控制各个worker节点之间的混洗数据序列化格式，同时还控制RDD存到磁盘上的序列化格式及广播变量的序列化格式。
• spark.kryoserializer.buffer：每个Executor中的每个core对应着一个序列化buffer。如果你的对象很大，可能需要增大该配置项。其值不能超过spark.kryoserializer.buffer.max
• spark.kryoserializer.buffer.max：允许使用序列化buffer的最大值
• spark.kryo.classesToRegister：向Kryo注册自定义的的类型，类名间用逗号分隔
• spark.kryo.referenceTracking：跟踪对同一个对象的引用情况，这对发现有循环引用或同一对象有多个副本的情况是很有用的。设置为false可以提高性能
• spark.kryo.registrationRequired：是否需要在Kryo登记注册？如果为true，则序列化一个未注册的类时会抛出异常
• spark.kryo.registrator：为Kryo设置这个类去注册你自定义的类。最后，如果你不注册需要序列化的自定义类型，Kryo也能工作，不过每一个对象实例的序列化结果都会包含一份完整的类名，这有点浪费空间
• spark.kryo.unsafe：如果想更加提升性能，可以使用Kryo unsafe方式

Kryo使用

conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");//设置序列化方式
conf.registerKryoClasses(new Class[]{_KryoBean.class});//注册使用kryo序列化的类

另外一种注册的方法

//实现一个KryoRegistrator注册类，在该类里面对自定义的序列化类进行注册，然后在conf里面配置该类
public class _KryoRegistor implements KryoRegistrator{
    @Override
    public void registerClasses(Kryo kryo) {
        kryo.register(_KryoBean.class, new FieldSerializer<>(kryo, _KryoBean.class));
        kryo.register(xxx.class, new FieldSerializer<>(kryo, xxx.class));
        ...
        ...
    }
}

//  在conf配置如下
SparkSession spark = SparkSession.builder().appName("").master("local")
        .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
        .config("spark.kryo.registrator", _KryoRegistor.class.getName())
        .getOrCreate();