Spark第二代Tungsten引擎测试数据和引擎实现内幕

Spark2.X中的第二代Tungsten性能之所以能够提升10倍左右的原因：

1、去掉了虚函数的调用，极大的减少了CPU指令的无用的消耗！

2、数据直接放在寄存器中，至少提升了一个数量级的数据读写熟读！

3、现在的CPU等硬件架构对基本的条件语句，循环语句等进行了极大的优化，并且可以使用硬件加速；

4、对于复杂的数据操作，采用Vectorization的方式，采用列式的读写数据，就是一行是原来的一列；

优点：擅长CPU密集型的计算；

缺点：对I/O没有进行太多优化；