Apache Arrow - 入门介绍

Apache Arrow出现的背景

Apache Arrow出现以前的大数据分析系统基本都有各自不同的内存数据结构，带来一系列的重复工作

  • 从计算引擎上看，算法必须基于项目特有的数据结构、API 与算法之间出现不必要的耦合
  • 从数据获取上看，数据加载时必须反序列化，而每一种数据源都需要单独实现相应的加载器
  • 从生态系统上看，跨项目、跨语言的合作无形之中被阻隔

数据库与数据分析的发展

  • 企业对分析和使用数据的要求越来越复杂，对查询性能的标准也越来越高
  • 内存变得便宜，支持基于内存分析的一套新的性能策略
  • CPU 和 GPU 的性能有所提高，但也已经发展到可以优化并行处理数据（单指令多数据指令/SIMD/Single Instruction Multiple Data）
  • 针对不同的用例出现了新型数据库，每种都有自己的存储和索引数据的方式，mongo等文档数据库变得流行
  • 新学科出现，包括数据工程和数据科学，都具有数十种新工具来实现特定的分析目标
  • 列式数据表示成为分析工作负载的主流，在速度和效率方面具有显着优势

愿景与目标

愿景是提供内存数据分析 (in-memory analytics) 的开发平台，让数据在异构大数据系统间移动、处理地更快

  • 减少或消除数据在不同系统间序列化、反序列化的成本
  • 跨项目复用算法及IO工具
  • 推动更广义的合作，让数据分析系统的开发者联合起来

项目构成部分

  • 为分析查询引擎 (analytical query engines)、数据帧 (data frames) 设计的内存列存数据格式
  • 用于 IPC/RPC的二进制协议
  • 用于构建数据处理应用的开发平台

项目的基石

基于内存的列存数据格式(Arrow是面向数据分析开发的，所以采用列存)

特点包括

  • 标准化 (standardized)，与语言无关 (language-independent)
  • 同时支持平铺 (flat) 和层级 (hierarchical) 数据结构
  • 硬件感知 (hardware-aware)

Apache Arrow 核心技术

Arrow 本身不是存储或执行引擎，旨在作为以下类型系统的共享基础

  • SQL 执行引擎，例如Drill/Impala
  • 数据分析系统，例如 Pandas/Spark
  • 流和队列系统，例如Kafka/Storm
  • 存储系统，例如 Parquet/Kudu/Cassandra/HBase

Arrow 包含许多旨在集成到存储和执行引擎中的连接技术，关键组件包括

  • 定义的数据类型集包括 SQL 和 JSON 类型，例如 int、BigInt、decimal、varchar、map、struct 和 array
  • DataSet 是数据的列式内存表示，以支持构建在已定义数据类型之上的任意复杂记录结构
  • 常见数据结构 Arrow感知伴随数据结构，包括选择列表、哈希表和队列
  • 在共享内存、TCP/IP 和 RDMA(Remote Direct Memory Access/远程直接数据存取) 中实现的进程间通信
  • 用于以多种语言读写列式数据的数据库，包括 Java、C++、Python、Ruby、Rust、Go 和 JavaScript
  • 用于各种操作的流水线和 SIMD 算法，包括位图选择、散列、过滤、分桶、排序和匹配
  • 列内存压缩包括一系列提高内存效率的技术
  • 内存持久性工具，用于通过非易失性内存、SSD 或 HDD 进行短期持久化

确保处理技术有效地使用 CPU，专门设计用于最大化

  • 缓存局部性：内存缓冲区是为现代 CPU 设计的数据的紧凑表示，这些结构是线性定义的，与典型的读取模式相匹配，这意味着相似类型的数据在内存中位于同一位置，这使得缓存预取更有效，最大限度地减少了缓存未命中和主内存访问导致的 CPU 停顿，这些 CPU 高效的数据结构和访问模式扩展到传统的平面关系结构和现代复杂数据结构
  • 流水线：执行模式旨在利用现代处理器的超标量和流水线特性，通过最小化循环内指令数和循环复杂性来实现，这些紧密的循环导致更好的性能和更少的分支预测失败
  • 向量化处理/SIMD 指令：单指令多数据 (SIMD Single Instruction Multiple Data) 指令允许执行算法通过在单个时钟周期内执行多个操作来更有效地运行，Arrow 组织数据以使其非常适合 SIMD 操作

内存效率

Arrow 设计为即使数据不能完全放入内存也能正常工作，核心数据结构包括数据向量和这些向量的集合（也称为记录批次）

记录批次通常为 64KB-1MB，具体取决于工作负载，并且通常限制为 2^16 条记录，不仅提高了缓存的局部性，而且即使在低内存情况下也可以进行内存计算

对于从数百到数千台服务器不等的许多大数据集群，系统必须能够利用集群的聚合内存

Arrow 旨在最大限度地降低在网络上移动数据的成本，利用分散/聚集读取和写入，并具有零序列化/反序列化设计，允许节点之间的低成本数据移动

直接与支持 RDMA 的互连一起工作，为更大的内存工作负载提供单一内存网格

Arrow与Apache Parquet/Apache ORC的关系

数据存储的两个角度

  • 存储格式：行存 (row-wise/row-based)、列存 (column-wise/column-based/columnar)
  • 主要存储器：面向磁盘 (disk-oriented)、面向内存 (memory-oriented)

Parquet/ORC同样是采用列存，但是都是面向磁盘设计的，Arrow面向内存设计

数据存储格式的设计决定在不同瓶颈下的目的不同

最典型的就是压缩

  • Parquet/ORC: 对于 disk-oriented 场景，更高的压缩率几乎总是个好主意，利用计算资源换取空间可以利用更多的 CPU 资源，减轻磁盘 IO 的压力，支持高压缩率的压缩算法，如 snappy, gzip, zlib 等压缩技术就十分必要
  • Arrow: 对于 memory-oriented 场景，压缩只会让 CPU 更加不堪重负，所以更倾向于直接存储原生的二进制数据

尽管磁盘和内存的顺序访问效率都要高于随机访问，但在磁盘中，这个差异在 2-3 个数量级，而在内存中通常在 1 个数量级内。因此要均摊一次随机访问的成本，需要在磁盘中连续读取上千条数据，而在内存中仅需要连续读取十条左右的数据

数据列内存设计

Arrow列存格式的所有实现都需要考虑数据内存地址的对齐 (alignment) 以及填充 (padding)，通常推荐将地址按 8 或 64 字节对齐，若不足 8 或 64 字节的整数倍则按需补全（主要是为了利用现代 CPU 的 SIMD 指令，将计算向量化）

更详细的内存布局请参考Apache Arrow文档Arrow Columnar Format

https://arrow.apache.org/docs/format/Columnar.html

Fixed-width data types/定长数据列格式

比如对于int32数据，有一段数据[1, null, 2, 4, 8]，采用数据列格式定义如下

* Length: 5, Null count: 1
* Validity bitmap buffer:

  |Byte 0 (validity bitmap) | Bytes 1-63            |
  |-------------------------|-----------------------|
  | 00011101                | 0 (padding)           |

* Value Buffer:

  |Bytes 0-3   | Bytes 4-7   | Bytes 8-11  | Bytes 12-15 | Bytes 16-19 | Bytes 20-63 |
  |------------|-------------|-------------|-------------|-------------|-------------|
  | 1          | unspecified | 2           | 4           | 8           | unspecified |

可以看到共包含四个字段

  • Length：数组长度
  • Null count: null值统计
  • Validity bitmap buffer：有效位bitmap，0表示null，采用64字节，采用 little-endian 存储字节数据，由于只有第二个数据是空，所以按照从右往左定义，定长为8，所以bitmap的值就变为了00011101

  • Value Buffer

    • 由于采用int32类型，所以每个值占据4个字节
    • 无论数组中的某个元素 是否是 null，在定长数据格式中 Arrow 都会让该元素占据规定长度的空间，在随机访问时需要先利用 nullBitmap 计算出位移，这样需要的内存带宽更小，性能更优，主要体现的是存储空间与随机访问性能的权衡

如果是采用非null int32 array，则内存布局会有两种可能

比如对于int32 array: [1, 2, 3, 4, 8]

仍然带有bitmap

* Length: 5, Null count: 0
* Validity bitmap buffer:

  | Byte 0 (validity bitmap) | Bytes 1-63            |
  |--------------------------|-----------------------|
  | 00011111                 | 0 (padding)           |

* Value Buffer:

  |Bytes 0-3   | Bytes 4-7   | Bytes 8-11  | bytes 12-15 | bytes 16-19 | Bytes 20-63 |
  |------------|-------------|-------------|-------------|-------------|-------------|
  | 1          | 2           | 3           | 4           | 8           | unspecified |

bitmap被省略优化

* Length 5, Null count: 0
* Validity bitmap buffer: Not required
* Value Buffer:

  |Bytes 0-3   | Bytes 4-7   | Bytes 8-11  | bytes 12-15 | bytes 16-19 | Bytes 20-63 |
  |------------|-------------|-------------|-------------|-------------|-------------|
  | 1          | 2           | 3           | 4           | 8           | unspecified |

Variable-size Binary Layout/变长数据内存布局

在该类型下，每个元素都会占据0到多个字节，所以就需要多一个offset buffer区域来存储偏移信息

比如对于数据['joe', null, null, 'mark']，内存布局表示为如下

* Length: 4, Null count: 2
* Validity bitmap buffer:

  | Byte 0 (validity bitmap) | Bytes 1-63            |
  |--------------------------|-----------------------|
  | 00001001                 | 0 (padding)           |

* Offsets buffer:

  | Bytes 0-19     | Bytes 20-63           |
  |----------------|-----------------------|
  | 0, 3, 3, 3, 7  | unspecified           |

 * Value buffer:

  | Bytes 0-6      | Bytes 7-63           |
  |----------------|----------------------|
  | joemark        | unspecified          |

字段解释

  • Length: 数据长度为4
  • Null count: null统计数是2
  • Validity bitmap buffer: 采用little-endian 存储字节数据，数组中间两个是null，所以该值是00001001，从右往左看
  • Offsets buffer：由于每个字符都占据一个字节的长度，null不会增加偏移，值从0开始，所以遇到joe，会+3,遇到null会+0,遇到mark会+4,最后值变成[0, 3, 3, 3, 7]
  • Value buffer： 不给null分配内存，把所有占用内存的值合并，变为joemark

Variable-size List Layout/可变长度列表布局

列表是一种嵌套类型，其语义类似于可变大小的类型， 它由两个缓冲区、一个validity bitmap和一个 offsets buffer以及一个子数组定义。 偏移量与可变大小类型的偏移量相同，并且 32 位和 64 位有符号整数偏移量都是支持的偏移量选项。 这些偏移量不是引用额外的数据缓冲区，而是引用子数组

比如对于数据List>: [[12, -7, 25], null, [0, -127, 127, 50], []]

表示的内存布局如下

* Length: 4, Null count: 1
* Validity bitmap buffer:

  | Byte 0 (validity bitmap) | Bytes 1-63            |
  |--------------------------|-----------------------|
  | 00001101                 | 0 (padding)           |

* Offsets buffer (int32)

  | Bytes 0-3  | Bytes 4-7   | Bytes 8-11  | Bytes 12-15 | Bytes 16-19 | Bytes 20-63 |
  |------------|-------------|-------------|-------------|-------------|-------------|
  | 0          | 3           | 3           | 7           | 7           | unspecified |

* Values array (Int8array):
  * Length: 7,  Null count: 0
  * Validity bitmap buffer: Not required
  * Values buffer (int8)

    | Bytes 0-6                    | Bytes 7-63  |
    |------------------------------|-------------|
    | 12, -7, 25, 0, -127, 127, 50 | unspecified |

字段解释

  • Validity bitmap buffer: 由于第二个参数是null，所以该参数的值是00001101，从右往左看
  • Offsets buffer: 每个List中的Int8占据一个偏移值，null和[]不增加偏移量，偏移量从0开始计算
  • Values array: 把二维数组展平，排除了null值到影响，所以值展平开就变为[12, -7, 25, 0, -127, 127, 50]

参考阅读

Arrow Columnar Format

Apache Arrow-知乎

Databend 内幕大揭秘第二弹 - Data Source

Apache Arrow：一种适合异构大数据系统的内存列存数据格式标准

循环优化之向量化并行（vectorization）

你可能感兴趣的:(apache-arrow)

  • jvm调优总结（从基本概念 到 深度优化） oloz javajvmjdk虚拟机应用服务器
    JVM参数详解：http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html   Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。
  • 【Scala十六】Scala核心十：柯里化函数 bit1129 scala
    本篇文章重点说明什么是函数柯里化，这个语法现象的背后动机是什么，有什么样的应用场景，以及与部分应用函数(Partial Applied Function)之间的联系   1. 什么是柯里化函数 A way to write functions with multiple parameter lists. For instance def f(x: Int)(y: Int) is a
  • HashMap dalan_123 java
    HashMap在java中对很多人来说都是熟的；基于hash表的map接口的非同步实现。允许使用null和null键；同时不能保证元素的顺序；也就是从来都不保证其中的元素的顺序恒久不变。 1、数据结构     在java中，最基本的数据结构无外乎：数组 和 引用（指针），所有的数据结构都可以用这两个来构造，HashMap也不例外，归根到底HashMap就是一个链表散列的数据
  • Java Swing如何实时刷新JTextArea，以显示刚才加append的内容 周凡杨 java更新swingJTextArea
    在代码中执行完textArea.append("message")后，如果你想让这个更新立刻显示在界面上而不是等swing的主线程返回后刷新，我们一般会在该语句后调用textArea.invalidate()和textArea.repaint()。 问题是这个方法并不能有任何效果，textArea的内容没有任何变化，这或许是swing的一个bug，有一个笨拙的办法可以实现
  • servlet或struts的Action处理ajax请求 g21121 servlet
    其实处理ajax的请求非常简单，直接看代码就行了： //如果用的是struts //HttpServletResponse response = ServletActionContext.getResponse(); // 设置输出为文字流 response.setContentType("text/plain"); // 设置字符集 res
  • FineReport的公式编辑框的语法简介 老A不折腾 finereport公式总结
    FINEREPORT用到公式的地方非常多，单元格（以=开头的便被解析为公式），条件显示，数据字典，报表填报属性值定义，图表标题，轴定义，页眉页脚，甚至单元格的其他属性中的鼠标悬浮提示内容都可以写公式。 简单的说下自己感觉的公式要注意的几个地方：   1.if语句语法刚接触感觉比较奇怪，if(条件式子,值1,值2)，if可以嵌套，if(条件式子1，值1，if(条件式子2，值2，值3)
  • linux mysql 数据库乱码的解决办法 墙头上一根草 linuxmysql数据库乱码
    linux 上mysql数据库区分大小写的配置 lower_case_table_names=1 1-不区分大小写 0-区分大小写   修改/etc/my.cnf 具体的修改内容如下:   [client] default-character-set=utf8   [mysqld] datadir=/var/lib/mysql socket=/va
  • 我的spring学习笔记6-ApplicationContext实例化的参数兼容思想 aijuans Spring 3
    ApplicationContext能读取多个Bean定义文件，方法是： ApplicationContext appContext = new ClassPathXmlApplicationContext（ new String[]｛“bean-config1.xml”，“bean-config2.xml”，“bean-config3.xml”，“bean-config4.xml
  • mysql 基准测试之sysbench annan211 基准测试mysql基准测试MySQL测试sysbench
    1 执行如下命令，安装sysbench-0.5： tar xzvf sysbench-0.5.tar.gz  cd sysbench-0.5  chmod +x autogen.sh  ./autogen.sh  ./configure --with-mysql --with-mysql-includes=/usr/local/mysql
  • sql的复杂查询使用案列与技巧 百合不是茶 oraclesql函数数据分页合并查询
      本片博客使用的数据库表是oracle中的scott用户表;          -------------------  自然连接查询           查询 smith 的上司(两种方法) &
  • 深入学习Thread类 bijian1013 javathread多线程java多线程
    一．             线程的名字 下面来看一下Thread类的name属性，它的类型是String。它其实就是线程的名字。在Thread类中，有String getName()和void setName(String)两个方法用来设置和获取这个属性的值。 同时，Thr
  • JSON串转换成Map以及如何转换到对应的数据类型 bijian1013 javafastjsonnet.sf.json
            在实际开发中，难免会碰到JSON串转换成Map的情况，下面来看看这方面的实例。另外，由于fastjson只支持JDK1.5及以上版本，因此在JDK1.4的项目中可以采用net.sf.json来处理。 一.fastjson实例 JsonUtil.java package com.study; impor
  • 【RPC框架HttpInvoker一】HttpInvoker：Spring自带RPC框架 bit1129 spring
    HttpInvoker是Spring原生的RPC调用框架，HttpInvoker同Burlap和Hessian一样，提供了一致的服务Exporter以及客户端的服务代理工厂Bean，这篇文章主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成   在 【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中
  • 【Mahout二】基于Mahout CBayes算法的20newsgroup的脚本分析 bit1129 Mahout
    #!/bin/bash # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information re
  • nginx三种获取用户真实ip的方法 ronin47
    随着nginx的迅速崛起，越来越多公司将apache更换成nginx. 同时也越来越多人使用nginx作为负载均衡, 并且代理前面可能还加上了CDN加速，但是随之也遇到一个问题：nginx如何获取用户的真实IP地址,如果后端是apache,请跳转到<apache获取用户真实IP地址>，如果是后端真实服务器是nginx，那么继续往下看。 实例环境： 用户IP 120.22.11.11
  • java-判断二叉树是不是平衡 bylijinnan java
    参考了 http://zhedahht.blog.163.com/blog/static/25411174201142733927831/ 但是用java来实现有一个问题。 由于Java无法像C那样“传递参数的地址，函数返回时能得到参数的值”，唯有新建一个辅助类：AuxClass import ljn.help.*; public class BalancedBTree {
  • BeanUtils.copyProperties VS PropertyUtils.copyProperties 诸葛不亮 PropertyUtilsBeanUtils
     BeanUtils.copyProperties VS  PropertyUtils.copyProperties  作为两个bean属性copy的工具类，他们被广泛使用，同时也很容易误用，给人造成困然；比如：昨天发现同事在使用BeanUtils.copyProperties copy有integer类型属性的bean时，没有考虑到会将null转换为0，而后面的业
  • [金融与信息安全]最简单的数据结构最安全 comsci 数据结构
          现在最流行的数据库的数据存储文件都具有复杂的文件头格式，用操作系统的记事本软件是无法正常浏览的，这样的情况会有什么问题呢？        从信息安全的角度来看，如果我们数据库系统仅仅把这种格式的数据文件做异地备份，如果相同版本的所有数据库管理系统都同时被攻击，那么
  • vi区段删除 Cwind linuxvi区段删除
    区段删除是编辑和分析一些冗长的配置文件或日志文件时比较常用的操作。简记下vi区段删除要点备忘。   vi概述    引文中并未将末行模式单独列为一种模式。单不单列并不重要，能区分命令模式与末行模式即可。   vi区段删除步骤： 1. 在末行模式下使用:set nu显示行号 非必须，随光标移动vi右下角也会显示行号，能够正确找到并记录删除开始行
  • 清除tomcat缓存的方法总结 dashuaifu tomcat缓存
    用tomcat容器，大家可能会发现这样的问题，修改jsp文件后，但用IE打开 依然是以前的Jsp的页面。 出现这种现象的原因主要是tomcat缓存的原因。 解决办法如下: 在jsp文件头加上 <meta http-equiv="Expires" content="0"> <meta http-equiv="kiben&qu
  • 不要盲目的在项目中使用LESS CSS dcj3sjt126com Webless
    　如果你还不知道LESS CSS是什么东西，可以看一下这篇文章，是我一朋友写给新人看的《CSS——LESS》 　　不可否认，LESS CSS是个强大的工具，它弥补了css没有变量、无法运算等一些“先天缺陷”，但它似乎给我一种错觉，就是为了功能而实现功能。 　　比如它的引用功能 ? .rounded_corners{     
  • [入门]更上一层楼 dcj3sjt126com PHPyii2
    更上一层楼 通篇阅读完整个“入门”部分，你就完成了一个完整 Yii 应用的创建。在此过程中你学到了如何实现一些常用功能，例如通过 HTML 表单从用户那获取数据，从数据库中获取数据并以分页形式显示。你还学到了如何通过 Gii 去自动生成代码。使用 Gii 生成代码把 Web 开发中多数繁杂的过程转化为仅仅填写几个表单就行。 本章将介绍一些有助于更好使用 Yii 的资源：
  • Apache HttpClient使用详解 eksliang httpclienthttp协议
    Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会
  • zxing二维码扫描功能 gundumw100 androidzxing
    经常要用到二维码扫描功能 现给出示例代码 import com.google.zxing.WriterException; import com.zxing.activity.CaptureActivity; import com.zxing.encoding.EncodingHandler; import android.app.Activity; import an
  • 纯HTML+CSS带说明的黄色导航菜单 ini htmlWebhtml5csshovertree
    HoverTree带说明的CSS菜单:纯HTML+CSS结构链接带说明的黄色导航   在线体验效果：http://hovertree.com/texiao/css/1.htm代码如下,保存到HTML文件可以看到效果：   <!DOCTYPE html > <html > <head> <title>HoverTree
  • fastjson初始化对性能的影响 kane_xie fastjson序列化
    之前在项目中序列化是用thrift，性能一般，而且需要用编译器生成新的类，在序列化和反序列化的时候感觉很繁琐，因此想转到json阵营。对比了jackson，gson等框架之后，决定用fastjson，为什么呢，因为看名字感觉很快。。。   网上的说法：   fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器，来自阿里巴巴的工程师开发。
  • 基于Mybatis封装的增删改查实现通用自动化sql mengqingyu DAO
    1.基于map或javaBean的增删改查可实现不写dao接口和实现类以及xml，有效的提高开发速度。 2.支持自定义注解包括主键生成、列重复验证、列名、表名等 3.支持批量插入、批量更新、批量删除 <bean id="dynamicSqlSessionTemplate" class="com.mqy.mybatis.support.Dynamic
  • js控制input输入框的方法封装(数字，中文，字母，浮点数等) qifeifei javascript js
    在项目开发的时候，经常有一些输入框，控制输入的格式，而不是等输入好了再去检查格式，格式错了就报错，体验不好。 /** 数字，中文，字母,浮点数(+/-/.) 类型输入限制，只要在input标签上加上 jInput="number,chinese,alphabet,floating" 备注：floating属性只能单独用*/     funct
  • java 计时器应用 tangqi609567707 javatimer
    mport java.util.TimerTask;   import java.util.Calendar;   public class MyTask extends TimerTask {        private static final int
  • erlang输出调用栈信息 wudixiaotie erlang
    在erlang otp的开发中，如果调用第三方的应用，会有有些错误会不打印栈信息，因为有可能第三方应用会catch然后输出自己的错误信息，所以对排查bug有很大的阻碍，这样就要求我们自己打印调用的栈信息。用这个函数：erlang:process_display (self (), backtrace).需要注意这个函数只会输出到标准错误输出。 也可以用这个函数：erlang:get_s
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他