以太坊中的RLP编码

文章分为2部分, 第一部分是综合整理已有资料而生成的参考文档, 第二部分是python版以太坊代码中的源码实现分析.

RLP概述

RLP (递归长度前缀)适用于任意二进制数据数组的编码。是以太坊中数据序列化/反序列化的主要方法，区块、交易等数据结构在 网络传输和持久化 时会先经过RLP编码后再存储到数据库中。

相比json编码， RLP编码占用空间小，几乎没有冗余信息。

RLP编码的定义只处理两类数据：

• 二进制数据的数组（字符串，字节数组，整形等）

• 列表（二进制数据的数组的数组，即一个嵌套递归的结构，里面可以包含字符串和列表）

  例如

  ["cat",["puppy","cow"],"horse",[[]],"pig",[""],"sheep"]
  
  

  就是一个复杂的列表。

其他类型的数据需要转成以上的两类结构，例如struct可以转成列表，int可以转成字符串，也可以不转，字典可以转换成例如 ： [[k1,v1],[k2,v2]...] 。

RLP编码规则

总体可以概括为: 内容 (单字节) , 前缀+内容 (总长<55) , 或 前缀+长度+内容 (总长>55)

1. 规则1(内容). . [0x00, 0x7f] 范围内的 单个字节 , RLP 编码内容就是字节内容本身。

例子：

• ‘a’ = 0x61
• 整数 15('\x0f') = 0x0f

1. 规则2(前缀+内容). . 0-55字节长度的字符串，RLP编码是 前缀（0x80+len(字符串)）+字符串内容

例子：

• abc编码结果是0x83 0x61 0x62 0x63，其中0x83=0x80+len("abc")。
• 整数 1024('\x04\00') = [0x82, 0x04, 0x00]
• 空字符串 "" = 0x80
• 字符串 "dog" = [0x83, 'd', 'o', 'g' ]

1. 规则3(前缀+长度+内容) . >55字节长度字符串, RLP编码是 前缀（0xb7＋len(len(字符串)))+len(字符串)+字符串内容

例子:

• 字符串 "Lorem ipsum dolor sit amet, consectetur adipisicing elit" = [0xb8, 0x38, 'L', 'o', 'r', 'e', 'm', ' ', ... , 'e', 'l', 'i', 't']

1. 规则4(前缀+内容). . 列表的总长度（列表的总长度指的是它包含的项的数量加它包含的各项的长度之和）是0-55字节，它的RLP编码是 前缀(0xc0+len(列表总))+列表中各元素项的RLP编码 ，前缀取值范围是 [0xc0, 0xf7] 。

例子:

• 列表 ["cate","dog"] = [0xc9, 0x84, 'c', 'a', 't', 'e',0x83, 'd', 'o', 'g' ]

  0xc9 = 0xc0+ 1+4+1+3 (1:字符串长度的长度, 4:字符串长度, 1:字符串长度的长度,3:字符串长度)

• 列表 [ [], [[]], [ [], [[]] ] ] = [0xc7, 0xc0, 0xc1, 0xc0, 0xc3, 0xc0, 0xc1, 0xc0]

• 规则5(前缀+长度+内容). ** ** 列表的总长度大于55字节，它的RLP编码是 前缀(0xf7+len(len(列表总)))+len(列表总)+列表中各元素项的RLP编码 ，前缀取值范围是 [0xf8, 0xff] 。

  例子:

  • 列表 ["The length of this sentence is more than 55 bytes, ", "I know it because I pre-designed it"] = [0xf8 0x58 0xb3 'T','h','e',...

    0xf8=0xf7+1 (1:列表总长度的长度)

    0x58=0x56+1+1 (0x56:列表总长度 1+1: 2个字符串长度的长度)

    0xb3=0x80+0x33 (33: 字符串长度)

综合编码的例子:

["abc",["The length of this sentence is more than 55 bytes, ", "I know it because I pre-designed it"]]

= [0xf8 0x5e 0x83 0x61 98 99 248 88 179 84 104 101 32 108 101 110 103 116 104 32 111 102 32 116 104 105 115 32 115 101 110 116 101 110 99 101 32 105 115 32 109 111 114 101 32 116 104 97 110 32 53 53 32 98 121 116 101 115 44 32 163 73 32 107 110 111 119 32 105 116 32 98 101 99 97 117 115 101 32 73 32 112 114 101 45 100 101 115 105 103 110 101 100 32 105 116]

0xf8=0xf7+1 (1:列表总长度的长度)

0x5e=90 + 1 +2 +1 (90:字符串总长度 1:第一个字符串前缀长度 2: 第二个字符串前缀+长度 1: 第三个字符串前缀)

RLP解码规则

1. 如果f∈ [0,128),　那么它是一个字节本身。

2.　如果f∈[128,184)，那么它是一个长度不超过55的byte数组，数组的长度为 l=f-128

3.　如果f∈[184,192)，那么它是一个长度超过55的数组，长度本身的编码长度 ll=f-183 ,然后从第二个字节开始读取长度为ll的bytes，按照BigEndian编码成整数l，l即为数组的长度。

4.　如果f∈(192,247]，那么它是一个编码后总长度不超过55的列表，列表长度为 l=f-192 。递归使用规则1~4进行解码。

5.　如果f∈(247,256]，那么它是编码后长度大于55的列表，其长度本身的编码长度 ll=f-247 ,然后从第二个字节读取长度为ll的bytes,按BigEndian编码成整数l，l即为子列表长度。然后递归根据解码规则进行解码。

以太坊中的RLP编解码

python版以太坊中, 关于RLP编解码独立出来一个专门的项目: https://github.com/ethereum/pyrlp

主要流程包括 序列化和编码 , 以及 **解码和反序列化. **

总入口为:

• encode(obj, sedes=None, infer_serializer=True)

  obj : 待编码的对象

  sedes : 表示显式地指定编码对象类型(例如 binary, list 等)

  infer_serializer : 默认根据obj类型自动进行序列化, 如果置为false,表示对对象直接进行rlp编码

• decode(rlp, sedes=None, strict=True, **kwargs)

项目分为几大功能模块, 按照执行流程依次如下:

• codec/lazy: 实现RLP编码解码的接口定义和实现

  • encode流程
    1. 根据obj类型进行序列化: item = infer_sedes(obj).serialize(obj)
    2. infer_sedes 返回支持RLP编码的类型: big_endian_int; binary; List ,如果是dict, 需要先转化为List类型. 详见下面.
    3. serialize 调用对应类型的序列化接口, 执行序列化.详见下面.
    4. 编码: encode_raw(item) ,编码规则同上描述. 对于List类型, 对每个元素都进行 递归编码 : payload = b''.join(encode_raw(x) for x in item)
    5. 根据长度生成编码前缀: prefix = length_prefix(len(payload), prefix_offset) , 规则同上描述.
    6. 返回前缀和编码内容: return prefix + payload

• sedes: 定义了可以序列化/反序列化的对象类型,并且顶一个各自的序列化/反序列化的方法:

  • Binary: 确定长度的二进制数据

    序列化方法: str_to_bytes(obj)

  • BigEndianInt: 确定长度的大端二进制数据

    序列化方法: b'\x00' * max(0, <序列化长度> - len(int_to_big_endian(obj))) + int_to_big_endian(obj)

  • List: 每个成员都需要支持序列化

    序列化方法: [sedes.serialize(element) for element, sedes in zip(obj, self)]

• utils: 数据类型之间的相互转换的接口

  • decode_hex(s): 将16进制编码的字节数组串转换为字符串 例如: "616263" => "abc"
  • encode_hex(s): 将字符串转换成16进制编码的字节数组串, 例如: "abc" => "616263"
  • int_to_big_endian(value): 整形数据转换为大端字节编码的字符串
  • big_endian_to_int(value): 大端字节编码的字符串转换为整形数据