golang之大端序、小端序

一、概述

字节序：字节在电脑中存放时的序列与输入/输出时的序列；也指的是存放多字节数据的字节（byte）的顺序，典型的情况是整数在内存中的存放方式和网络传输的传输顺序。
先看下基本概念：

• 1、大端模式(Big endian)：将高序字节存储在起始地址(按照从低地址到高地址的顺序存放数据的高位字节到低位字节)
• 2、小端模式(Little endian)：将低序字节存储在起始地址(按照从低地址到高地址的顺序存放据的低位字节到高位字节)
  在计算机领域中，大小端序是跟硬件的体系结构有关的。
  举个栗子：如一个 var a = 0x11223344，对于这个变量的最高字节为0x11，最低字节为0x44。假设在内存中分配地址如下(地址都是连续的)

...	0x0001	0x0002	0x0003	0x0004	...

当分别处于大小端模式下的内容存放如下
(1)大端模式存储（存储地址为16位）
地址 数据
0x0004(高地址) 0x44
0x0003 0x33
0x0002 0x22
0x0001(低地址) 0x11

(2)小端模式存储（存储地址为16位）
地址 数据
0x0004(高地址) 0x11
0x0003 0x22
0x0002 0x33
0x0001(低地址) 0x44

二、大端序和小端序

在前面也简单阐述了大小端序的定义并结合简单实例来说明，接下来会给出详细实例来说明：
1、大端序(Big-Endian):或称大尾序
一个类型: int32 的数 0X0A0B0C0D的内存存放情况

大端序

数据是以8bits为单位

示例中，最高有效位是将0x0A存储在最低的内存地址处，接着是0x0B存在后面的地址，类似十六进制字节从左往右的顺序。
数据以16bits为单位

最高的16bit单元0x0A0B存储在低位

2、小端序(little-endian):或称小尾序

小尾序

数据以8bits为单位

示例中最低有效位则是0x0D存储的内存地址处，后面依次存放在后面的地址处。
数据以16bits为单位

最低的16bit单元0x0C0D存储在低位。
3、总结
采用大端序的CPU和采用小端序的CPU不仅在字节上是相反的，在比特位上也是相反的。
比如0x01在内存中的存储
大端序：内存低比特位 00000001 内存高比特位
小端序：内存低比特位 10000000 内存高比特位

比如0x00000001
大端序：内存低比特位 00000000 00000000 00000000 00000001 内存高比特位
小端序：内存低比特位 10000000 00000000 00000000 00000000 内存高比特位

三、应用

其实在前面罗列出那么东西，最终是为了接下来讲述的在golang中涉及到网络传输、文件存储时的选择。一般来说网络传输的字节序，可能是大端序或者小端序，取决于软件开始时通讯双方的协议规定。TCP/IP协议RFC1700规定使用“大端”字节序为网络字节序，开发的时候需要遵守这一规则。默认golang是使用大端序。详情见golang中包encoding/binary已提供了大、小端序的使用

import (   
   "encoding/binary"
   "fmt"
)
func BigEndian() {    // 大端序
   // 二进制形式：0000 0000 0000 0000 0001 0002 0003 0004  
   var testInt int32 = 0x01020304  // 十六进制表示
   fmt.Printf("%d use big endian: \n", testInt)   
   
   var testBytes []byte = make([]byte, 4)  
   binary.BigEndian.PutUint32(testBytes, uint32(testInt))   //大端序模式
   fmt.Println("int32 to bytes:", testBytes)  

   convInt := binary.BigEndian.Uint32(testBytes)  //大端序模式的字节转为int32
   fmt.Printf("bytes to int32: %d\n\n", convInt)
}

func LittleEndian() {  // 小端序
   //二进制形式： 0000 0000 0000 0000 0001 0002 0003 0004
   var testInt int32 = 0x01020304  // 16进制
   fmt.Printf("%d use little endian: \n", testInt)   

   var testBytes []byte = make([]byte, 4)
   binary.LittleEndian.PutUint32(testBytes, uint32(testInt)) //小端序模式
   fmt.Println("int32 to bytes:", testBytes)

   convInt := binary.LittleEndian.Uint32(testBytes) //小端序模式的字节转换
   fmt.Printf("bytes to int32: %d\n\n", convInt)
}

func main() {
   BigEndian()
   LittleEndian()
}

输出结果：
16909060 use big endian:
int32 to bytes: [1 2 3 4] ### [0001 0002 0003 0004]
bytes to int32: 16909060

16909060 use little endian:
int32 to bytes: [4 3 2 1] ### [0004 0003 0002 0001]
bytes to int32: 16909060

四、RPCX

在RPCX框架中关于RPC调用过程涉及的传递消息进行编码的，采用的就是大端序模式

func (m Message) Encode() []byte {  // 编码消息
       // 编码metadata将key-value转为key=value&key=value形式
    meta := encodeMetadata(m.Metadata)  

    spL := len(m.ServicePath)   // 服务长度
    smL := len(m.ServiceMethod)  // 服务函数

    var err error
    payload := m.Payload   // 消息体
    if m.CompressType() != None {  // 压缩
        compressor := Compressors[m.CompressType()]
        if compressor == nil { // 默认使用None压缩类型
            m.SetCompressType(None)
        } else {
            payload, err = compressor.Zip(m.Payload)  // GZIP压缩
            if err != nil {   // 压缩失败 不对传输消息进行压缩
                m.SetCompressType(None)
                payload = m.Payload
            }
        }
    }

    // RPCX数据包 = header + ID + total size +
    // 服务名及内容： servicePath(size(servicePath) 、len(servicePath)) +
    // 服务函数及内容：serviceMethod(size(serviceMethod) 、 len(serviceMethod)) +
    // 元数据及内容：   metadata(size(metadata) 、len(metadata)) +  
    // 消息体及内容：payload(size(payload) 、 len(payload)) 

        // 消息长度 = size(servicePath) + len(servicePath) + size(serviceMethod) 
       //        + len(serviceMethod) + size(metadata) + len(metadata) 
       //        + size(payload) + len(payload)
    totalL := (4 + spL) + (4 + smL) + (4 + len(meta)) + (4 + len(payload))  


    // header + dataLen + spLen + sp + smLen + sm 
       //              + metaL + meta + payloadLen + payload
    metaStart := 12 + 4 + (4 + spL) + (4 + smL) // meata开始位置

    payLoadStart := metaStart + (4 + len(meta)) // payLoad开始位置
    l := 12 + 4 + totalL

    data := make([]byte, l)
    copy(data, m.Header[:])  // 拷贝header内容

        // 将数据包以大端序模式进行编码 
    //totalLen
    binary.BigEndian.PutUint32(data[12:16], uint32(totalL))  // 

    binary.BigEndian.PutUint32(data[16:20], uint32(spL))
    copy(data[20:20+spL], util.StringToSliceByte(m.ServicePath))

    binary.BigEndian.PutUint32(data[20+spL:24+spL], uint32(smL))
    copy(data[24+spL:metaStart], util.StringToSliceByte(m.ServiceMethod))

    binary.BigEndian.PutUint32(data[metaStart:metaStart+4], uint32(len(meta)))
    copy(data[metaStart+4:], meta)

    binary.BigEndian.PutUint32(data[payLoadStart:payLoadStart+4],
                                       uint32(len(payload)))
    copy(data[payLoadStart+4:], payload)

    return data
}