go基础——map/sync.Map

注：权作为学习笔记，基于version: 1.14

内容

一 map
1.1 数据结构
1.2 写入
1.3 查找
1.4 扩容
1.5 注意点

二 sync.map
2.1 基本使用
2.2 实现原理

一 map

1.1 数据结构

学习go中map的数据结构，可以对比着java中的hashmap实现来一起对比学习，java 中map是采用拉链罚来解决hash冲突，基本数据结构是数组+链表的hash表形式；而go map并没有采取这种形式，go中采取buckets的形式，每个bucket在固定了可以存储8对键/值，总体数据结构大体如下图这个样子：

image.png

源码长这个样子：

// src/runtime/map.go
type hmap struct {
    count        int               /* Map中元素数量 */
    flags        int8              /* 相关标志位 */
    B            int8              /* （1<< B * 6.5）为最多元素的数量 ; 代表bucket的个数，不是直接B个桶，是当前map有2^B个桶；*/
    noverflow    int16             /* 溢出桶的数量 */
    hash0        uint32            /* 哈希种子 */
    buckets      unsafe.Pointer    /* 桶指针 */
    oldbuckets   unsafe.Pointer    /* 桶指针（只有扩容的时候才使用，指向旧的桶） */
    nevacuate    uintptr           /* 用于桶搬迁 */
    extra        *mapextra         /* 当key/value非指针时使用 */
}

type mapextra struct {
    overflow      *[]*bmap         /* 溢出桶的指针 */
    oldoverflow   *[]*bmap             
    nextOverflow  *bmap                   
}

type bmap struct {
    tophash  [bucketCnt]uint8      /* bucketCnt=8，一个桶只能存放8对k/v, 低B位用来寻找桶，高8位用来寻找元素 */
}

/* 当kev/value不为指针时，溢出桶存放到mapextra结构中，overflow存放buckets中的溢出
    桶，oldoverflow存放oldbuckets中的溢出桶，nextOverflow预分配溢出桶空间 */
type mapextra struct {
    overflow        *[]*bmap       /* 以切片形式存放buckets中的每个溢出桶 */
    oldoverflow     *[]*bmap       /*  以切片形式存放oldbuckets中的每个溢出桶*/
    nextOverflow    *bmap
}

/* map标志位 */
iterator           1        /* 迭代器buckets桶的标志位，为1表示正在使用buckets*/
oldIterator        2        /* 迭代器oldbuckets桶的标志位 ，为1表示正在使用oldbuckets*/
hashWriting        3        /* 并发写标志位，为1表示有goroutine正在写map */
sameSizeGrow       4        /* 等量扩容标志，表示申请的桶数量和原来一样 */

总体来说：

• go的map使用2^B个桶来装数据，每个桶固定存储8对键值对，每个bucket是一个bmap类型，bmap 结构体里有个字段tophash，是一个数组，这个数组存放了bmap里各个key的hash的前8位，用来快速对比key是否相等，如果一个key的前8位都不相等，就没有必要再往下对比了；

• 除了buckets， hmap还要个关键的东西，就是overflow，这个是一个bmap类型的指针数组，存放的是指向溢出桶的指针；溢出桶是用来存放，当一个key hash 后，用key hash的后B位计算出在那个桶，然后遍历桶是否有空位置，如果当前桶没有空位置了，那么会在当前桶后面连续的内存位置开辟一个新 bucket来存放，这个新的bucket就是溢出桶
  类似这样的结构：

  
  
  image.png

1.2 写入

put的大体步骤是：

• 1 根据key 计算hash值
• 2 根据B的值，得到key hash值的后B位，这个就是会存于那个桶
• 3 遍历桶，找到一个空位置，然后存入到空位置；
• 4 如果当前桶全满，如果有溢出桶，则遍历溢出桶，存到溢出桶的空位置；如果没有溢出桶则新建一个溢出桶存放key

1.3 查找

查找和写入步骤很类似，查找时会利用 bmap的tophash快速对比，如果key的前8位和和tophash里的值都不一样，那证明不在当前桶，可能在溢出桶里，加快遍历速度

1.4 扩容

当满足一下任何一个条件时，会发生扩容：

• 1 装载因子>6.5时，hmap中元素太多了；其中，装载因子=count/2^B
• 2 hmap中溢出桶太多了，当 B 小于 15，也就是 bucket 总数 2^B 小于 2^15 时，如果 overflow 的 bucket 数量超过 2^B；当 B >= 15，也就是 bucket 总数 2^B 大于等于 2^15，如果 overflow 的 bucket 数量超过 2^15。
  扩容方式：
• 1 溢出桶太多，即上述条件2，此时是 等量扩容， 即整理桶中个数据，将分散的数据进行搬移整理到一块；
• 2 当装载因子>6.6, 增量扩容（2倍扩容）；

1.5 注意点

• 1 go map不是并发安全的
• 2 如果只是声明了map, 而没有初始化，是不能直接添加值的; 要区别slice， 如果声明一个slice, 是直接可以使用append添加元素的;

var map1 map[string]int
map1["ss"] = 1 //  直接panic, map1是nil

二 sync.map

map是非线程安全的，在go中如果想用线程安全的map, 一般有两种方式：

• 1 自己构造一个struct, struct里放一个RWMutex， 读时加读锁，写时加写锁, 类似这样的：

type SyncMap struct {
    sync.RWMutex
    m map[string]string
}

• 2 sync包下面的sync.map

2.1 基本使用

func main(){
    var sm sync.Map
    // 写入
    sm.Store("a", 1)
    sm.Store("b", 2)
    sm.Store("c", 3)

    // 取出
    v, _ := sm.Load("a")
    fmt.Println(v.(int))

    // 删除
    sm.Delete("b")

    // 存在则获取 不存在则添加
    sm.LoadOrStore("d", 4)

    // 遍历
    sm.Range(func(key, value interface{}) bool {
        fmt.Println(key.(string), value.(int))
        return true
    })
}

2.2 基本原理

基本数据结构如下：

type Map struct {
    mu Mutex
    read atomic.Value // readOnly
    dirty map[interface{}]*entry
    misses int
}

type readOnly struct {
    m       map[interface{}]*entry
    amended bool // true if the dirty map contains some key not in m.
}

• 关键的字段是：read和dirty， read属性是atomic.Value(原子的更新复杂类型，可以看做一个容器)，本质存储的是readOnly 结构体，可见read和dirty结构体都是一个简单的map，
• 通过一种空间换时间，通过双份的map来实现读不加锁，写加锁的思路进行优化
• read和dirty的map的value都是指向同一份的指针，所以双份的map的存储在空间上也做了很好的优化
• sync.map适合并发读多写少的场景，如果并发写远远大于并发读，第一种加读写锁的并发模式的速度要更好一些

详细理解：

• 深度解密Go语言之sync.map： https://qcrao.com/2020/05/06/dive-into-go-sync-map/
• 由浅入深聊聊Golang的sync.Map ：https://juejin.im/post/6844903895227957262#heading-4

引用：
1 Golang之Map源码解析：https://www.jianshu.com/p/17f49e562f7b
2 大话图解golang map https://studygolang.com/articles/21047?fr=sidebar
3 《go 语言设计与实现》