基于XORM框架实现分表

最近在维护公司项目过程中，学习了很多后端的东西，包括go语言以及数据库的操作。同时站在全局的角度去体会了高额数据量情况下后端的应对策略，为今后在前端方面如何配合后端处理高并发提供了参考。

---

技术背景：
XORM：xorm是一个简单而强大的Go语言ORM库. 通过它可以使数据库操作非常简便。
可以简单理解成golang里面封装了sql语句的框架，可以帮助我们更方便快速的操作数据库。

---

废话不多说，直接进入正文。

1. 为什么要分表

数据库中的数据量不一定是可控的，在未进行分库分表的情况下，随着时间和业务的发展，库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作，增删改查的开销也会越来越大；另外，由于无法进行分布式式部署，而一台服务器的资源（CPU、磁盘、内存、IO等）是有限的，最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。

正如事情都有两面性，任何表面看上去是捷径的路不一定都好走。分表也是一样

2. 分表的缺点

• 在执行了分库分表之后，难以避免会将原本逻辑关联性很强的数据划分到不同的表、不同的库上。这时，表的关联操作将受到限制，我们无法join位于不同分库的表，也无法join分表粒度不同的表，结果原本一次查询能够完成的业务，可能需要多次查询才能完成。
  
  
• 额外的数据管理负担和数据运算压力。额外的数据管理负担，最显而易见的就是数据的定位问题和数据的增删改查的重复执行问题，这些都可以通过应用程序解决，但必然引起额外的逻辑运算，例如，对于一个记录用户成绩的用户数据表userTable，业务要求查出成绩最好的100位，在进行分表之前，只需一个order by语句就可以搞定，但是在进行分表之后，将需要n个order by语句，分别查出每一个分表的前100名用户数据，然后再对这些数据进行合并计算，才能得出结果。

---

实现分表的几点思考

1. 如何定时的在每个月月初会自动创建一个新表

2. 如何解决golang类去创建一个以时间结尾为表名的数据库表

3. 如何解决golang类和表的映射问题，若映射不对，则影响数据插入操作

---

如何基于XORM实现上述问题

1. 利用 Cron 解决月初创建新表

func NewDBEngine(dburl string) (*DBEngine, error) {
    fmt.Println(dburl)
    db, err := xorm.NewEngine("mysql", dburl)
    if err != nil {
        return nil, err
    }
    err = db.Ping()
    if err != nil {
        return nil, err
    }
    db.SetMaxOpenConns(10)

    db.ShowSQL(false)
    log.Infof("connect to database(%v) server OK!", dburl)

    engine := DBEngine{
        dbengine: db,
    }
    engine.dbengine.SetMapper(core.GonicMapper{})

    engine.Cron = cron.New()
    engine.Cron.AddFunc(SPEC, engine.InitTable)
    engine.commParam = make(chan CommParam, GET_CACHE_DATA)
    Init(&engine)
    return &engine, nil
}

2. 利用 xorm mapper 解决，xorm 支持驼峰或自定义的表格命名方式

func (db *DBEngine) InitTable() {
    var date string
    if int(time.Now().Month()) >= 10 {
        date = "_" + strconv.Itoa(int(time.Now().Year())) + strconv.Itoa(int(time.Now().Month()))
    } else {
        date = "_" + strconv.Itoa(int(time.Now().Year())) + "0" + strconv.Itoa(int(time.Now().Month()))
    }
    tbMapper := core.NewSuffixMapper(core.GonicMapper{}, date)
    db.dbengine.SetTableMapper(tbMapper)

    for key, v := range TablePrefix {
        isExist, err := db.dbengine.IsTableExist(key + date)
        if err != nil {
            log.Errorf("[Database] inittable failed for %v", err)
            return
        }
        if isExist {
            log.Infof("[Database] The %v table  is exist!!", key+date)
        } else {
            err := db.dbengine.Sync2(v)
            if err != nil {
                log.Errorf("[Database] Create table error for %v %v", err)
            }
        }
    }
}

3. 利用 mapper 改变表格的命名和类的映射关系

var TablePrefix = map[string]interface{}{
    "gw_rx":     model.Gw_rx{},
    "gw_tx":     model.Gw_tx{},
    "gw_stats":  model.Gw_stats{},
    "mac_tx":    model.Mac_tx{},
    "mac_rx":    model.Mac_rx{},
    "mac_error": model.Mac_error{},
    "app_rx":    model.App_rx{},
    "app_tx":    model.App_tx{},
    "app_join":  model.App_join{},
    "app_ack":   model.App_ack{},
    "app_error": model.App_error{},
    "rxinfo":    model.Rxinfo{},
    "txinfo":    model.Txinfo{},
}

---

Programming is an art form.