百里守约学编程
百里守约学编程

66.Go从零搭建一个orm框架【简版】

文章目录

  • 一：前置学习
    • 1、 为什么要用orm
    • 2、Golang里面是如何原生连接MySQL的
    • 3、ORM框架构想
  • 二: 开始造
    • 1、连接Connect
    • 2、设置/读取表名Table/GetTable
    • 3、新增/替换Insert/Replace
    • 4、条件Where
    • 5、条件OrWhere
    • 6、删除Delete
    • 7、修改Update
    • 8、查询
    • 9、设置查询字段Field
    • 10、设置大小Limit
    • 11、聚合查询Count/Max/Min/Avg/Sum
    • 12、排序Order
    • 13、分组Group
    • 14、分组后判断Having
    • 15、获取执行生成的完整SQLGetLastSql
    • 16、执行原生SQLExec/Query
    • 17、事务Begin/Commit/Rollback
  • 三、功能测试和性能测试
  • 四、待实现功能

一：前置学习

1、 为什么要用orm

我们在使用各种语言去做需求的时候，不管是Java，Golang还是C++等语言，应该都接触过使用ORM去链接数据库，这些ORM有些是项目组自己整合实现的，也有些是用的开源的组件。特别在1个全新的项目中，我们都会用一个ORM框架去连接数据库，而不是直接用原生代码去写SQL连接，原因有很多，有安全考虑，有性能考虑，但是，更多的我觉得还是开发效率低，因为有时候一些SQL写起来也是很复杂很累的，特别是查询列表的时候，又是分页，又是结果集，还需要自己for next去判断和遍历，是真的有累，开发效率非常低。如果有个ORM，数据库config一配，几个链式函数一调，咔咔咔，结果就出来了。

所以ORM就是我们和数据库交互的中间件，我们通过ORM提供的各种快捷的方法去和数据库产生交互，继而更加方便高效的实现功能。

一句话总结什么是ORM: 提供更加方便快捷的curd方法去和数据库产生交互。

Java用的较多的是Mybatis，Go用的较多的是Gorm。这里我们自己用Go造一个简版的。

2、Golang里面是如何原生连接MySQL的

说完了啥是ORM，以及为啥用ORM之后，我们再看下Golang里面是如何原生连接MySQL的，这对于我们开发一个ORM帮助很大，只有弄清楚了它们之间交互的原理，我们才能更好的开始造。

原生代码连接MySQL，一般是如下步骤。
建立数据表：

CREATE TABLE `userinfo` (
    `uid` INT(10) NOT NULL AUTO_INCREMENT,
    `username` VARCHAR(64) NULL DEFAULT NULL,
    `departname` VARCHAR(64) NULL DEFAULT NULL,
    `created` DATE NULL DEFAULT NULL,
    PRIMARY KEY (`uid`)
)

首先是导入sql引擎和mysql的驱动，然后提供初始化DB和获取DB连接的方法，如下：

package go_raw_sql

import (
	"database/sql"
	"time"

	_ "github.com/go-sql-driver/mysql"
)

var db *sql.DB

func Init() {
	//第一个参数是驱动名
	res, err := sql.Open("mysql", "root:root@tcp(127.0.0.1:3306)/test?charset=utf8")
	if err != nil {
		panic(any(err.Error()))
	}
	db = res
}

func GetDb() *sql.DB {
	return db
}

然后，我们快速过一下，如何增删改查：

插入数据：

func Create() {
	//方式一：
	result, err := db.Exec("INSERT INTO userinfo (username, departname, created) VALUES (?, ?, ?)", "lisi", "dev", "2024-01-13")
	if err != nil {
		fmt.Println(err)
		return
	}
	fmt.Println(result.LastInsertId())

	//方式二：
	stmt, err := db.Prepare("INSERT INTO userinfo (username, departname, created) VALUES (?, ?, ?)")

	result, err = stmt.Exec("zhangsan", "pro", time.Now().Format("2006-01-02"))
	if err != nil {
		fmt.Println(err)
		return
	}
	fmt.Println(result.LastInsertId())
}

测试：执行TestCreate

package go_raw_sql

import (
	"testing"
)

func TestInit(t *testing.T) {
	Init()
}

func TestCreate(t *testing.T) {
	// 初始化DB
	Init()
	// 往userinfo中插入记录
	Create()
}

66.Go从零搭建一个orm框架【简版】_第1张图片
66.Go从零搭建一个orm框架【简版】_第2张图片

删除数据：

func Delete(){
	//方式一：
	result, err := db.Exec("delete from userinfo where uid=?", 1)
	if err != nil {
		fmt.Println(err)
		return
	}
	fmt.Println(result.RowsAffected())

	//方式二：
	stmt, err := db.Prepare("delete from userinfo where uid=?")

	_, _ = stmt.Exec("1")
}

更新数据

func Update(){
	//方式一：
	result, err := db.Exec("update userinfo set username=? where uid=?", "lisi", 2)
	if err != nil {
		fmt.Println(err)
		return
	}
	fmt.Println(result.RowsAffected())
	
	//方式二：
	stmt, err := db.Prepare("update userinfo set username=? where uid=?")

	_, _ = stmt.Exec("lisi", 2)
}

查询数据

func Query() {
	//单条
	var username, departname, created string
	err := db.QueryRow("select username, departname, created from userinfo where uid=?", 2).Scan(&username, &departname, &created)
	if err != nil {
		fmt.Println("QueryRow error :", err.Error())
		return
	}
	fmt.Println("username: ", username, "departname: ", departname, "created: ", created)

	//多条：
	rows, err := db.Query("select username, departname, created from userinfo where username=?", "li")
	if err != nil {
		fmt.Println("QueryRow error :", err.Error())
		return
	}

	//定义一个结构体，存放数据模型
	type UserInfo struct {
		Username   string `json:"username"`
		Departname string `json:"departname"`
		Created    string `json:"created"`
	}

	//初始化
	var user []UserInfo

	for rows.Next() {
		var username1, departname1, created1 string
		if err := rows.Scan(&username1, &departname1, &created1); err != nil {
			fmt.Println("Query error :", err.Error())
			return
		}
		user = append(user, UserInfo{Username: username1, Departname: departname1, Created: created1})
	}
	fmt.Println(fmt.Sprintf("%v", user))
}

总结一下，Golang里面原生连接MySQL的方法，非常简单，就是直接写sql嘛，简单粗暴点就直接Exec，复杂点但是效率会高一些就先Prepare再Exec。总体而言，这个学习成本是非常低的，最大的问题就是麻烦和开发效率低。

所以我们是不是可以基于原生代码库的这个优势，自己开发1个ORM呢

  • 第一：它能提供了各式各样的方法来提高开发效率
  • 第二：底层直接转换拼接成最终的SQL，去调用这个原生的组件，来和MySQL交互。这样既能提高开发效率，又能保持足够的高效和简单。

3、ORM框架构想

本ORM库原理是简单的SQL拼接。暴露各种CURD方法，并在底层逻辑拼接成Prepare和Eexc占位符部分，继而来调用“github.com/go-sql-driver/mysql”驱动的方法来实现和数据库交互。

首先，先取个厉害的名字吧：smallorm（简版orm）

然后，整个调用过程采用链式的方法，这样比较方便，比如这样子

db.Where().Where().Order().Limit().Select()

其次，暴露的CURD方法，使用起来要简单，名字要清晰，无歧义，不要搞一大堆复杂的间接调用。

OK，我们梳理一下，sql里面常用到的一些curd的方法，把他们整理成ORM的一个个方法，并按照下面这个列表一步一步来实现我们的orm，如下：

  • 连接Connect

  • 设置表名Table

  • 新增/替换Insert/Replace

  • 条件Where

  • 删除Delete

  • 修改Update

  • 查询Select

  • 执行原生SQLExec/Query

  • 设置查询字段Field

  • 设置大小Limit

  • 聚合查询Count/Max/Min/Avg/Sum

  • 排序Order

  • 分组Group

  • 分组后判断Having

  • 获取执行生成的完整SQLGetLastSql

  • 事务Begin/Commit/Rollback

其中Insert/Replace/Delete/Select/Update是整个链式操作的最后一步。是真正的和MySQL交互的方法，后面不能再链式接其他的操作方法。

所以，我们提前可以畅享一下，这个完成后的ORM，是如何调用的：

增：

type User1 struct {
    Username   string `sql:"username"`
    Departname string `sql:"departname"`
    Status     int64  `sql:"status"`
}

user2 := User1{
    Username:   "EE",
    Departname: "22", 
    Status:     1,
}

// insert into userinfo (username,departname,status) values ('EE', '22', 1)

id, err := e.Table("userinfo").Insert(user2)

删：

// delete from userinfo where (uid = 10805)

result1, err := e.Table("userinfo").Where("uid", "=", 10805).Delete()

改：

// update userinfo set departname=110 where (uid = 10805) 

result1, err := e.Table("userinfo").Where("uid", "=", 10805).Update("departname", 110)

查：

// select uid, status from userinfo where (departname like '%2') or (status=1)  order by uid desc limit 1

result, err := e.Table("userinfo").Where("departname", "like", "%2").OrWhere("status", 1).Order("uid", "desc").Limit(1).Field("uid, status").Select()

//select uid, status from userinfo where (uid in (1,2,3,4,5)) or (status=1)  order by uid desc limit 1

result, err := e.Table("userinfo").Where("uid", "in", []int{1,2,3,4,5}).OrWhere("status", 1).Order("uid", "desc").Limit(1).Field("uid, status").SelectOne()


type User1 struct {
    Username   string `sql:"username"`
    Departname string `sql:"departname"`
    Status     int64  `sql:"status"`
}

user2 := User1{
    Username:   "EE",
    Departname: "22", 
    Status:     1,
}

user3 := User1{
    Username:   "EE",
    Departname: "22",
    Status:     2,
}

// select * from userinfo where (Username='EE' and Departname='22' and Status=1) or (Username='EE' and Departname='22' and Status=2)  limit 1
id, err := e.Table("userinfo").Where(user2).OrWhere(user3).SelectOne()

二: 开始造

1、连接Connect

连接MySQL比较简单，直接把原生的sql.Open(“mysql”，dsn)方法套一个函数壳即可，但是需要考虑协程和长连接的保持以及ping失败的情况。我们这里第一版本就先不考虑了。

第一步，先构造1个变量引擎SmallormEngine，它是结构体类型的，用来存储各种各样的数据，其他的对外暴露的CURD方法也是基于这个结构体来集成的。

engine/engine.go

package engine

import "database/sql"

type SmallormEngine struct { //orm引擎
	Db           *sql.DB       // 包含原生DB，用于执行底层操作
	TableName    string        // 表名
	Prepare      string        // 预处理SQL语句
	AllExec      []interface{} // 替代SQL中占位符的实际参数
	Sql          string        // 最后执行的SQL语句,用于日志打印输出
	WhereParam   string        // where and条件拼接
	LimitParam   string        // limit拼接
	OrderParam   string        // order拼接
	OrWhereParam string        // where or条件拼接
	WhereExec    []interface{} // 替换where中占位的符实际参数
	UpdateParam  string        // update 拼接
	UpdateExec   []interface{} // 替换update中占位的符实际参数
	FieldParam   string        // 查询字段拼接
	TransStatus  int           // 事务状态
	Tx           *sql.Tx       // 包含原生事务，用于执行底层事务操作
	GroupParam   string        // group 拼接
	HavingParam  string        // having 拼接
}

因为我们这ORM的底层本质是SQL拼接，所以，我们需要把各种操作方法生成的数据，都保存到这个结构体的各个变量上，方便最后一步生成SQL。其中where和update还提供了占位符方式WhereExec和UpdateExec , select、delete直接用的whereExec，所以不需要额外提供selectExec和deleteExec,update则因为有update tableXXX set XX = ？where yy = ?，所以需要一个updateExec拼接set部分。

另外需要简单说明的是这2个字段：

  • Db字段的类型是*sql.DB，它用于直接进行CURD操作
  • Tx是*sql.Tx类型的，它是数据库的事务操作，用于回滚和提交。这个后面会详细讲，这里有一个大致的概念即可。

接下来就可以写连接操作了：创建了一个方法NewMysql来创建1个新的连接，参数是(用户名，密码，ip和端口，数据库名)。

engine/engine.go

//新建Mysql连接
func NewMysql(Username string, Password string, Address string, Dbname string) (*SmallormEngine, error) {
    dsn := Username + ":" + Password + "@tcp(" + Address + ")/" + Dbname + "?charset=utf8&timeout=5s&readTimeout=6s"
    db, err := sql.Open("mysql", dsn)
    if err != nil {
        return nil, err
    }

    //最大连接数等配置，先占个位
   //db.SetMaxOpenConns(3)
   //db.SetMaxIdleConns(3)

    return &SmallormEngine{
        Db:         db,
        FieldParam: "*",
    }, nil
}

获取到连接后，如何实现链式的方式调用呢？只需要在每个方法返回实例本身即可，类似装饰器模式，不断的改变对象的值，但是返回结果又是该对象，比如：

func (e *SmallormEngine) Where (name string) *SmallormEngine {
	// 此处省去了具体逻辑
   return e
}

func (e *SmallormEngine) Limit (name string) *SmallormEngine {
	// 此处省去了具体逻辑
   return e
}

这样我们就可以链式的调用了：

e.Where().Where().Limit()

2、设置/读取表名Table/GetTable

我们需要1个设置和读取数据库表名字的方法，因为我们所有的CURD都是基于某张表的：这样我们每一次调用Table()方法，就给本次的执行设置了一个表名。并且会清空SmallormEngine节点上挂载的所有其他数据，只有Db、TableName以及Tx三个字段不重置。

// Table 设置表名，将表名存于SmallormEngine的TableName字段中，用于后续的SQL拼接
func (e *SmallormEngine) Table(name string) *SmallormEngine {
	e.TableName = name

	// 重置引擎
	e.resetSmallormEngine()
	return e
}

func (e *SmallormEngine) GetTable() string {
	return e.TableName
}

func (e *SmallormEngine) resetSmallormEngine() {
	e.Prepare = ""
	e.AllExec = nil
	e.Sql = ""
	e.WhereParam = ""
	e.LimitParam = ""
	e.OrderParam = ""
	e.OrWhereParam = ""
	e.WhereExec = nil
	e.UpdateParam = ""
	e.UpdateExec = nil
	e.FieldParam = ""
	e.TransStatus = 0
	e.GroupParam = ""
	e.HavingParam = ""
}

3、新增/替换Insert/Replace

单个数据插入

下面就是本ORM第一个重头戏和挑战点了，如何往数据库里插入数据？在如何用ORM实现本功能之前，我们先回忆下上面讲的原生的代码是如何插入的：

我们用 先Prepare再Exec 这种方式，高效且安全：

stmt, err := db.Prepare("INSERT INTO userinfo (username, departname, created) VALUES (?, ?, ?)")

result2, err := stmt.Exec("zhangsan", "pro", time.Now().Format("2006-01-02"))

我们分析下它的做法：

先在Prepare里，把要插入的数据的value值用?占位符代替，有几个value就用几个?，然后在Exec里面，把value值给补上，和?的数量一致即可。

ok，整明白了。那我们就按照这2步拆分数据即可。

为了保持方便，我们调用这个Insert方法进行插入数据的时候，参数是要传1个k-v的键值对类型，比如[field1:value1，field2:value2，field3:value3]，field表示表的字段，value表示字段的值。在go语言里面，这样的类型可以是Map或者Struct，但是Map必须得都是同一个类型的，显然是不符合数据库表里面，不同的字段可能是不同的类型的这一情况，所以，我们选择了Struct结构体, 它里面是可以有多种数据类型存在，也刚好符合情况。

由于go里面的数据都得是先定义类型，再去初始化1个值，所以，大致的调用过程是这样的：

type User struct {
    Username   string `sql:"username"`
    Departname string `sql:"departname"`
    Status     int64  `sql:"status"` 
    }

user2 := User{
    Username:   "EE",
    Departname: "22", 
    Status:     1, }

id, err := e.Table("userinfo").Insert(user2)

我们注意下，User结构体的每一个元素后面都有一个sql：“xxx”，这个叫Tag标签。这是干啥用的呢？是因为go里面首字母大写表示是可见的变量，所以如果是可见的变量都是大写字母开头，而sql语句表里面的字段首字母名一般是小写，所以，为了照顾这个特殊的关系，进行转换和匹配，才用了这个标签特性。如果你的表的字段类型也是大写字母开头，那就可以不需要这个标签，下面我们会具体说到如何转换匹配的。

所以，接下来的难点就是把user2进行解析，拆分成这2步：

  • 第一步：将sql：“xxx”标签进行解析和匹配，依次替换成全小写的，解析成(username，departname，status)，并且依次生成对应数量的?。
stmt, err := db.Prepare("INSERT INTO userinfo (username, departname, status) VALUES (?, ?, ?)")
  • 第二步：将user2的字段的值都拆出来，放入到Exec中。
result2, err := stmt.Exec("EE", "22", 1)

那么，user2里面的3个子元素的field，如何解析成(username，departname，status)呢？由于我们是一个通用的方法，golang是没法直接通过for循环来知道传入的数据结构参数里面包含哪些field和value的，咋办呢？这个时候，大名鼎鼎的反射就可以派上用场了。我们可以通过反射来推导出传入的结构体变量，它的field是多少，value是什么，类型是什么。tag是什么。都可以通过反射来推导出来。

我们现在试一下其中的2个函数reflect.TypeOf和reflect.ValueOf：

type User struct {
    Username   string `sql:"username"`
    Departname string `sql:"departname"`
    Status     int64  `sql:"status"`
}

user2 := User{
    Username:   "EE",
    Departname: "22", 
    Status:     1,
}


//反射出这个结构体变量的类型
t := reflect.TypeOf(user2)

//反射出这个结构体变量的值
v := reflect.ValueOf(user2)

fmt.Printf("==== print type ====\n%+v\n", t)
fmt.Printf("==== print value ====\n%+v\n", v)

我们打印看看，结果是啥？

==== print type ==== 
main.User

==== print value ==== 
{Username:EE Departname:22 Status:1}

通过上面的打印，我们可以知道了，他的类型是User这个类型，值也是我们想要的值。OK。第一步完成。接下来，我们接下来通过for循环遍历t.NumField()和t.Field(i)来拆分里面的值：

//反射type和value
t := reflect.TypeOf(user2)
v := reflect.ValueOf(user2)

//字段名
var fieldName []string

//问号?占位符
var placeholder []string

//循环判断
for i := 0; i < t.NumField(); i++ {

  //小写开头，无法反射，跳过
  if !v.Field(i).CanInterface() {
    continue
  }

  //解析tag，找出真实的sql字段名
  sqlTag := t.Field(i).Tag.Get("sql")
  if sqlTag != "" {
    //跳过自增字段
    if strings.Contains(strings.ToLower(sqlTag), "auto_increment") {
      continue
    } else {
      fieldName = append(fieldName, strings.Split(sqlTag, ",")[0])
      placeholder = append(placeholder, "?")
    }
  } else { // 没有sql tag的字段用字段名
    fieldName = append(fieldName, t.Field(i).Name)
    placeholder = append(placeholder, "?")
  }

  //字段的值
  e.AllExec = append(e.AllExec, v.Field(i).Interface())
}

//拼接表，字段名，占位符
e.Prepare =  "insert into " + e.GetTable() + " (" + strings.Join(fieldName, ",") + ") values(" + strings.Join(placeholder, ",") + ")"

如上面所示：t.NumField()可以获取到这个结构体有多少个字段用于for循环，t.Field(i).Tag.Get(“sql”)可以获取到包含sql：“xxx”的tag的值，我们用来sql匹配和替换。t.Field(i).Name可以获取到字段的field名字。通过v.Field(i).Interface()可以获取到字段的value值。e.GetTable()来获取我们设置的表的名字。通过上面的这一段稍微有点复杂的反射和拼接，我们就完成了Db.Prepare部分：

e.Prepare =  "INSERT INTO userinfo (username, departname, status) VALUES (?, ?, ?)"

接下来，我们来获取stmt.Exec里面的值的部分，上面我们把所有的值都放入到了e.AllExec这个属性里面，之所以它用interface类型，是因为，结构体里面的值的类型是多变的，有可能是int型，也可能是string类型。

//申明stmt类型
var stmt *sql.Stmt

//第一步：Db.prepare
stmt, err = e.Db.Prepare(e.Prepare)

//第二步：执行exec,注意这是stmt.Exec
result, err := stmt.Exec(e.AllExec...)
if err != nil {
  //TODO
}

//获取自增ID
id, _ := result.LastInsertId()

单个插入与替换插入完整代码如下：

func (e *SmallormEngine) insertData(data interface{}, insertType string) (int64, error) {
	// 反射type和value
	t := reflect.TypeOf(data)
	v := reflect.ValueOf(data)

	if t.Kind() != reflect.Struct {
		return 0, errors.New("插入时必须数据必须是结构体类型")
	}

	// 字段名
	var fieldName []string
	// 问号？占位符
	var placeholder []string

	// 循环判断
	for i := 0; i < t.NumField(); i++ {
		// 小写开头，无法反射，跳过
		if !v.Field(i).CanInterface() {
			continue
		}

		// 解析tag,找出真实的SQL字段名
		sqlTag := t.Field(i).Tag.Get("sql")
		if sqlTag != "" {
			// 跳过自增字段
			if strings.Contains(strings.ToLower(sqlTag), "auto_increment") {
				continue
			} else {
				fieldName = append(fieldName, strings.Split(sqlTag, ",")[0])
				placeholder = append(placeholder, "?")
			}
		} else { // 结构体当前字段没有sql tag,则用字段名去和db中表的字段名映射
			fieldName = append(fieldName, t.Field(i).Name)
			placeholder = append(placeholder, "?")
		}

		// 字段的值
		e.AllExec = append(e.AllExec, v.Field(i).Interface())
	}

	// 遍历完结构体所有的字段后，拼接表名、字段名、占位符等形成SQL
	e.Prepare = insertType + " into " + e.GetTable() + " (" + strings.Join(fieldName, ",") + ") values (" + strings.Join(placeholder, ",") + ")"

	// 声明stmt类型
	var stmt *sql.Stmt
	// 第一步：Db.prepare
	stmt, err := e.Db.Prepare(e.Prepare)
	if err != nil {
		return 0, e.setErrorInfo(err)
	}

	// 第二步：执行exec，注意这里是stmt.Exec
	result, err := stmt.Exec(e.AllExec...)
	if err != nil {
		return 0, e.setErrorInfo(err)
	}

	// 获取自增ID
	id, _ := result.LastInsertId()

	return id, nil
}

// 自定义错误格式
func (e *SmallormEngine) setErrorInfo(err error) error {
	_, file, line, _ := runtime.Caller(1)
	return errors.New("File: " + file + ":" + strconv.Itoa(line) + ", " + err.Error())
}

接下来介绍批量插入、批量替换插入

  1. 批量插入，传入的数据就是一个切片数组了，即[]struct 这样的数据类型了。
  2. 我们得先用反射算出，这个数组有多少个元素。这样好算出 VALUES 后面有几个()的占位符。
  3. 搞2个for循环，外面的for循环，得出切片中元素struct的各字段的名字或sql tag中的名字。里面的第二个for循环，就和单个插入的反射操作一样了，就是算出每一个子元素有几个字段，反射出field名字，以及对应()里面有几个?问号占位符。
  4. 2层for循环把切片里面的每个元素的每个字段的value放入到1个统一的AllExec中。

OK，直接上代码吧：

//批量插入
func (e *SmallormEngine) BatchInsert(data interface{}) (int64, error) {
    return e.batchInsertData(data, "insert")
}

//批量替换插入
func (e *SmallormEngine) BatchReplace(data interface{}) (int64, error) {
    return e.batchInsertData(data, "replace")
}


//批量插入
func (e *SmallormEngine) batchInsertData(batchData interface{}, insertType string) (int64, error) {

  //反射解析
  getValue := reflect.ValueOf(batchData)

  //切片大小，只有切片类型才能调用反射中的Len，所以先做一下类型判断
  if getValue.Kind() != reflect.Slice {
 	 panic("传入的不是切片类型")
  }
  l := getValue.Len()

  //字段名
  var fieldName []string

  //占位符
  var placeholderString []string

  //循环判断
  for i := 0; i < l; i++ {
    value := getValue.Index(i) // Value of item
    typed := value.Type()      // Type of item
    if typed.Kind() != reflect.Struct {
      panic("批量插入的子元素必须是结构体类型")
    }

    num := value.NumField()

    //子元素值
    var placeholder []string
    //循环遍历结构体的每个字段
    for j := 0; j < num; j++ {
      //小写开头，无法反射，跳过
      if !value.Field(j).CanInterface() {
        continue
      }

      //解析tag，找出真实的sql字段名
      sqlTag := typed.Field(j).Tag.Get("sql")
      if sqlTag != "" {
        //跳过自增字段
        if strings.Contains(strings.ToLower(sqlTag), "auto_increment") {
          continue
        } else {
          //字段名只记录切片中第一个元素的
          if i == 0 {
            fieldName = append(fieldName, strings.Split(sqlTag, ",")[0])
          }
          placeholder = append(placeholder, "?")
        }
      } else {
         //字段名只记录切片中第一个元素的
        if i == 0 {
          fieldName = append(fieldName, typed.Field(j).Name)
        }
        placeholder = append(placeholder, "?")
      }

      //字段值
      e.AllExec = append(e.AllExec, value.Field(j).Interface())
    }

    //子元素拼接成多个()括号后的值
    placeholderString = append(placeholderString, "("+strings.Join(placeholder, ",")+")")
  }

  //拼接表，字段名，占位符
  e.Prepare = insertType + " into " + e.GetTable() + " (" + strings.Join(fieldName, ",") + ") values " + strings.Join(placeholderString, ",")

  //prepare
  var stmt *sql.Stmt
  var err error
  stmt, err = e.Db.Prepare(e.Prepare)
  if err != nil {
    return 0, e.setErrorInfo(err)
  }

  //执行exec,注意这是stmt.Exec
  result, err := stmt.Exec(e.AllExec...)
  if err != nil {
    return 0, e.setErrorInfo(err)
  }

  //获取自增ID
  id, _ := result.LastInsertId()
  return id, nil
}


//自定义错误格式
func (e *SmallormEngine) setErrorInfo(err error) error {
  _, file, line, _ := runtime.Caller(1)
  return errors.New("File: " + file + ":" + strconv.Itoa(line) + ", " + err.Error())
}

开始总结一下上面这一坨关键的地方。首先是获取这个切片的大小，用于第一个for循环。可以通过下面的2行代码获取：

//反射解析
getValue := reflect.ValueOf(batchData)

//切片大小
l := getValue.Len()

其次，在第一个for循环里面，可以通过value:= getValue.Index(i)来获取这个切片里面的第i个元素的值，类似于上面插入单个数据中，反射出结构体的值一样：v:= reflect.ValueOf(data)

然后，通过typed:= value.Type()来获取这第i个元素的类型。类似于上面插入单个数据中，反射出结构体的类型一样：t := reflect.TypeOf(data) 。这个东西被反射出来，主要是为了获取tag标签用。

第二个for循环里面的反射逻辑，基本上是和单个插入是一样的了，唯一需要注意的就是，fieldName的值，因为我们只需要1个，所以我们用i==0判断了一下。加入单次即可。

再一个就是placeholderString这个变量，因为我们为了实现多个()的效果，所以就又搞了1个切片placeholderString拼接多个placeholder。

这样，批量插入，批量替换插入的逻辑就完成了。

单个和批量合二为一

为了使我们的ORM足够的优雅和简单，我们可以把单个插入和批量插入，搞成1个方法暴露出去。那怎么识别出传入的数据是单个结构体，还是切片结构体呢？还是得用反射：

reflect.ValueOf(data).Kind()

它能给出我们答案。如果我们传的是单个结构体，那么它的值就是Struct，如果是切片数组，那么值就是Slice和Array。这样我们就好办了，我们只需要稍做判断即可：

//插入
func (e *SmallormEngine) Insert(data interface{}) (int64, error) {

  //判断是批量还是单个插入
  getValue := reflect.ValueOf(data).Kind()
  if getValue == reflect.Struct {
    return e.insertData(data, "insert")
  } else if getValue == reflect.Slice || getValue == reflect.Array {
    return e.batchInsertData(data, "insert")
  } else {
    return 0, errors.New("插入的数据格式不正确，单个插入格式为: struct，批量插入格式为: []struct")
  }
}


//替换插入
func (e *SmallormEngine) Replace(data interface{}) (int64, error) {
  //判断是批量还是单个插入
  getValue := reflect.ValueOf(data).Kind()
  if getValue == reflect.Struct {
    return e.insertData(data, "replace")
  } else if getValue == reflect.Slice || getValue == reflect.Array {
    return e.batchInsertData(data, "replace")
  } else {
    return 0, errors.New("插入的数据格式不正确，单个插入格式为: struct，批量插入格式为: []struct")
  }
}

OK，完成。

4、条件Where

结构体参数调用

下面，我们开始实现Where方法的逻辑，这个where主要是为了替换sql语句中where后面这部分的逻辑，sql语句中where用的还是非常多的，比如原生sql：

select * from userinfo where status = 1
delete from userinfo where status = 1 or departname != "aa"
update userinfo set departname = "bb" where status = 1 and departname = "aa"

所以，把where后面的数据单独拆出来，搞成1个Where方法是很有必要的。大部分的ORM也是这样做的。

通过观察上面3句sql，我们可以得出基本的where的结构，要么只有1个条件，这个条件的比较复符是丰富的，比如：=， !=， like，<，>等等。要么是多个条件，用and或者or隔开，表示且和或的关系。

通过最上面的原生代码，我们是可以发现的，where部分也是一样的，先用Prepare生成问号占位符，再和Exce替换值的方式来操作。

stmt, err := db.Prepare("delete from userinfo where uid=?")
result3, err := stmt.Exec("1")

stmt, err := db.Prepare("update userinfo set username=? where uid=?")
result, err := stmt.Exec("lisi", 2)

所以，where部分的拆分，其实也是分2步来走。和插入的2步走的逻辑是一样的。大致的调用过程如下：

type User struct {
    Username   string `sql:"username"`
    Departname string `sql:"departname"`
    Status     int64  `sql:"status"`
}

user2 := User{
    Username:   "EE",
    Departname: "22", 
    Status:     1,
}

result1, err1 := e.Table("userinfo").Where(user2).Delete()
result2, err2 := e.Table("userinfo").Where(user2).Select()

我们本次实现的是Where部分,where是中间层，它不会具体去执行结果的，它做的仅仅是将数据拆分出来，用2个新的字段WhereParam和WhereExec来暂存数据，给最后的CURD操作方法来使用。

我们开始写代码，和Insert方法的反射逻辑几乎一样。

func (e *SmallormEngine) Where(data interface{}) *SmallormEngine {

    //反射type和value
    t := reflect.TypeOf(data)
    v := reflect.ValueOf(data)

    //字段名
    var fieldNameArray []string

    //循环解析
    for i := 0; i < t.NumField(); i++ {

      //首字母小写，不可反射
      if !v.Field(i).CanInterface() {
        continue
      }

      //解析tag，找出真实的sql字段名
      sqlTag := t.Field(i).Tag.Get("sql")
      if sqlTag != "" {
        fieldNameArray = append(fieldNameArray, strings.Split(sqlTag, ",")[0]+"=?")
      } else {
        fieldNameArray = append(fieldNameArray, t.Field(i).Name+"=?")
      }

      //反射出Exec的值。
      e.WhereExec = append(e.WhereExec, v.Field(i).Interface())
    }

    //拼接
    e.WhereParam += strings.Join(fieldNameArray, " and ")
    return e 
}

这样，我们就可以反复调用Where()，转换成2个暂存变量。我们打印下这2个值看看：

WhereParam = "username=? and departname=? and Status=?"
WhereExec = []interface{"EE", "22", 1}

由于Where()是中间态的方法，是可以提供多次调用的，每次调用都是and的关系。比如这样：

e.Table("userinfo").Where(user2).Where(user3).XXX

所以，我们得改造一下e.WhereParam得让他拼接上一次生成的生成的数据。

先判断理一下，是否为空，如果不为空，则说明这是第二次调用了，我们用 “and (”来做隔离。

//多次调用判断
if e.WhereParam != "" {
  e.WhereParam += " and ("
} else {
  e.WhereParam += "("
}

//结束拼接的时候，加上结束括号“) ”。

e.WhereParam += strings.Join(fieldNameArray, " and ") + ") "

这样，就达到了我们的目的了。我们看下多次调用后的打印结果：

WhereParam = "(username=? and departname=? and status=?) and (username=? and departname=? and status=?)"
WhereExec = []interface{"EE", "22", 1, "FF", "33", 0}

完整代码：

func(e *SmallormEngine) Where(data interface{}) *SmallormEngine {
	// 反射type和value
	t := reflect.TypeOf(data)
	v := reflect.ValueOf(data)
	
	if t.Kind() != reflect.Struct {
		panic(any("该Where方法参数必须是结构体类型"))
	}
	
	// 字段名
	var fieldNameArray []string

	// 循环解析
	for i:= 0; i < t.NumField();i++ {
		// 首字母小写，不可导出，不可反射
		if !v.Field(i).CanInterface() {
			continue
		}
		
		// 解析tag,找出真实的sql字段名
		sqlTag := t.Field(i).Tag.Get("sql")
		if sqlTag != ""{
			fieldNameArray = append(fieldNameArray,strings.Split(sqlTag,",")[0] + "?")
		} else {
			fieldNameArray = append(fieldNameArray,t.Field(i).Name)
		}
	
		// 反射出Exec的值
		e.WhereExec = append(e.WhereExec,v.Field(i).Interface())
	}
	
	// 拼接到whereParam中
	if e.WhereParam != ""{
		e.WhereParam +=" and ("
	} else {
		e.WhereParam += "("
	}
	
	e.WhereParam += strings.Join(fieldNameArray," and ") + ") "
	
	return e
}

需要注意的是，这样方式的调用，我们为了简化调用的结构更清晰更简单，每个条件之间默认都是=的关系。如果有其他的关系判断，可以用下面的方式。

单个字符串参数的调用

上面的Where方法的参数，其实是我们和Insert一样，传入的是1个结构体，但是有时候，如果传入1个结构体，得先定义再实例化，也很麻烦。而且有时候，我们仅仅只需要查询1个字段，如果再去定义1个结构体再实例化就太麻烦了。所以，我们ORM还得提供快捷的方法调用，比如：

Where("uid", "=", 1234)
Where("uid", ">=", 1234)
Where("uid", "in", []int{2, 3, 4})

这样，我们也可以用其他非=的判断表达式，比如：!=，like，not in，in等。

OK，那我们开始写一下，这种方式怎么判断呢？对比传入结构体的方式更简单：方法有3个参数，第一个是需要查询的字段，第2个是比较符，第三个是查询的值。

func (e *SmallormEngine) Where(fieldName string, opt string, fieldValue interface{}) *SmallormEngine {

    //区分是操作符in的情况
    data2 := strings.Trim(strings.ToLower(opt), " ")
    if data2 == "in" || data2 == "not in" {
      //判断传入的是切片
      reType := reflect.TypeOf(fieldValue).Kind()
      if reType != reflect.Slice && reType != reflect.Array {
        panic("in/not in 操作传入的数据必须是切片或者数组")
      }

      //反射值
      v := reflect.ValueOf(fieldValue)
      //数组/切片长度
      dataNum := v.Len()
      //占位符
      ps := make([]string, dataNum)
      for i := 0; i < dataNum; i++ {
        ps[i] = "?"
        e.WhereExec = append(e.WhereExec, v.Index(i).Interface())
      }

      //拼接
      e.WhereParam += fieldName + " " + opt + " (" + strings.Join(ps, ",") + ")) "

    } else {
      e.WhereParam += fieldName + " " + opt + " ?) "
      e.WhereExec = append(e.WhereExec, fieldValue)
    }

    return e 
}

上面代码唯一需要注意的就是第二参数如果是in/not in操作符的话，后面第三个参数要是切片类型，就得反射出来，用 in (?，?，?)这样的方式。

所以，我们把这2种方式，拼接一下，融合成1种方式，智能的去判断即可，下面是完整的代码：

//传入where条件
func (e *SmallormEngine) Where(data ...interface{}) *SmallormEngine {

  //判断是结构体还是多个字符串
  var dataType int
  if len(data) == 1 {
    dataType = 1  // 结构体类型
  } else if len(data) == 2 {
    dataType = 2 // 两个参数，默认用 = 拼接
  } else if len(data) == 3 {
    dataType = 3 // 三个参数，指定了操作符
  } else {
    panic("参数个数错误")
  }

  //多次调用判断
  if e.WhereParam != "" {
    e.WhereParam += " and ("
  } else {
    e.WhereParam += "("
  }

  //如果是结构体
  if dataType == 1 {
    t := reflect.TypeOf(data[0])
    v := reflect.ValueOf(data[0])

    //字段名
    var fieldNameArray []string

    //循环解析
    for i := 0; i < t.NumField(); i++ {

      //首字母小写，不可反射
      if !v.Field(i).CanInterface() {
        continue
      }

      //解析tag，找出真实的sql字段名
      sqlTag := t.Field(i).Tag.Get("sql")
      if sqlTag != "" {
        fieldNameArray = append(fieldNameArray, strings.Split(sqlTag, ",")[0]+"=?")
      } else {
        fieldNameArray = append(fieldNameArray, t.Field(i).Name+"=?")
      }

      e.WhereExec = append(e.WhereExec, v.Field(i).Interface())
    }

    //拼接
    e.WhereParam += strings.Join(fieldNameArray, " and ") + ") "

  } else if dataType == 2 {
    //直接=的情况
    e.WhereParam += data[0].(string) + "=?) "
    e.WhereExec = append(e.WhereExec, data[1])
  } else if dataType == 3 {
    //3个参数的情况

    //区分是操作符in的情况
    data2 := strings.Trim(strings.ToLower(data[1].(string)), " ")
    if data2 == "in" || data2 == "not in" {
      //判断传入的是切片
      reType := reflect.TypeOf(data[2]).Kind()
      if reType != reflect.Slice && reType != reflect.Array {
        panic("in/not in 操作传入的数据必须是切片或者数组")
      }

      //反射值
      v := reflect.ValueOf(data[2])
      //数组/切片长度
      dataNum := v.Len()
      //占位符
      ps := make([]string, dataNum)
      for i := 0; i < dataNum; i++ {
        ps[i] = "?"
        e.WhereExec = append(e.WhereExec, v.Index(i).Interface())
      }

      //拼接
      e.WhereParam += data[0].(string) + " " + data2 + " (" + strings.Join(ps, ",") + ")) "

    } else {
      e.WhereParam += data[0].(string) + " " + data[1].(string) + " ?) "
      e.WhereExec = append(e.WhereExec, data[2])
    }
  }

  return e
}

上面的写法，参数改成1个了，但是用到了..interface{}这个写法，它表示传入的参数是一个可变参数类型，可以是1个，2个或者3个的情况。用这种方式，方法里获取到的就是1个切片类型了。我们得用len()函数，来判断到底是切片里面有几个元素，然后依次对应上我们的分支逻辑。值得注意的是，当我们传入的是结构体的时候，也是需要用data[0]的方式来获取。

这样，我们就可以用Where方法来快捷的愉快的调用了:

// where uid = 123
e.Table("userinfo").Where("uid", 123) 

// where uid not in (2,3,4)
e.Table("userinfo").Where("uid", "not in", []int{2, 3, 4})

// where uid in (2,3,4)
e.Table("userinfo").Where("uid", "in", []int{2, 3, 4})

// where uid like '%2%'
e.Table("userinfo").Where("uid", "like", "%2%")

// where uid >= 123
e.Table("userinfo").Where("uid", ">=", 123)

// where (uid >= 123) and (name = 'vv')
e.Table("userinfo").Where("uid", ">=", 123).Where("name", "vv")

5、条件OrWhere

上面的Where方法生成的数据块之间都是and的关系，其实我们有一些sql是需要or的关系的，比如：

where (uid >= 123) or (name = 'vv')
where (uid = 123 and name = 'vv') or (uid = 456 and name = 'bb')

那么这种情况，其实也是需要考虑进去的，写起来也很简单，只需要新加一个OrWhereParam参数，替换上面Where方法里面的whereParam即可，WhereExec不需要变化。然后把拼接关系改成or，其他代码一摸一样：

func (e *SmallormEngine) OrWhere(data ...interface{}) *SmallormEngine {

  ...

  //判断使用顺序
  if e.WhereParam == "" {
    panic("WhereOr必须在Where后面调用")
  }

  //WhereOr条件
  e.OrWhereParam += " or ("

  ...

  return e
}

需要注意的是，OrWhere方法是必须得先调用Where后再调用的。因为一般用到了or，前面肯定是有前置的where判断的。

同样，有三种调用方式:

OrWhere("uid", 1234) //默认是等于
OrWhere("uid", ">=", 1234)
OrWhere(uidStruct) //传入1个结构体,结构体之间用and连接

看下使用效果：

// where (uid = 123) or (name = "vv")
e.Table("userinfo").Where("uid", 123).OrWhere("name", "vv")

// where (uid not in (2,3,4)) or (uid not in (5,6,7))
e.Table("userinfo").Where("uid", "not in", []int{2, 3, 4}).OrWhere("uid", "not in", []int{5, 6, 7})

// where (uid like '%2') or (uid like '%5%')
e.Table("userinfo").Where("uid", "like", "%2").OrWhere("uid", "like", "%5%")

// where (uid >= 123) or (uid <= 454)
e.Table("userinfo").Where("uid", ">=", 123).OrWhere("uid", "<=", 454)

// where (username = "EE" and departname = "22" and status = 1) or (name = 'vv') or (status = 1)

type User struct {
    Username   string `sql:"username"`
    Departname string `sql:"departname"`
    Status     int64  `sql:"status"`
}

user2 := User{
    Username:   "EE",
    Departname: "22", 
    Status:     1,
}

e.Table("userinfo").Where(user2).OrWhere("name", "vv").OrWhere("status", 1)

为了使这个方法更简单的被使用，不搞复杂，这种方式的or关系，实质上是针对于多次调用orWhere的，是不支持同一个结构体里面的数据是or关系的,传入是结构体时，结构体的各字段还是按and拼接的。那如果需要的话，可以这样调用：

// where (username = "EE") or (departname = "22") or (status = 1)
e.Table("userinfo").Where(username, "EE").OrWhere("departname", "22").OrWhere("status", 1)

// where(username = "EE") or(username = "EE" and username = "22" and status = 1)
e.Table("userinfo").Where(username, "EE").OrWhere(uidStruct) //传入1个结构体,结构体之间用and连接

6、删除Delete

删除也是sql逻辑中的最常见的操作了，当我们完成了前面Where和OrWhere的数据逻辑绑定后，其实写Delete方法是最简单的了，为什么呢？因为Delete方法是CURD的最后一步，是直接和数据库进行操交互的了，是不需要我们再去反射各种数据进行绑定了。我们仅仅需要把Where里面绑定的2个值(WhereParam和OrWhereParam），往Prepare和 Exec里面套即可。

我们看下具体是怎么写：

//删除
func (e *SmallormEngine) Delete() (int64, error) {

  //拼接delete sql
  e.Prepare = "delete from " + e.GetTable()

  //如果where不为空
  if e.WhereParam != "" || e.OrWhereParam != "" {
    e.Prepare += " where " + e.WhereParam + e.OrWhereParam
  }

  //limit不为空
  if e.LimitParam != "" {
    e.Prepare += "limit " + e.LimitParam
  }

  //第一步：Prepare
  var stmt *sql.Stmt
  var err error
  stmt, err = e.Db.Prepare(e.Prepare)
  if err != nil {
    return 0,  e.setErrorInfo(err)
  }

  e.AllExec = e.WhereExec

  //第二步：执行exec,注意这是stmt.Exec
  result, err := stmt.Exec(e.AllExec...)
  if err != nil {
    return 0, e.setErrorInfo(err)
  }

  //影响的行数
  rowsAffected, err := result.RowsAffected()
  if err != nil {
    return 0, e.setErrorInfo(err)
  }

  return rowsAffected, nil
}

是不是很熟悉？和Insert方法的逻辑几乎是一样的，只是e.Prepare中的sql语句不一样。

这样看下调用方式和结果：

// delete from userinfo where (uid >= 123) or (uid <=45)
rowsAffected, err := e.Table("userinfo").Where("uid", ">=", 123).OrWhere("uid", "<=", 45).Delete()

7、修改Update

修改数据，也是CURD的最后一步，但是它和Delete不同的是，他是有2个数据需要绑定的，1个通过Where方法绑定的where数据，还有1个，就是需要去更新的数据，这个我们还没做。

update userinfo set status = 1 where (uid >= 123) or (uid <= 454)

其中status=1这部分的数据，我们也是需要提炼出来搞成1个对外暴露的方法。所以，最终的调用方式会是这样的：

e.Table("userinfo").Where("uid", 123).Update("status", 1)

e.Table("userinfo").Where("uid", 123).Update(user2)

和Where的可变参数类似，我们也是提供了2种参数传递方式，既可以传入一个结构体变量，也可以只传入单个更新的变量，用起来会更方便更灵活。

仔细一看，Update中获取数据的方式，和Insert方法插入单个数据的方式不能说特别像吧，可以说简直一模一样啊。

直接上代码吧：

//更新
func (e *SmallormEngine) Update(data ...interface{}) (int64, error) {

  //判断是结构体还是多个字符串
  var dataType int
  if len(data) == 1 {
    dataType = 1
  } else if len(data) == 2 {
    dataType = 2
  } else {
    return 0, errors.New("参数个数错误")
  }

  //如果是结构体
  if dataType == 1 {
    t := reflect.TypeOf(data[0])
    v := reflect.ValueOf(data[0])

    var fieldNameArray []string
    for i := 0; i < t.NumField(); i++ {

      //首字母小写，不可反射
      if !v.Field(i).CanInterface() {
        continue
      }

      //解析tag，找出真实的sql字段名
      sqlTag := t.Field(i).Tag.Get("sql")
      if sqlTag != "" {
        fieldNameArray = append(fieldNameArray, strings.Split(sqlTag, ",")[0]+"=?")
      } else {
        fieldNameArray = append(fieldNameArray, t.Field(i).Name+"=?")
      }

      e.UpdateExec = append(e.UpdateExec, v.Field(i).Interface())
    }
    e.UpdateParam += strings.Join(fieldNameArray, ",")

  } else if dataType == 2 {
    //直接=的情况
    e.UpdateParam += data[0].(string) + "=?"
    e.UpdateExec = append(e.UpdateExec, data[1])
  }

  //拼接sql
  e.Prepare = "update " + e.GetTable() + " set " + e.UpdateParam

  //如果where不为空
  if e.WhereParam != "" || e.OrWhereParam != "" {
    e.Prepare += " where " + e.WhereParam + e.OrWhereParam
  }

  //limit不为空
  if e.LimitParam != "" {
    e.Prepare += "limit " + e.LimitParam
  }

  //prepare
  var stmt *sql.Stmt
  var err error
  stmt, err = e.Db.Prepare(e.Prepare)
  if err != nil {
    return 0, e.setErrorInfo(err)
  }

  //合并UpdateExec和WhereExec
  if e.WhereExec != nil {
    e.AllExec = append(e.UpdateExec, e.WhereExec...)
  }

  //执行exec,注意这是stmt.Exec
  result, err := stmt.Exec(e.AllExec...)
  if err != nil {
    return 0, e.setErrorInfo(err)
  }

  //影响的行数
  id, _ := result.RowsAffected()
  return id, nil
}

其中有一个地方，需要注意的是：合并UpdateExec和WhereExec这一步。需要在e.WhereExec后面加...，这样的目的就是把切片全部展开成1个1个的可变参数，追加到UpdateExec切片的后面。如果不加是会报语法报错的。

cannot use []interface{} literal (type []interface{}) as type interface{} in append

8、查询

查询数据也是平时sql中用到的非常多的方法，通过上面几个方法的实现，我们基本对于增删改很熟悉了，但是，值得注意的是，go原生代码中，查询的写法是不一样的，是没有Prepare和Exec，而是通过QueryRow和Query方法来获取查询数据的，通过看文章最开头的原生golang查询的写法就可以看出。

比如，查询单条数据，我们得先需要把查询的字段定义出来，然后再用Scan()去绑定赋值它们，这个写法感觉太麻烦了

//单条
var username, departname, status string
err := db.QueryRow("select username, departname, status from userinfo where uid=?", 4).Scan(&username, &departname, &status)
if err != nil {
    fmt.Println("QueryRow error :", err.Error())
}
fmt.Println("username: ", username, "departname: ", departname, "status: ", status)

再看多条的查询，第一步，得先把查询的数据结构先定义出来，再实例化1个多维的数组，再通过for循环去给这个数组赋值，值得注意的是这个数据结构的字段数得和select出来的字段数保持一致，不然就会丢失。

//多条：
rows, err := db.Query("select username, departname, created from userinfo where username=?", "yang")
if err != nil {
    fmt.Println("QueryRow error :", err.Error())
}

//定义一个结构体，存放数据模型
type UserInfo struct {
    Username   string `json:"username"`
    Departname string `json:"departname"`
    Created    string `json:"created"`
}
  
//初始化
var user []UserInfo

for rows.Next() {
    var username1, departname1, created1 string
    if err := rows.Scan(&username1, &departname1, &created1); err != nil {
        fmt.Println("Query error :", err.Error())
    }
    user = append(user, UserInfo{Username: username1, Departname: departname1, Created: created1})
}

麻烦归麻烦，我们还是需要抽丝剥茧，我们还是得找出规律，用我们自定义的方法，去生成符合这样格式的数据。所以，查询又会是另一个难点和挑战点。

为了简化查询逻辑内部实现的复杂度，对于单条的查询，我们舍弃了原生的QueryRow，直接全部用Query+for next替代，这样对于有单条查询，在内部追加1个limit 1来限制数量，继而满足条件。

下面开始吧。

查询多条Select()，返回值为map切片

考虑到要提前定义1个数据结构，再初始化成1个数组，真的是太麻烦了，我想着能不能啥都不传呢？直接按照数据表里的字段名，直接给我输出1个同名字的map切片呢？试一试吧。

比如这样，userinfo表里面有4个字段：“uid, username，departname，status”，我们像下面这样查询，然后就可以返回1个map的数组切片，岂不是美滋滋？

result, err := e.Table("userinfo").Where("status", 1).Select()

返回为：

//type:

[]map[string]string

//value: 

[map[departname:v status:1 uid:123 username:yang] map[departname:n status:0 uid:456 username:small]]

那么这种方式实现的前提是，我们可以获取到表的字段有哪些，才能根据这些字段映射成一个map。也好办的，Db.Query给我们返回了一个Columns()方法，它能返回我们本次查询出来的表的字段名是哪些。

比如：

rows, err := db.Query("select uid, username, departname, status from userinfo where username=?", "yang")
if err != nil {
    fmt.Println("Query error :", err.Error())
}

column, err := rows.Columns()
if err != nil {
   fmt.Println("rows.Columns error :", err.Error())
}

fmt.Println(column)

我们看下返回值：

[uid username departname stauts]

能获取到字段名，那我们就成功了一半，接下来的第二个难题，就是rows.Scan()的数据绑定问题。由于我们是没有预先定义数据类型进行绑定的，所以这个数据，就只能我们动态生成。我们先看下原生Scan()的调用方式。

每次for循环的时候，都是临时生成4个初始值为空的变量，然后把他们的地址传给Scan()方法，通过地址来动态引用赋值。所以，这4个名字其实不重要，你取任何名字都可以，反正最后传的是他们的地址。

for rows.Next() {
    var uid1, username1, departname1, status1 string
    rows.Scan(&uid1, &username1, &departname1, &status1)
    fmt.Println(uid1,username1,departname1,status1)
}

这样我们打印这4个变量，他们就都有值了：

1 yang v 0
12 yi b 1
....

正是利用了这一点，所以我们就可以按照Columns返回的字段个数，动态的生成2个切片，来解决这个映射问题：

//读出查询出的列字段名
column, err := rows.Columns()
if err != nil {
  return nil, e.setErrorInfo(err)
}

//values是每个列的值，这里获取到byte里
values := make([][]byte, len(column))

//因为每次查询出来的列是不定长的，用len(column)定住当次查询的长度
scans := make([]interface{}, len(column))

for i := range values {
  scans[i] = &values[i]
}

我们新建了2个切片，第一个切片是values，初始值都是空，scans初始值是一个空接口类型的切片，通过一个for循环，把scans每个元素的值，都是values里的每个值的地址。2个进行了深度绑定。

一一对应：

// 打印column的值
[uid username departname stauts]

// 打印values的值
[[] [] [] []]

//打印scans的值
[0xc000056180 0xc000056198 0xc0000561b0 0xc0000561c8]

这样的好处是啥呢？是因为Scan()这个方法，需要传的就是地址符号。接下来。我们就可以这样做了：

for rows.Next() {

  rows.Scan(scans[0], scans[1],scans[2], scans[3]）

}

这样，scans[0]对应的就是上面例子中的uid1，scans[3]对应的就是上面例子中的status1。scans[0]由于是对values[0]的取地址操作，所以，values[0]的值就变化了，变成了真实的值，所以，这一顿操作下来。values里面的值就变化了：

// 打印column的值
[uid username departname stauts]

// 打印scans的值
[0xc000056180 0xc000056198 0xc0000561b0 0xc0000561c8]

// 打印values的值
[1 yang v 0]

然后，我们再通过这3个切片的下标的映射，就能将表字段和值对应起来，拼接成1个map。

现在碰到1个问题，如果scans里面有十个，甚至几十个参数呢，难道也这样，scans[0]，scans[1].....scans[n]展开吗？那和手动写原始代码没啥区别了，有啥办法解决不确定参数的问题吗？当然有，直接看代码：

results := make([]map[string]string, 0)
for rows.Next() {
  if err := rows.Scan(scans...); err != nil {
    return nil, e.setErrorInfo(err)
  }

  //每行数据
  row := make(map[string]string) 

  //循环values数据，通过相同的下标，取column里面对应的列名，生成1个新的map
  for k, v := range values {
    key := column[k]
    row[key] = string(v)
  }

  //添加到map切片中
  results = append(results, row)
}

这样，我们就把最关键最核心的数据字段和数据映射问题给解决了，顺便要说的是rows.Scan(scans...)这个最为关键以及巧妙了，可以说是这个方法的最重要的地方，他可以把我们传入的切片全部铺开，当做1个变量1个变量的参数的传入，它解决了我们通用函数里，表字段数不确定的问题。

rows.Scan(scans[0], scans[1],scans[2], scans[3]）
↓↓↓
↓↓↓
rows.Scan(scans...）

这样，即使scan里面有100个数据，也没关系，他都会处理好。

好了，我们看下这个方法，完整的代码：

//查询多条，返回值为map切片
func (e *SmallormEngine) Select() ([]map[string]string, error) {

  //拼接sql
  e.Prepare = "select * from " + e.GetTable()

  //如果where不为空
  if e.WhereParam != "" || e.OrWhereParam != "" {
    e.Prepare += " where " + e.WhereParam + e.OrWhereParam
  }

  e.AllExec = e.WhereExec


  //query
  rows, err := e.Db.Query(e.Prepare, e.AllExec...)
  if err != nil {
    return nil, e.setErrorInfo(err)
  }

  //读出查询出的列字段名
  column, err := rows.Columns()
  if err != nil {
    return nil, e.setErrorInfo(err)
  }

  //values是每个列的值，这里获取到byte里
  values := make([][]byte, len(column))

  //因为每次查询出来的列是不定长的，用len(column)定住当次查询的长度
  scans := make([]interface{}, len(column))

  for i := range values {
    scans[i] = &values[i]
  }

  results := make([]map[string]string, 0)
  for rows.Next() {
    if err := rows.Scan(scans...); err != nil {
      //query.Scan查询出来的不定长值放到scans[i] = &values[i],也就是每行都放在values里
      return nil, e.setErrorInfo(err)
    }

    //每行数据
    row := make(map[string]string) 

    //循环values数据，通过相同的下标，取column里面对应的列名，生成1个新的map
    // 这里的valuesz直接写成scans也行
    for k, v := range values {
      key := column[k]
      row[key] = string(v)
    }

    //添加到map切片中
    results = append(results, row)
  }

  return results, nil
}

这样，我们就能非常方便的查询数据了，但是这个方法，有2个小的影响的地方：

最后返回的map切片，里面的key名都是数据库的字段名（可能都是小字母头），如果要映射成首字母大写的结构，需要我们自己去写方法。

他会把数据库表的所有字段的类型都会转换成字符串类型的，理论上影响也不大。

查询单条SelectOne()，返回值为map

有了上面查询多条的理论知识基础，查询单条就变得异常简单了，只需要在最后执行sql的部分加个limit 1即可，并且在返回的map切片中，取第0个数据即可。

//查询1条
func (e *SmallormEngine) SelectOne() (map[string]string, error) {
  
  //limit 1 单个查询
  results, err := e.Limit(1).Select()
  if err != nil {
    return nil, e.setErrorInfo(err)
  }

  //判断是否为空
  if len(results) == 0 {
    return nil, nil
  } else {
    return results[0], nil
  }
}

Limit()方法的作用就是在sql最后面拼接上limit 1，这个在下面的篇章会详细说。这样，我们就可以通过SelectOne方法获取单条map数据了。

这样，我们就可以很方便的查询单条数据了：

result, err := e.Table("userinfo").Where("status", 1).SelectOne()

返回为：

//type:

map[string]string

//value: 

map[departname:v status:1 uid:123 username:yang]

查询多条Find()，返回值为引用结构体切片

这个方法其实是对原生go查询的一个简单包装，毕竟还是有很多人是喜欢先定义好数据结构，然后通过引用赋值的，当然在大分部的go的ORM里面，也是这么实现查询操作的。

//定义好结构体
type User struct {
    Uid        int    `sql:"uid,auto_increment"`
    Username   string `sql:"username"`
    Departname string `sql:"departname"`
    Status     int64  `sql:"status"`
}

//实例化切片
var user1 []User

// select * from userinfo where status=1
err := e.Table("userinfo").Where("status", 2).Find(&user1)

if err != nil {
    fmt.Println(err.Error())
} else {
    fmt.Printf("%#v", user1)
}

看下打印的数据

[]smallorm.User{smallorm.User2{Uid:131733, Username:"EE2", Departname:"223", Status:2},
 smallorm.User{Uid:131734, Username:"EE2", Departname:"223", Status:2}, 
 smallorm.User{Uid:131735, Username:"EE2", Departname:"223", Status:2}}

我们先在脑海中理一下大致的一个调用和逻辑处理过程：

  • 先定义一个结构体，里面的字段通过tag标签和表的字段进行关联

  • 初始化1个空的结构体切片，然后通过&取地址符传给Find()方法

  • Find()方法内部先获取到表的列名，再通过tag关联和各种反射利器，将数据绑定到传入的结构体切片上，给它附上值。

这么看来，第3步是最复杂的，它需要获取传入的结构体切片里面的每一个值，并且还得把查询出来的结果给它全部赋上，天，感觉好难啊！！！这题不会做啊。

后来在我大量翻阅GORM的源码以及查看go反射的文档后，我渐渐的有了头绪，这题也太简单了吧！

首先，还是和Select方法一样，我们需要解析出表的各个字段名，因为这个需要和tag:sql:“xx”一一对应上的。

//读出查询出的列字段名
column, err := rows.Columns()
if err != nil {
  return e.setErrorInfo(err)
}

//values是每个列的值，这里获取到byte里
values := make([][]byte, len(column))

//因为每次查询出来的列是不定长的，用len(column)定住当次查询的长度
scans := make([]interface{}, len(column))

for i := range values {
  scans[i] = &values[i]
}

上面的这几步是一样的，最后的数据赋值到values里面去了，就不过多赘述了，下面是最关键的一步来了：

//原始struct的切片值
destSlice := reflect.ValueOf(result).Elem()

//原始单个struct的类型
destType := destSlice.Type().Elem()

我们通过这2个神奇（变态）的go反射方法，就可以得出传入的User结构体切片它的类型是什么，它的值是什么。打印下看看：

fmt.Printf("%+v\n", destSlice)
fmt.Printf("%+v", destType)

[]
main.User

ok，我们就成功解析出了传入的结构体是长啥样的了，然后就可以再根据一系列for循环和各种神奇的go反射方法来继续：

destType.NumField(); //获取到User结构体的字段数，这里返回：4

destType.Field(i).Tag.Get("sql")  //获取到User结构体的第i个字段的tag值，比如返回：`username`

destType.Field(i).Name  // //获取到User结构体的第i个字段的名字，比如返回：`Username`

再通过这几个反射给赋值：

dest := reflect.New(destType).Elem()  // 根据类型生成1个新的值，返回：{Uid:0 Username: Departname: Status:0}

dest.Field(i).SetString(value) //给第i个元素，附值，类型是string类型

reflect.Append(destSlice, dest) // 将dest值添加到destSlice切片中。

destSlice.Set(reflect.Append(destSlice, dest)) //将最后得到的切片完全赋值给本身。

或许这一顿反射操作已经把你搞晕了，说实话，我也晕了。现在看下完整的函数：

//查询多条，返回值为struct切片
func (e *SmallormEngine) Find(result interface{}) error {

  if reflect.ValueOf(result).Kind() != reflect.Ptr {
    return e.setErrorInfo(errors.New("参数请传指针变量！"))
  }

  if reflect.ValueOf(result).IsNil() {
    return e.setErrorInfo(errors.New("参数不能是空指针！"))
  }

  //拼接sql
  e.Prepare = "select * from " + e.GetTable()


  e.AllExec = e.WhereExec

  //query
  rows, err := e.Db.Query(e.Prepare, e.AllExec...)
  if err != nil {
    return e.setErrorInfo(err)
  }

  //读出查询出的列字段名
  column, err := rows.Columns()
  if err != nil {
    return e.setErrorInfo(err)
  }

  //values是每个列的值，这里获取到byte里
  values := make([][]byte, len(column))

  //因为每次查询出来的列是不定长的，用len(column)定住当次查询的长度
  scans := make([]interface{}, len(column))

  //原始struct的切片值
  destSlice := reflect.ValueOf(result).Elem()

  //原始单个struct的类型
  destType := destSlice.Type().Elem()

  for i := range values {
    scans[i] = &values[i]
  }

  //循环遍历
  for rows.Next() {

    dest := reflect.New(destType).Elem()

    if err := rows.Scan(scans...); err != nil {
      //query.Scan查询出来的不定长值放到scans[i] = &values[i],也就是每行都放在values里
      return e.setErrorInfo(err)
    }

    //遍历一行数据的各个字段
    for k, v := range values {
      //每行数据是放在values里面，现在把它挪到row里
      key := column[k]
      value := string(v)

      //遍历结构体
      for i := 0; i < destType.NumField(); i++ {

        //看下是否有sql别名
        sqlTag := destType.Field(i).Tag.Get("sql")
        var fieldName string
        if sqlTag != "" {
          fieldName = strings.Split(sqlTag, ",")[0]
        } else {
          fieldName = destType.Field(i).Name
        }

        //struct里没这个key
        if key != fieldName {
          continue
        }

        //反射赋值
        if err := e.reflectSet(dest, i, value); err != nil {
          return err
        }
      }
    }
    //赋值
    destSlice.Set(reflect.Append(destSlice, dest))
  }

  return nil
}

我们在方法前面加了几个参数校验，也是基于反射的，来判断传进来的值是指针类型的才行。在反射赋值里，我搞了个通用的方法reflectSet来进行字段类型的匹配。将查询出来的结果集里面的各个字段的类型枚举遍历出来，去转换成实际结构体里面的类型。是因为go里面是严格区分字段类型的，所以反射赋值的时候，也得根据结构体里面具体字段的类型来分别赋值。

//反射赋值
func (e *SmallormEngine) reflectSet(dest reflect.Value, i int, value string) error {
  switch dest.Field(i).Kind() {
  case reflect.Int, reflect.Int8, reflect.Int16, reflect.Int32, reflect.Int64:
    res, err := strconv.ParseInt(value, 10, 64)
    if err != nil {
      return e.setErrorInfo(err)
    }
    dest.Field(i).SetInt(res)
  case reflect.String:
    dest.Field(i).SetString(value)
  case reflect.Uint, reflect.Uint8, reflect.Uint16, reflect.Uint32, reflect.Uint64:
    res, err := strconv.ParseUint(value, 10, 64)
    if err != nil {
      return e.setErrorInfo(err)
    }
    dest.Field(i).SetUint(res)
  case reflect.Float32:
    res, err := strconv.ParseFloat(value, 32)
    if err != nil {
      return e.setErrorInfo(err)
    }
    dest.Field(i).SetFloat(res)
  case reflect.Float64:
    res, err := strconv.ParseFloat(value, 64)
    if err != nil {
      return e.setErrorInfo(err)
    }
    dest.Field(i).SetFloat(res)
  case reflect.Bool:
    res, err := strconv.ParseBool(value)
    if err != nil {
      return e.setErrorInfo(err)
    }
    dest.Field(i).SetBool(res)
  }
  return nil
}

通过switch dest.Field(i).Kind() case来一一匹配结构体里的字段是啥类型，再通过strconv.xxx()将数据库查到的数据类型转换好对应的类型，再去SetXXX()。

查询单条FindOne()，返回值为引用结构体

多条的逻辑被解决了，单条就很简单了，2步搞定：第一步设置Limit 1，第二步返回结构体的第0个数据。

//查询单条，返回值为struct切片
func (e *SmallormEngine) FindOne(result interface{}) error {

  //取的原始值
  dest := reflect.Indirect(reflect.ValueOf(result))

  //new一个类型的切片
  destSlice := reflect.New(reflect.SliceOf(dest.Type())).Elem()

  //调用
  if err := e.Limit(1).Find(destSlice.Addr().Interface()); err != nil {
    return err
  }

  //判断返回值长度
  if destSlice.Len() == 0 {
    return e.setErrorInfo(errors.New("NOT FOUND"))
  }

  //取切片里的第0个数据，并复制给原始值结构体指针
  dest.Set(destSlice.Index(0))
  return nil
}

然而实际的过程却比我们预想的多了好几步，而且又是一坨反射逻辑。我们先仔细品一下Find()方法的参数，他是一个指向切片的指针，也就是说原始值是一个切片数组。而我们本次的方法FindOne()传入的是一个结构体指针，是单个数据，并不是数组切片。这就麻烦了，因为数据类型不匹配，是无法传递的。那咋办呢？

万能的反射肯定是办法的，然后我又通过翻阅无数的文档和手册，终于找到了解决之法：我根据传入进来的单个结构体数据，通过反射，动态生成1个切片数组参数传给Find()不就可以了么？

OK，我们调用试一下：

//定义好结构体
type User struct {
    Uid        int    `sql:"uid,auto_increment"`
    Username   string `sql:"username"`
    Departname string `sql:"departname"`
    Status     int64  `sql:"status"`
}

//实例化数据
var user1 User

// select * from userinfo where status=1
err := e.Table("userinfo").Where("status", 2).FindOne(&user1)

if err != nil {
    fmt.Println(err.Error())
} else {
    fmt.Printf("%#v", user1)
}

看下打印的数据

smallorm.User{Uid:131733, Username:"EE2", Departname:"223", Status:2}

9、设置查询字段Field

设置查询字段是一个很基础其实也很重要的功能，因为我们平时查询数据的时候，都喜欢用select*，他会把表的所有字段都读出来，有大量数据的场景下，其实是很低效和浪费的。本次ORM也通过了这个方法，来指定本次查询字段，可以这样调用：

e.Table("userinfo").Where("status", 2).Field("uid,status").Select()

由于是采用链式的调用方式，而且它本身也没有数据属性，所以是可以放在中间部分的任何位置的：

e.Table("userinfo").Field("uid,status").Where("status", 2).Select()

实现逻辑也很简单，给SmallormEngine的FieldParam赋值就可以了：

//设置查询字段
func (e *SmallormEngine) Field(field string) *SmallormEngine {
  e.FieldParam = field
  return e
}

然后，我们就在查询的相关方法Select/Find里，就可以这样拼接sql：

e.Prepare = "select " + e.FieldParam + " from " + e.GetTable()

e.FieldParam的初始值是“*”，这个是在NewMysql里面初始化的。所以即使没调用Field()进行设置，Prepare的值也是select*，也是不影响逻辑的完整性。

值得注意的是，我们是直接裸传的，并没有对传入的字段做检验和判断，这个优化将在第二版本中展开

10、设置大小Limit

设置Limit一般我们用来控制获取的数据量的大小，一般用于查询单条，比如：limit 1。更多的时候是用于分页的，比如，每一页取10个，第一页就是：limit 0，9，第二页就是：limit 10，19，所以limit有2种用法。所以我们ORM设置的参数也得是2个，比如这样：

e.Table("userinfo").Where("status", 2).Limit(1).Select()
e.Table("userinfo").Where("status", 2).Limit(0, 9).Select()

我们来看下怎么实现这2种方式的调用：

//limit分页
func (e *SmallormEngine) Limit(limit ...int64) *SmallormEngine {
  if len(limit) == 1 {
    e.LimitParam = strconv.Itoa(int(limit[0]))
  } else if len(limit) == 2 {
    e.LimitParam = strconv.Itoa(int(limit[0])) + "," + strconv.Itoa(int(limit[1]))
  } else {
    panic("参数个数错误")
  }
  return e
}

我们在参数上使用了可变的参数方式，这样就可以实现传1个或者2个方式，同时通过判断参数的长度，限制了参数要么是1个，要么是2个，不然就报错。然后将分隔后的参数传给LimitParamb变量，这样我们在Find/Select时候就可以判断这个变量是否为空，来给sql增加limit参数了：

//limit不为空
if e.LimitParam != "" {
  e.Prepare += " limit " + e.LimitParam
}

这样我们就往prepare 中增加好了limit的语句。

11、聚合查询Count/Max/Min/Avg/Sum

  • Count() //获取总数

  • Max() //获取最大值

  • Min() //获取最小值

  • Avg() //获取平均值

  • Sum() //获取总和

聚合查询，我们平时用的蛮多的，其实他们实现的方式在SQL拼接上来看是很类似的，都是将原先select*换成select Xxxx(*)，其次，他们生成的数据都是只有一条数据。所以我们就可以使用之前在查询时，没用上的db.QueryRow()方法了，因为这个方法就是用来查询一条，不需要各种for循环，刚好符合我们这类方法的结果的查询。

我们来看下怎么写，首先第一步，设置2个参数，分别对应于具体的聚合函数，以及需要聚合的字段名。

name对应于具体的聚合函数，param则对应于具体的字段：

func (e *SmallormEngine) aggregateQuery(name, param string) (interface{}, error) {

  e.Prepare = "select " + name + "(" + param + ") as cnt from " + e.GetTable()

}

这样，我们这个通用方法的主体给完成了，我们想实现对应的聚合查询功能，只需要传递2个参数即可。接下来，我们看下查询部分：

//执行绑定
var cnt interface{}

//queryRows 
err := e.Db.QueryRow(e.Prepare, e.AllExec...).Scan(&cnt)
if err != nil {
  return nil, e.setErrorInfo(err)
}

我们申明了1个接口类型的变量cnt用它来获取到最终的聚合结果值，之所以用接口类型，是因为聚合的结果类型是不确定的，可能有小数，也可能是浮点型的，比如求平均值。下面是完整的代码：

//聚合查询
func (e *SmallormEngine) aggregateQuery(name, param string) (interface{}, error) {

  //拼接sql
  e.Prepare = "select " + name + "(" + param + ") as cnt from " + e.GetTable()

  //如果where不为空
  if e.WhereParam != "" || e.OrWhereParam != "" {
    e.Prepare += " where " + e.WhereParam + e.OrWhereParam
  }

  //limit不为空
  if e.LimitParam != "" {
    e.Prepare += " limit " + e.LimitParam
  }

  e.AllExec = e.WhereExec

  //生成sql
  e.generateSql()

  //执行绑定
  var cnt interface{}

  //queryRows
  err := e.Db.QueryRow(e.Prepare, e.AllExec...).Scan(&cnt)
  if err != nil {
    return nil, e.setErrorInfo(err)
  }

  return cnt, err
}

OK，这样，我们就完成了聚合函数的通用主体部分，接下来就是各自的差异部分了。

获取总数Count

可以用Count()方法来获取总数, 返回总数的类型是Int64，它是链式结构最后一次操作。第一个参数我们传count，因为一般取总数，一般用count()或者count(1)，所以第二个参数，这个地方，我们用*。

//总数
func (e *SmallormEngine) Count() (int64, error) {
  count, err := e.aggregateQuery("count", "*")
  if err != nil {
    return 0, e.setErrorInfo(err)
  }
  return count.(int64), err
}

最后的返回值，我们用到了count.(xxx) 这种断言方法来转换格式。

获取最大值Max

可以用Max()方法来获取某一个字段的最大值, 返回总数的类型是string类型，它是链式结构最后一次操作。第一个参数我们传max，第二个参数传某一个表字段。

//最大值
func (e *SmallormEngine) Max(param string) (string, error) {
  max, err := e.aggregateQuery("max", param)
  if err != nil {
    return "0", e.setErrorInfo(err)
  }
  return string(max.([]byte)), nil
}

之所以返回值用string类型，是因为取最大值，有时候不限制在int类型的表字段取最大值，有时候也会有时间最大值等，所以返回string是最合适的。

获取最小值Min

可以用Min()方法来获取某一个字段的最小值, 返回总数的类型是string类型， 它是链式结构最后一次操作。第一个参数我们传min，第二个参数传某一个表字段。

//最小值
func (e *SmallormEngine) Min(param string) (string, error) {
  min, err := e.aggregateQuery("min", param)
  if err != nil {
    return "0", e.setErrorInfo(err)
  }

  return string(min.([]byte)), nil
}

获取平均值Avg

可以用Avg()方法来获取某一个字段的平均值, 返回总数的类型是string类型， 它是链式结构最后一次操作。第一个参数我们传avg，第二个参数传某一个表字段。

//平均值
func (e *SmallormEngine) Avg(param string) (string, error) {
  avg, err := e.aggregateQuery("avg", param)
  if err != nil {
    return "0", e.setErrorInfo(err)
  }

  return string(avg.([]byte)), nil
}

获取总和Sum

可以用Sum()方法来获取某一个字段的总和, 返回总数的类型是string类型，它是链式结构最后一次操作。第一个参数我们传sum，第二个参数传某一个表字段。

//总和
func (e *SmallormEngine) Sum(param string) (string, error) {
  sum, err := e.aggregateQuery("sum", param)
  if err != nil {
    return "0", e.setErrorInfo(err)
  }
  return string(sum.([]byte)), nil
}

接下来，来快速的调用看看：

//select count(*) as cnt from userinfo where (uid >= 10805)
cnt, err := e.Table("userinfo").Where("uid", ">=", 10805).Count()


//select max(uid) as cnt from userinfo where (uid >= 10805)
max, err := e.Table("userinfo").Where("uid", ">=", 10805).Max('uid')


//select min(uid) as cnt from userinfo where (uid >= 10805)
min, err := e.Table("userinfo").Where("uid", ">=", 10805).Count()


//select avg(uid) as cnt from userinfo where (uid >= 10805)
avg, err := e.Table("userinfo").Where("uid", ">=", 10805).Avg("uid")


// select sum(uid) as cnt from userinfo where (uid >= 10805) 
sum, err := e.Table("userinfo").Where("uid", ">=", 10805).Sum("uid")

12、排序Order

排序也是平常sql语句中用的是最多的，它用于查询结果的展示按照某个字段排序，正序(从小到大)用asc，倒序(从大到小)用desc，写法如下：

//查询结果按照uid倒序
select * from userinfo where (uid >= 10805) order by uid desc

//查询结果按照uid正序
select * from userinfo where (uid >= 10805) order by uid asc

//查询结果,先按照uid正序，再按照status倒序
select * from userinfo where (uid >= 10805) order by uid asc,status desc

所以，我们也把这个操作，用一个单独的方法给暴露出来，方便排序，调用方式如下：

sum, err := e.Table("userinfo").Where("uid", ">=", 10805).Order("uid", "desc").Select()
sum, err := e.Table("userinfo").Where("uid", ">=", 10805).Order("uid","asc", "status", "desc").Select()

看这个参数的个数，我们立马就知道了，这个方法又是一个可变参数的，这个方法写起来思路其实也很清晰，我们只需要把传入的参数，变成order xxx xxx，xx，xx后面的xx数据即可，然后存放到e.OrderParam这个变量中，等Find/Select查询的时候直接判断拼接即可。

看下，具体是怎么实现的：

//order排序
func (e *SmallormEngine) Order(order ...string) *SmallormEngine {
  orderLen := len(order)
  if orderLen%2 != 0 {
    panic("order by参数错误，请保证个数为偶数个")
  }

  //排序的个数
  orderNum := orderLen / 2

  //多次调用的情况
  if e.OrderParam != "" {
    e.OrderParam += ","
  }

  for i := 0; i < orderNum; i++ {
    keyString := strings.ToLower(order[i*2+1])
    if keyString != "desc" && keyString != "asc" {
      panic("排序关键字为：desc和asc")
    }
    if i < orderNum-1 {
      e.OrderParam += order[i*2] + " " + order[i*2+1] + ","
    } else {
      e.OrderParam += order[i*2] + " " + order[i*2+1]
    }
  }

  return e
}

唯一复杂的地方，就是判断参数是偶数个数的，然后，按照二分查找法，进行多个排序规则的拼接，这个地方也是有其他的算法进行拼接。

然后，在Find/Select查询的时候就可以判断一下，追加到e.Prepare里：

//order by不为空
if e.OrderParam != "" {
  e.Prepare += " order by " + e.OrderParam
}

13、分组Group

分组也是我们平时用的非常多的，它用于我们对某1个或者几个字段进行分组，然后查询这个分组后的数据，写法很简单，直接上代码：

//group分组
func (e *SmallormEngine) Group(group ...string) *SmallormEngine {
  if len(group) != 0 {
    e.GroupParam = strings.Join(group, ",")
  }
  return e
}

参数也是可变的，因为我们可以对多个字段进行group的。有时候，可以需要搭配Field(count(*) as c)来实现更加细的分组查询

result,err := e.Table("userinfo").Where("departname", "like", "2%").Field("departname, count(*) as c").Group("departname", "status").Select()

这样，我们就可以在Find/Select查询的时候就可以判断一下，追加到e.Prepare里：

//group 不为空
if e.GroupParam != "" {
  e.Prepare += " group by " + e.GroupParam
}

14、分组后判断Having

Having用于在使用Group分组后的过滤查询，它的作用和where其实是一模一样的，都是过滤，只不过Having只能用于group之后，对select后面的参数进行过滤，比如这个sql:

我们想查询出按照status分组后，uid的总数大于5的数据：

select status, count(uid) as c from userinfo where (uid >= 10805) group by status having c >= 5

所以，既然绑定的方式和where是一模一样的，我们可以看下怎么调用的：

result,err := e.Table("userinfo").Where("", "like", "2%").Field("status, count(uid) as c ").Group(status").Having("c",">=", 5).Select()
result,err := e.Table("userinfo").Where("departname", "like", "2%").Field("status, count(uid) as c ").Group(status").Having("c", 5).Select()


type User struct {
    Status     int64  `sql:"status"`
}

user2 := User1{
    Status:     1,
}
result,err := e.Table("userinfo").Where("departname", "like", "2%").Field("status, count(uid) as c ").Group(status").Having(user2).Select()

由于和Where方法实现的方式几乎一样，我们直接快速的看下这个方法的实现过程吧：

//having过滤
func (e *SmallormEngine) Having(having ...interface{}) *SmallormEngine {

  //判断是结构体还是多个字符串
  var dataType int
  if len(having) == 1 {
    dataType = 1
  } else if len(having) == 2 {
    dataType = 2
  } else if len(having) == 3 {
    dataType = 3
  } else {
    panic("having个数错误")
  }

  //多次调用判断
  if e.HavingParam != "" {
    e.HavingParam += "and ("
  } else {
    e.HavingParam += "("
  }

  //如果是结构体
  if dataType == 1 {
    t := reflect.TypeOf(having[0])
    v := reflect.ValueOf(having[0])

    var fieldNameArray []string
    for i := 0; i < t.NumField(); i++ {

      //小写开头，无法反射，跳过
      if !v.Field(i).CanInterface() {
        continue`在这里插入代码片`
      }

      //解析tag，找出真实的sql字段名
      sqlTag := t.Field(i).Tag.Get("sql")
      if sqlTag != "" {
        fieldNameArray = append(fieldNameArray, strings.Split(sqlTag, ",")[0]+"=?")
      } else {
        fieldNameArray = append(fieldNameArray, t.Field(i).Name+"=?")
      }

      e.WhereExec = append(e.WhereExec, v.Field(i).Interface())
    }
    e.HavingParam += strings.Join(fieldNameArray, " and ") + ") "

  } else if dataType == 2 {
    //直接=的情况
    e.HavingParam += having[0].(string) + "=?) "
    e.WhereExec = append(e.WhereExec, having[1])
  } else if dataType == 3 {
    //3个参数的情况
    e.HavingParam += having[0].(string) + " " + having[1].(string) + " ?) "
    e.WhereExec = append(e.WhereExec, having[2])
  }

  return e
}

专门弄了一个HavingParam来存储占位符，而数值的部分，依然是存放在WhereExec中。

然后，和其他一样，在Find/Select查询的时候就可以判断一下，追加到e.Prepare里：

//having
if e.HavingParam != "" {
  e.Prepare += " having " + e.HavingParam
}

OK，我们来试一下怎么调用：

//select uid, status, count(uid) as b from userinfo where (departname like '2%')  group by uid,status having (status=1)  order by uid desc,status asc

result,err := e.Table("userinfo").Where("departname", "like", "2%").Order("uid", "desc", "status", "asc").Field("uid, status, count(uid) as b").Group("uid", "status").Having("status",1).Select()
if err != nil {
    fmt.Println(err.Error())
    return
}
fmt.Println("result is :", result)

15、获取执行生成的完整SQLGetLastSql

我们上面的所有的方法，其实本质上都是组装成原生sql语法的拼装，有时候，我们其实是想知道最后生成的sql到底是啥，或者查询报错了，想看下最后生成的sql是否有语法错误，我们ORM也提供了这个方法，用于查询本次执行最后生成的sql语句。

实现方式其实很简单，因为我们已经把sql语句的前半部分e.Prepare已经生成好了，我们只需要用具体的数值部分e.AllExec去替换e.Prepare里面的问号占位符即可，因为我们当时数据匹配的时候，也是按照顺序转换成占位符，所以，这次相当于逆向的生成sql。

//生成完成的sql语句
func (e *SmallormEngine) generateSql() {
  e.Sql = e.Prepare
  for _, i2 := range e.AllExec {
    switch i2.(type) {
    case int:
      e.Sql = strings.Replace(e.Sql, "?", strconv.Itoa(i2.(int)), 1)
    case int64:
      e.Sql = strings.Replace(e.Sql, "?", strconv.FormatInt(i2.(int64), 10), 1)
    case bool:
      e.Sql = strings.Replace(e.Sql, "?", strconv.FormatBool(i2.(bool)), 1)
    default:
      e.Sql = strings.Replace(e.Sql, "?", "'"+i2.(string)+"'", 1)
    }
  }
}

这个替换做的比较简陋，只对基础的int和bool型做了类型转换，其他类型都当做sql里的字符串处理，需要加单引号。

然后，我们在链式调用的最后一步执行sql的相关方法里，去调用这个方法。就可以将最终的sql语句生成，并存放到e.Sql属性里。调用GetLastSql就可以打印出最后生成的sql语句了。

//获取最后执行生成的sql
func (e *SmallormEngine) GetLastSql() string {
  return e.Sql
}

值得注意的是，这个是打印最后一次生成的sql，如果你有多次CURD操作，记得每次去调用：

sum, err := e.Table("userinfo").Where("uid", ">=", 10805).Order("uid", "desc").Select()

fmt.Println(e.GetLastSql()) //select * from userinfo where (uid >= 10805) order by uid asc


sum, err := e.Table("userinfo").Where("uid", ">=", 10805).Order("uid","asc", "status", "desc").Select()

fmt.Println(e.GetLastSql()) //select * from userinfo where (uid >= 10805) order by uid asc,status desc

16、执行原生SQLExec/Query

本次ORM也提供了裸调sql的方法，虽然不是推荐使用，但是有时候确实是有这样的需求的使用场景的。

执行原生sql的增删改操作Exec

go原生的sql代码，提供了Exec方法，用于增删改的操作，也就是本文开头的原生demo中的第一种方式：

result, err := db.Exec("INSERT INTO userinfo (username, departname, created) VALUES (?, ?, ?)","lisi","dev","2020-08-04")

其实，你是可以不传后面的几个参数，不使用问号占位符的，第一个参数直接传完整的sql即可，像这样：

result, err := db.Exec("INSERT INTO userinfo (username, departname, created) VALUES ('lisi', 'dev', '2021-11-04')")

所以，我们本次ORM就利用了这个特性，简单的封装，变成了Exec方法，代码如下：

//直接执行增删改sql
func (e *SmallormEngine) Exec(sql string) (id int64, err error) {
  result, err := e.Db.Exec(sql)
  e.Sql = sql
  if err != nil {
    return 0, e.setErrorInfo(err)
  }

  //区分是insert还是其他(update,delete)
  if strings.Contains(sql, "insert") {
    lastInsertId, _ := result.LastInsertId()
    return lastInsertId, nil
  } else {
    rowsAffected, _ := result.RowsAffected()
    return rowsAffected, nil
  }
}

我们通过判断sql是的语句是新增还是其他，因为新增的话一般情况是要返回自增ID的，而其他情况需要返回影响的行数。这样，我们就可以很方便的调用原生的sql语句了：

//result, err:= e.Exec("insert into userinfo(username,departname,created,status) values('dd', '31','2020-10-02',1)");

//result, err := e.Exec("delete from userinfo where username='dd'")

result, err := e.Exec("update userinfo set username='dd' where uid = 132733")

fmt.Println(err)
fmt.Println(result)
fmt.Println(e.GetLastSql())

执行原生sql的查询操作Query

原生go代码里面的Query方法用于查询的操作，他同样也是支持直接传原生的sql语句，而不需要使用占位符的：

result, err := db.Query("SELECT * FROM userinfo limit 1")

所以，我们只需要把ORM里面的Select方法，稍作改造即可，因为后半部分的数据获取是一模一样的：

//直接执行查sql
func (e *SmallormEngine) Query(sql string) ([]map[string]string, error) {
  rows, err := e.Db.Query(sql)
  e.Sql = sql
  if err != nil {
    return nil, e.setErrorInfo(err)
  }

  //读出查询出的列字段名
  column, err := rows.Columns()
  if err != nil {
    return nil, e.setErrorInfo(err)
  }

  //values是每个列的值，这里获取到byte里
  values := make([][]byte, len(column))

  //因为每次查询出来的列是不定长的，用len(column)定住当次查询的长度
  scans := make([]interface{}, len(column))

  for i := range values {
    scans[i] = &values[i]
  }

  //最后得到的map
  results := make([]map[string]string, 0)
  for rows.Next() {
    if err := rows.Scan(scans...); err != nil {
      //query.Scan查询出来的不定长值放到scans[i] = &values[i],也就是每行都放在values里
      return nil, e.setErrorInfo(err)
    }

    row := make(map[string]string) //每行数据
    for k, v := range values {
      //每行数据是放在values里面，现在把它挪到row里
      key := column[k]
      row[key] = string(v)
    }
    results = append(results, row)
  }

  return results, nil
}

OK，我们就可以这样调用了：

result, err := e.Query("SELECT * FROM userinfo limit 1")

fmt.Println(err)
fmt.Println(result)
fmt.Println(e.GetLastSql())

17、事务Begin/Commit/Rollback

sql里的事务操作也是平时业务中用的非常多的，它用于在多次执行增删改的操作的时候，如果其中1个出现问题，可以一起回滚数据，确保了数据的一致性。本ORM也提供了相应的方法。事务也是通过封装来调用原生go代码里面的事务方法。一共有3个方法配合调用：

  • Begin()//开启事物

  • Rollback()//回滚

  • Commit()//确认提交执行

开启事务Begin

开启事务功能相对简单，只是设置一个标志符即可：

//开启事务
func (e *SmallormEngine) Begin() error {

  //调用原生的开启事务方法
  tx, err := e.Db.Begin()
  if err != nil {
    return e.setErrorInfo(err)
  }
  e.TransStatus = 1
  e.Tx = tx
  return nil
}

在这个方法里，我们调用了原生的Db.Begin()方法，得到了1个tx资源柄，它专门用于执行事务的操作，并且用e.TransStatus=1来标记已经开启了事务操作。

接下来，我们在具体的增删改查的方法里，通过这个标记去判断现在是不是事务状态：

//判断是否是事务
var stmt *sql.Stmt
var err error
if e.TransStatus == 1 {
  stmt, err = e.Tx.Prepare(e.Prepare)
} else {
  stmt, err = e.Db.Prepare(e.Prepare)
}

...

result, err := stmt.Exec(e.AllExec...)

可以看到，判断非常简单，因为不管是不是事务，最后生成的stmt变量类型是不变的，所以后半段的操作不需要改变。这样我们很方便的开启了事务的功能。

回滚Rollback

回滚操作表示我们执行出现了问题后，向mysql服务器提供回滚指令，它会将这句sql执行的结果给还原。实现原来更简单了，直接调用原生的即可：

//事务回滚
func (e *SmallormEngine) Rollback() error {
  e.TransStatus = 0
  return e.Tx.Rollback()
}

确认提交Commit

确认提交表示我们所有的执行都是OK的，这个时候我们需要向mysql服务器发出确认提交指令，它才会真正意义上将sql给执行。如果不执行这个指令，实际上数据并不会执行，所以，我们最后一定不要忘记执行确认提交操作。实现原来也很简单了，直接调用原生的即可：

//事务提交
func (e *SmallormEngine) Commit() error {
  e.TransStatus = 0
  return e.Tx.Commit()
}

我们看下一个完整的事务的调用例子：

err0 := e.Begin()

isCommit := true
if err0 != nil {
    fmt.Println(err0.Error())
    os.Exit(1)
}

result1, err1 := e.Table("userinfo").Where("uid", "=", 10803).Update("departname", 110)
if err1 != nil {
    isCommit = false
    fmt.Println(err1.Error())
}

//没找到，删除失败
if result1 <= 0 {
    isCommit = false
    fmt.Println("update 0")
}

fmt.Println("result1 is :", result1)
fmt.Println("sql is :", e.GetLastSql())

result2, err2 := e.Table("userinfo").Where("uid", "=", 10802).Delete()
if err2 != nil {
    isCommit = false
    fmt.Println(err2.Error())
}

if result2 <= 0 {
    isCommit = false
    fmt.Println("delete 0")
}

fmt.Println("result2 is :", result2)
fmt.Println("sql is :", e.GetLastSql())

user1 := User{
    Username:   "EE",
    Departname: "22",
    Created:    "2012-12-12",
    Status:     1,
}

id, err3 := e.Table("userinfo").Insert(user1)
if err3 != nil {
    isCommit = false
    fmt.Println(err3.Error())
}

fmt.Println("id is :", id)
fmt.Println("sql is :", e.GetLastSql())

if isCommit {
    _ = e.Commit()
    fmt.Println("ok")
} else {
    _ = e.Rollback()
    fmt.Println("error")
}

我们通过检查每一步的执行结果，任何一个失败，都将isCommit设置为false，最后通过判断这个值的状态来回滚和确认提交。

到此为止，我们把ORM该有的功能基本上实现了90%以上，也算是一个小而美、优雅且简单的ORM框架了。

三、功能测试和性能测试

功能测试必不可少，而且go也给我们提供了很简单就可以完成的测试功能，这个可以逐步完善，我们先看下性能测试，我们和GORM跑个分测试一下。

数据库的结构如下，表里面有209w数据：

CREATE DATABASE `ApiDB`;

USE ApiDB;

CREATE TABLE `userinfo` (
    `uid` int NOT NULL AUTO_INCREMENT,
    `username` varchar(64) DEFAULT NULL,
    `departname` varchar(64) DEFAULT NULL,
    `created` date DEFAULT NULL,
    `status` int NOT NULL,
    PRIMARY KEY (`uid`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;

写2个简单的跑分测试，测试下Select和Update：

package smallorm

import (
  "gorm.io/driver/mysql"
  "gorm.io/gorm"
  "testing"
)

func BenchmarkSmallormSelect(b *testing.B) {
  e, _ := NewMysql("root", "123456", "127.0.0.1:3306", "ApiDB")

  type User struct {
    Username   string `gorm:"username"`
    Departname string `gorm:"departname"`
    Created    string `gorm:"created"`
    Status     int64  `gorm:"status"`
  }
  var users[] User

  b.ResetTimer()
  for i := 0; i < b.N; i++ {
    _ = e.Table("userinfo").Where("uid", ">=", 50).Limit(100).Find(&users)
  }
  b.StopTimer()
}

func BenchmarkGormSelect(b *testing.B) {
  dsn := "root:123456@tcp(127.0.0.1:3306)/ApiDB?charset=utf8mb4&parseTime=True&loc=Local"
  db, _ := gorm.Open(mysql.Open(dsn), &gorm.Config{})

  type User struct {
    Username   string `gorm:"username"`
    Departname string `gorm:"departname"`
    Created    string `gorm:"created"`
    Status     int64  `gorm:"status"`
  }
  var users[] User

  b.ResetTimer()
  for i := 0; i < b.N; i++ {
    db.Table("userinfo").Where("uid >= ?", "50").Limit(50).Find(&users)
  }
  b.StopTimer()
}

func BenchmarkSmallormUpdate(b *testing.B) {
  e, _ := NewMysql("root", "123456", "127.0.0.1:3306", "ApiDB")

  b.ResetTimer()
  for i := 0; i < b.N; i++ {
    _,_ = e.Table("userinfo").Where("uid", "=", 15).Update("status", 0)
  }
  b.StopTimer()
}

func BenchmarkGormUpdate(b *testing.B) {
  dsn := "root:123456@tcp(127.0.0.1:3306)/ApiDB?charset=utf8mb4&parseTime=True&loc=Local"
  db, _ := gorm.Open(mysql.Open(dsn), &gorm.Config{})

  b.ResetTimer()
  for i := 0; i < b.N; i++ {
    db.Table("userinfo").Where("uid = ?", "15").Update("status", 1)
  }
  b.StopTimer()
}

运行下，看下跑分数据：

go test -bench=. -benchmem 

goos: darwin
goarch: amd64
pkg: smallorm
cpu: Intel(R) Core(TM) i7-9750H CPU @ 2.60GHz
BenchmarkSmallormSelect-12  1296   843769 ns/op    911 B/op    25 allocs/op
BenchmarkGormSelect-12      598    1998827 ns/op   29250 B/op  1058 allocs/op
BenchmarkSmallormUpdate-12  1197   864404 ns/op    727 B/op    21 allocs/op
BenchmarkGormUpdate-12      314    4216470 ns/op   6246 B/op   76 allocs/op
PASS
ok      smallorm        6.880s

这个跑分，大家可以看一下。

四、待实现功能

  • 多表联合查询

  • 快捷hash分表

  • 日志、性能、结构、安全的优化

你可能感兴趣的:(go,golang,开发语言,后端)

  • Long类型前后端数据不一致 igotyback 前端
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
  • 第四天旅游线路预览——从换乘中心到喀纳斯湖 陟彼高冈yu 基于Googleearthstudio的旅游规划和预览旅游
    第四天：从贾登峪到喀纳斯风景区入口，晚上住宿贾登峪；换乘中心有4路车，喀纳斯①号车，去喀纳斯湖，路程时长约5分钟；将上面的的行程安排进行动态展示，具体步骤见”Googleearthstudio进行动态轨迹显示制作过程“、“Googleearthstudio入门教程”和“Googleearthstudio进阶教程“相关内容，得到行程如下所示：Day4-2-480p
  • Goolge earth studio 进阶4——路径修改与平滑 陟彼高冈yu Googleearthstudio进阶教程旅游
    如果我们希望在大约中途时获得更多的城市鸟瞰视角。可以将相机拖动到这里并创建一个新的关键帧。camera_target_clip_7EarthStudio会自动平滑我们的路径，所以当我们通过这个关键帧时，不是一个生硬的角度，而是一个平滑的曲线。camera_target_clip_8路径上有贝塞尔控制手柄，允许我们调整路径的形状。右键单击，我们可以选择“平滑路径”，这是默认的自动平滑算法，或者我们可
  • Google earth studio 简介 陟彼高冈yu 旅游
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
  • python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ
    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
  • SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • Low Power概念介绍-Voltage Area 飞奔的大虎
    随着智能手机，以及物联网的普及，芯片功耗的问题最近几年得到了越来越多的重视。为了实现集成电路的低功耗设计目标，我们需要在系统设计阶段就采用低功耗设计的方案。而且，随着设计流程的逐步推进，到了芯片后端设计阶段，降低芯片功耗的方法已经很少了，节省的功耗百分比也不断下降。芯片的功耗主要由静态功耗（staticleakagepower）和动态功耗(dynamicpower)构成。静态功耗主要是指电路处于等
  • 【Git】常见命令(仅笔记) 好想有猫猫 GitLinux学习笔记git笔记elasticsearchlinuxc++
    文章目录创建/初始化本地仓库添加本地仓库配置项提交文件查看仓库状态回退仓库查看日志分支删除文件暂存工作区代码远程仓库使用`.gitigore`文件让git不追踪一些文件标签创建/初始化本地仓库gitinit添加本地仓库配置项gitconfig-l#以列表形式显示配置项gitconfiguser.name"ljh"#配置user.namegitconfiguser.email"[email protected]
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • Java面试题精选：消息队列(二) 芒果不是芒 Java面试题精选javakafka
    一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • Python算法L5：贪心算法 小熊同学哦 Python算法算法python贪心算法
    Python贪心算法简介目录Python贪心算法简介贪心算法的基本步骤贪心算法的适用场景经典贪心算法问题1.**零钱兑换问题**2.**区间调度问题**3.**背包问题**贪心算法的优缺点优点：缺点：结语贪心算法（GreedyAlgorithm）是一种在每一步选择中都采取当前最优或最优解的算法。它的核心思想是，在保证每一步局部最优的情况下，希望通过贪心选择达到全局最优解。虽然贪心算法并不总能得到全
  • springboot+vue项目实战一-创建SpringBoot简单项目 苹果酱0567 面试题汇总与解析springboot后端java中间件开发语言
    这段时间抽空给女朋友搭建一个个人博客，想着记录一下建站的过程，就当做笔记吧。虽然复制zjblog只要一个小时就可以搞定一个网站，或者用cms系统，三四个小时就可以做出一个前后台都有的网站，而且想做成啥样也都行。但是就是要从新做，自己做的意义不一样，更何况，俺就是专门干这个的，嘿嘿嘿要做一个网站，而且从零开始，首先呢就是技术选型了，经过一番思量决定选择-SpringBoot做后端，前端使用Vue做一
  • Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net 佛一脚 errorreactmongodb数据库
    背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
  • uniapp map组件自定义markers标记点 以对_ uni-app学习记录uni-appjavascript前端
    需求是根据后端返回数据在地图上显示标记点，并且根据数据状态控制标记点颜色，标记点背景通过两张图片实现控制{{item.options.labelName}}exportdefault{data(){return{storeIndex:0,locaInfo:{longitude:120.445172,latitude:36.111387},markers:[//标点列表{id:1,//标记点idin
  • 怎么做才能真正限制塑料袋的使用？ BalNews
    Environmentalpollutionisalwaysamajorlivelihoodissue.Morethanadecadeago,ourgovernmenthadintroducedapolicyaboutrestrictionsontheuseofplasticbags,wecallitrestrictionsontheuseofplasticbags.Butmorethan10ye
  • Python实现下载当前年份的谷歌影像 sand&wich python开发语言
    在GIS项目和地图应用中，获取最新的地理影像数据是非常重要的。本文将介绍如何使用Python代码从Google地图自动下载当前年份的影像数据，并将其保存为高分辨率的TIFF格式文件。这个过程涉及地理坐标转换、多线程下载和图像处理。关键功能该脚本的核心功能包括：坐标转换：支持WGS-84与WebMercator投影之间转换，以及处理中国GCJ-02偏移。自动化下载：多线程下载地图瓦片，提高效率。图像
  • 笋丁网页自动回复机器人V3.0.0免授权版源码 希希分享 软希网58soho_cn源码资源笋丁网页自动回复机器人
    笋丁网页机器人一款可设置自动回复，默认消息，调用自定义api接口的网页机器人。此程序后端语言使用Golang，内存占用最高不超过30MB，1H1G服务器流畅运行。仅支持Linux服务器部署，不支持虚拟主机，请悉知！使用自定义api功能需要有一定的建站基础。源码下载：https://download.csdn.net/download/m0_66047725/89754250更多资源下载：关注我。安
  • 博客网站制作教程 2401_85194651 javamaven
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
  • 深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发 系统架构系统架构负载均衡nginx
    一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
  • 计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php课程设计vue.js
    该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
  • 微信小程序开发注意事项 jun778895 微信小程序小程序
    微信小程序开发是一个融合了前端开发、用户体验设计、后端服务（可选）以及微信小程序平台特性的综合性项目。这里，我将详细介绍一个典型的小程序开发项目的全过程，包括项目规划、设计、开发、测试及部署上线等各个环节，并尽量使内容达到或超过2000字的要求。一、项目规划1.1项目背景与目标假设我们要开发一个名为“智慧校园助手”的微信小程序，旨在为学生提供一站式校园生活服务，包括课程表查询、图书馆座位预约、食堂
  • 非对称加密算法————RSA理论及详情 hu19930613
    转自：https://www.kancloud.cn/kancloud/rsa_algorithm/48484一、一点历史1976年以前，所有的加密方法都是同一种模式：（1）甲方选择某一种加密规则，对信息进行加密；（2）乙方使用同一种规则，对信息进行解密。由于加密和解密使用同样规则（简称"密钥"），这被称为"对称加密算法"（Symmetric-keyalgorithm）。这种加密模式有一个最大弱点
  • 思考成长 丁昆朋
    这篇文章是加紧赶出来“应付”日更，一方面不想要再晚睡了；另一方面不想失去日更达人的称号，只能坐下来匆忙写下一点文字。既然标题是成长，先来总结一下这段时间的收获：1、整理箱子站着可以看电脑，坐着反而是一种享受，减少了坐着腰酸背痛的现象；2、使用讯飞输入法大大增加自己的输出量；3、Anaconda+“pythontutor.com"+Google算是简单入门python；4、英语的阅读文章能力、听力提
  • 效率神器来了：AI工具手把手教你快速提升工作效能 kkai人工智能 人工智能学习媒体aichatgpt
    随着科技的进步，AI工具已经成为提升工作效率的关键手段。本文将介绍一些实用的AI工具和方法，帮助你自动化繁琐的重复性任务、优化数据管理、促进团队协作与沟通，并提升决策质量。背景：OOPAI-免费问答学习交流-GPT自动化重复性任务Zapier：Zapier可以自动化多个应用程序之间的工作流程。例如，它能自动将Gmail中的附件保存至GoogleDrive，或在你发布新文章时，自动分享至社交媒体平台
  • Ubuntu18.04 Docker部署Kinship(Django)项目过程 Dante617
    1Docker的安装https://blog.csdn.net/weixin_41735055/article/details/1003551792下载镜像dockerpullprogramize/python3.6.8-dlib下载的镜像里包含python3.6.8和dlib19.17.03启动镜像dockerrun-it--namekinship-p7777:80-p3307:3306-p55
  • Golang语言基础知识点总结 最帅猪猪侠 golang开发语言后端
    Golang语言基础知识点小总结1.go语言有两大类型：值类型：数值类型，bool，string，数组，struct结构体变量直接存储值，内存通常在栈中分配,修改值,不会对源对象产生影响引用类型：指针，slice切片，管道chan，map，interface变量存储的是一个地址，这个地址对应的空间才真正存储数据值，内存通常在堆上分配，当没有任何变量引用这个地址时，该地址对应的数据空间就成为一个垃圾
  • 多线程编程之卫生间 周凡杨 java并发卫生间线程厕所
    如大家所知，火车上车厢的卫生间很小，每次只能容纳一个人，一个车厢只有一个卫生间，这个卫生间会被多个人同时使用，在实际使用时，当一个人进入卫生间时则会把卫生间锁上，等出来时打开门，下一个人进去把门锁上，如果有一个人在卫生间内部则别人的人发现门是锁的则只能在外面等待。问题分析：首先问题中有两个实体，一个是人，一个是厕所，所以设计程序时就可以设计两个类。人是多数的，厕所只有一个（暂且模拟的是一个车厢）。
  • How to Install GUI to Centos Minimal sunjing linuxInstallDesktopGUI
    http://www.namhuy.net/475/how-to-install-gui-to-centos-minimal.html   I have centos 6.3 minimal running as web server. I’m looking to install gui to my server to vnc to my server. You can insta
  • Shell 函数 daizj shell函数
    Shell 函数 linux shell 可以用户定义函数，然后在shell脚本中可以随便调用。 shell中函数的定义格式如下： [function] funname [()]{ action; [return int;] } 说明： 1、可以带function fun() 定义，也可以直接fun() 定义,不带任何参数。 2、参数返回
  • Linux服务器新手操作之一 周凡杨 Linux 简单 操作
    1.whoami      当一个用户登录Linux系统之后，也许他想知道自己是发哪个用户登录的。      此时可以使用whoami命令。      [ecuser@HA5-DZ05 ~]$ whoami       e
  • 浅谈Socket通信（一） 朱辉辉33 socket
    在java中ServerSocket用于服务器端，用来监听端口。通过服务器监听，客户端发送请求，双方建立链接后才能通信。当服务器和客户端建立链接后，两边都会产生一个Socket实例，我们可以通过操作Socket来建立通信。    首先我建立一个ServerSocket对象。当然要导入java.net.ServerSocket包    ServerSock
  • 关于框架的简单认识 西蜀石兰 框架
    入职两个月多，依然是一个不会写代码的小白，每天的工作就是看代码，写wiki。 前端接触CSS、HTML、JS等语言，一直在用的CS模型，自然免不了数据库的链接及使用，真心涉及框架，项目中用到的BootStrap算一个吧，哦，JQuery只能算半个框架吧，我更觉得它是另外一种语言。 后台一直是纯Java代码，涉及的框架是Quzrtz和log4j。 都说学前端的要知道三大框架，目前node.
  • You have an error in your SQL syntax; check the manual that corresponds to your 林鹤霄
    You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option,changed_ids  ) values('0ac91f167f754c8cbac00e9e3dc372
  • MySQL5.6的my.ini配置 aigo mysql
    注意：以下配置的服务器硬件是：8核16G内存    [client]   port=3306   [mysql]   default-character-set=utf8     [mysqld]   port=3306   basedir=D:/mysql-5.6.21-win
  • mysql 全文模糊查找 便捷解决方案 alxw4616 mysql
    mysql 全文模糊查找 便捷解决方案 2013/6/14 by 半仙 [email protected] 目的: 项目需求实现模糊查找. 原则: 查询不能超过 1秒. 问题: 目标表中有超过1千万条记录. 使用like '%str%' 进行模糊查询无法达到性能需求. 解决方案: 使用mysql全文索引. 1.全文索引 : MySQL支持全文索引和搜索功能。MySQL中的全文索
  • 自定义数据结构 链表(单项 ,双向,环形) 百合不是茶 单项链表双向链表
         链表与动态数组的实现方式差不多,    数组适合快速删除某个元素    链表则可以快速的保存数组并且可以是不连续的       单项链表;数据从第一个指向最后一个   实现代码:        //定义动态链表 clas
  • threadLocal实例 bijian1013 javathreadjava多线程threadLocal
    实例1： package com.bijian.thread; public class MyThread extends Thread { private static ThreadLocal tl = new ThreadLocal() { protected synchronized Object initialValue() { return new Inte
  • activemq安全设置—设置admin的用户名和密码 bijian1013 javaactivemq
            ActiveMQ使用的是jetty服务器, 打开conf/jetty.xml文件，找到 <bean id="adminSecurityConstraint" class="org.eclipse.jetty.util.security.Constraint"> <p
  • 【Java范型一】Java范型详解之范型集合和自定义范型类 bit1129 java
    本文详细介绍Java的范型，写一篇关于范型的博客原因有两个，前几天要写个范型方法(返回值根据传入的类型而定)，竟然想了半天，最后还是从网上找了个范型方法的写法；再者，前一段时间在看Gson, Gson这个JSON包的精华就在于对范型的优雅简单的处理，看它的源代码就比较迷糊，只其然不知其所以然。所以，还是花点时间系统的整理总结下范型吧。   范型内容 范型集合类 范型类
  • 【HBase十二】HFile存储的是一个列族的数据 bit1129 hbase
    在HBase中，每个HFile存储的是一个表中一个列族的数据，也就是说，当一个表中有多个列簇时，针对每个列簇插入数据，最后产生的数据是多个HFile，每个对应一个列族，通过如下操作验证   1. 建立一个有两个列族的表   create 'members','colfam1','colfam2'   2. 在members表中的colfam1中插入50*5
  • Nginx 官方一个配置实例 ronin47 nginx 配置实例
    user www www; worker_processes 5; error_log logs/error.log; pid logs/nginx.pid; worker_rlimit_nofile 8192; events { worker_connections 4096;} http { include conf/mim
  • java-15.输入一颗二元查找树，将该树转换为它的镜像， 即在转换后的二元查找树中，左子树的结点都大于右子树的结点。 用递归和循环 bylijinnan java
    //use recursion public static void mirrorHelp1(Node node){ if(node==null)return; swapChild(node); mirrorHelp1(node.getLeft()); mirrorHelp1(node.getRight()); } //use no recursion bu
  • 返回null还是empty bylijinnan javaapachespring编程
    第一个问题，函数是应当返回null还是长度为0的数组（或集合）？ 第二个问题，函数输入参数不当时，是异常还是返回null？ 先看第一个问题 有两个约定我觉得应当遵守： 1.返回零长度的数组或集合而不是null（详见《Effective Java》） 理由就是，如果返回empty，就可以少了很多not-null判断： List<Person> list
  • [科技与项目]工作流厂商的战略机遇期 comsci 工作流
          在新的战略平衡形成之前，这里有一个短暂的战略机遇期，只有大概最短6年，最长14年的时间，这段时间就好像我们森林里面的小动物，在秋天中，必须抓紧一切时间存储坚果一样，否则无法熬过漫长的冬季。。。。         在微软，甲骨文，谷歌，IBM,SONY
  • 过度设计-举例 cuityang 过度设计
    过度设计，需要更多设计时间和测试成本，如无必要，还是尽量简洁一些好。 未来的事情，比如 访问量，比如数据库的容量，比如是否需要改成分布式  都是无法预料的 再举一个例子，对闰年的判断逻辑： 　　1、 if($Year%4==0) return True; else return Fasle; 　　2、if (   ($Year%4==0  &am
  • java进阶，《Java性能优化权威指南》试读 darkblue086 java性能优化
    记得当年随意读了微软出版社的.NET 2.0应用程序调试，才发现调试器如此强大，应用程序开发调试其实真的简单了很多，不仅仅是因为里面介绍了很多调试器工具的使用，更是因为里面寻找问题并重现问题的思想让我震撼，时隔多年，Java已经如日中天，成为许多大型企业应用的首选，而今天，这本《Java性能优化权威指南》让我再次找到了这种感觉，从不经意的开发过程让我刮目相看，原来性能调优不是简单地看看热点在哪里，
  • 网络学习笔记初识OSI七层模型与TCP协议 dcj3sjt126com 学习笔记
      协议：在计算机网络中通信各方面所达成的、共同遵守和执行的一系列约定 　　计算机网络的体系结构：计算机网络的层次结构和各层协议的集合。 　　两类服务： 　　面向连接的服务通信双方在通信之前先建立某种状态，并在通信过程中维持这种状态的变化，同时为服务对象预先分配一定的资源。这种服务叫做面向连接的服务。 　　面向无连接的服务通信双方在通信前后不建立和维持状态，不为服务对象
  • mac中用命令行运行mysql dcj3sjt126com mysqllinuxmac
    参考这篇博客：http://www.cnblogs.com/macro-cheng/archive/2011/10/25/mysql-001.html  感觉workbench不好用（有点先入为主了）。 1，安装mysql 在mysql的官方网站下载 mysql 5.5.23 http://www.mysql.com/downloads/mysql/，根据我的机器的配置情况选择了64
  • MongDB查询（1）——基本查询[五] eksliang mongodbmongodb 查询mongodb find
    MongDB查询 转载请出自出处：http://eksliang.iteye.com/blog/2174452 一、find简介 MongoDB中使用find来进行查询。 API:如下 function ( query , fields , limit , skip, batchSize, options ){.....}  参数含义： query:查询参数 fie
  • base64，加密解密 经融加密，对接 y806839048 经融加密对接
    String data0 = new String(Base64.encode(bo.getPaymentResult().getBytes(("GBK")))); String data1 = new String(Base64.decode(data0.toCharArray()),"GBK"); // 注意编码格式，注意用于加密，解密的要是同
  • JavaWeb之JSP概述 ihuning javaweb
      什么是JSP？为什么使用JSP？ JSP表示Java Server Page，即嵌有Java代码的HTML页面。使用JSP是因为在HTML中嵌入Java代码比在Java代码中拼接字符串更容易、更方便和更高效。   JSP起源    在很多动态网页中，绝大部分内容都是固定不变的，只有局部内容需要动态产生和改变。  如果使用Servl
  • apple watch 指南 啸笑天 apple
    1. 文档 WatchKit Programming Guide（中译在线版 By @CocoaChina） 译文 译者 原文 概览 - 开始为 Apple Watch 进行开发 @星夜暮晨 Overview - Developing for Apple Watch 概览 - 配置 Xcode 项目 - Overview - Configuring Yo
  • java经典的基础题目 macroli java编程
    1.列举出 10个JAVA语言的优势 a:免费，开源，跨平台(平台独立性)，简单易用，功能完善，面向对象，健壮性，多线程，结构中立，企业应用的成熟平台, 无线应用 2.列举出JAVA中10个面向对象编程的术语 a:包，类，接口，对象，属性，方法，构造器，继承，封装，多态，抽象，范型 3.列举出JAVA中6个比较常用的包 Java.lang;java.util;java.io;java.sql;ja
  • 你所不知道神奇的js replace正则表达式 qiaolevip 每天进步一点点学习永无止境纵观千象regex
    var v = 'C9CFBAA3CAD0'; console.log(v); var arr = v.split(''); for (var i = 0; i < arr.length; i ++) { if (i % 2 == 0) arr[i] = '%' + arr[i]; } console.log(arr.join('')); console.log(v.r
  • [一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics) superlxw1234 hivehive分析表hive统计信息hive Statistics
    关键字：Hive统计信息、分析Hive表、Hive Statistics   类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。   表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等；   14.1 新表的统计信息 对于一个新创建
  • Spring Boot 1.2.5 发布 wiselyman spring boot
        Spring Boot 1.2.5已在7月2日发布，现在可以从spring的maven库和maven中心库下载。   这个版本是一个维护的发布版，主要是一些修复以及将Spring的依赖提升至4.1.7(包含重要的安全修复)。   官方建议所有的Spring Boot用户升级这个版本。   项目首页 | 源
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他