第十课 go语言基础-文件操作、json序列化、单元测试
第十课 go语言基础-文件操作、json序列化、单元测试
tags:
- golang
- 2019尚硅谷
categories:
- 文件操作
- json序列化
- 反序列化
- 单元测试
文章目录
- 第十课 go语言基础-文件操作、json序列化、单元测试
- 第一节 文件操作
- 1.1 文件的基本介绍
- 1.2 打开文件和关闭文件
- 1.3 读取文件显示
- 1.4 写入文件操作
- 1.5 判断文件是否存在
- 1.6 拷贝文件Copy
- 1.7 统计英文、数字、空格和其他字符数量
- 第二节 命令参数和序列化
- 2.1 命令行参数
- 2.2 JSON序列化
- 2.3 JSON反序列化
- 第三节 单元测试
- 3.1 传统的方式测试
- 3.2 单元测试框架-testing
- 3.3 单元综合案例
第一节 文件操作
1.1 文件的基本介绍
- 文件,对我们并不陌生，文件是数据源(保存数据的地方)的一种,比如大家经常使用的word文档,txt文件,excel文件…都是文件。文件最主要的作用就是保存数据，它既可以保存一张图片，也可以保持视频，声音…
- 文件在程序中是以流的形式来操作的。
- 流:数据在数据源(文件)和程序(内存)之间经历的路径
- 输入流:数据从数据源(文件)到程序(内存)的路径(读文件)
- 输出流:数据从程序(内存)到数据源(文件)的路径(写文件)
- Golang中有一个包，os. File封装所有文件相关操作，File 是一个结构体。它绑定一些文件操作的方法。
注意：后面我们操作文件，会经常使用到os.File 结构体
1.2 打开文件和关闭文件
- 使用的函数和方法 os.Open. 返回是file机构体的指针类型(文件句柄)
- 关闭文件。os.Close()
package main
import (
"fmt"
"os"
)
func main(){
// 打开一个文件
// file对象 或 file指针 或 file文件句柄
file, err := os.Open("d:/test.txt")
if err != nil{
fmt.Printf("打开文件出错:%v", err)
}
// 打开成功 我们看一下 file是什么
fmt.Printf("file的内容:\n %v", file)
// 关闭文件 标准方法
err = file.Close()
if err != nil{
fmt.Printf("关闭文件出错:%v", err)
}
}
1.3 读取文件显示
- 读取文件的内容并显示在终端(带缓冲区的方式)，使用下面函数和方法
- os.Open, file.Close
- bufio.NewReader)
- reader. ReadString
package main
import (
"fmt"
"os"
"bufio"
"io"
)
func main(){
file, err := os.Open("d:/test.txt")
if err != nil{
fmt.Printf("打开文件出错:%v", err)
}
// 当函数退出时及时关闭file
defer file.Close() // 否则会有内存泄露
// 创建一个Reader 这里是带缓冲的 默认的缓冲大小为4096字节
// 可以处理比较大的文件
reader := bufio.NewReader(file)
// 循环读取文件的内容
for {
str, err := reader.ReadString('\n') // 一次读到换行结束
if err == io.EOF{ //io.EOF 文件末尾
break
}
//输出内容
fmt.Print(str)
}
fmt.Println("文件读取结束。。。")
}
- 读取文件的内容并显示在终端( 一次将整个文件读入到内存中),这种方式适用于文件不大的情况。相关方法和函数
- ioutil. ReadFile 返回[]byte 通过string()转一下正确显示内容
- 没有显式的open文件，因此也不需要显式的close文件.文件的Open和Close被封装到ReadFile函数内部。不用我们手动关闭
package main
import (
"fmt"
"io/ioutil"
)
func main(){
//使用ioutil.ReadFile一次性将文件读取到位 返回byte切片
file := "d:/test.txt"
content, err := ioutil.ReadFile(file)
if err!=nil{
fmt.Printf("read file err=%v", err)
}
//把读取到的内容显示到终端
//fmt.Printf("%v", content) // []byte
fmt.Printf( "%v", string(content)) // []byte
//我们没有显式的open文件，因此也不需要显式的close文件
//因为，文件的Open和Close被封装到ReadFile 函数内部
}
1.4 写入文件操作
- os.OpenFile函数. FIleMode主要在liunx上生效，windows不生效。
- 说明: os.OpenFile是一个更一般性的文件打开函数，它会使用指定的选项(如O_RDONLY等)、指定的模式(如0666等)打开指定名称的文件。如果操作成功，返回的文件对象可用于I/O。如果出错，错误底层类型是PathError.
- 新建文件写入内容。os.O_WRONLY|os.O_CREATE
package main
import (
"fmt"
"bufio"
"os"
)
func main(){
// 创建一个新文件,写入内容5句"hello, QnHyn"
// 1.打开文件d:/abc.txt
filePath := "d:/abc.txt"
file, err := os.OpenFile(filePath, os.O_WRONLY|os.O_CREATE, 0666)
if err!=nil{
fmt.Printf("open file err=%v\n", err)
return
}
//及时关闭file句柄
defer file.Close()
//准备写入5句"hello, Gardon
str := "hello, QnHyn\n" // \n表示换行
//写入时，使用带缓存的*Writer
writer := bufio.NewWriter(file)
for i:=0;i<5;i++{
writer.WriteString(str)
}
//因为writer是带缓存，因此在调用writerstring方法时，其实
//内容是先写入到缓存的，所以需要调用Flush方法,将缓冲的数据真正写入到文件中，
//否则文件中会 没有数据!!!
writer.Flush()
}
- 打开一个存在的文件中，将原来的内容覆盖成新的内容。os.O_WRONLY|os.O_TRUNC
- 打开一个存在的文件，在原来的内容追加内容。 os.O_WRONLY|os.O_APPEND
- 打开一个存在的文件， 将原来的内容读出显示在终端。并且追加。os.O_RDWR|os.O_APPEND
package main
import (
"fmt"
"bufio"
"os"
"io"
)
func main(){
filePath := "d:/abc.txt"
// os.O_RDWR 读写方式打开
file, err := os.OpenFile(filePath, os.O_RDWR|os.O_APPEND, 0666)
if err!=nil{
fmt.Printf("open file err=%v\n", err)
return
}
//及时关闭file句柄
defer file.Close()
reader := bufio.NewReader(file)
// 循环读取文件的内容
for {
str, err := reader.ReadString('\n') // 一次读到换行结束
if err == io.EOF{ //io.EOF 文件末尾
break
}
//输出内容
fmt.Print(str)
}
//准备写入5句"hello, 追加一些内容"
str := "hello, 追加一些内容\n" // \n表示换行
//写入时，使用带缓存的*Writer
writer := bufio.NewWriter(file)
for i:=0;i<5;i++{
writer.WriteString(str)
}
//因为writer是带缓存，因此在调用writerstring方法时，其实
//内容是先写入到缓存的，所以需要调用Flush方法,将缓冲的数据真正写入到文件中，
//否则文件中会 没有数据!!!
writer.Flush()
}
- 两个已经存在的文件，将一个文件的内容，写入到另外一个文件。使用ioutil. ReadFile / ioutil.WriteFile完成写文件的任务.(一次性不需要显性打开关闭)
package main
import (
"fmt"
"io/ioutil"
)
func main(){
//将d:/abc.txt文件内容导入到e:/kkk.txt
//1.首先将d:/abc.txt 内容读取到内存
//2.将读取到的内容写入e:/kkk. txt
file1Path := "d:/abc.txt"
file2Path := "e:/kkk.txt"
data, err := ioutil.ReadFile(file1Path)
if err!=nil{
fmt.Printf("读取文件=%v\n", err)
return
}
err = ioutil.WriteFile(file2Path, data, 0666)
if err!=nil{
fmt.Printf("写入文件=%v\n", err)
return
}
}
1.5 判断文件是否存在
- golang判断文件或文件夹是否存在的方法为使用os.Stat()函数返回的错误值进行判断:
- 如果返回的错误为nil,说明文件或文件夹存在
- 如果返回的错误类型使用os.IsNotExist()判断为true,说明文件或文件夹不存在
- 如果返回的错误为其它类型,则不确定是否在存在
func PathExists(path string) (bool, error) {
_, err := os.Stat(path)
if err== nil {//文件或者目录存在
return true, nil
}
if os.IsNotExist(err) {
return false, nil
}
return false, err
}
1.6 拷贝文件Copy
- 将一张图片/电影/mp3拷贝到另外一个文件e:/abc.jpg
- io包中Copy函数
package main
import (
"fmt"
"os"
"io"
)
//自己编写一个函数，接收两个文件路径srcFileName dstFileName
func CopyFile(dstFileName string, srcFileName string) (written int64, err error) {
srcFile, err := os.Open(srcFileName)
if err != nil{
fmt.Printf("打开源文件错误:%v", err)
return
}
defer srcFile.Close()
//通过srcfile, 获取到Reader
//打开dstFileName
dstFile, err := os.OpenFile(dstFileName, os.O_WRONLY|os.O_CREATE, 0666)
if err != nil{
fmt.Printf("打开目标文件错误:%v", err)
return
}
//通过dstFile,获取到Writer
defer dstFile.Close()
return io.Copy(dstFile, srcFile)
}
func main(){
//将d:/flower.jpg文件拷贝到e:/abc.jpg
//调用CopyFile完成文件拷贝
srcFile := "E:/flower.jpg"
dstFile := "F:/abc.jpg"
_, err := CopyFile(dstFile, srcFile)
if err != nil{
fmt.Printf("复制错误:%v", err)
}else{
fmt.Printf("复制完成")
}
}
1.7 统计英文、数字、空格和其他字符数量
package main
import (
"fmt"
"os"
"io"
"bufio"
)
//定义一个结构体，用于保存统计结果
type CharCount struct{
ChCount int //记录英文个数
NumCount int //记录数字的个数
SpaceCount int //记录空格的个数
OtherCount int //记录其它字符的个数
}
func main(){
//思路:打开一个文件,创一个Reader
//每读取一行，就去统计该行有多少个英文、数字、空格和其他字符
//然后将结果保存到一个结构体
fileName := "d:/abc.txt"
file, err := os.Open(fileName)
if err != nil{
fmt.Printf("打开文件错误%v", err)
return
}
defer file.Close()
//定义个CharCount 实例
var count CharCount
//创建一个Reader
reader := bufio.NewReader(file)
for {
str, err := reader.ReadString('\n')
if err == io.EOF{ //读到文件末尾就退出
break
}
//为了兼容中文字符,可以将str 转成[]rune
//str1 := []rune(str)
//遍历str，进行统计
for _, v := range str{
switch{
case v >= 'a' && v <='z':
fallthrough // 穿透
case v >= 'A' && v <= 'Z':
count.ChCount += 1
case v == ' ' || v == '\t':
count.SpaceCount++
case v >='0' && v <= '9':
count.NumCount++
default :
count.OtherCount++
}
}
}
//输出统计的结果看看是否正确.
fmt.Printf("字符的个数为=%v数字的个数为=%v空格的个数为=%v其它字符个数=%v",
count.ChCount, count.NumCount, count.SpaceCount, count.OtherCount)
}
第二节 命令参数和序列化
2.1 命令行参数
- 获取到命令行输入的各种参数。os.Args是一个string的切片，用来存储所有的命令行参数。
package main
import (
"fmt"
"os"
)
// 运行go run main.go qnhyn 66 aini
func main(){
fmt.Println("命令行参数有:", len(os.Args))
for i, v := range os.Args{
fmt.Printf("Args[%v]=%v\n", i, v)
}
}
- flag 包用来解析命令行参数。
- 说明:前面的方式是比较原生的方式，对解析参数不是特别的方便，特别是带有指定参数形式的命令行。
- 比如: cmd>main.exe -f c:/aaa.txt -p 200 -u root这样的形式命令行，go 设计者给我们提供了flag包，可以方便的解析命令行参数，而且参数顺序可以随意
- 转换，必须调用该方法 flag.Parse()
package main
import (
"fmt"
"flag"
)
func main(){
//定义几个变量，用于接收命令行的参数值
var user string
var pwd string
var host string
var port int
//&user就是接收用户命令行中输入的-u后面的参数值
//"u" ,就是-u 指定参数
//"",默认值
//"用户名，默认为空"说明
flag.StringVar(&user, "u", "" ,"用户名，默认为空")
flag.StringVar(&pwd, "pwd", "", "密码,默认为空")
flag.StringVar(&host, "h", "localhost", "主机名，默认为localhost")
flag.IntVar(&port, "port", 3306, "端口号，默认为3306")
//这里有一个非常重要的操作，转换，必须调用该方法
flag.Parse()
//输出结果 go run main.go -u root -pwd "123456" -h "127.0.0.1" -port 88
fmt.Printf("user=%v pwd=%v host=%v port=%v",
user, pwd, host, port )
}
2.2 JSON序列化
- JSON(JavaScript Object Notation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。key-val，目前已经成为主流的数据格式
- JSON易于机器解析和生成，并有效地提升网络传输效率,通常程序在网络传输时会先将数据(结构体、map等)序列化成json字符串，到接收方得到json字符串时，在反序列化恢复成原来的数据类型(结构体、map等)。这种方式已然成为各个语言的标准。
- json数据在线解析 ： https://www.json.cn/
- json序列化是指，将有key-value结构的数据类型(比如结构体、map、切片)序列化成json字符串的操作。
- 对于结构体的序列化，如果我们希望序列化后的key的名字，又我们自己重新制定,那么可以给struct指定一个tag标签.
package main
import (
"fmt"
"encoding/json"
)
type Monster struct{
Name string `json:"monster_name"`
Age int `json:"monster_age"`
Birthday string
Sal float64
Skill string
}
// 结构体序列化
func testStruct(){
monster := Monster{
Name :"牛魔王",
Age : 500,
Birthday : "2011-11-11",
Sal : 8000.0,
Skill : "牛魔拳",
}
// 将monster序列化
data, err := json.Marshal(&monster)
if err != nil{
fmt.Printf("序列化失败:%v\n", err)
}
fmt.Printf("机构体monster序列化后结果:%v\n", string(data))
}
//将map进行序列化
func testMap(){
//定义一个map
var a map[string]interface{}
//使用map,需要make
a = make(map[string]interface{})
a["name"]= "红孩儿"
a["age"]= 30
a["address"] = "洪崖洞"
// 将Map序列化
data, err := json.Marshal(a)
if err != nil{
fmt.Printf("序列化失败:%v\n", err)
}
fmt.Printf("Map a序列化后结果:%v\n", string(data))
}
//演示对切片进行序列化,我们这个切片[]map[string]interface{}
func testSlice(){
var slice []map[string]interface{}
var m1 map[string]interface{}
m1 = make(map[string]interface{})
//使用map前，需要先make
m1["name"] = "jack"
m1["age"] = "7"
m1["address"] = "北京"
slice = append(slice, m1)
var m2 map[string]interface{}
//使用map前, 需要先make
m2 = make(map[string]interface{})
m2["name"] = "tom"
m2["age"]= "20"
m2["address"] = [2]string{"墨西哥","夏威夷"}
slice = append(slice, m2)
// 将切片序列化
data, err := json.Marshal(slice)
if err != nil{
fmt.Printf("序列化失败:%v\n", err)
}
fmt.Printf("Slice序列化后结果:%v\n", string(data))
}
//对基本数据类型序列化，对基本数据类型进行序列化意义不大
func testFloat64(){
var numl float64 = 2345.67
//对numl进行序列化
data, err := json.Marshal(numl)
if err != nil{
fmt.Printf("序列化失败:%v\n", err)
}
fmt.Printf("float64序列化后结果:%v\n", string(data))
}
func main(){
testStruct()
testMap()
testSlice()
testFloat64()
}
2.3 JSON反序列化
- json反序列化是指，将json字符串反序列化成对应的数据类型(比如结构体、map、切片)的操作
- 在反序列化一个json字符串时,要确保反序列化后的数据类型和原来序列化前的数据类型一致。如果json字符串是通过程序获取到的，则不需要再对“转义处理。
package main
import (
"fmt"
"encoding/json"
)
type Monster struct{
Name string `json:"monster_name"`
Age int `json:"monster_age"`
Birthday string
Sal float64
Skill string
}
// 结构体反序列化
func unmarshalStruct(){
// 说明str在项目开发中，是通过网络传输获取到..或者是读取文件获取到
str := "{\"monster_name\":\"牛魔王\",\"monster_age\":500,\"Birthday\":\"2011-11-11\",\"Sal\":8000,\"Skill\":\"牛魔拳\"}"
var monster Monster
err := json.Unmarshal([]byte(str), &monster)
if err != nil{
fmt.Printf("反序列化失败:%v\n", err)
}
fmt.Printf("反序列化后monster=%v monster.Name=%v\n", monster, monster.Name)
}
//将map进行反序列化
func unmarshalMap(){
str := "{\"address\":\"洪崖洞\",\"age\":30,\"name\":\"红孩儿\"}"
//定义一个map
var a map[string]interface{}
//注意:反序列化map,不需要make,因为make操作被封装到Unmarshal函数
err := json.Unmarshal([]byte(str), &a)
if err != nil{
fmt.Printf("反序列化失败:%v\n", err)
}
fmt.Printf("反序列化后a=%v\n", a)
}
//演示对切片进行反序列化,我们这个切片[]map[string]interface{}
func unmarshalSlice(){
str := "[{\"address\":\"北京\",\"age\":\"7\",\"name\":\"jack\"}," +
"{\"address\":[\"墨西哥\",\"夏威夷\"],\"age\":\"20\",\"name\":\"tom\"}]"
var slice []map[string]interface{}
//反序列化，不需要make,因为make操作被封装到Unmarshal函数
err := json.Unmarshal([]byte(str), &slice)
if err != nil{
fmt.Printf("反序列化失败:%v\n", err)
}
fmt.Printf("反序列化后a=%v\n", slice)
}
func main(){
unmarshalStruct()
unmarshalMap()
unmarshalSlice()
}
第三节 单元测试
3.1 传统的方式测试
- 传统的方式来进行测试。在main函数中，调用addUpper函数，看看实际输出的结果是否和预期的结果一致，如果一致，则说明函数正确，否则函数有错误，然后修改错误。
- 传统方法的缺点分析
- 不方便,我们需要在main函数中去调用，这样就需要去修改main函数，如果现在项目正在运行，就可能去停止项目。
- 不利于管理，因为当我们测试多个函数或者多个模块时，都需要写在main函数，不利于我们管理和清晰我们思路
- 引出单元测试。->testing测试框架可以很好解决问题。
package main
import (
"fmt"
)
// 一个被测试的函数
func addUpper(n int) int{
res := 0
for i:=0; i <= n; i++{
res += i
}
return res
}
func main(){
//传统的测试方法，就是在main函数中使用看看结果是否正确
res := addUpper(10) // 1.+ 10 = 55
if res != 55{
fmt.Printf("addupper错误返回值=%v期望值=%v\n", res, 55)
}else{
fmt.Printf("addupper正确返回值=%v期望值=%v\n", res, 55)
}
}
3.2 单元测试框架-testing
- Go语言中自带有一个轻量级的测试框架testing和自带的gotest命令来实现单元测试和性能测试，testing框架和其他语言中的测试框架类似，可以基于这个框架写针对相应函数的测试用例，也可以基于该框架写相应的压力测试用例。
- 确保每个函数是可运行，并且运行结果是正确的
- 确保写出来的代码性能(时间)是好的，
- 单元测试能及时的发现程序设计或实现的逻辑错误，使问题及早暴露，便于问题的定位解决，而性能测试的重点在于发现程序设计上的一些问题，让程序能够在高并发的情况下还能保持稳定.
- 使用Go的单元测试，对addUpper函数进行测试。
package main
import (
"testing"
)
// cal_test.go cal.go中有addUpper函数
// 编写测试用例, 测试addUpper是否正确
func TestAddUpper(t *testing.T){
res := addUpper(10) // 1.+ 10 = 55
if res != 55{
t.Fatalf("addupper错误返回值=%v期望值=%v\n", res, 55)
}
t.Logf("addupper正确返回值=%v期望值=%v\n", res, 55)
}
- 测试用例文件名必须以 _test.go 结尾。 比如cal_test.go , cal 不是固定的。
- 测试用例函数必须以Test开头，一般来说就是Test+被测试的函数名，比如TestAddUpper
- TestAddUpper(t tesing.T)的形参类型必须是testing.T
- 一个测试用例文件中，可以有多个测试用例函数，比如TestAddUpper、TestSub
- 运行测试用例指令
- (1) cmd> go test [如果运行正确， 无日志，错误时，会输出日志]
- (2) cmd> go test -v [运 行正确或是错误，都输出日志]
- 当出现错误时，可以使用t.Fatalf来格式化输出错误信息，并退出程序
- t.Logf方法可以输出相应的日志
- 测试用例函数，并没有放在main函数中，也执行了，这就是测试用例的方便之处.
- PASS表示测试用例运行成功，FAIL表示测试用例运行失败
- 测试单个文件，一定要带上被测试的原文件
- go test -v cal_test.go cal.go
- 测试单个方法(函数)
- go test -v -test.run TestAddUpper
3.3 单元综合案例
- 编写一个Monster结构体,字段Name, Age, Skill
- 给Monster绑定方法Store,可以将一个Monster变量(对象),序列化后保存到文件中
- 给Monster绑定方法ReStore,可以将一个序列化的Monster,从文件中该取，并反序列化为Monster对象检查反序列化，名字正确
- 编程测试用例文件store_test.go ,编写测试用例函数TestStore和TestRestore进行测试。
// monster_test.go
package monster
import (
"testing"
)
func TestStore(t *testing.T){
//先创建-一个Monster 实例
monster := &Monster{
Name : "红孩儿",
Age :10,
Skill : "吐火",
}
res := monster.Store()
if !res{
t.Fatalf("monster.Store()错误，希望为=%v实际为=%v", true, res)
}
t.Logf("monster.Store()测试成功!")
}
func TestReStore(t *testing.T){
//测试数据是很多，测试很多次，才确定函数，模块.
//先创建一个Monster 实例，不需要指定字段的值
var monster = &Monster{}
res := monster.ReStore()
if !res{
t.Fatalf("monster.ReStore()错误，希望为=%v实际为=%v", true, res)
}
//进一步判断
if monster.Name != "红孩儿" {
t.Fatalf("monster.ReStore()错误，希望为=%v实际为=%v", "红孩儿", monster.Name)
}
t.Logf("monster.Store()测试成功!")
}
// monster.go
package monster
import (
"encoding/json"
"io/ioutil"
"fmt"
)
type Monster struct{
Name string
Age int
Skill string
}
//给Monster绑定方法Store,可以将一个Monster变量(对象),序列化后保存到文件中
func (this *Monster) Store() bool{
//先序列化
data, err := json.Marshal(this)
if err != nil {
fmt.Println("marshal err =", err)
return false
}
//保存到文件.
filePath := "d:/monster.ser"
err = ioutil.WriteFile(filePath, data, 0666)
if err!=nil {
fmt.Println("write file err =", err)
return false
}
return true
}
//给Monster绑定方法ReStore,可以将一个序列化的Monster,从文件中读取，
//并反序列化为Monster对象检查反序列化, 名字正确
func (this *Monster) ReStore() bool {
//1. 先从文件中，读取序列化的字符串
filePath := "d:/monster.ser"
data, err := ioutil.ReadFile(filePath)
if err != nil {
fmt. Println("Reader file err =", err)
return false
}
//2.使用读取到data []byte ,对反序列化
err = json.Unmarshal(data, this)
if err != nil {
fmt.Println("Unmarshal err =", err)
return false
}
return true
}