E1.1 Go语言实现超大文本文件按行排序和去重复 -- 准备工作：文件行数与平均字符数预览

给文本文件按行为单位进行排序和去除重复行，是文本处理任务中非常常见的，尤其是对超大文本文件的排序和去重，由于所需空间可能超出计算机内存的大小，无法一次性加载进内存进行简单的处理，因此是一个有挑战性的难题：既要保证能够处理，又要保证处理速度快。本文就是为此做准备，首先实现预览超大文本文件，统计总行数和平均每行的字符数，并且为了便于增加直观的了解，增加了预览前100行的功能。

本例中，使用了第三方包github.com/topxeq/tk，该包中有不少实用的函数，我们在以后也将会经常用到。可以用下述命令安装该包。

go get -v github.com/topxeq/tk

本文例子代码中已经加了很多代码内注释，注意Go语言从C语言发展而来，一定程度上可以看成C语言的超级加强版，因此在注释的语法上和C/C++语言是一致的，都支持“//”开始的单行注释，和“/*...*/”包起来的多行注释。

本文中的代码可以在github.com/topxeq/goexamples/preview1中找到，可以用

go get -v github.com/topxeq/goexamples/preview1

命令获取，也可以直接用

go get -v github.com/topxeq/goexamples

命令获取所有例子代码后。获取后，到GOPATH目录下找到该子目录（如果GOPATH是C:\goprjs，则最终代码包目录为C:\goprjs\src\github.com/topxeq/goexamples/preview1），在该目录下运行下述命令即可执行，

go run preview1.go test1.txt

其中test1.txt是准备预览的超大文本文件。

代码如下：

package main

import (

    "bufio"

    "io"

    "os"

    "strings"

    // 本例中使用了第三方包tk，可用go get -v github.com/topxeq/tk命令安装

    "github.com/topxeq/tk"

)

func main() {

    // 获取第1个命令行参数（实际上是第二个命令行参数，可执行文件名是第1个，序号为0）

    fileNameT := tk.GetParameterByIndexWithDefaultValue(os.Args, 1, "")

    // 如果命令行参数中没有指定文件名则报错

    if fileNameT == "" {

        tk.Pl("文件名不能为空")

        // 等待用户输入（可以输入任意字符，回车键结束）

        tk.GetUserInput("按回车键退出……")

        return

    }

    // 打开文件

    fileT, errT := os.Open(fileNameT)

    if errT != nil {

        tk.Pl("打开文件%v时发生错误：%v。", fileNameT, errT)

        tk.Pl("请按回车键结束处理……")

        tk.GetUserInput("按回车键退出……")

        return

    }

    // 保证关闭文件（在函数退出时会执行该条语句）

    defer fileT.Close()

    // 创建读取文件的缓冲式读取器

    readerT := bufio.NewReader(fileT)

    // 记录总行数

    countT := 0

    // 记录总字符数

    totalLenT := 0

    // 循环读取文件中的每一行

    for true {

        strT, errT := readerT.ReadString('\n')

        // 如果出现错误则中止循环

        if errT != nil {

            // 错误有可能是到达文件末尾，此时正常终止循环

            if errT == io.EOF {

                strT = strings.TrimRight(strT, "\r\n")

                if countT < 100 {

                    tk.Pl("%v: %v", countT+1, strT)

                }

                totalLenT += len(strT)

                countT++

            }

            break

        }

        // 去除行尾可能存在的\r和\n字符（Windows中的文本文件一般的行尾结束符是连续的\r\n两个字符）

        strT = strings.TrimRight(strT, "\r\n")

        // 100行以内会输出预览，并输出行号

        if countT < 100 {

            tk.Pl("%v: %v", countT+1, strT)

        }

        // 增加总字符数和总行数

        totalLenT += len(strT)

        countT++

    }

    tk.Pl("共%v行，平均每行%v个字符。", countT, totalLenT/countT)

    tk.GetUserInput("按回车键退出……")

    return

}

除了代码的内部文档注释，再补充说明如下：

-> tk.Pl函数类似于fmt.Printf函数，但多输出一个回车换行；

-> tk.GetUserInput函数用于获取用户输入，本例中实际上等待一个回车后好再退出程序；这是为了直接双击该程序可执行文件运行的情况下，如果没有该条语句，CMD窗口会在程序退出时直接一闪消失，导致看不清程序的输出，因此增加的便捷功能；

-> defer关键字是Go语言中的特性之一，其特点是：保证defer后面的语句（同一行内，一般为一个函数）可以在任何情况下都可以被执行，无论是函数正常退出还是异常中止。如果定义了多条defer语句，则会在正常或异常退出所在的函数时按定义时的反向顺序执行，即先定义的后执行；

-> 本例中使用了bufio包中定义的Reader类，可以保证用缓冲的方式读取，写文件时也可以用缓冲的方式，保护一下硬盘；

-> 用bufio.Reader.ReadString函数读取到的字符串，会包含最后的行结束符“\r\n”（Linux系统下只有\n），因此需要用strings.TrimRight函数去除行尾的这两个字符，注意该函数第二个参数是指要截取的所有字符，即每个字符都会被从行尾去除掉，而不是按顺序的两个字符去除；

这段代码执行的示例截图如下：

注意，为了演示效果清晰，本例中的代码仅输出了前十行预览。可以看出，该超大文本文件包含4千多万行，平均每行约20个字符，因此总大小在1G左右。