Go分布式爬虫学习笔记(十一)

11_Go mod

问题来源

• 引入三方库过多,形成复杂的依赖关系
• 依赖过多
• 多重依赖
• 依赖冲突
• 依赖回圈

Go依赖管理演进

• 1.5: GOPATH
• Godep
• Glide
• Vendor
• 1.11: Go mod引进
• 1.13: Go mod成为主流

GOPATH

• 默认路径

• 查看

  • go env
  • go env gopath

• 内部

  go/
  ├── bin
  ├── pkg
  └── src
  

  • bin: 存储通过go install安装的二进制文件

    • 操作系统使用$PATH​环境变量来查找不需要完整路径即可执行的二进制应用程序
    • 添加$GOPATH/bin​到全局$PATH​变量中

  • pkg: 目录下会有一个文件夹（文件名根据操作系统的不同而有所不同，例如在 Mac 操作系统下为 darwin_amd64）存储预编译的 obj 文件，以加快程序的后续编译。大多数开发人员不需要访问此目录。

    • pkg 下的 mod 文件会存储 Go Modules 的依赖。

  • src 目录下存储项目的 Go 代码。通常包含多个由 Git 管理的存储库，每个存储库中都包含一个或多个 package，每个 package 有多个目录，每个目录下都包含一个或多个 Go 源文件。

    • 在 Go 的早期版本中，可以使用 go get 指令从 GitHub 或其他地方获取 Go 项目代码。这时程序会默认将代码存储到​ $GOPATH/src ​​目录下。

• 演进

  • 2015 年，Go1.5 版本首次实验性地加入了 Vendor 机制。项目的所有第三方依赖都可以存放在当前项目的 Vendor 目录下，再也不用为了应用不同版本的依赖对 GOPATH 环境变量“偷梁换柱”了，Go 编译器优先感知和使用 Vendor 目录下缓存的第三方包。

  • vgo

    • R: Russ Cox博客 vgo vgo源码 vgo-module

    • 主要思路

      • 语义版本控制
      • 最小版本选择
      • 引入 Go Modules

    • 2018 年 5 月，Russ Cox 的提案被接收，此后 vgo 代码被并入了 Go 主干，并正式命名为 Modules。

  • 2018 年 8 月，Go 1.11 发布，Modules 作为官方试验一同发布。

  • 2019 年 9 月，Go1.13 发布，只要目录下有 go.mod 文件，Go 编译器都会默认使用 Modules 来管理依赖。同时，新版本还添加了 GOPROXY、GOSUMDB、GOPRIVATE 等多个与依赖管理有关的环境变量。

‍

Go Modules

• 历史问题

  • 能不能让 Go 工程代码脱离 GOPATH？
  • 能否处理版本依赖问题并且自动选择最兼容的依赖版本？
  • 能否在本地管理依赖项，自定义依赖项？

• import 路径问题: Go Modules 可以通过在 go.mod 文件中指定模块名来解决这一问题。mod文件第一行指定模块名。

• 代码捆绑和版本控制问题: Go 官方的 Go Modules 提供了一种可以在文件中同时维护直接和间接依赖项的集成解决方案。一个特定版本的依赖项也被叫做一个模块（moudle），一个模块是一系列指定版本的 package 的集合。

  • 如何查找并把所有依赖包下载下来?
  • 某个包下载失败怎么办?
  • 所有项目之间如何进行依赖的传导?
  • 如何选择一个最兼容的包?
  • 如何解决包的冲突?
  • 如何在项目中同时引入第三方包的两个版本?

• 为了加快构建程序的速度，快速切换、获取项目中依赖项的更新，Go 维护了下载到本地计算机上的所有模块的缓存，缓存目前默认位于 $GOPATH/pkg/mod 目录下
  打开后会看到各个模块及其版本信息
  ​[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aMFcPAOk-1679673376808)(https://assets.b3logfile.com/siyuan/1658627274984/assets/image-20230322083435-fyttdvf.png)]​

Go Modules实践

• 初始化

• R: 1.17后加速依赖拉去和编译特性

• 引入第三方模块

• 下载第三方模块

• 更新第三方模块

  • 修改mod文件

    require github.com/dreamerjackson/mydiv latest 
    //或
    require github.com/dreamerjackson/mydiv master 
    

  • 将指定 commit Id 复制到末尾

    require github.com/dreamerjackson/mydiv c9a7ffa8112626ba6c85619d7fd98122dd49f850。
    

  • 在终端的当前项目中，运行 go get github.com/dreamerjackson/mydiv​​。

  • 使用上面任一方式保存文件后，再次运行 go mod tidy，版本即会进行更新。

  • go.sum 中不仅存储了直接和间接的依赖，还存储了过去的版本信息。

• replace: 将依赖的模块替换为另一个模块，例如由公共库替换为内部私有仓库

  • replace 还可以用于本地调试场景，这时我们可以将依赖的第三方库替换为本地代码，便于进行本地调试。

• exclude: 排除某一模块特定的版本
  如果当前项目中，exclude指令与require指令对应的版本相同，那么 go get 或 go mod tidy 指令将查找高一级的版本。

• retract: 不依赖指定模块的版本或版本范围。
  当版本发布得太早，或者版本发布之后发现严重问题时，撤回指令就很有用了。
  例如，对于模块example.com/m，假设我们错误地发布了 v1.0.0 版本后想要撤销。这时，我们就需要发布一个新的版本，tag 为v1.0.1 。

• 依赖移除:
  当我们不想使用此第三方包时，可以直接在代码中删除无用的代码
  接着执行go mod tidy, 会发现 go.mod 和 go.sum 又空空如也了。

‍「此文章为3月Day11学习笔记，内容来源于极客时间《Go分布式爬虫实战》，强烈推荐该课程！/推荐该课程」

‍