maven + protobuf + gRPC + gitlab CI

最近写了一些 Java 的 gRPC, 涉及到 protobuf 和 maven 还有 gitlab CI 的问题, 整理一下.

0x00 proto 代码管理

使用 gRPC 就少不了 protobuf. proto 文件的管理和项目间共享问题, 推荐一个思路:

• 所有的 proto 文件放到一个项目里, 统一在一个 git 项目中管理
• 使用 gitlab ci 自动检查 proto 文件语法, 在 commit 的时候自动跑 ci
• 所有人使用 Merge Request 修改 proto 文件, code review

0x01 Java 项目中引用 proto 文件

Java 项目中使用 proto 文件, 建议使用 git submodule 功能, 将 protobuf 项目作为 submodule 添加到工程项目中, 仅仅 include 用到的几个文件.

maven 工程中配置如下:

    
        
            kr.motd.maven
            os-maven-plugin
            1.4.1.Final
        
    
    
        
            org.xolstice.maven.plugins
            protobuf-maven-plugin
            0.5.0
            
                
                    com.google.protobuf:protoc:${protobuf.version}:exe:${os.detected.classifier}
                
                
                grpc-java
                
                    io.grpc:protoc-gen-grpc-java:${grpc.version}:exe:${os.detected.classifier}
                
                
                ${basedir}/{your_protobuf_dir}
                
                        
                    {some_files}
                
            
            
                
                    
                        compile
                        compile-custom
                    
                
            
        
    

这样的好处有如下几点:

• 所有的代码都是 git 管理, 避免相互拷贝 proto 文件
• build 过程全部依赖 maven 实现, 无需额外脚本
• 平台无关, 通过 os-maven-plugin 插件屏蔽了 os, mac 上开发, *nix build 无障碍

0x02 gitlab ci 中 git submodule 问题

由于使用了 git submodule 功能, 导致在默认情况下 gitlab 的 ci runner 仅仅 clone 了主项目代码, 没有 submodule 的内容. 修复的办法也很简单:

1. gitlab submodule 中使用相对路径, 参见 gitlab 官方文档
2. 项目的 .gitlab-ci.yml 中添加如下变量, clone 的时候 recursive 下载 submodule 代码

variables:
  GIT_SUBMODULE_STRATEGY: recursive

总结

看上去很简单的事情, 折腾了好几个小时. 写出来大家开心一下, 开箱机用.