内网环境arm操作系统编译envoy1.11的操作步骤

环境准备

需要一台arm的机器，暂时采用root方式安装。

PS：如果其他用户需要替换bazel依赖包，这里涉及到bazel依赖包软连接问题。
程序包清单如下（相关清单可以在百度网盘，下载链接: https://pan.baidu.com/s/1gt3Z6KlxnWoczp_YaRipoA 提取码: zexq ）：

bazel-dist-0.26.1.tar.gz
cmake-3.19.4.tar.gz
gcc-8.2.0.tar.xz
gmp-6.1.0.tar.xz
mpc-1.0.3.tar.gz
mpfr-3.1.4.tar.xz
isl-0.18.tar.xz
re2c-2.0.3.tar.gz
ninja-1.7.2.tar.gz
# bazel的依赖包，基于envoy1.11版本，其他版本需要自行下载，部分下载包需要翻墙才能够访问
external.tar.gz

新建2个目录

mkdir -p /root/tools/        # 放入相关程序包
mkdir -p /root/source/       # 放入envoy源码，将istio-proxy目录拷入该目录

PS：如果代码或者用户需要替换的话要修改/tmp/build/目录里面的md5值，这个后面会提到

bazel 0.26.1版本安装

源码安装，程序包bazel-dist-0.26.1.tar.gz

cd /root/tools
mkdir bazel-0.26.1
cd bazel-0.26.1
# 将bazel-dist-0.26.1.tar.gz拷入当前目录，然后解压
tar -zxvf bazel-dist-0.26.1.tar.gz
# 执行bazel编译安装，这里需要配置jdk的JAVA_HOME,否则报错
env EXTRA_BAZEL_ARGS="--host_javabase=@local_jdk//:jdk" ./compile.sh
# 安装成功后将软连接配置到/usr/bin下
ln -s /root/tools/bazel-0.26.1/output/bazel /usr/bin/bazel

cmake 3.19.4版本安装

源码安装cmake-3.19.4.tar.gz

cd /root/tools
# 将cmake-3.19.4.tar.gz拷入当前目录，然后解压
tar -zxvf cmake-3.19.4.tar.gz
cd cmake-3.19.4
# 编译安装
./bootstrap
make && make install
## 查看安装是否成功
cmake --version

gcc 8.2.0安装

需要的程序包列表：

gcc-8.2.0.tar.xz
gmp-6.1.0.tar.xz
mpc-1.0.3.tar.gz
mpfr-3.1.4.tar.xz
isl-0.18.tar.xz

将以上程序包拷入/root/tools目录下

cd /root/tools

# 安装gmp
cd /root/tools/gmp-6.1.0
./configure --prefix=/usr/local/gmp-6.1.0
make && make install

# 安装mpfr
cd /root/tools/mpfr-3.1.4
./configure --prefix=/usr/local/mpfr-3.1.4 --with-gmp=/usr/local/gmp-6.1.0
make && make install

# 安装mpc
cd /root/tools/mpc-1.0.3
./configure --prefix=/usr/local/mpc-1.0.3 --with-gmp=/usr/local/gmp-6.1.0 --with-mpfr=/usr/local/mpfr-3.1.4
make && make install

# 安装isl-0.18网上查到的大部分都是--with-gmp但是这个有问题会报错gmp.h头文件找不到，要改成--with-gmp-prefix
cd /root/tools/isl-0.18
./configure --prefix=/usr/local/isl-0.18  --with-gmp-prefix=/usr/local/gmp-6.1.0
make && make install

vim /etc/ld.so.conf
在include ld.so.conf.d/*.conf 这行下面加入如下配置
/lib
/lib64
/usr/lib
/usr/lib64
/usr/local/lib
/usr/local/lib64
/usr/local/gmp-6.1.0/lib
/usr/local/mpc-1.0.3/lib
/usr/local/mpfr-3.1.4/lib
退出

# 刷新缓存
ldconfig -v

# 安装gcc-8.2.0
cd /usr/local/src/gcc-8.2.0
mkdir build && cd build
../configure --prefix=/usr/local/gcc-8.2.0 --with-gmp=/usr/local/gmp-6.1.0 --with-mpfr=/usr/local/mpfr-3.1.4 --with-mpc=/usr/local/mpc-1.0.3 --enable-checking=release --enable-languages=c,c++ --disable-multilib
# -j 后面的数字代表cpu的核数，4c的话就写4，这样编译能快一点，一般gcc编译安装都要1，2个小时
make -j 4 && make install

# 修改环境变量
vim /etc/profile
# 结尾加入一行
export PATH=/usr/local/gcc-8.2.0/bin:$PATH
退出

重新打开窗口或者source /etc/profile
gcc -v
显示gcc 8.2.0说明安装成功

ninja 1.7.2安装

程序包：re2c-2.0.3.tar.gz、ninja-1.7.2.tar.gz

cd /root/tools
# 将re2c-2.0.3.tar.gz、ninja-1.7.2.tar.gz拷入当前目录

# 安装re2c
tar -zxvf re2c-2.0.3.tar.gz
cd /root/tools/re2c-1.0.3/
# 查看当前是否有configure，如果没有执行下面的命令，有可以直接执行./configure
autoreconf -i -W all（没有configure可以先执行Autotools）
./configure
make
make install

# 安装ninja
tar -zxvf ninja-1.7.2.tar.gz
cd /root/tools/ninja
./configure.py --bootstrap
cp ninja /usr/bin/

git2.3安装

# 需要git2.3以上版本才行，安装步骤暂时略

bazel外网依赖

依赖包：external.tar.gz

88a6967590074595e7f600e3c5004e55这个是当前envoy编译目录写入文件的md5值（如果修改envoy的目录这个md5值需要同步修改）解压到envoy编译的路径下/tmp/build/88a6967590074595e7f600e3c5004e55

mkdir -p /tmp/build/88a6967590074595e7f600e3c5004e55

# 解压bazel依赖包
cd /tmp/build/88a6967590074595e7f600e3c5004e55
tar -zxvf external.tar.gz

# 由于外网编译后有一个bazel_tools的软连接是连接到/tmp/build/install/10aa93b955a2fdcc3953bf717e363ff5这块，所以需要把之前的/tmp/build/4787974792375e1391d63983118e5df0目录下的文件都拷贝一份
mkdir -p /tmp/build/install/10aa93b955a2fdcc3953bf717e363ff5
# 把/tmp/build/4787974792375e1391d63983118e5df0目录下的文件拷到/tmp/build/install/10aa93b955a2fdcc3953bf717e363ff5下
cp /tmp/build/4787974792375e1391d63983118e5df0/* /tmp/build/install/10aa93b955a2fdcc3953bf717e363ff5/

编译envoy

mkdir -p /root/source
# 将istio-proxy代码拷入
cd /root/resource/istio-proxy
# git 初始化
git init .
git add .
git config --global user.email "[email protected]"
git config --global user.name "XX XX"
git commit -m "init commit"

#修改external_envoy目录下面编译文件.bazelrc文件，增加四行
build:release -c opt
build:release --strip=always
build:release --copt -DENVOY_IGNORE_GLIBCXX_USE_CXX11_ABI_ERROR=1
build:release --define tcmalloc=disabled

#修改external_envoy/bazel下面编译BULID文件envoy_build_system.bzl
cd istio-proxy/external_envoy/bazel
调整def _envoy_copts编译选项中的-Werror修改为-Wno-error

#修改istio-proxy目录下的Makefile，修改BAZEL_BUILD_ARGS编译选项
cd istio-proxy

调整BAZEL_BUILD_ARGS编译选项的值为下所示：
BAZEL_BUILD_ARGS ?= --config=release -c opt --fetch=false --features=pure
调整编译使用的编译器为最新安装的版本的gcc和g++
CC := /usr/local/gcc-8.2.0/bin/gcc
CXX := /usr/local/gcc-8.2.0/bin/g++

# 编译
make build_envoy

编译时间比较长，观察编译结果

FAQ

1. 当出现依赖bazel_tools和envoy包找不到或者不存在时，报错误如下图所示时：
    - 出现原因：
    没有在tmp/bulid的external目录下面，创建对应的bazel_tools和envoy的软连接
    - 解决办法:
    创建对应的软连接:
    cd /tmp/build/88a6967590074595e7f600e3c5004e55/external
    ln -s /tmp/build/install/3bf05f491d03a17ecdb487f537d4c587/_embedded_binaries/embedded_tools      bazel_tools
    ln -s /root/source/istio-proxy/external_envoy   envoy

1620461518500.png

2. 当出现基础库文件未定义时，报错信息如图所示：
    - 出现原因：
    gcc安装不正确，或者与编译bazel的gcc版本上存在差异，版本过低或过高
    - 解决办法：
    获取正确的gcc版本，重新安装。并将usr/lib/libstdc++.so动态库文件，用新版本的替代。

1620461571879.png