Polygon zkEVM递归证明技术文档（3）——代码编译及运行

前序博客见：

• Polygon zkEVM递归证明技术文档（1）【主要描述了相关工具 和 证明的组合、递归以及聚合】
• Polygon zkEVM递归证明技术文档（2）—— Polygon zkEVM架构设计

本文重点关注如何使用 Polygon zkEVM现有代码 编译生成zkEVM proofs。

5. Building zkEVM Proofs

运行proverjs来完成setup phase。在setup phase所生成的电路可根据需要多次使用。
实际生产环境，运行的是C++版本实现的prover程序。该prover程序通过GRPC API来获取特定组合proofs的信息。

5.1 预处理和初始化

5.1.1 必备条件

为验证合约，运行机器配置要求至少为16核256GB。
本文以具有16核、32线程、512GB SSD的r6a.8xlarge AWS实例为例，运行Ubuntu 22.04 LTS操作系统，每小时成本为1.82美金。

5.1.2 配置运行环境

为支持运行验证流程，需安装tmux、git和curl：

sudo apt update
sudo apt install -y tmux git cur

需修改内核配置参数来支持大内存容量：

echo " vm.max_map_count=655300" | sudo tee -a /etc/sysctl.conf
sudo sysctl -w vm.max_map_count=655300
export NODE_OPTIONS = "--max-old-space-size=230000"

需安装Node.js 18.x版本：

curl -sL " https://deb.nodesource.com/setup_18.x" -o nodesource_setup.sh
sudo bash nodesource_setup.sh
sudo apt install -y nodejs
node -v

为支持编译所需电路，需安装circom：

cd ~
git clone https://github.com/iden3/circom.git
cd circom
git checkout v2.1.4
git log --pretty=format:'%H' -n 1

相应commit hash应为：ca3345681549c859af1f3f42128e53e3e43fe5e2

使用Rust包管理和build工具——cargo，来编译和安装circom：

sudo apt install -y cargo
cargo build --release
cargo install --path circom
export PATH=$PATH:~/.cargo/bin
echo 'PATH=$PATH:~/.cargo/bin' >> ~/.profile
circom --version

proverjs中生成constants tree的代码运行效率低，为此在c++版的prover程序中集成了一个效率更高的名为bctree的工具——仅需要约8分钟即可生成constants tree：

cd ~
git clone https://github.com/0xPolygonHermez/zkevm-prover.git
cd zkevm-prover
git checkout b9179f3b870c2922b11d09462b447d0fc35dd2f9
git submodule init
git submodule update
sudo apt install -y build-essential libomp-dev libgmp-dev nlohmann-json3-dev
libpqxx-dev nasm libgrpc++-dev libprotobuf-dev grpc-proto libsodium-dev
uuid-dev libsecp256k1-dev
make -j bctree

5.1.3 预处理

执行proverjs 中的buildsetup流程，用于生成所有constants和电路。注意其中的bctree工具替换为之前编译的C++版本：

cd ~
git clone https://github.com/0xPolygonHermez/zkevm-proverjs.git
cd zkevm-proverjs
git checkout 59694e4a8a9358772c23e8110f53aee049e2d5bd
npm install
tmux -c "npm run buildsetup --bctree=../zkevm-prover/build/bctree"

整个buildsetup流程用时较长，需要约4.5小时，其中2小时用于下载powersOfTau28_hez_final.ptau文件——该文件约288GB，仅需要下载一次。

5.2 智能合约验证

通过前面预处理中的buildsetup流程，会生成验证proof的智能合约文件final.fflonk.verifier.sol。支持使用源代码 或 字节码 来验证该智能合约。

5.2.1 选项1：使用源代码来验证final.fflonk.verifier.sol合约

为验证final.fflonk.verifier.sol合约的字节码，需采用完全相同的版本、编译器和参数来编译，以确保字节码中所包含的metadata hash完全相同。如下指令使用hardhat工具来生成一个项目：

cd ~
mkdir contract
cd contract
npm init -y
npm install hardhat
mkdir -p contracts/verifiers
echo -e "module.exports={solidity:{compilers:[{version: \"0.8.17\" , settings:{optimizer:{enabled:true,runs:999999}}}]}}" > hardhat.config.js

一旦创建了项目结构，必须将之前buildsetup流程所生成的智能合约文件final.fflonk.verifier.sol（在~/zkevm-proverjs/build/proof目录下），拷贝到contracts/verifiers目录下，且合约文件名必须修改为FflonkVerifier.sol。若文件名或路径改变，则metadata hash也将修改，为此，需保证有完全相同的名字和路径。相应的操作命令为：

cp ~/zkevm-proverjs/build/proof/final.fflonk.verifier.sol contracts/verifiers/FflonkVerifier.sol
sha256sum contracts/verifiers/FflonkVerifier.sol

这样可检查FflonkVerifier.sol的输出哈希摘要准确为：60a850bd73a316d6f85bfdf05bc69ee01f84d889004e98b07847719f59e49761。

一旦检查通过，则可使用如下命令来编译合约：

npx hardhat compile

FflonkVerifier.sol合约的字节码在artifacts/contracts/verifiers/FflonkVerifier.sol/FflonkVerifier.json文件的bytecode字段内：

608060405234801561001057600080fd5b50612a
07806100206000396000f3fe6080604052348015
61001057600080fd5b506004361061002b576000
:
:
017fffffffffffffffffffffffffffffffffffff
ffffffffffffffffffffffffffe0908116603f01
1681019083821181831017156129875761298761
28aa565b81604052828152886020848701011115
6129a057600080fd5b8260208601602083013760
006020848301015280965050505050506129c884
602085016128d9565b9050925092905056fea264
6970667358221220 f7f0438c1c741f762e101c4e
ae732373046d40de3d0f2e0808e1fac1d863c78f
64736f6c63430008110033

可通过如下指令将上面的字节码拷贝到FflonkVerifier.sol.compiled.bytecode文件中：

grep bytecode artifacts/contracts/verifiers/FflonkVerifier.sol/FflonkVerifier.json |sed 's/.*"\(0x.*\)".*/\1/' > FflonkVerifier.sol.compiled.bytecode

也可以手工拷贝artifacts/contracts/verifiers/FflonkVerifier.sol/FflonkVerifier.json文件的bytecode字段到FflonkVerifier.sol.compiled.bytecode文件内。注意拷贝是不需要双引号。
然后使用哈希摘要来验证所编译字节码的完整性：

sha256sum FflonkVerifier.sol.compiled.bytecode

其结果应为：44f70b6a1548f49214027169db477f03e92492f19ac5594c648edb478316cbec。

5.2.2 选项2：通过字节码来验证final.fflonk.verifier.sol合约

下载所部署智能合约的字节码，需知道该合约的地址。本文对应的合约地址为0x4ceB990D2E2ee6d0e163fa80d12bac72C0F28D52。通过该地址，可直接到Etherscan、Blockscout或Beaconcha中获取交易字节码。

在终端上运行某些应用可能会在输入缓存溢出之前，限制其能接受的输入量。为避免该情况，可通过nano或vi来创建FflonkVerifier.sol.explorer.bytecode文件：

cd ~/contract
nano FflonkVerifier.sol.explorer.bytecode

然后将获取的交易字节码拷贝到该文件中，并与上面“选项1”中的文件比较是否完全一样，可使用diff指令：

cd ~/contract
diff FflonkVerifier.sol.compiled.bytecode FflonkVerifier.sol.explorer.bytecode

或采用哈希文件完整性验证方法：

cd ~/contract
sha256sum FflonkVerifier.sol.*.bytecode

对应的输出应为：

44f70b6a1548f49214027169db477f03e92492f19ac5594c648edb478316cbec
FflonkVerifier.sol.compiled.bytecode
44f70b6a1548f49214027169db477f03e92492f19ac5594c648edb478316cbec
FflonkVerifier.sol.explorer.bytecode

5.3 zkEVM Proving

5.3.1 Prover JS

src文件夹下的main_executor脚本，基于输入文件input.json和已编译文件rom.json，生成committed多项式commit.bin的execution trace，其中：

• rom.json文件：为zkASM编译器编译rom.zkasm文件的结果。
• input.json文件：为特定输入集合文件。

node src/main_executor <input.json> -r <rom.json> -o <commit.bin>

额外的参数还有：

• -t ：Test。
• -l ：输出日志。
• -s：跳过.pil文件编译。
• -d：debug模式。
• -p：选择某具体的PIL程序。如pilprogram.pil。
• -P：加载pilConfig.json文件。
• -u：未签名交易模式。
• -e：跳过对newStateRoot和newLocalExitRoot的断言。
• -v：Verbose详细模式。

buildall命令用作之前章节提到的所有build setup step的主要entrypoint：

npm run buildall

配套的参数有：

• --pil=：该选项用于指定编译的特定PIL文件名。如--pil=src/main.pil。
• --pilconfig=：该选项用于指定所使用的PIL配置文件名。PIL配置文件中包含了影响编译过程的各种设置和选项。如--pilconfig=config/pilconfig.json。
• --starkstruct=debug：该选项会适配PIL bits number来自动生成STARK struct。通常用于调试目的。
• --from=：指定开始build/rebuild流程的step。如--from=c12setup。
• --continue：继续上一次build所剩余的build流程。
• --step=：指定执行单个特定的build step。如--step=c12setup。
• --build=：指定所使用的build路径名。编译输出文件会存储在该build路径下。如--build=build/basic_proof。
• --input=：指定用于build流程的输入文件。如--input=test/myinputfile.json。

5.3.2 Prover C++

编译和运行zkEVM Prover的代码和指令见：

• https://github.com/0xPolygonHermez/zkevm-prover

zkEVM Prover可提供3个RPC服务：

• 1）Executor服务：调用zkEVM Prover的Executor模块来为L2交易集生成execution trace。该execution trace可用于执行完所包含的所有交易之后所生成的新状态。但是，Executor服务并不生成proof，仅生成execution trace。该服务可用于快速检查某proposed batch，或batches of transactions，是否构建正确，以及是否适于放入单个execution trace内。换句话说，是检查某batch内的交易，或多个batch，是否适于单个proof。

  • Executor服务的接口定义在：executor.proto文件内。

• 2）StateDB服务：提供了访问L2状态数据库的结构。该状态以Merkle tree root来简洁表示，且StateDB服务会提供相应的数据及其Merkle proofs。StateDB服务：

  • 供Executor服务和Aggregator服务调用。
  • 代表了当前状态的单一truth源。
  • 从中可获取account balances、nonce values、合约部署字节码、storage等等。
  • 定义在hashdb.proto文件内。

• 3）Aggregator服务：提供了zkEVM Prover所能提供的最高层服务：

  • 可为单个batch创建proof
  • 可为多个batch创建proof，只要这多个batch适于放入单个execution trace内。
  • 若提供了相邻batches的独立proofs pair，可创建aggregated proof。

  调用Aggregator服务来生成proof，该服务：

  • 使用Executor模块来生成相应的execution trace，
  • 并根据该execution trace生成所关联的committed多项式。
  • 最终根据pre-processed多项式和committed多项式来生成相应的proof。

  当调用Aggregator服务传入了相邻batches的proofs pair时，会生成aggregated proof。
  Aggregator服务的接口定义在：aggregator.proto文件内。

参考资料

[1] Polygon zkEVM技术文档 Recursion, aggregation and composition of proofs v.1.1

附录：Polygon Hermez 2.0 zkEVM系列博客

• ZK-Rollups工作原理
• Polygon zkEVM——Hermez 2.0简介
• Polygon zkEVM网络节点
• Polygon zkEVM 基本概念
• Polygon zkEVM Prover
• Polygon zkEVM工具——PIL和CIRCOM
• Polygon zkEVM节点代码解析
• Polygon zkEVM的pil-stark Fibonacci状态机初体验
• Polygon zkEVM的pil-stark Fibonacci状态机代码解析
• Polygon zkEVM PIL编译器——pilcom 代码解析
• Polygon zkEVM Arithmetic状态机
• Polygon zkEVM中的常量多项式
• Polygon zkEVM Binary状态机
• Polygon zkEVM Memory状态机
• Polygon zkEVM Memory Align状态机
• Polygon zkEVM zkASM编译器——zkasmcom
• Polygon zkEVM哈希状态机——Keccak-256和Poseidon
• Polygon zkEVM zkASM语法
• Polygon zkEVM可验证计算简单状态机示例
• Polygon zkEVM zkASM 与 以太坊虚拟机opcode 对应集合
• Polygon zkEVM zkROM代码解析（1）
• Polygon zkEVM zkASM中的函数集合
• Polygon zkEVM zkROM代码解析（2）
• Polygon zkEVM zkROM代码解析（3）
• Polygon zkEVM公式梳理
• Polygon zkEVM中的Merkle tree
• Polygon zkEVM中Goldilocks域元素circom约束
• Polygon zkEVM Merkle tree的circom约束
• Polygon zkEVM FFT和多项式evaluate计算的circom约束
• Polygon zkEVM R1CS与Plonk电路转换
• Polygon zkEVM中的子约束系统
• Polygon zkEVM交易解析
• Polygon zkEVM 审计及递归证明
• Polygon zkEVM发布公开测试网2.0
• Polygon zkEVM测试集——创建合约交易
• Polygon zkEVM中的Recursive STARKs
• Polygon zkEVM的gas定价
• Polygon zkEVM zkProver基本设计原则 以及 Storage状态机
• Polygon zkEVM bridge技术文档
• Polygon zkEVM Trustless L2 State Management 技术文档
• Polygon zkEVM中的自定义errors
• Polygon zkEVM RPC服务
• Polygon zkEVM Prover的 RPC功能
• Polygon zkEVM PIL技术文档
• Polygon zkEVM递归证明技术文档（1）
• Polygon zkEVM递归证明技术文档（2）—— Polygon zkEVM架构设计