PLONK + PLOOKUP

1. 引言

在区块链网络中，交易经年不断积累，因此区块链的存储量不断无限增长。在Dusk Network中，自举时间线性增长，且受零知识证明验证计算量的限制。在适当的时候，这意味着自举可能需要几天甚至几周的时间。

这就是为什么我们正在研究一个全新的自举过程，使加入网络的新节点能够快速与最新状态同步。使用此过程，新节点不需要验证单个交易，这将导致自举时间为分钟/小时，而不是天/周。

为此，Dusk Network中设计了一个过程，使client能将相应交易证明的计算委托给某server，而不暴露相应的secret key。整个委托过程，使得我们能拥有超轻的类似Metamask的钱包，同时能使用协议所提供的所有功能。在具体实现过程中，将设定多个常量，如：

• length of the epoch
• length of the bid/stake lock-up time

Dusk-network团队在PLOOKUP的实现上取得了重大进展，可将现有的gadgets与PLOOKUP集成，减少gadgets中门的数量。同时，Dusk-network团队也将致力于实现新的gadgets，这种新的gadgets必须依赖于PLOOKUP。

PLOOKUP的主要价值在于：

• 可加速现有circuit的proving time；
• 为线下的附加创新特性提供了基础，如recursive proof verification。

PLONK+PLOOKUP用于circuit证明，底层关键技术点涉及有：

• 1）PLONK的核心技术为：grand product check

• 2）PLOOKUP的核心技术为：multiset-equality check

• 3）circuit证明中常用到：permutation check

• 4）PLOOKUP中引入了：Table lookup

接下来将介绍这些底层关键技术之间的关系。

2. Grand product check VS Multiset-equality check

PLONK的核心技术为：

• grand product check

所谓grand product check，是指：

• public info：commitments to polynomials $f,g$ over a finite field $\mathbb{F}$，及 a subset $H=\{x_1,\cdots ,x_n\}\subset \mathbb{F}$
• private info：多项式$f,g$。
• 待证明relation：${\prod }_{i\in [n]}{a}_i={\prod }_{i\in [n]}{b}_i$，其中$a_i=f(x_i),b_i=g(x_i)$。

在PLONK论文中指出，当$H$为a multiplicative subgroup时，可高效实现相应证明。

此文讨论的长为$n$的vector $a$，在协议的实际实现中，均为Prover会对多项式$f$进行commit，其中$f(x_i)=a_i$。

PLOOKUP的核心技术为：

• multiset-equality check

借助少量的randomness，可将grand product check 转换为更强大的primitive——the multiset equality check：

• 已知两个vector $a=(a_1,\cdots ,a_n),b=(b_1,\cdots ,b_n)$，check两者是否具有相同的元素，计算相应的重复值，顺序可以不对应。

如 $(1,1,2,3)$ 与 $(2,1,1,3)$ 是multiset-equal的，但是与$(1,2,3,3)$或$(1,1,2,4)$都不是 multiset-equal的。

2.1 由 multiset-equality check 到 grand product check

Verifier发送随机值$\gamma \in \mathbb{F}$，然后run the grand product check on the randomly shifted vectors $a^{\prime }=a+\gamma ,b^{\prime }=b+\gamma$（即对所有元素都加$\gamma$。）

这样，就可将multiset-equality check转换为 如下grand product check：
${\prod }_{i\in [n]}(a_i+\gamma )={\prod }_{i\in [n]}(b_i+\gamma )$

3. Permutation check VS Multiset check

Permutation是指：

• public info：permutation $\sigma :[n]\to [n]$
• private info：$a,b$
• 待证明relation：$b=\sigma (a)$，即对于每一个$i$，有$b_i=a_{\sigma (i)}$。

关于为何permutation checks为SNARKs的核心组成，查看PLONK及其它SNARK论文便可知。

3.1 由 permutation check 到 multiset check

观察以下vectors of pairis：
$((a_i,i){)}_{i\in [n]}$ 和 $(b_i,\sigma (i){)}_{i\in [n]}$

当且仅当$b=\sigma (a)$时，以上两者为multiset-equal的。

但是，我们希望可reduce为multiset check on vectors of elements，而不是vectors of pairs。为此，引入随机值$\beta$，定义新的vector $a^{\prime },b^{\prime }$ 为：
$a_i^{\prime }=a_i+\beta \cdot i,b_i^{\prime }=b_i+\beta \cdot \sigma (i)$

若以上vectors of pairs为 not multiset equal的，则大概率$a^{\prime }$和$b^{\prime }$也不是multiset equal的。
因此，仅需对$a^{\prime }$ 和 $b^{\prime }$ 做multiset check就足够了。

3.2 由 permutation check 到 grand product check

在Stephanie Bayer和Jens Groth 2012年论文《Efficient Zero-Knowledge Argument for Correctness of a Shuffle》中，首次实现了 由permutation check 到 grand product check 的reduction，详细可参看系列博客：

• Efficient Zero-Knowledge Argument for Correctness of a Shuffle学习笔记（1）
• Efficient Zero-Knowledge Argument for Correctness of a Shuffle学习笔记（2）
• Efficient Zero-Knowledge Argument for Correctness of a Shuffle学习笔记（3）

4. Table lookup VS Multiset check

table lookup 操作是 zk-SNARK实现中的一个非常有用的操作。

以XOR举例，假设有3个vectors of field elements $a=(a_1,\cdots ,a_n),b=(b_1,\cdots ,b_n),c=(c_1,\cdots ,c_n)$，想要check：
对于每一个$i\in [n]$，$a_i,b_i,c_i$均为8-bit string，且 $c_i=a_i\oplus b_i$，其中$\oplus$为bitwise XOR。

传统的SNARK方案需要很多arithmetic constraints：
需要对于每一组tuple $(a_i,b_i,c_i)$分解为二进制位表示，然后再进行bitwise XOR。

而借助Lookup table，相应的解决方案变为：

• 1）预计算XOR操作对应的truth table $T$。$T$的长度为：$2^8\ast 2^8=2^{16}$，包含了3个向量$(T_1,T_2,T_3)$之间的关系。【可将$T$看成是矩阵，其每行元素为tuple $(T_1,T_2,T_3)$，共有$2^{16}$行，且其中$(T_{1,i},T_{2,i},T_{3,i})$ 遍历所有可能的输入/输出组合。】相应的结构体设计可为：

/// Construct a Generic lookup table over a bi-variate function
pub struct Generic(HashMap<(Fr, Fr), Fr>); //以两个输入组合为Key，以输出结果为value

【注意，在SNARK上下文中，$a,b,c$通常对应的是witness polynomials for which only for some $i$'s we wish to check a XOR relation。
具体实现可参见PLOOKUP论文section 4.1节的方法：
借助“selectors” 来combine different tables and gates。【借助selectors $j$，实际实现的就是按不同的门类型（不同的逻辑操作）统一归类。】
详细也可参看博客 PLOOKUP 中 “6. 扩展为多个多项式$f_1,\cdots ,f_w\in {\mathbb{F}}_{<n}[X]$同一位置元素 对应 特定 lookup tables 关系证明”。
其中的$j$即为相应的selectors。

注意，在plookup论文中，selector $j$ 被定义为public的，但是在实际做circuit证明时，selector $j$ 应为private的。实际实现的规则，可参看ultra-plonk论文。（源自 Plonk cafe的 Strategies for integrating plookup with PLONK 中的讨论。）
】

• 2）Reduce tuples to single elements
  为了证明每一个tuple $(a_i,b_i,c_i)$ 对应为 $T$中的某一行：
  借助randomness来reduce checking tuples to checking single elements。引入random $\alpha$，构建vector $f_i=a_i+\alpha \cdot b_i+{\alpha }^2\cdot c_i$ for each $i\in [n]$。类似的，也为truth table $T$构建相应的压缩版本$t$，其中$t_i=T_{1,i}+\alpha \cdot T_{2,i}+{\alpha }^2\cdot T_{3,i}$。
  根据Schwartz-Zippel Lemma可知，若某tuple $(a_i,b_i,c_i)$不在$T$中，则大概率$f_i$不是$t$中的元素。

• 3）plookup protocol中的sort and compare differences【reduce为2个multiset check】
  至此，问题转换为了：
  check that every element of $f$ is an element of $t$。
  将其表示为$f\subset t$。
  在plookup protocol中，可将其reduce为 one multiset equality check，reduce的核心思想在于：
  若有2个vector的sorted version，且两者的第一个元素是一样的，则有：they contain the same distinct elements if and only if they contain the same sequence of non-zero differences between adjacent elements。
  举个例子：有$f=(2,2,1,1,5),t=(1,2,5)$，Prover构建$s=(f,t)$ sorted by $t$，此处有$s=(1,1,1,2,2,2,5,5)$。【注意，sorted by $t$操作可保证 elements in $s$ in the same order they appear in $t$。】
  $s,t$对应的difference vector为：$s^{\prime }=(0,0,1,0,0,3,0),t^{\prime }=(1,3)$。
  由此可知，若$f\subset t$，则$s^{\prime }$中的非零元素与$t^{\prime }$中的非零元素一一对应。
  给$t^{\prime }$后面附加$|f|$个零，表示为$t^{\prime \prime }=(1,3,0,0,0,0,0)$。
  此时可简单reduce为2个multiset check：
  <1> $s$和$(f,t)$之间的multiset check；【可说明$f\subset s$，以及$t\subset s$。】
  <2> $s^{\prime }$和$t^{\prime \prime }$之间的multiset check。
  条件<1>可说明 $t\subset s$，若$s$中包含a value outside of $t$，则意味着$s$中有more than $|t|$ distinct values。但是，条件<2>可说明$s^{\prime }$有 at most $|t|-1$ non-zeros。因此，若条件<1>和条件<2>都满足，可说明$s$有 at most $|t|$ distinct values，从而可说明$s\subset t$。由$f\subset s,s\subset t$，从而有$f\subset t$。

• 4）借助randomness，实现效率更高的版本【reduce为仅需1个multiset check】
  Verifier选择random $\beta$。
  $s,t$对应的randomized difference vectors $s^{\prime },t^{\prime }$为：$s_i^{\prime }=s_i+\beta s_{i+1},t_i^{\prime }=t_i+\beta t_{i+1}$。
  此时可reduce为一个multiset check：即$s^{\prime }$和$((1+\beta )f,t^{\prime })$之间的multiset check。
  为了更便于理解，可将每个元素看成是formal polynomial in $\beta$，而不是field elements。从而可知，$s^{\prime }$中的元素为degree one polynomial $s_i+s_{i+1}\cdot \beta$。
  a) 若$s_i\ne s_{i+1}$，则说明$s_i+s_{i+1}\cdot \beta$应在$t^{\prime }$中，与某$t_j+t_{j+1}\cdot \beta$相同。从而说明$s\subset t$。
  b) 每一个$f_i+f_i\cdot \beta$ 必须与$s^{\prime }$中的某值相同，即对应某$s_j=s_{j+1}$。从而说明$f\subset s$。
  根据a) 和 b) ，从而证明了$f\subset t$。
  根据Schwartz-Zippel Lemma可知，这些comparisons between formal polynomials in $\beta$ with high probability will not differ from the comparisons from the comparisons of the actual elements for the random choice of $\beta$。

5. Plonk和Plookup异同点

Plonk和Plookup的共性是，均为：

• argument that two sequences are related by a permutation

但是，Plonk和Plookup使用sequence的方式不同：

• Plonk使用长为$n$的sequence来表示最多有$n$个门和相应的input/output wires。
• Plookup使用长为$n+d$的sequence来表示$d$ queries to a lookup table with $n$ rows。

Plonk和Plookup中均使用了：

• a (different) sequence of length $n$ as part of their grand product argument.

Plonk为：

• a SNARK (Succinct Non-interactive Argument of Knowledge)。
• 可验证computation done by an arithmetic circuit。
• 针对circuit $C$，witness $x$，构建Plonk proof证明$C(x)=y$。

Plookup为：

• a SNARK component。
• 通过构建特定函数的lookup table，可实现某些类型circuit的高效构建，从而降低circuit的复杂度，使得该SNARK的复杂度仅取决于the size of the function’s domain。

5.1 Hash proof + Plookup

Hash函数是可利用plookup来实现circuit简化的一个很棒的例子：

• 可简化电路；
• 可缩短Prover time；
• 可缩短Verifier time；
• 可减少proof size。

在computer架构下，大多数被认为安全的Hash函数运算都是快速的；其中的某些在软件实现上也运算很快。但是无论哪种情况，这些Hash函数都是基于binary strings来执行的。当encode为约256-bit的field elements时，存在以下问题：

• encode效率低下（需用很大的field element数值来表示很小的string值）。
• 需要使用大量的门来表示（以XOR为例，本可以加法和乘法mod p就能表示，当若以arithmetic circuit形式来表示时将非常复杂）

5.2 recursive SNARK without cycles + Plookup

借助Plookup，即使曲线不具备cycles属性，也将支持arithmetic over different fields运算，从而实现recursive SNARK。

SNARK中所使用到的大多数曲线，都是定义在域${\mathbb{Z}}_p$中的，其中每个point可表示为：
$P=(x,y)$，其中$x,y\in {\mathbb{Z}}_p$

point $P$具有的order为$q$，即将相应的scalar field表示为${\mathbb{Z}}_q$。

在构建arithmetic circuit SNARK时，加法门和乘法门都是基于scalar field ${\mathbb{Z}}_q$来运算的，即$\mathrm{m}\mathrm{o}\mathrm{d}q$。其中$p,q$为不同的素数。

因此，使用不具有cycles属性的曲线来构建recursive SNARK的难点在于：

• 仅根据addition and multiplication $\mathrm{m}\mathrm{o}\mathrm{d}q$来表达相应的addition and multiplication $\mathrm{m}\mathrm{o}\mathrm{d}p$。【如，仅根据addition and multiplication $\mathrm{m}\mathrm{o}\mathrm{d}7$，无法定义addition $\mathrm{m}\mathrm{o}\mathrm{d}5$。】

参考资料

[1] Plonk cafe的 Strategies for integrating plookup with PLONK
[2] Dmitry Khovratovich的hackmd笔记 Plonk and PLookup
[3] metastate的 On PLONK and plookup
[4] dusk network的 Audit Plookup Branch #358
[5] tezosagora的 On PLONK and plookup SNARKs
[6] aztec的研究论文系列
[7] Dusk的开发月报
[8] hackmd的 Multiset checks in PLONK and Plookup