PLOOKUP

1. 引言

Aztec团队Gabizon和Williamson 2020年论文 plookup: A simplified polynomial protocol for lookup tables。

代码实现参见：

• https://github.com/kevaundray/plookup
• https://github.com/neidis/plonk-plookup

视频介绍参见：

• Youtube视频 zkSummit: plookup: Speeding up the PLONK prover

针对的场景为：

• Prover 对 a polynomial $f\in {\mathbb{F}}_{<n}[X]$ over a multiplicative subgroup $H\subset \mathbb{F}$ of size $n$ 进行commit；
• Prover 对该多项式$f$进行evaluation：$f_1=f(x_1),\cdots ,f_n=f(x_n)$。
• Prover 提供相应的proof，证明$f_1,\cdots ,f_n$值均在$t\in {\mathbb{F}}^d$表内。

本文可看成是Bootle等人2018年论文《Arya: Nearly linear-time zero-knowledge proofs for correct program execution》的简化版，且当$d\le n$时，性能可能有所提升。

• 在Bottle的Arya论文中，要求对多个degree为$d\cdot \log n$的辅助多项式进行commit；
• 而本文仅需要对3个degree为$n$的多项式进行commit，当$d$与$n$相当时，相应的commitment可小很多。

一个常用的应用场景可为：

• “batch range proof”，即验证所有的$f$’s values on $H$ 均在$[0,\cdots ,M]$范围内。

本文为"batch range proof"这种特殊应用场景设计了一个稍微优化了的协议。

2. Why lookup table?

当想用zk-SNARK来证明如AES-128或SHA-256这样的标准primitive时，若采用native SNARK language来表达时，对应为大量low degree equations over a large prime field。这些primitives被认为是“SNARK unfriendly”的。因为存在大量的开销用于如bitwise XOR或AND等位分解（bit decomposition）操作。
因此，有相关研究致力于寻找仅需基于native field operations的STARK friendly和SNARK friendly的 hash 函数和对称primitives：

• Grassi等人2019年论文《Starkad and poseidon: New hash functions for zero knowledge proof systems》
• Aly等人2019年论文《Efficient symmetric primitives for advanced cryptographic protocols (A marvellous contribution)》
• Albrecht等人2016年论文《Mimc: Efficient encryption and cryptographic hashing with minimal multiplicative complexity》
• Albrecht等人2019年论文《 Algebraic cryptanalysis of stark-friendly designs: Application to marvellous and mimc》

本文主要关注的是：

• 将常用的合法（输入、输出）组合，precompute一个相应的lookup table。然后Prover仅需要证明相应的witness values存在该table中即可。

借助randomness，可将其reduce为looking up single field elements instead of tupples。

假设looup table中的值为 $\{t_i{\}}_{i\in [d]}$，witness值为 $\{f_i{\}}_{i\in [n]}$时，对于：
$F(X):={\prod }_{i\in [n]}(X-f_i),G(X):={\prod }_{i\in [d]}(X-t_i)$
转为证明多项式$F(X),G(X)$忽略多重性的话，两者具有相同的根。所谓多重性是指，存在某些非负整数，可将$F(X)$表示为$F(X)={\prod }_{i\in [d]}(X-t_i{)}^{e_i}$。

在Bootle等人的Arya论文中，提供了上述问题的解决方案——通过repeatedly checking that field elements correspond to certain convenient sparse representations of boolean strings。
在Arya论文中，为证明$F(X)={\prod }_{i\in [d]}(X-t_i{)}^{e_i}$，需要以下两种commitment：

• commit to a vector of length $d\log n$。在该vector 中的值为$(x-t_i{)}^{2^j}$，其中$i\in [d],j\in [\log n]$，$x\in \mathbb{F}$为random verifier challenge。
• commit to the binary decomposition of the $\{e_i\}$。

而本文提供了相对更简单的方法，不再需要明确证明相应的多重性（即无需证明相应的$\{e_i\}$）。

本文以$f\subset t$来表示$\{f_i{\}}_{i\in [n]}\subset \{t_i{\}}_{i\in [d]}$。

以$t=\{1,4,8\},f=\{4,1,8,1,8,8\}$，详细的解决思路为：

• 将$\{f_i\}$排序（根据$t$的顺序排序）为：$s=\{1,1,4,8,8,8\}$。
• 计算$s$和$t$的非零difference set，均为$\{3,4\}$。【sequence $(f_1,f_2,\cdots f_n)$的difference set的计算方式为：$(f_2-f_1,f_3-f_2,\cdots ,f_n-f_{n-1})$，非零difference set是将其中的零差值移除。】【若$f\subset t$，且$t$中的每个元素都至少在$f$中出现了1次，则$s$和$t$有完全相同的非零difference set。但是反之不成立，如$s^{\prime }=\{1,5,5,5,8,8\}$的非零difference set也为$\{3,4\}$，但是$s^{\prime }\subset t$并不成立。】
• 引入随机值 $\beta \in \mathbb{F}$，对difference set进行randomized：$\{t_i+\beta t_{i+1}{\}}_{i\in [d-1]}$，$\{s_i+\beta s_{i+1}{\}}_{i\in [n-1]}$。【若$s_{i+1}=s_i$，则$s_i+\beta \cdot s_{i+1}=(1+\beta )\cdot s_i$，于是可以借助$(1+\beta )$来判断出这些重复值，在实际compare时剔除出去，从而实现多重性$\{e_i\}$的功能。】【可借助“grand product argument”——类似 Gabizon等人2019年论文《PLONK: permutations over lagrange-bases for oecumenical noninteractive arguments of knowledge》中的 permutation argument来证明。】

3. polynomial for lookup table

以上假设了 $t$中的每个元素都至少在$f$中出现了1次，实际上，若设定：

• $s$为 $f$拼接$t$ 之后排序

则不再需要约束$t$中的值必须在$f$至少出现1次了。此时对于$t\in {\mathbb{F}}^d,f\in {\mathbb{F}}^n$，有$s\in {\mathbb{F}}^{n+d}$。【以$t=\{1,4,8\},f=\{1,8,1,8,8\}$为例，有$s=\{1,1,1,4,8,8,8,8\}$】。

为$\{t_i+\beta t_{i+1}{\}}_{i\in [d-1]}$，$\{s_i+\beta s_{i+1}{\}}_{i\in [n-1]}$证明$f\subset t$，构建如下双变量多项式$F,G$：

有：

证明以上结论成立的基本思路为：

• 提取$(1+\beta )$因子：
  
• 拆分为$P^{\prime }$和$P$两个域来考虑：
  

4. 单个多项式$f\in {\mathbb{F}}_{<n}[X]$的lookup table 关系证明

根据第三节内容，相应的多项式关系为：
$F(\beta ,\gamma )/G(\beta ,\gamma )=\frac{(1+\beta {)}^n\cdot {\prod }_{i\in [n]}(\gamma +f_i){\prod }_{i\in [d-1]}(\gamma (1+\beta )+t_i+\beta t_{i+1})}{{\prod }_{i\in [n+d-1]}(\gamma (1+\beta )+s_i+\beta s_{i+1})}$

根据以上Claim 3.1，可扩展为直接设置 $d=n+1$（若$d\le n$，则可在$t$后面pad $n-d+1$个重复值 of the last element，pad后以上多项式关系仍然成立）。
针对的场景为：

• Preprocessed polynomials为：用于描述lookup values的多项式$t\in {\mathbb{F}}_{<n+1}[X]$。
• Inputs输入为：$f\in {\mathbb{F}}_{<n}[X]$

相应协议为：

• 1）令$s\in {\mathbb{F}}^{2n+1}$为$(f,t)$ sorted by $t$。通过两个多项式$h_1,h_2\in {\mathbb{F}}_{<n+1}[X]$来表示$s$。对于$i\in [n+1]$，有$h_1({\mathbf{g}}^i)=s_i$，$h_2({\mathbf{g}}^i)=s_{n+i}$。【其中$\mathbf{g}$为$n+1$-th root of unity，${\mathbf{g}}^{n+1}=1$。有$h_1(1)=s_{n+1}=h_2(\mathbf{g})$。】

• 2）Prover $\mathbf{P}$ 按如上规则计算出以上多项式$h_1,h_2$，将多项式$h_1,h_2$发送给理想第三方 $\mathcal{I}$。

• 3）Veriifer $\mathbf{V}$ 发送给 $\mathbf{P}$ 随机challenge值 $\beta ,\gamma \in \mathbb{F}$。

• 4）Prover $\mathbf{P}$ 计算多项式 $Z\in {\mathbb{F}}_{n+1}[X]$ that aggregates the value $F(\beta ,\gamma )/G(\beta ,\gamma )$：
  4.a）令$Z(\mathbf{g})=1$；
  4.b）当$2\le i\le n$时，令：【拆分的思想为与$h_1,h_2$呼应。】
  $Z({\mathbf{g}}^i)=\frac{(1+\beta {)}^{i-1}\cdot {\prod }_{j<i}(\gamma +f_j){\prod }_{1\le j<i}(\gamma (1+\beta )+t_j+\beta t_{j+1})}{{\prod }_{1\le j<i}(\gamma (1+\beta )+s_j+\beta s_{j+1})(\gamma (1+\beta )+s_{n+j}+\beta s_{n+j+1})}$
  4.c）令$Z({\mathbf{g}}^{n+1})=1$。

• 5）$\mathbf{P}$ 将多项式 $Z$ 发送给 $\mathcal{I}$。

• 6）$\mathbf{V}$ 验证多项式 $Z$确实是如上格式且$Z({\mathbf{g}}^{n+1})=1$。$\mathbf{V}$ 将验证所有的identities $\mathbf{x}\in H=\{\mathbf{g},\cdots ,{\mathbf{g}}^{n+1}=1\}$，以下等式均成立：【同时已约定$H$的lagrange base表示为：对$i\in [n+1]$，有$L_i({\mathbf{g}}^i)=1$；对任意的$j\ne i$，有$L_i({\mathbf{g}}^j)=0$。】
  6.a）$L_1(\mathbf{x})(Z(\mathbf{x})-1)=0$
  6.b）$(\mathbf{x}-{\mathbf{g}}^{n+1})Z(\mathbf{x})(1+\beta )\cdot (\gamma +f(\mathbf{x}))(\gamma (1+\beta )+t(\mathbf{x})+\beta t(\mathbf{g}\cdot \mathbf{x}))=(\mathbf{x}-{\mathbf{g}}^{n+1})Z(\mathbf{g}\cdot \mathbf{x})(\gamma (1+\beta )+h_2(\mathbf{x})+\beta h_2(\mathbf{g}\cdot \mathbf{x}))(\gamma (1+\beta )+h_1(\mathbf{x})+\beta h_1(\mathbf{g}\cdot \mathbf{x}))$【核心思想是计算$Z({\mathbf{g}}^i)/Z({\mathbf{g}}^{i+1})$】【此处Verifier的计算具有the highest degree。】
  6.c）$L_{n+1}(\mathbf{x})(h_1(\mathbf{x})-h_2(\mathbf{g}\cdot \mathbf{x}))=0$【因为之前有约定$h_1(1)=h_2(\mathbf{g})=s_{n+1}$】
  6.d）$L_{n+1}(\mathbf{x})(Z(\mathbf{x})-1)=0$

有：【 6.b）中，可再引入polynomial commitment来证明，其中$f$有$n$个元素，$t$有$n+1$个元素，$Z$有$n+1$个元素，vanishing polynomial $H$有$n+1$元素，因此最终的quotient polynomial中元素数为：$n+(n+1)+(n+1)-(n+1)=2n+1$。整个proof size为$(3n+3)+(2n+1)=5n+4$。】

5. 扩展为多个多项式$f_1,\cdots ,f_w\in {\mathbb{F}}_{<n}[X]$ 一一对应 多个 lookup tables 关系证明

在第四节的基础上，扩展为多个多项式$f_1,\cdots ,f_w\in {\mathbb{F}}_{<n}[X]$ 一一对应 多个 lookup table，具体的场景为：【又称为 vector lookups。】

• 有多个witness多项式：$f_1,\cdots ,f_w\in {\mathbb{F}}_{<n}[X]$。
• 多个lookup table，以矩阵形式表示：$t^{\ast }\in ({\mathbb{F}}^w{)}^d$
• 证明：对任意的$j\in [n]$，有$(f_1({\mathbf{g}}^j),\cdots ,f_w({\mathbf{g}}^{\mathbf{j}}))\in t^{\ast }$。

可借助 randomization 来将上述场景 reduce为第四节的场景：

• 对于每一个$i\in [w]$，都有相应的preprocessed polynomials $t_i\in {\mathbb{F}}_{<d}[X]$，其中对于每一个$j\in [d]$，有$t_i({\mathbf{g}}^j)=t_{i,j}^{\ast }$。

• Verifier 选择random challenge $\alpha \in \mathbb{F}$。

• 定义：$t:={\sum }_{i\in [w]}{\alpha }^i{t}_i,f:={\sum }_{i\in [w]}{\alpha }^i{f}_i$
  从而有，若有某$j\in [n]$，$(f_1({\mathbf{g}}^j),\cdots ,f_w({\mathbf{g}}^j))\notin t^{\ast }$，则$f({\mathbf{g}}^j)\notin t$的概率高于$1-d\cdot w/|\mathbb{F}|$。

• 然后继续按照第四节的协议运行即可。

以上这种vector lookup primitive，可用于key-value setting场景，如具有a function $f$，该函数有$w-1$个输入，然后想要证明a vecotr is of the form $(x_1,\cdots ,x_{w-1},f(x_1,\cdots ,x_{w-1}))$ for some input $(x_1,\cdots ,x_{w-1})$。

6. 扩展为多个多项式$f_1,\cdots ,f_w\in {\mathbb{F}}_{<n}[X]$同一位置元素 对应 特定 lookup tables 关系证明

在第5节的基础上，将相应的场景调整为：【此时加强了不同函数，同一位置的约束。】【又称为multiple tables。】

• 将lookup table矩阵以列为单位拆成$l$份，即由$t^{\ast }\in ({\mathbb{F}}^w{)}^d$，对每一个$j\in [l]$，有sub-tables：$t_j^{\ast }\in ({\mathbb{F}}^w{)}^{d/l}$。
• $f_1,\cdots ,f_w\in {\mathbb{F}}_{<n}[X]$ 的第$i$个元素的值，在predefined 第$j=j(i)$ 个sub-table中。

可对$t^{\ast }\in ({\mathbb{F}}^w{)}^d$扩充为 $t^{\ast }\in ({\mathbb{F}}^{w+1}{)}^d$，具体的扩充方法为：

• 对$t^{\ast }$的内容进行按照predefined $j=j(i)$规则进行重组，并在最后一行添加新的一行——对于每一个$j\in [l],i\in [d/l]$，添加元素 $j$。同时使得对于每一个$j\in [l],i\in [d/l]$，都包含元素$(j,(t_j^{\ast }{)}_i)$。【！！！巧妙！！！这样就不再是特定位置的对应关系，而转换成了第5节的一一对应关系了。】【借助selectors $j$，实际实现的就是按不同的门类型（不同的逻辑操作）统一归类。】
• 同时，位置$i$与sub-table $j$之间的对应关系，以preprocessed 多项式$q\in {\mathbb{F}}_{<n}[X]$表示，使得$q_i=j(i)$。
• 至此，整个过程就转换为：证明对于每一个$i\in [n]$，都有$(q({\mathbf{g}}^i),f_1({\mathbf{g}}^i),\cdots ,f_w({\mathbf{g}}^i))\in t^{\ast }\in ({{\mathbb{F}}^{w+1}}^d)$。
  此时，可直接运行第5节的协议进行处理。

7. continuous range proof的优化解决方案

假设想验证 $f\subset \{0,\cdots ,d-1\}$ for some integer $d<n$，可使用如上协议来证明，仅需设置 $t_i=i-1$ for $i\in [d]$。

根据第4节，设置$d=n+1$，根据Lemma 3.2可知，证明$f\subset \{0,\cdots ,n\}$的proof complexity为$\mathcal{O}(\mathcal{P})=5n+4$。

本文在第4节的基础上，可优化为：

• 对于$f\subset \{0,\cdots ,2n-2\}$ 具有相同proof complexity（$\mathcal{O}(\mathcal{P})=5n+4$）。
• 可在仅增加Verifier constraints的degree的情况下，进一步扩展为证明 $f\subset \{0,\cdots ,c(n-1)\}$。
  因此，实际执行时，在可承受的最大constraint degree基础上，选择尽可能大的$c$值，然后以子程序的方式进行range proof $f\subset \{0,\cdots ,n-1\}$。

详细的思路为：【此处假设所有的range值均在$\mathbb{F}$域内，即$cn<|\mathbb{F}|$。】

• 强化sorted $s$的值从0开始，到$c\cdot (n-1)$结束，即$s_1=0,s_{2n+1}=c\cdot (n-1)$。同时要求对于每一个$i\in [2n]$，有$s_{i+1}-s_i\le c$。这足以推断出 $s_i\in \{0,\cdots ,c(n-1)\}$ for each $i\in [2n+1]$。
• 关于$s_{i+1}-s_i\le c$这个条件，可通过一个constraint来强化——即将该差值插入到the degree $c+1$ polynomial that vanishes on $\{0,\cdots ,c\}$。【对于正整数$c$，将多项式$P$表示为：$P(X)={\prod }_{i=0}^c(X-i)$。】
  这种强化增量的的方式就不再需要关注差值的permutation。事实上，也可以替换为：check a permutation between the values of $(f,t)$ and $s$，其中$t$为the table of $c$'th multiples，即$t_i=c\cdot (i-1)$ for $i\in [n]$。

针对的场景为：【此处$H$仍为 $H=\{\mathbf{g},\cdots ,{\mathbf{g}}^{n+1}=1\}$】

• Preprocessed polynomials为：多项式 $t\in {\mathbb{F}}_{<n}[X]$，其中$t_i=c\cdot (i-1)$ for $i\in [n]$。
• Inputs输入为：$f\in {\mathbb{F}}_{<n}[X]$

详细的协议实现如下：【与第4节的协议非常相似，只是构建的$F,G$多项式不同，此处构建的单变量多项式：$F(\gamma )={\prod }_{i\in [n]}(\gamma +f_i){\prod }_{i\in [d-1]}(\gamma +t_i),G(\gamma )={\prod }_{i\in [n+d-1]}(\gamma +s_i)$。同时仍然设置$d=n+1$。】

• 1）令$s\in {\mathbb{F}}^{2n+1}$为$(f,t)$ sorted by $t$。通过两个多项式$h_1,h_2\in {\mathbb{F}}_{<n+1}[X]$来表示$s$。对于$i\in [n+1]$，有$h_1({\mathbf{g}}^i)=s_i$，$h_2({\mathbf{g}}^i)=s_{n+i}$。【其中$\mathbf{g}$为$n+1$-th root of unity，${\mathbf{g}}^{n+1}=1$。有$h_1(1)=s_{n+1}=h_2(\mathbf{g})$。】【其中在$n+1$位置插入$c(n-1)$值，即$h_2({\mathbf{g}}^{n+1})=c(n-1)=s_{n+1}$】

• 2）Prover $\mathbf{P}$ 按如上规则计算出以上多项式$h_1,h_2$，将多项式$h_1,h_2$发送给理想第三方 $\mathcal{I}$。

• 3）Veriifer $\mathbf{V}$ 发送给 $\mathbf{P}$ 随机challenge值 $\beta ,\gamma \in \mathbb{F}$。

• 4）Prover $\mathbf{P}$ 计算多项式 $Z\in {\mathbb{F}}_{n+1}[X]$ that aggregates the value $F(\gamma )/G(\gamma )$：
  4.a）令$Z(\mathbf{g})=1$；
  4.b）当$2\le i\le n$时，令：【拆分的思想为与$h_1,h_2$呼应。】
  $Z({\mathbf{g}}^i)=\frac{{\prod }_{j<i}(\gamma +f_j){\prod }_{1\le j<i}(\gamma +t_j)}{{\prod }_{1\le j<i}(\gamma +s_j)(\gamma +s_{n+j})}$
  4.c）令$Z({\mathbf{g}}^{n+1})=1$。

• 5）$\mathbf{P}$ 将多项式 $Z$ 发送给 $\mathcal{I}$。

• 6）$\mathbf{V}$ 验证多项式 $Z$确实是如上格式且$Z({\mathbf{g}}^{n+1})=1$。$\mathbf{V}$ 将验证所有的identities $\mathbf{x}\in H=\{\mathbf{g},\cdots ,{\mathbf{g}}^{n+1}=1\}$，以下等式均成立：【同时已约定$H$的lagrange base表示为：对$i\in [n+1]$，有$L_i({\mathbf{g}}^i)=1$；对任意的$j\ne i$，有$L_i({\mathbf{g}}^j)=0$。】
  6.a）$L_1(\mathbf{x})(h_1(\mathbf{x}))=0$【约束$s_1=0$，因为判断证明的是$f\subset [0,\cdots ]$】
  6.b）$P(h_1(\mathbf{g}\cdot \mathbf{x})-h_1(\mathbf{x}))=0$【约束$s_{i+1}-s_i\le c$】
  6.c）$P(h_2(\mathbf{g}\cdot \mathbf{x})-h_2(\mathbf{x}))=0$【约束$s_{i+1}-s_i\le c$】
  6.d）$L_{n+1}(\mathbf{x})(h_1(\mathbf{x})-h_2(\mathbf{g}\cdot \mathbf{x}))=0$【因为之前有约定$h_1(1)=h_2(\mathbf{g})=s_{n+1}$】
  6.e）$L_{n+1}(\mathbf{x})(h_2(\mathbf{x}))=c\cdot (n-1)$【约束$s_{n+1}=c\cdot (n-1)$】
  6.f）$L_{n+1}(\mathbf{x})(Z(\mathbf{x})-1)=0$
  6.g）$(\mathbf{x}-{\mathbf{g}}^{n+1})Z(\mathbf{x})(\gamma +f(\mathbf{x}))(\gamma +t(\mathbf{x}))=(\mathbf{x}-{\mathbf{g}}^{n+1})Z(\mathbf{g}\cdot \mathbf{x})(\gamma +h_2(\mathbf{x}))(\gamma +h_1(\mathbf{x}))$【核心思想是计算$Z({\mathbf{g}}^i)/Z({\mathbf{g}}^{i+1})$】【此处Verifier的计算具有the highest degree。】
  6.h）$L_1(\mathbf{x})(Z(\mathbf{x})-1)=0$

对应地：

参考资料

[1] Plonk cafe的 Strategies for integrating plookup with PLONK
[2] hackmd的 Plonk and PLookup
[3] metastate的 On PLONK and plookup
[4] dusk network的 Audit Plookup Branch #358
[5] tezosagora的 On PLONK and plookup SNARKs
[6] aztec的研究论文系列
[7] Dusk的开发月报