Multi-scalar multiplication: state of the art & new ideas

1. 引言

Consensys团队 Gus Gutoski 2020年在zkStudyClub上分享：Multi-scalar multiplication: state of the art & new ideas。

Multi-scalar multiplication（MSM）又名Multi-exponentiation或multi-exp。
针对的场景为：

• 参数：某cyclic group $\mathbb{G}$，其order $|\mathbb{G}|$的bit length为$b$。（如BLS或BN椭圆曲线，有$|\mathbb{G}|\approx 2^{256}$，即$b=256$）
• 输入：
  • $\mathbb{G}$内的群元素$G_1,\cdots ,G_n$，称为inputs。
  • 整数$a_1,\cdots ,a_n$的取值范围为$0$到$|\mathbb{G}|$，称为scalars。
• 输出：群元素$a_1{G}_1+\cdots +a_n{G}_n$称为output。

目标是：

• 减少所需的群运算（+）的次数——为关于$n$的函数。

直接的解决方案为：

• 使用double-and-add来计算每个$a_i{G}_i$，然后将它们相加求和，所需group ops期望值为：$1.5bn\approx 1.5\ast 256n\approx 384n$

有更优的解决方案么？

1.1 MSM的背景需求

零知识证明ZKP中，Prover向Verifier证明其知道某些$x=\{a_1,\cdots ,a_n\}$ secret inputs，使得$P(x)=y$成立。

在证明过程中，Prover需要使用proving key $G_1,\cdots ,G_n$ 计算：
$G=a_1{G}_1+\cdots +a_n{G}_n$

即Prover需要做MSM运算。

• 对于ZCash的NU5升级之前的spend program：$n\approx 4\times 10^4$
• 对于Rollup扩容方案：$n$越大越好

目标是：

• 针对$n=10^7,10^8$甚至更大的$n$值。

MSM占据了约$80\%$的Prover工作量。
Justin Drake在2020的Zero-Knowledge podcast Episode 120: ZKPs in Ethereum with Vitalik Buterin & Justin Drake中指出：

• Focus on multi-exponentiation, forget about FFTs（Remove the need for FFTs）
• Sparseness
• Recursion
• Custom gates
• Hardware

MSM占据了Prover的主要开销，Prover开销占据ZKP主要开销。改进MSM即意味着提升ZKP效率。

2. bucket method

由Consensys团队开发的：

• https://github.com/ConsenSys/gnark-crypto（Go&汇编语言）

中采用了bucket算法，针对BLS或BN曲线（$b\approx 256$），所需group ops运算次数为：
$16n+(\text{constant})$

相比于直接方案的$384n$，性能提升了$24$倍+。

bucket算法详细见2012年论文《Faster batch forgery identification》第4章的“Overlap in the Pippenger approach”，核心策略会：

• 1）将一个$b$-bit MSM reduce为多个$c$-bit MSM，其中$c\le b$。
• 2）使用一些聪明的技巧来计算$c$-bit MSM。（有趣的部分）
• 3）将多个$c$-bit MSM合并为最终的$b$-bit MSM。

3.1 第一步：将一个$b$-bit MSM reduce为多个$c$-bit MSM

选择$c\le b$，将每个scalar $a_1,\cdots ,a_n$以二进制表示，将二进制scalar切分为$c$-bit parts。

如：给定$b=12,c=3$，将每个$12$-bit scalar $a$切分为$3$-bit parts。
若scalar $a=1368$，则将$a$表示为$a=(2,3,5,0)$：

从已切分的scalars推导出$b/c$个$c$-bit MSM instances。
如$(b,c,b/c)=(12,3,4)$，将每个scalar切分表示为$a_i=(a_{i,1},a_{i,2},a_{i,3},a_{i,4})$，从而可获得4个$c$-bit MSM instances $T_1,\cdots ,T_4$：
$T_1=a_{1,1}{G}_1+\cdots +a_{n,1}{G}_n$
$⋮$
$T_4=a_{1,4}{G}_1+\cdots +a_{n,4}{G}_n$

3.2 第三步：将多个$c$-bit MSM合并为最终的$b$-bit MSM

常规方法为：double $c$次，然后求和。
仍然以$(b,c,b/c)=(12,3,4)$为例，合并$T_1,\cdots ,T_4$获得最终答案$T$：

• 1）令T=T_1。
• 2）对于$j=2,\cdots ,4$：
  • 2.1）令$T=2^{c}T$（double $c$次）
  • 2.2）令$T=T+T_j$

最终结果即为$T=a_1{G}_1+\cdots +a_n{G}_n$。
第三步中包含的加法运算开销为：
$$\begin{array}{c}(b/c-1)\times (c+1)=b-c+\frac{b}{c}-1\end{array}$$

3.3 第二步：使用一些聪明的技巧来计算$c$-bit MSM

如$(b,c,b/c)=(12,3,4)$，将每个scalar切分表示为$a_i=(a_{i,1},a_{i,2},a_{i,3},a_{i,4})$，每个$a_{i,j}$的取值范围为$1$到$2^c-1$（$0$值直接忽略，不影响计算结果），对应的取值范围$1$到$2^c-1$称为bucket，实际的$a_{i,j}$对应的group $G_i$值放入对应的bucket中，从而有：





以$n=14$为例，将每个bucket求和，相应的$S_1,S_2,\cdots ,S_{2^c-1}$为：【所需的加法运算次数为：
$$\begin{array}{c}n-(2^c-1)=n-2^c+1\end{array}$$
】

此时，$a_1{G}_1+\cdots a_n{G}_n$的结果等价为：
$$S_1+2S_2+3S_3+\cdots +7S_7$$
这也是一个MSM instance，其中inputs为$S_1,\cdots ,S_7$，scalars为$1,\cdots ,7$，且：

• inputs数量是固定的，固定为$2^c-1$个inputs。
• scalars $1,\cdots ,2^c-1$是提前已知的。

快速计算bucket sums $S_1+2S_2+3S_3+\cdots +7S_7$的方法为：

计算$S_1+2S_2+3S_3+\cdots +7S_7$所需的加法运算次数为：
$$\begin{array}{c}2\times (2^c-2)+1=2^{c+1}-3\end{array}$$

因此这3步中等式（1）（2）（3），总的加法运算次数为：
$$\begin{array}{c}(b-c+\frac{b}{c}-1)+\frac{b}{c}[(n-2^c+1)+(2^{c+1}-3)]=(b-c+\frac{b}{c}-1)+\frac{b}{c}(n+2^c-2)\approx \frac{b}{c}(n+2^c)\end{array}$$

当$c\approx \log n$时，等式（4）具有最低值。初看，近似scaling为：
$$O(b\frac{n}{\log n})$$

注意，必须有$c\le b$，因此当$n>2^b$时，无法选择$c\approx \log n$。
当$n>2^b$时，scaling revert为$O(n)$：

• 若$b=1$，则不可能实现$\frac{n}{\log n}$ scaling，最好的情况就是$O(n)$。
• 若$b=256$，则$n$永远不可能超过$2^{256}$，因此可实现$\frac{n}{\log n}$。

针对等式（4）中的$\frac{b}{c}(n+2^c)$：

• 有large instance $n=10^7$，所以$\log n\approx 23$。
• gsnark中$b=256$，因此最优性能在$c=16$，实现的开销为：
  $$16n+(2^{20})$$

为什么取$c=16$，而不是$c=\log n$呢？原因在于：

• 内存需求scales with $2^c$，因此，内存是瓶颈。
• 若$c$可被$b$整除，具有更少的边际情况。
• 如，256-bit scalars存储在4个64-bit limbs中，若$c$-bit MSM跨坐2个limbs，将是恼人的。

4. 对bucket method的改进

对bucket method的改进措施有：

• 1）可进行并行化处理，这是可行的。
• 2）预计算，除非与后面的措施4结合使用，否则不可行。
• 3）low Hamming-weight表示：不可行。
• 4）【新措施，仅针对椭圆曲线有效】以有符号数字位来表示和概括：可行。

4.1 bucket method的并行加速

采用多核来允许bucket method。
自然的并行分配为：每个$c$-bit MSM相互独立，类似为：

这样可充分利用$b/c$个内核：

• 如$(b,c)=(256,16)\Rightarrow 可充分使用256/16=16个内核$。

但是，所需内存也增加了，每个内核都需要$2^c$ memory。

当有多于$b/c$个内核时，另一种并行分配是：将inputs进行切分：

这样分配是inefficiency的：2个size为$n/2$的MSM，所需的加法运算次数要多于 1个size为$n$的MSM。
所以gsnark中并未做这种实现，并行化限制为$b/c$个核。

4.2 对bucket method进行预计算

inputs $G_1,\cdots ,G_n$提前已知，可否利用该优势呢？
思路为：预计算并存储a bunch of points，如：

• 1）预计算并存储每个input $G$的：$2G,3G,\cdots ,(2^c-1)G$。
• 2）预计算并存储每个input $G$的：$2^{k}G,2^{2k}G,\cdots ,2^{mk}G$ for some $k,m$。
• 3）预计算并存储各种不同的inputs子集：$(G_1+G_2+G_3),(G_1+G_2),(G_1+G_3),(G_2+G_3)$。

目标是：在预计算存储 与 run time之间 取得smooth平衡。
存在的问题是：大的MSM instants以使用了大部分可用内存。

• 如，当$n=10^8$时，gsnark需要58GB来存储足够的BLS12-377曲线点啦为具有size-$n$ secret input的program生成ZKP。
• 可能可在磁盘上存储额外的点，但磁盘读取可能太慢。需要更多的实验验证。

（1）预计算并存储每个input $G$的：$2G,3G,\cdots ,(2^c-1)G$。
注意，$c$-bit MSM的根本目的是计算$a_1{G}_1+\cdots +a_n{G}_n$ for $b$-bit scalars $a_1,\cdots ,a_n$。
若$a_i{G}_i$已存储，即无需再计算其它的：

• 无需计算bucket sum $S_1,\cdots ,S_{2^c-1}$；
• 无需对各bucket sum累加求和$S_1+2S_2+\cdots +(2^c-1)S_{2^c-1}$。

所需的加法运算总次数reduce为：
$$\frac{b}{c}n+(b-c+\frac{b}{c}-1)\approx \frac{b}{c}n$$

所需的额外存储空间为：$(2^c-2)n$：

• 如$b=c=256$，若存储$2^{256}n$个点，仅需要$n$次加法运算。
• 实际例子$(n,b,c)=(2^{23},256,16)$，需额外存储5500亿个椭圆曲线点！

（2）在（1）的基础上进行平衡：【不过若存储空间有限，改进有限；若有非常大的存储空间，可由显著改进】

4.3 以low Hamming-weight表示并不能对bucket method加速

针对的是$aG$，单个scalar $a$的计算。
常规是将$a$以二进制表示，采用double-and-add标准算法，计算开销随$a$的Hamming weight增加，如以8-bit scalar为例：

针对single-scalar multiplication加速思路有：

• 1）采用不同于二进制的表示方法，使scalar具有更低的平均Hamming weight。
  如采用non-adjacent form（NAF）表示：
  
• 2）以double-base number system来表示scalar值：
  

不过以更低的Hamming-weight表示法并不能改进bucket method的性能：

4.4 引入有符号位表示改进bucket method

新的思路为：利用cheap group inversion。
根源在于：椭圆曲线群逆运算开销几乎为0：

• 已知$G\in \mathbb{G}$，计算$-G$为$(x,y)\mapsto (x,-y)$。

将$c$-bit的digit set由$\{0,1,\cdots ,2^c-1\}$，改为允许负数的$\{-2^{c-1},\cdots ,2^{c-1}-1\}$表示：

• 若scalar $a>0$ for point $G$，则正常向bucket $S_a$添加$G$。
• 若scalar $a<0$ for point $G$，则向bucket $S_{|a|}$添加$-G$。
• 对于$a>2^{c-1}$，不再需要相应的bucket $S_a$，从而可节约一半的bucket数量。

仍然以3-bit MSM with negative digits为例：





对每个bucket内容求和有：

计算$a_1{G}_1+\cdots +a_n{G}_n$等价为计算：
$$S_1+2S_2+3S_3+4S_4$$
相比于之前的$2^c-1$个buckets，现在仅需要$2^{c-1}$个buckets。
Bucket累加工作跟之前类似，开销由约$2^c$降为了约$2^{c-1}$。

总的计算开销约为：
$$\frac{b}{c}(n+2^{c-1})$$

• Option 1：仍选用之前相同的$c$，可节约50%的bucket的累加开销。
• Option 2：选择$c=c+1$，则可节约一定的总开销，改进量为$c/c+1$，若$c=19$，则对应5%的改进（忽略bucket的累加开销）：
  $$\frac{b}{c+1}(n+2^{c-1})$$

不过，有一些其它原因不建议改变$c$值。

进一步想象，可便宜计算$(-1)G$可将bucket累加开销乘以$1/2$因子，若可便宜计算$-{\mu }_{1}G,\cdots ,-{\mu }_{k}G$，是否可将bucket累加开销乘以$1/k$因子？以$(c,k)=(16,16)$，MSM性能可提升约20%。

假设可便宜计算$(-1)G,\lambda G$：

• 可便宜计算$\lambda G$
• 有$({\mu }_1,{\mu }_2,{\mu }_3,{\mu }_4)=(1,-1,\lambda ,-\lambda )$，因此有$k=4$而不是2。

从而可使用如下digit set 来表示scalar：

该digit size约为$4\times 2^c$，仅需要约$2^c$个buckets.
此时，引入新的$\lambda$，使得$k$值double了，不过这种情况并不总有。

进一步概括为：

4.4.1 椭圆曲线的cheap multiplication——endomorphism

不过，将scalar转为$\lambda$的digit 表示的开销不容小觑：【$-1$就足够好了，很容易处理overflow的问题】



若可解决将scalar以$\lambda$ digit表示的问题，则性能改进还是很客观的，如BLS12-377 $|G|$为256 bits，$\lambda$为128 bits，则可由约50%的性能改进。

4.4.2 如何将scalar值以negative digits表示？

5. 小结

参考资料

[1] Consensys团队 Gus Gutoski 2020年在zkStudyClub上分享：Multi-scalar multiplication: state of the art & new ideas