基于插值的同态比较算法 & Paterson-Stockmeyer 多项式求值算法

参考文献：

1. [PS73] Paterson M S, Stockmeyer L J. On the number of nonscalar multiplications necessary to evaluate polynomials[J]. SIAM Journal on Computing, 1973, 2(1): 60-66.
2. [KLLW16] Kim M, Lee H T, Ling S, et al. On the efficiency of FHE-based private queries[J]. IEEE Transactions on Dependable and Secure Computing, 2016, 15(2): 357-363.
3. [IZ21] Iliashenko I, Zucca V. Faster homomorphic comparison operations for BGV and BFV[J]. Proceedings on Privacy Enhancing Technologies, 2021, 2021(3): 246-264.

快速的多项式求值算法

对于 $n$ 长多项式 $P(x)$，如果要计算 $n$ 个单位根上的函数值 $P({\xi }^i)$，那么使用 FFT/NTT 可以实现 $O(n\log n)$ 的复杂度，均摊成本 $O(\log n)$。但是如果我们对单个的任意点 $x$ 求值 $P(x)$，那应该怎么快速计算呢？这儿的 “快速” 指的是更少的 “非标量乘法” 数量。标量乘法的开销类似于加法，后文我们默认 “乘法” 代指非标量乘法。

Horner rule：${\sum }_{i=0}^n{a}_i{x}^i=(\cdots ((a_{n}x+a_{n-1})x+a_{n-2})\cdots )x+a_0$，一共需要 $n$ 次乘法。

[PS73] 提出了只需 $O(\sqrt{n})$ 次乘法的多项式单点求值算法。首先可以证明，多项式求值的复杂度下界为 $O(\sqrt{n})$：

然后 [PS73] 依次提出了三种多项式求值算法。

算法 A

定理：度数 $n$ 的任意多项式，存在使用了 $n/2+O(\log n)$ 次乘法的求值算法。

方便起见，我们假设 $n=2^m-1$（多项式长度 $2^m$），同时多项式是首一的，

1. 首先预计算 $x^2,x^4,x^8,\cdots ,x^{2^{m-1}}$，花费 $\log n$ 次乘法

2. 给定某 $2p-1$ 次的首一多项式，把它写成如下形式：
   $$\begin{array}{rl}& x^{2p-1}+a_{2p-2}{x}^{2p-2}+\cdots +a_{1}x+a_0\\ =& (x^p+c)(x^{p-1}+a_{2p-2}{x}^{p-2}+\cdots +a_{p+1}x+a_p)\\ +& (x^{p-1}+b_{p-2}{x}^{p-2}+\cdots +b_{1}x+b_0)\end{array}$$

   其中 $c=a_{p-1}-1$，$b_j=a_j-c{a}_{p+j}$ 是常数，且 $x^p$ 已经预计算过了

3. 于是我们把 $2p-1$ 次的首一多项式，分解为了两个 $p-1$ 次的首一多项式，继续递归求值。乘法复杂度的递归公式为 $N(2p-1)=2N(p-1)+1$，初值 $N(1)=0$，因此 $N(n)=(n+1)/2-1\approx n/2$

对于任意的 $n$，我们将 $n$ 二进制分解，于是可以把多项式拆分为若干长度为 $2^i$ 的分片，分别执行求值算法后，再乘以 $x^2,x^4,x^8,\cdots ,x^{2^{\lfloor \log n\rfloor }}$ 组装起来。这额外花费 $\log n$ 次乘法。

算法 B

定理：度数 $n$ 的任意多项式，存在使用了 $2\sqrt{n}$ 次乘法的求值算法。

我们假设 $n=km-1$（多项式长度 $km$），

1. 首先预计算 $x^2,x^3,\cdots ,x^k$，花费 $k$ 次乘法

2. 利用 Horner rule 的推广版本，将多项式写成如下形式：
   $$\begin{array}{rl}& a_{km-1}{x}^{km-1}+a_{km-2}{x}^{km-2}+\cdots +a_{1}x+a_0\\ =& (\cdots ((a_{km-1}{x}^{k-1}+\cdots +a_{k(m-1)})x^k\\ & +(a_{k(m-1)-1}{x}^{k-1}+\cdots +a_{k(m-2)}))x^k+\cdots )x^k\\ & +(a_{k-1}{x}^{k-1}+\cdots +a_{1}x+a_0)\end{array}$$

   因为 $x^2,\cdots .x^{k-1},x^k$ 都预计算过，因此乘法开销为 $m$

3. 总复杂度为 $k+m$，选取 $k=\sqrt{n}$ 时最优化

算法 C

定理：度数 $n$ 的任意多项式，存在使用了 $\sqrt{2n}+O(\log n)$ 次乘法的求值算法。

我们假设 $n=k\cdot (2^m-1)$，同时多项式是首一的，

1. 预计算 $x^2,x^3,\cdots ,x^k$，花费 $k$ 次乘法

2. 预计算 $x^{2k},x^{4k},x^{8k},\cdots ,x^{k\cdot 2^{m-1}}$，花费 $m$ 次乘法

3. 给定某 $k(2p-1)$ 次的首一多项式，把它写成如下形式：
   $$\begin{array}{rl}& x^{k(2p-1)}+a_{k(2p-1)-1}{x}^{k(2p-1)-1}+\cdots +a_{1}x+a_0\\ =& (x^{k(p-1)}+a_{k(2p-1)-1}{x}^{k(2p-1)-1}+\cdots +a_{k(p-1)})x^{kp}\\ +& (a_{k(p-1)-1}{x}^{kp-1}+\cdots +a_{1}x+a_0)\end{array}$$

   简记为 $p(x)=q(x)\cdot x^{kp}+r(x)$，其中 $q(x)$ 是度数 $k(p-1)$ 的首一多项式，$r(x)$ 是度数至多为 $kp-1$ 的多项式，其中 $x^{kp}$ 已经预计算过了

4. 再计算带余除法（注意这与 $x$ 的取值无关，可以预计算） $r(x)-x^{k(p-1)}=c(x)\cdot q(x)+s(x)$，其中 $c(x)$ 度数至多为 $k-1$，$s(x)$ 度数至多为 $k(p-1)-1$，那么就写成了
   $$p(x)=(x^{kp}+c(x))\cdot q(x)+(x^{k(p-1)}+s(x))$$

   其中 $x^{k(p-1)}+s(x)$ 也是度数 $k(p-1)$ 的首一多项式

5. 对于上述的两个 $k(p-1)$ 次多项式递归求值，乘法复杂度的递归公式为 $N(k(2p-1))=2N(k(p-1))+1$，初值 $N(k)=0$，因此 $N(n)=(n/k+1)/2-1\approx n/2k$，选取 $k=\sqrt{n/2}$ 时最优化

对于任意的 $n$，类似于算法 A 进行分片，需要额外的 $\log \sqrt{2n}$ 次乘法。

基于插值的比较算法

有限域上的比较函数

一般地，我们使用布尔比较电路：
$$\begin{array}{rl}EQ(a,b)& :=\prod _{i=1}^l(a_i\oplus b_i\oplus 1)\\ LT(a,b)& :=\sum _{i=1}^l(a_i\oplus 1)\cdot b_i\prod _{j=i+1}^l(a_j\oplus b_j\oplus 1)\end{array}$$

[IZ21] 提出了 $GF(q),q=p^d$ 上的比较电路。令 $S\subseteq GF(q)$ 是素域子集，其中多项式系数的取值范围是 $[B]=\{0,1,\cdots ,B\}$。再令 $S^{\prime }=\{0,1,\cdots ,B^l-1\},l\le d$ 是整数的取值范围，我们将整数写作 $B$ 进制形式 $a=a_l\cdots a_2{a}_1$，其中 $a_i\in [B]$ 是整数。我们定义如下双射：
$$\begin{array}{rl}\iota :S^{\prime }& \to S\\ \sum _{i=1}^l{a}_i{B}^{i-1}& \mapsto \sum _{i=1}^l{a}_i{x}^{i-1}\end{array}$$

根据这个映射，我们可以从 $a,b\in S^{\prime }$ 的全序关系，诱导出 $\iota (a),\iota (b)\in S\subseteq GF(q)$ 的全序关系。即：根据整数的大小关系，诱导出有限域元素的大小关系。

给定任意两个有限域元素 $X,Y\in S$，它们的大小关系构成了一个函数 $L{T}_S(X,Y)$。根据有限域插值定理，任意的多变元函数，都存在唯一的多变元多项式，使得两者是同一个函数性。

上述的 $\chi :\alpha \mapsto {\alpha }^{q-1}$ 是示性函数。乘法循环群的阶为 $q-1$，因此 $\chi (\alpha )=1⟺\alpha \ne 0$。实际上，有限域上的判等电路就是
$$E{Q}_S(X,Y):=1-\chi (X-Y)$$

根据字典序，可以进一步将整数表示为 “$S$ 进制”，从而实现任意大整数的比较运算。将整数写作 $a=a_l\cdots a_2{a}_1$，其中 $a_i\in S$ 是有限域元素。那么，
$$\begin{array}{rl}E{Q}_{S^l}(a,b)& :=\prod _{i=1}^{l}E{Q}_S(a_i,b_i)\\ L{T}_{S^l}(a,b)& :=\sum _{i=1}^{l}L{T}_S(a_i,b_i)\prod _{j=i+1}^{l}E{Q}_S(a_j,b_j)\end{array}$$

下面，我们看一看如何实现基本的比较函数 $L{T}_S(X,Y)$。简单起见，我们考虑在素域 $S\subseteq GF(p)$ 上的比较函数。对于扩域 $GF(p^d)$，也是类似的思路。

双变元多项式插值

我们令 $S=\{0,1,\cdots ,p-1\}$，那么根据整数间全序关系，可以诱导出如下的双变元函数：

根据插值定理，我们可以得到一个双变元多项式：
$$P(X,Y):=\sum _{a=0}^{p-2}E{Q}_S(X,a)\sum _{b=a+1}^{p-1}E{Q}_S(Y,b)$$

[IZ21] 指出上述多项式可以化简为如下形式，它的总度数为 $p$，

主要的计算开销是 ${\sum }_{ij}{a}_{ij}{X}^i{Y}^j={\sum }_i\left({\sum }_j{a}_{ij}{X}^i\right)Y^j$，只需要 $O(p)$ 次乘法，乘法深度为 $O(\log p)$

单变元多项式插值

我们令 $S=\{0,1,\cdots ,(p-1)/2\}$，并且将有限域分为两部分
$$GF(p{)}^{+}=S,GF(p{)}^{-}=\{-(p-1)/2,\cdots ,-2,-1\}$$

根据整数间大小关系，可以诱导出函数 $X<Y⟺Z:=(X-Y)\in GF(p{)}^{-}$

根据插值定理，我们可以得到一个单变元多项式：
$$Q(X,Y):=\sum _{a=-(p-1)/2}^{-1}E{Q}_s(Z,a)$$

[IZ21] 指出上述多项式可以化简为如下形式，

注意到 ${\sum }_i{c}_i(X-Y{)}^i$ 的幂次都是奇数，因此可以写作 $Zg(Z^2)$ 的形式，其中 $g(x)$ 是度数 $(p-3)/2$ 的单变元多项式。根据 Horber 法则，我们用 Paterson-Stockmeyer algorithm 计算多项式求值，从而只需要 $O(\sqrt{p/2})$ 的乘法数量。

不过需要注意的是，单变元插值 $S=\{0,1,\cdots ,(p-1)/2\}$ 比双变元插值 $S=\{0,1,\cdots ,p-1\}$ 的范围小了一半，因此对于 $l$ 位 $S$ 进制数，表示范围缩小为 $1/2^l$，不得不延长 $l$ 到 $\frac{l\cdot \log p}{\log p-1}$ 以保证具有相同的表示范围。

其他应用

实现最大值、最小值，
$$\begin{array}{rl}\min (X,Y)& =X\cdot LT(X,Y)+Y\cdot (1-LT(X,Y))\\ & =Y+(X-Y)\cdot LT(X,Y)\\ & =Y+Z\cdot Q(X,Y)\\ & =\frac{p+1}{2}(X+Y)+g^{\prime }(Z^2),\\ \max (X,Y)& =Y\cdot LT(X,Y)+X\cdot (1-LT(X,Y))\\ & =X+(Y-X)\cdot LT(X,Y)\\ & =X-Z\cdot Q(X,Y)\\ & =\frac{p+1}{2}(X+Y)-g^{\prime }(Z^2)\end{array}$$

其中 $g^{\prime }(x)$ 是度数 $(p-1)/2$ 的单变元多项式，使用 [PS73] 仅需 $O(\sqrt{p/2})$ 次乘法。

实现 ReLU 函数，
$$ReLU(X):=\max (X,0)=\frac{p+1}{2}X-g^{\prime }(X^2)$$

有限域上深度最优的判等电路

[KLLW16] 利用扩域上的 Frobenius map 在同态下不需要乘法运算的性质，在扩域上实现了乘法深度最优化的判等电路。

正如上面说的，令 $\chi :\alpha \mapsto {\alpha }^{p^l-1}$ 是示性函数，则有限域 $GF(p^l)$ 上的判等电路为：
$$EQ(X,Y):=1-\chi (X-Y)$$

那么直接用二叉树式的乘法，深度为 $\lceil l\cdot \log p\rceil$。对于二元域的扩域 $GF(2^l)$，**深度为 $l$，**这也太高了。

但是，我们计算 $m^e\in GF(p^l)$，可以将幂次分解，
$$m^e=m^{{\sum }_{i=0}^n{e}_i{p}^i}=\prod _{i=0}^n(m^{p^i}{)}^{e_i}$$

其中的 $m^{p^i}$ 就是扩域 $GF(p^l)/GF(p)$ 上的 Frobenius maps，对 FHE 密文同态地计算扩域 $GF(p^l)$ 上的 $GF(p)$ - 域自同构 $\sigma (x):=x^p$，得到
$$\sigma (ct)=(\sigma (a),\sigma (a)\sigma (s)+\Delta \cdot m^p+\sigma (e))\in {\left(GF(p^d)\right)}^2$$

接着做一下秘钥切换回到 $s\in GF(p^l)$ 为私钥。上述的过程是 depth-free 的（不需要同态乘法），因此每个 $m^{p^i}$ 的乘法深度为零。于是，上述的 $m^e$ 计算中只需要 ${\sum }_{i=0}^n{e}_i$ 个项的连乘积，乘法深度为 $\lceil \log {\sum }_{i=0}^n{e}_i\rceil$

对于判等电路中的 $\chi (X-Y)$，指数为
$$\begin{array}{rl}e& =p^l-1\\ & =(p-1)p^{l-1}+\cdots +(p-1)p+(p-1)\\ & =(p-1)(p^{l-1}+\cdots +p+1)\end{array}$$

因此先计算 $Z:=(X-Y{)}^{p-1}$，再计算 $Z^{p^i},i=1,\cdots ,l-1$，然后计算 $\chi (X-Y)={\prod }_{i=0}^{l-1}{Z}^{p^i}$，深度为 $\lceil \log (p-1)\rceil +\lceil \log l\rceil$。对于二元域的扩域 $GF(2^l)$，深度仅为 $\lceil \log l\rceil$。

当然，对于 $\{0,1{\}}^l$ 上数据，布尔电路分别在 $GF(2)$ 上判等，然后再把布尔结果连乘积，它的深度也是 $\lceil \log l\rceil$。不过在某些应用中（不仅仅包括判等电路），使用布尔电路不合适。