CKKS 同态模约简：切比雪夫插值

参考文献：

1. [书籍] Trefethen L N. Approximation Theory and Approximation Practice, Extended Edition[M]. Society for Industrial and Applied Mathematics, 2019.
2. [PS73] Paterson M S, Stockmeyer L J. On the number of nonscalar multiplications necessary to evaluate polynomials[J]. SIAM Journal on Computing, 1973, 2(1): 60-66.
3. [CHKKS18] Cheon J H, Han K, Kim A, et al. Bootstrapping for approximate homomorphic encryption[C]//Advances in Cryptology–EUROCRYPT 2018: 37th Annual International Conference on the Theory and Applications of Cryptographic Techniques, Tel Aviv, Israel, April 29-May 3, 2018 Proceedings, Part I 37. Springer International Publishing, 2018: 360-384.
4. [CCS19] Chen H, Chillotti I, Song Y. Improved bootstrapping for approximate homomorphic encryption[C]//Annual International Conference on the Theory and Applications of Cryptographic Techniques. Cham: Springer International Publishing, 2019: 34-54.
5. [HK20] Han K, Ki D. Better bootstrapping for approximate homomorphic encryption[C]//Cryptographers’ Track at the RSA Conference. Cham: Springer International Publishing, 2020: 364-390.
6. 从拉格朗日插值谈到牛顿均差插值、切比雪夫插值
7. 龙格现象 (Runge Phenomenon)
8. Chebyshev Interpolation (maa.org)
9. 切比雪夫多项式、节点与插值 (gitee.io)

Interpolations

插值任务：

• 已知函数 $f:D\to R$ 的若干相异数据点 $(x_i,y_i),i=0,1,2,\cdots ,n$，共有 $n+1$ 个点

• 计算某个 $n$ 次多项式 $P(x)\in \mathbb{F}[x]$，使得误差 $R_n(x)=f(x)-P(x)$ 尽可能的小

我们定义多项式 $w_k(x)$，
$$w_0=1,w_k(x)=\prod _{i=0}^{k-1}(x-x_j),k=1,2,\cdots ,n+1$$
插值多项式的次数不是越高越好，会出现 “龙格现象”：插值区间边缘的误差极大。

Lagrange

基函数：
$$B_i(x)=\prod _{j\ne i}(x-x_j)\cdot (x_i-x_j{)}^{-1},\forall i=0,1,\cdots ,n$$
插值结果：
$$P_n(x)=\sum _{i=0}^n{y}_i\cdot B_i(x)$$
易知 $f(x_i)=P_n(x_i),\forall x_i$，它恰好穿过了 $n+1$ 个数据点。

插值余项：
$$R_n(x)=f(x)-P_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}\cdot w_{n+1}(x),\exists \xi \in D$$
缺点：每当数据点增减，基函数 $B_i(x)$ 都会变化，因此 $P(x)$ 需要完全重新计算；容易出现龙格现象。

Newton

差商（均差）多项式，
$$\begin{array}{rl}f[x_i]& =y_i\\ f[x_i,x_j]& =(f[x_i]-f[x_j])\cdot (x_i-x_j{)}^{-1}\\ f[x_i,x_j,x_k]& =(f[x_i,x_j]-f[x_j,x_k])\cdot (x_i-x_k{)}^{-1}\\ & \cdots \\ f[x_i,x_j,\cdots ,x_p,x_q]& =(f[x_i,x_j,\cdots ,x_p]-f[x_i,\cdots ,x_p,x_q])\cdot (x_0-x_q{)}^{-1}\end{array}$$
基函数：
$$B_i(x)=w_i(x),\forall i=0,1,\cdots ,n$$
插值结果：
$$P_n(x)=\sum _{i=0}^{n}f[x_0,\cdots ,x_i]\cdot B_i(x)$$
易知 $f(x_i)=P_n(x_i),\forall x_i$，它恰好穿过了 $n+1$ 个数据点。

插值余项：
$$R_n(x)=f[x_0,\cdots ,x_n]\cdot w_{n+1}(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}\cdot w_{n+1}(x),\exists \xi \in D$$
优点：增删数据点的时候，系数（均差）不需要全部重新计算

缺点：依旧容易出现龙格现象

Chebyshev

请读者注意，此部分内容来自多个网页信源，并且它们给出的公式并不统一（看晕了，迷惑）。此部分的某些公式可能是错误的。

局限在区间 $[-1,1]$ 上（区间总是可以缩放的），切比雪夫多项式：
$$\begin{array}{rl}{T}_0(x)& =1\\ T_1(x)& =x\\ T_2(X)& =2x^2-1\\ & \cdots \\ T_n(x)& =2x\cdot g_n(x)-g_{n-1}(x)\end{array}$$
可以证明，$T_n(x)$ 满足：

• 存在 $n$ 个单根（称为 Chebyshev roots），$x_k=\cos (\frac{2k-1}{2n}\pi ),k=1,2,\cdots ,n$
• 存在 $n+1$ 个极值点（称为 Chebyshev points），$x_k=\cos (\frac{k}{n}\pi ),k=0,1,\cdots ,n$，满足 $T_n(x_k)=(-1{)}^k$

另外它们是正交的，可以作为基函数，
$${\int }_{-1}^1{T}_i(x)T_j(x)\frac{\mathrm{d}x}{\sqrt{1-x^2}}=\{\begin{array}{rlr}0,& & i\ne j\\ \pi ,& & i=j=0\\ \frac{\pi }{2},& & i=j>0\end{array}$$
区间 $[-1,1]$ 上的 Lipschitz continuous 函数 $f$（满足 $|f(x)-f(y)|\le \kappa \cdot |x-y|,\forall x,y\in [-1,1]$），总是存在唯一的的多项式 $P_n(x),\mathrm{deg}{P}_n\le n$（称为 Chebyshev Interpolant），对于 Chebyshev points $\{x_j\}$ 总满足 $P_n(x_j)=f(x_j)$，

1. 可以先通过 Chebyshev points 选点 $x_j\in [-1,1]$，求出 $y_j=f(x_j)$ 之后，使用 Lagrange/Newton 插值
2. 对于一般的区间 $D$，缩放到 $[-1,1]$ 上选点 $x_j$，然后回到 $x_j^{\prime }\in D$ 上，计算 $y_j=f(x_j^{\prime })$ 并插值

一般来说，等距点的插值性质很差，但是 Chebyshev points（视为单位圆上等距的单位根）的插值效果相当好，每个点到其他所有点的平均距离都接近 $1/2$，这些点使得余项 $R_n(x)$ 最小化。切比雪夫插值可以抑制龙格现象。

插值结果 $P_n(x)$ 可以写成以 $T_i(x)$ 为基函数的形式：
$$P_n(x)=\sum _{i=0}^n{c}_i\cdot T_i(x)$$
问题是，先计算 Lagrange/Newton 插值，然后再把系数转换为上述的系数，应该会有很大的数值误差。怎么直接计算这些 $c_i$ 系数呢？

切比雪夫级数（Chebyshev series）：任意的区间 $[-1,1]$ 上的 Lipschitz continuous 函数 $f$，总可以唯一地表示为如下形式
$$f(x)=\sum _{i=0}^{\infty }{a}_i\cdot T_i(x)$$
这个级数绝对收敛、一致收敛（absolutely and uniformly convergent），其中的系数计算公式为：
$$\begin{array}{rl}{a}_0& =\frac{1}{\pi }{\int }_{-1}^1\frac{f(x)}{\sqrt{1-x^2}}\mathrm{d}x\\ a_i& =\frac{2}{\pi }{\int }_{-1}^1\frac{f(x)T_i(x)}{\sqrt{1-x^2}}\mathrm{d}x,\forall i=1,\cdots ,n\end{array}$$
上述级数的截断/投影（truncation or projection），
$$f_n(x)=\sum _{i=0}^n{a}_i\cdot T_i(x)$$
插值多项式 $P_n(x)$ 是级数投影 $f_n(x)$ 的良好近似，并且 $P_n(x)$ 不需要计算积分，实现简单。它们的系数关系是：
$$\begin{array}{rl}{c}_0& =a_0+a_{2n}+a_{4n}+\cdots \\ c_n& =a_n+a_{3n}+a_{5n}+\cdots \\ c_k& =a_k+(a_{2n+k}+a_{4n+k}+\cdots )+(a_{2n-k}+a_{4n-k}+\cdots ),\forall 1\le k\le n-1\end{array}$$
因此切比雪夫插值 $P_n(x)$ 的系数，可以视为切比雪夫级数 $f$ 的系数重新分配。两种近似方法 $P_n(x)$ 和 $f_n(x)$，二者的精度差距一般在因子 $2$ 以内。

对于离散情况，关于 Chebyshev points 也存在正交性：
$$\sum _{k=0}^n{T}_i(x_k)T_j(x_k)=\{\begin{array}{rlr}0,& & i\ne j\\ n+1,& & i=j=0\\ \frac{n+1}{2},& & 0<i=j\end{array}$$
根据上述的正交性，我们采样 Chebyshev points 数据点 $(x_k,y_k=f(x_k))$，计算系数：
$$\begin{array}{rl}{c}_0& =\frac{1}{n+1}\sum _{k=0}^n{y}_k\\ c_i& =\frac{2}{n+1}\sum _{k=0}^n{y}_k{T}_i(x_k),\forall i=1,\cdots ,n\end{array}$$
从而直接得到 $P_n(x)$ 在基函数 $T_i(x)$ 下的表示。

CHKKS18

[CHKKS18] 使用 sin 近似 mod q，定义：
$$S(t):=\frac{q}{2\pi }\sin \left(\frac{2\pi }{q}t\right)$$
对于 CKKS 解密函数 $[b-⟨a,s⟩{]}_q=m+e$，因为消息规模远小于密文模数 $m\ll q$，因此这里的 mod 运算可以用 sin 较好地近似。其中的 $b-⟨a,s⟩=m+e+qI\in \mathbb{Z}$ 是范围有界的整数。

给定 $t=qI+m$，并且满足 $|I|<K$ 和 $m\ll q$，那么 $[t{]}_q\approx S(t)$

然后使用 exp 计算 sin，定义：
$$E(t):=\frac{q}{2\pi }\exp \left(\frac{2\pi i}{q}t\right)$$
易知 $S(t)=\frac{E(t)-E(-t)}{2}$

最后使用 Talor 近似 exp，
$$P(x):=\sum _{k=0}^n\frac{(ix{)}^k}{k!}$$
它的误差为 $|\exp (ix)-P(x)|\le \frac{|x{|}^{n+1}}{(n+1)!}$，其中 $x=2\pi t/q$，因此如果比率 $[t{]}_q/q$ 越小，那么只需要更低的多项式次数 $n$，就可以使近似误差足够低。

[HK20] 中说 [CHKKS18] 为了高效计算（我没找到），将 Taylor 近似多项式仅定义在接近原点的较小 domain 上（从而度数较低），然后计算 $t^{\prime }=t/2^p,p\in {\mathbb{Z}}^{+}$ 使得它足够接近原点，最后使用二倍角公式根据 $S(t^{\prime })$ 计算出 $S(t=2^p\cdot t^{\prime })$

CCS19

我们可以发现，Taylor 多项式的系数是超指数级下降的，因此对于较大的度数，不得不使用极高精度的浮点数，否则将会导致较高的数值误差（注意区分：近似误差、数值误差）

[CCS19] 转而使用切比雪夫插值，形如
$$P_n(x)=\sum _{k=0}^n{c}_k{T}_k(x)$$
对于 $[-1,1]$ 上 Lipschitz continuous 函数 $f$，存在唯一的 $P_n(x)$ 满足 $P_n(x_j)=f(x_j)$，其中 $x_j=\cos (j\pi /n),0\le j\le n$

假设 $P_n^{\ast }(x)$ 是最小化最大（minimax）多项式，它最小化了 $\Vert f-P_n^{\ast }{\Vert }_{\infty }$ 范数。可以证明 $P_n(x)$ 仅仅是对数损失，
$$\Vert f-P_n{\Vert }_{\infty }\le \left(\frac{2}{\pi }\log n+2\right)\cdot \Vert f-P_n^{\ast }{\Vert }_{\infty }$$
为了近似 $S(t):=\frac{q}{2\pi }\sin \left(\frac{2\pi }{q}t\right)$，其中 $t\in [-Kq,Kq]$，将它缩放到区间 $[-1,1]$ 上，
$$g(x):=\frac{1}{2\pi }\sin (2\pi Kx),x\in [-1,1]$$
然后使用切比雪夫插值，得到 $g(x)$ 对应的多项式 $P_n(x)={\sum }_{k=0}^n{c}_k{T}_k(x)$

对比 Taylor 近似，Chebyshev 近似的多项式度数要小得多，因此数值误差更小。为了计算 $P_n(x)$，可以先将系数 $c_k$ 转化为 Power Basis $\{x^k\}$ 下的系数 $c_k^{\prime }$，然后使用 [PS73] 的单变元多项式求值算法。然而，这个转换矩阵是病态的（ill-conditioned），导致较大的数值误差。如果利用 $T_k(x)$ 的迭代关系，对它们依次求值，最终使用 $c_k$ 组合求值结果，那么计算复杂度是 $O(n)$ 次非标量乘法，尤其是同态运算下（非标量乘法的开销很大）这是不可接受的。

[CCS19] 修改了 [PS73] 的算法，将其中 Power Basis 替换为 Chebyshev Basis，并设计了直接在 Chebyshev Basis 下执行的长除法。整体流程完全就是 PS 原始算法，只是其中的具体运算从基 $\{x^k\}$ 替换到基 $\{T_k(x\}$，复杂度为 $\sqrt{2n}+O(\log n)$ 次非标量乘法。

HK20

[HK20] 观察到仅当 $m:=[t{]}_q\ll q$ 时，才有 $[t{]}_q\approx E(t)$，因此只需使用 $p(t)$ 拟合 $E(t)$ 的部分 domain 即可。而在 [CHKKS18] 和 [CCS19] 中使用的都是全域 $[-1,1]$ 上的拟合，导致多项式次数较高。

通过缩放平移，将 $\sin (\frac{2\pi }{q}t)$ 变换为 $\cos (2\pi t)$，输入的区间是：
$$t\in \bigcup _{i=-k+1}^{K-1}{I}_i,I_i:=[i-\frac{1}{4}-ϵ,i-\frac{1}{4}+ϵ]$$
其中的 $ϵ$ 是 $[t{]}_q/q$ 的上界（足够小，使得 $S(t)$ 足够近似 $[t{]}_q$）

对于区间 $[a,b]$，采取 Chebyshev method 选取如下的插值点（是 Chebyshev root 而非 Chebyshev point），
$$t_j=\frac{b+a}{2}+\frac{b-a}{2}\cos \left(\frac{2j-1}{2n+2}\pi \right),1\le j\le n+1$$
注意到 $\cos (2\pi t)$ 的区间是间断的，[HK20] 对于各个小区间 $I_i$ 分别采样 $d_i$ 个插值点（而非 $[-K,K]$ 的全域），
$$\{t_{ij}\in I_i:-K<i<K,1\le j\le d_i\}$$
使用它们插值出的 $P_n(t),n={\sum }_i{d}_i-1$ 的余项规模为
$$\Vert \cos (2\pi t)-P_n(t)\Vert \le \frac{(2\pi {)}^{n+1}}{(n+1)!}\cdot \max \{M_{-K+1},\cdots ,M_{K-1}\}$$
其中 $M_i={\max }_{t\in I_i}\Vert w(t)\Vert$，$w(t)={\prod }_{i,j}(t-t_{ij})$

为了确定合适的 $d_i$，[HK20] 初始设置 $d_i=1$，然后迭代计算 $M_i$，然后找出值 $M_i$ 最大的那个区间 $I_{i^{\ast }}$，设置 $d_{i^{\ast }}=d_{i^{\ast }}+1$ 重新在 $I_{i^{\ast }}$ 中采样。迭代此过程，直到余项的规模小于预设的误差上界，得到采样策略 $\{d_i\}$，最终插值出 $P_n(t)$

因为插值点集中在各个 $I_i$ 里，所以近似误差降低的很快，所需的多项式度数比 [CCS19] 的切比雪夫插值更低。

为了同态计算 $P_n(t)$，如果表示为 Power Basis $P_n(t)={\sum }_i{p}_i{t}^i$，由于某些极小的系数 $p_i$ 是不稳定的数值，导致数值误差很大，并且如何用 CKKS 加密它们也是个问题。[HK20] 也采用了 Chebyshev Basis $P_n(t)={\sum }_i{c}_i{T}_i(t)$，区间扩张到 $t\in [-K,K]$，定义基函数 $\{{\tilde{T}}_i(t):=T_i(t/K)\}$。由于 $|{\tilde{T}}_i(t)|\le 1,\forall |t|<K$ 的范数很小，从而 $P_n(t)={\sum }_i{c}_i\cdot {\tilde{T}}_i(t)$ 对于系数 $c_i$ 的误差不敏感，甚至对于极小的 $c_i$ 可以简单忽略。

[HK20] 也没有采用 [PS73] 求值算法，而是使用 BSGS 来求值，

BSGS 算法的复杂度为 $2\sqrt{2n}+1/2\cdot \log n+O(1)$ 次非标量乘法，而 [CCS19] 使用的 PS 算法变体的复杂度为 $\sqrt{2n}+\log n+O(1)$ 次非标量乘法。虽然渐进复杂度 PS 算法更好，但是因为使用的插值多项式度数较小，导致 $\log n$ 项的占比较高，实际中反而不如 BSGS 快。

此外，[HK20] 还结合了 [CHKKS18] 的二倍角技术，将 $t$ 缩放为 $t^{\prime }=t/2^r$，然后在区间 $I_i^{\prime }=I_i/2^r$ 上近似 $\cos (2\pi t^{\prime })$。最终，将近似多项式的度数从 [CCS19] 的 $119$，降低到了仅为 $30$，自举速度大幅提高。