随机傅里叶特征(Random Fourier Features)

随机傅里叶特征(Random Fourier Features)

作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/

1. 基本知识

1.1 傅里叶变换与逆傅里叶变换

1.2 平移不变性核

 具有平移不变性的核有：

1.3 Bochner定理

2. 介绍

    随机傅里叶特征方法是一种近似核函数的方法，旨在找到一个低阶的映射函数z(x)，将D维原始数据映射到d维随机特征空间中，随机特征空间中两个特征的内积约等于核函数，即z(x)’z(y)≈k(x,y)=k(x-y)

算法具体流程：

3. 具体推导

    给定一个平移不变性的核，怎样找到这样的映射z(x)呢？

（1）平移不变性

（2）傅里叶变换与逆傅里叶变换

（3）w~p(w)

（4）e^iθ=cos(θ)+i*sin(θ)，只取实部

（5）具体推导过程

（6）蒙特卡洛方法

4. 结论

    至此，找到随机映射z(x)，使得原始数据x映射到d维随机特征空间中。

5. 参考文献

[1] Rahimi and B. Recht, “Random features for large-scale kernel machines,” in Advances in Neural Information Processing Systems 20, pp. 1177–1184, Curran Associates, Inc., 2008.

[2] Random Fourier Features  http://gregorygundersen.com/blog/2019/12/23/random-fourier-features

[3] Karris S T. Signals and systems with MATLAB computing and Simulink modeling[M]. Orchard publications, 2007.