2022人工智能数学基础2（交大许老师

参数量>>数据量    过参数化

限制条件没法完全限制住参数，多解

神经网络为什么好，应用的数据  图片、语言、文字这些数据很有价值

 

训练过程似乎遵循某些基本原则，叫“隐式正则化 ”  隐式偏向（人的意识里）

 

为什么偏向先学习低频？

ReLU关于ξ^2衰减

函数积分后更光滑；光滑则衰减更快；频率空间和时域空间无法同时精确

光滑性就是看能否求导、是否连续

 激活函数 在傅里叶空间  单调衰减、和神经网络在傅里叶空间具有某种单调性 是一致的。

 二次函数*高斯函数

 

震荡越厉害，高频越多

 加速高频的收敛

 

以两层神经网络为例：

 连续化以后  相对于考虑这两个函数的二范数

傅里叶变换是线性变换，求和不变

   无穷光滑，无穷快的衰减，指数衰减

 

 

 激活函数的光滑性正则性，通过链式法则，影响了函数在傅里叶空间里的衰减速度。

 

要做泰勒展开，需要x和x0靠近。

 

实作上，有些高频成分收敛的实在太慢了，用稍微不光滑的激活函数比如Relu，速度就会快很多

 

w很大时， f(wx)会变得很shock、剧烈震荡、有很多高频成分

结论：初始化很大，泛化性差。

 

共轭梯度下降算法、truncated牛顿算法、BFGS、粒子群算法（不用梯度信息）、蒙特卡洛，等算法都可以观察到低频先收敛的现象。

采样里有噪音、测试集和训练集分布不完全一样，

1 .提前停止会有效，前提：数据是低频，噪音是高频

 2.奇偶函数 神经网络泛化性很差，随着频率增加、幅度变大，奇偶函数任意变一个量，输出就发生了变化，输出对输入的敏感程度很高，就叫高频（反应变化程度）。

图像识别这类问题 神经网络泛化性很好。因为高频幅度很小，不影响

（c） 采样时会加入一些额外的高频杂讯，

高频占优的函数下，泛化就非常糟糕。

微分方程本质上就是一个方程  里面含有导数，

函数到函数的映射就叫算子，解一类方程

 

判断函数是否简单，频率不高

高频问题有时候是很重要的，地震波、电磁波

解高频问题实际上是很容易的，

二次导问题，可以离散化的形式、差分的形式，去逼近导数。中心差分，本质来讲就是泰勒展开。变成解线性方程组问题，矩阵很大时，很困难，用传统算法 jacobi迭代，高频收敛特别快，会遇到光滑性问题，低频很难学。

所以可以和神经网络结合。

谱方法，相当于sinx做激活函数，传统方法学 菱角分明，

relu   神经网络学 变光滑了，因为有低频倾向

 

 

当函数高时，神经网络学起来困难，把高频变低频：

拉伸

 g(x) =f(wx)   w>1    不同方向不同拉伸 “凑”...

算子。作用：神经网络有时候训练很难，有个高手都调好，解PDE就查表，再配上蒙特卡洛积分，工业上用差不多了，只要精度不是要求很高

 

找到可参数化的优化函数，有目标，就可以做神经网络，

非线性就套非线性的激活函数

神经网络参数太多了  解方程很难，就用梯度下降找0点。

牛顿法本质上就是找一阶导的0点。

---

损失函数， p代表每一点上的概率，q代表另外一个分布，这两个分布一个在log里一个在log外，不可交换，含义：用pi编码qi，平均能编码多少，用pi分布逼近qi

 

  数据在傅里叶空间有衰减特性， ln2通常称为时间尺度

PDE

 

没有固定时间尺度

 loglog画图

 两个小游戏

 有各种周期时，求和就是幂衰减。周期很大 需要衰减很久，长尾效应

网页指向模型、财务聚集模型

这是 描述数据特征的重要方法

 图片的衰减特性 幂律衰减 ，高频不多但存在，

 

采多少样本都很难判断均值为0，只能大致判断量级，

 

如果方差很小 采几个样本就能算方差了

 想要一个误差10^(-3)，需要10^6 一百万张图，

以上 是图片数据的特征不变性、衰减、关联。

图片分类问题困难在这。

时域的卷积=频域的乘积

这个kernel 加起来=0，保留变化大的地方，边界上保留一些非0元素

sharpen相同的不消掉，锐化

 

可以加个t，比如t很小，0.001 ，可以让p间的距离变大，调参