浅谈一点信号处理

信号处理理解

信号处理方法分为传统方法和现代方法。

1.传统信号处理
大多是基于固定规则的，即“rule-based”，算法是基于某种对原始数据的假设（如平稳的，相互独立的，稀疏的，低维空间，平滑，非局部相似等等），少部分自适应滤波，涉及到优化和广义参数学习上。

2.现在主流的机器学习/深度学习
都是基于数据驱动的“data driven"，与传统信号处理相比，机器学习减少了对数据/信号的假设，尤其深度学习，基本可认为是普适性的信号模型。

• 两者相同点：对信号操作的基本手段类似，如线性变换，卷积，非线性阈值等。
• 不同点：从参数固定变成了可学习，如传统信号处理对数据的卷积，用一个高通或低通滤波器，而深度学习变成了可学习的kernel来做卷积，可学习增加了算法的灵活性。

==》所以，深度学习也可看做是传统信号处理体系的进化。通过数据驱动，自学习和优化，减少了对原始数据的假设条件，使得更接近真实情况，从而让算法更加flexible and scalable。

探讨：
1.传统信号处理都是hand-crafted 特征提取，达不到理想效果原因归根结底还是信号的假设太过局限，所以到深度学习的特征自学习后，效果显著提升。
2.深度学习局限：从过去的”rule-based“到现在”data-dirven"，信号模型变得更加鲁棒和丰富，但仍存在问题。
a. 算法可分析性较弱。当下很多深度学习理论都只利用优化和随机理论，导致算法的性能很难有保障，结果无法用特定的参数来定量或准确调整。只能凭经验调参，对错误结果无法追踪原因。
b. 对训练数据全部信息利用效率低。现在深度学习强调端到端，基本利用不到数据的先验信息和问题本身的数学模型，不得不强行用大量数据去拟合。
c. 噪声鲁棒性差：深度学习不光拟合有用数据，也会拟合不想要的数据退化，所以对数据质量敏感，需要数据清洗。