机器学习强基计划9-2：图解字典学习KSVD算法(附Python实战)

0 写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。强基计划实现从理论到实践的全面覆盖，由本人亲自从底层编写、测试与文章配套的各个经典算法，不依赖于现有库，可以大大加深对算法的理解。

详情：机器学习强基计划(附几十种经典模型源码)

---

1 字典学习

人类社会一切已发现或未发现的知识都必须通过字、词、句进行表示，而整体的知识量非常庞大——人类每天产生的新知识约2T；换言之，无论人类的知识多么浩瀚，一本新华字典或牛津字典也足以表达人类从古至今乃至未来的所有知识——字典中字、词、句的排列组合。所以字典相当于庞大数据集的一种降维表示，且蕴藏样本背后最本质的特征。现代神经科学表明，哺乳动物大脑的初级视觉皮层主要工作就是进行图像的字典表示。

考虑样本矩阵的一种分解