深度学习理论知识

深度学习笔记：

深度学习笔记（一）：卷积变种（分组卷积、空洞卷积、深度可分离卷积、可形变卷积） 卷积中的不一样的操作_呆呆象呆呆的博客-CSDN博客_小卷积代替大卷积 vs 深度可分离卷积

深度学习笔记（二）：Normalization（原因、BN、WN、LN、IN、权重数据伸缩不变性）_呆呆象呆呆的博客-CSDN博客_wn和in的关系材料力学

深度学习笔记（三）：激活函数比较分析，可视化，选择（Sigmoid，Tanh，ReLU，Leaky ReLU，PReLU，RReLU，Maxout，Softmax）_呆呆象呆呆的博客-CSDN博客_激活函数为sigmoid可视化权重值

深度学习笔记（四）：常用优化算法分析比较及使用策略（SGD、SGDM、SGD with Nesterov Acceleration、AdaGrad、AdaDelta、Adam、Nadam）_呆呆象呆呆的博客-CSDN博客

深度学习笔记（五）：深度学习卷积核的计算理解，小卷积核和大卷积核的转换比较_呆呆象呆呆的博客-CSDN博客_小卷积核与大卷积核

深度学习笔记（六）：1x1卷积核的作用归纳和实例分析_呆呆象呆呆的博客-CSDN博客_1乘1卷积核增大计算量

深度学习笔记（七）：网络宽度（卷积核个数）的一些想法_呆呆象呆呆的博客-CSDN博客_网络宽度

深度学习笔记（八）：循环神经网络（RNN）的解释说明及其梯度爆炸或消失的tricks_呆呆象呆呆的博客-CSDN博客_简述循环神经网络的核心思想

深度学习笔记（九）：LSTM学习笔记（结构解析，从RNN的发展历程，解决梯度爆炸和梯度消失，长短时间记忆的含义）_呆呆象呆呆的博客-CSDN博客

深度学习笔记（十）：Attention Model学习笔记一：发展历程原理、优势及系统分类_呆呆象呆呆的博客-CSDN博客_注意力模型优势

BN层的学习（意义、效果、训练测试的区别、数学公式推导、反向传播公式解释证明）_呆呆象呆呆的博客-CSDN博客_bn训练和测试的区别

理论知识： 

深度学习机器学习理论知识：范数、稀疏与过拟合合集（1）范数的定义与常用范数介绍_呆呆象呆呆的博客-CSDN博客

深度学习机器学习理论知识：范数、稀疏与过拟合合集（2）有监督模型下的过拟合与正则化加入后缓解过拟合的原理_呆呆象呆呆的博客-CSDN博客_矩阵范数过拟合

深度学习机器学习理论知识：范数、稀疏与过拟合合集（3）范数与稀疏化的原理、L0L1L2范数的比较以及数学分析_呆呆象呆呆的博客-CSDN博客_稀疏 范数

深度学习机器学习理论知识：范数、稀疏与过拟合合集（4）L2范数对condition number较差情况的缓解_呆呆象呆呆的博客-CSDN博客

深度学习机器学习理论知识：范数、稀疏与过拟合合集（5）Dropout原理，操作实现，为什么可以缓解过拟合，使用中的技巧_呆呆象呆呆的博客-CSDN博客

深度学习机器学习理论知识：范数、稀疏与过拟合合集（6）过拟合的成因、判断、常用八种解决措施_呆呆象呆呆的博客-CSDN博客

Separable Convolution 原理讲解及计算量和参数量比较分析_呆呆象呆呆的博客-CSDN博客_separableconvblock计算

YUV与RGB编码_呆呆象呆呆的博客-CSDN博客_rgb编码

【理论知识学习32】归纳偏差与选择性偏差（概念作用以及举例说明）_呆呆象呆呆的博客-CSDN博客_归纳偏差

【理论知识学习33】深度学习机器学习中的白化 VS PCA_呆呆象呆呆的博客-CSDN博客_pca和白化一样吗

深度学习中的Benchmark，Baseline，Backbone和SOTA的比较说明举例分析_呆呆象呆呆的博客-CSDN博客_深度学习benchmark

压缩感知：

【压缩感知合集1】（背景知识）香农奈奎斯特采样定理的数学推导和图解分析_呆呆象呆呆的博客-CSDN博客_奈奎斯特定理 变换图

【压缩感知合集2】（背景知识）信号稀疏表示的数学推导和解释理解_呆呆象呆呆的博客-CSDN博客_信号的稀疏度咋算出来的

【压缩感知合集3】压缩感知的背景与意义_呆呆象呆呆的博客-CSDN博客_感知压缩意义及应用

【压缩感知合集4】理想采样信号和随机采样信号两种采样信号的频谱分析，以及采样效果比较_呆呆象呆呆的博客-CSDN博客_理想抽样信号

【压缩感知合集5】压缩感知简介和数学模型分析_呆呆象呆呆的博客-CSDN博客_压缩感知模型

【压缩感知合集6】压缩感知为什么可以恢复信号；为什么需要满足稀疏性条件、RIP条件、矩阵不相关等限制条件才可以恢复信号的逻辑分析_呆呆象呆呆的博客-CSDN博客_压缩感知与稀疏恢复有什么关系

【压缩感知合集7】压缩感知RIP有限等距性：定义解析，理解说明，数学原理推导_呆呆象呆呆的博客-CSDN博客_rip条件 压缩感知

【压缩感知合集8】MP算法（算法实现、收敛讨论以及问题分析）_呆呆象呆呆的博客-CSDN博客_压缩感知mp算法

GPU知识与CUDA系列：

【GPU结构与CUDA系列0】背景知识：GFLOPS，带宽，延迟和吞吐量，乱序执行，上下文切换，指令集体系结构_呆呆象呆呆的博客-CSDN博客_gpu吞吐量计算公式

【GPU结构与CUDA系列1】GPU与CPU比较：GPU介绍、设计差异、计算流程_呆呆象呆呆的博客-CSDN博客_gpu设计流程

【GPU结构与CUDA系列2】GPU硬件结构及架构分析：流多处理器SM，流处理器SP，示例架构分析_呆呆象呆呆的博客-CSDN博客_gpu sp

【GPU结构与CUDA系列3】GPU软件抽象：Grid，Block，Thread，Warp定义说明与硬件的映射执行细节_呆呆象呆呆的博客-CSDN博客_gpu warp

【GPU结构与CUDA系列4】GPU存储资源：寄存器，本地内存，共享内存，缓存，显存等存储器细节_呆呆象呆呆的博客-CSDN博客_gpu 缓存