深度学习（观看b站视频心得）

一、Introduction to Computer Vision and Deep Learning

1.Computer Vision in AI：Perceptual and Cognitive

2.Core Problems:Classification. Detection .Segmentation .Sequence

解决分类问题：Support Vector Machines/Random FOREST

流程：图片（关键点检测与定位：Neural Network--原型是感知机，后来又Boosting代替了）------提取局部特征-----量化（将向量去编码，变成高维向量）----SVM

关键词：MLP多层感知机

               BP反向传播算法（NN里主要的算法）

心得：做算法、网络结构的思维

二、Math in Deep Learing（网址：https://www.bilibili.com/video/av88056282/?p=3）

基础：概率论、优化、图优化、拉格朗日....

1.向量

2.方阵：正交矩阵

3.一些概念：期望、方差、协方差、实对称矩阵、对角化、离散、连续、聚类

4.机器学习的过程可以理解为：知道这符合一种分布，但是不知道其参数，机器学习就是把这个参数找到

5.中心点：在所有点中找到一个点，这个点到其他点之和最小------这个点就叫中心点

6.线性规划、优化（ 本质：有一个目标 要把它变为最小）

           先迭代、改进

会求导-----

7.机器学习：监督学习 非监督学习（没有标签 分类后有所清晰） 生成 判别

           定模型空间取决于经验 ---这是与数学的三个区别    目标不同  不是所有的都有相似性，排除偶然性

           

监督学习

非监督学习：无标签 只关注x，p(x)是有一种线性分布的---找一个模型    傅里叶模型/转换

          ----研究x取值时知道y大概长啥样

生成模型

用非监督学习搞X的线性分布（用鉴别方法）在找到判别模型；反过来也行

过拟合---假象    欠拟合  --- 简单性，维度不要太高-----误差总是有的

卷积 ---避免过拟合

三、Neural Network Basic & Architecture Design

1.神经网络：

图片关键点抽取  分类（最简单是线性的  SVM或者感知机） 回归

2.线性组合：简单

   函数组合：利用高效，特性很明显【一层一层 需要优化】

3.如何构建神经网络:

    eg:分类器  特性处理器   Deep Neural Network

表示成简单的特征处理器---进行优化

4.卷积神经网络设计：可以解决平移不变性问题

                 同少的参数个数表示更多的神经元

LCN层：加快收敛速度

定义卷积层----pooling层（减少计算量的作用 提高鲁棒性）

5.Architecture Design

四.Computation Technologies in Deep Leanring

cpu指令

五.Neural Network Approximation

神经网络压缩         图片、app压缩等

CNN：卷积神经网络

   卷积----->变成我们熟悉的东西                                           卷积(有平移不变性)变为矩阵乘

    矩阵----拆分----向量的外积

    科学的近似svd

   张量分解

    cp分解

Sparse Approximation稀疏近似

     NN训练 训练 训练 

      

待续........