OpenMMLab

OpenMMLab

计算机视觉与OpenMMLab开源算法体系

计算机视觉：研究如何让计算机自动理解图像和视频中的内容

计算机视觉解决的三大问题：分类、检测、分割

OpenMMLab：计算机视觉开源算法体系

机器学习和神经网络简介

机器学习详细笔记

机器学习基础

机器学习：让计算机从数据中学习去解决问题（问题—>收集数据—>拟合模型）

应用：人脸识别、机器翻译、语音识别、强化学习

机器学习中的分类问题

过程

• 原始文本
• 关键词提取、统计，形成词频向量，用该向量代表一个文本，称为特征
• 特征看作是向量空间中的点，不同类文本分布在空间中不同位置
• 将空间划分成不同的区域就可以对邮件进行分类

线性分类器：不同类的数据在特征空间中可以被一条线分开

机器学习基本流程

• 训练：采集数据并标注类别，选取一部分用于训练分类器
• 验证：从采集、标注的数据中选取另一部分用于测试分类器的分类精度
• 应用：将经过验证的分类器集成到实际的业务系统中，实现对应功能

神经网络

激活函数：给神经网络加入非线性变换，使其解决分线性分类问题

单个神经元可实现线性分类，堆叠多层可实现非线性分类

神经网络的训练

神经网络的训练目标：基于梯度下降算法寻找最优参数，进而得到最优网络

如何计算损失函数对于网络参数的梯度

• 复合函数求导的链式法则，许多导数的计算是重复的
• 解决：反向传播算法

根据样本数量的不同，梯度下降算法有不同的实现

• 标准梯度下降：针对所有样本计算梯度，大数据集上不现实
• 随机梯度下降：每次迭代随机选取一部分样本，称为mini batch，batch越大，每下降一步计算量大但是更稳定

神经网络训练流程：计算样本的损失 —> 计算样本损失的梯度 —>根据梯度信息更新参数

• 欠拟合：没有捕捉训练数据中的规律，模型过于简单
• 拟合：捕捉到数据训练中的规律，可以准确预测数据
• 过拟合：过度拟合到训练数据中的噪声，模型过于复杂且数据不够

卷积神经网络CNN

深度神经网路：处理图片数据时参数巨大且没有考虑图像本身的二维结构

卷积神经网络：卷积层输入输出之间的连接仅存在于局部空间，且连接的权重在不同输出单元之间共享