mmlab寒假实战营注：本博客仅用于个人上课随手笔记计算机视觉算法基础与OpenMMLab介绍一、上课笔记1.视觉任务1.分类2.分类+单目标检测3.多目标检测4.语义分割（不管重合物体）5.实例分割（

图像分类与基础视觉模型问题的数学表示图像是像素构成的数组：x∈RH×w×3x\in\mathbb{R}^{H\timesw\times3}x∈RH×w×3H和w表示像素的长和宽，3表示通道数（即RGB）视觉任务的难点图像的内容是像素整体呈现出的结果，个个别像素的值没有直接关联，难以遵循具体的规则设计算法让机器从数据中学习收集大量图像数据定义模型：通常为含参变量的函数训练：寻找最佳参数，使得模型在训

Openmmlab寒假训练营(二)1.分类问题的发展和模型总结经典的卷积神经网络VGG系列、GoogleNet、ResNet等注：关于ResNet的一些后续改进ResNetB/C/D残差模块的局部改建、

卷积神经网络介绍AlexNet(2012)第一个成功实现大规模图像的模型，在ImageNet数据集上达到~85%的top-5准确率5个卷积层，3个全连接层，共有60M个可学习参数使用ReLU激活函数，大幅提高收敛速度实现并开源了cuda-convnet，在GPU上训练大规模神经网络在工程上成为可能GoingDeeper(2012~2014)VGG(2014)GoogLeNet(Inceptionv

图像分类与基础视觉模型1.什么是图像分类1.1任务目标数学表示任务的难点机器学习方法收集数据定义模型训练预测机器学习善于处理低维、分布简单的数据，对于图像这类几十万维的空间缠绕的复杂分布数据力不从心ImageNet–特征工程的天花板层次化特征的实现方式卷积多头注意力TransformerAlexNet的诞生深度学习时代的开始2.卷积神经网络2.1卷积神经网络的发展AlexNet->VGGNet->

图像分类与基础视觉模型卷积神经网络AlexNet的诞生：GoingDeeperVGGGooLeNet轻量化卷积神经网路卷积的参数量卷积的计算量（乘加次数）⭐输出特征图每个通道上的每个值都是输入特征图和1个通道的卷积核进行一次卷积的结果⭐乘加次数计算公式：′×′×′×(××)=′′′2降低模型参数量和计算量的方法

计算机视觉是一门让计算机学会“看“的学科，研究如何自动理解图像和视频中的内容；openmmlab作为深度学习时代最完整的计算机视觉开源算法体系，涵盖算法训练--部署一体化，2.0版本的功能更加强大和便捷

1、图像分类：卷积神经网络、残差网络、神经结构搜索、VisionTransforms、轻量化神经网络、可分离卷积；2、模型学习范式：监督学习、自监督学习3、学习率和优化器策略：学习率退火、升温、linearscalingrule(batchsize扩大原来k倍，学习率也应该扩大k倍)、4、自适应梯度算法：SGD、Adaw5、数据增强：几何变换、色彩变换、随机遮挡、强化学习、组合图形（逐像素混合图像

第一天：计算机基础和Openmmlab算法框架一、计算机视觉基础概念1.基本任务分类检测（锚框级别）分割（像素级别）语义分割——只需要分类即可实例分割——除了分大类外，类间个体间也作区分关键点检测2.衍生任务图像

openMMlab三保1.基于pytorch框架，容易学习2.上面有许多领域内，如图像分类典型的算法，快速了解此领域内的进展和前沿3.只要有数据集，只需更改config等文件，就可以尝试不同算法跑出来的实验结果

文章目录见结尾图像分类发展传统方法(手工特征+机器学习分类)—>深度学习(网络自主学习特征表达+分类)分类深度学习相关网络CNN、Transformer、GNN等视觉基础模型的发展CNN相关网络AlexNetVGG和GoogLeNet提出的原因添加网络层数可以直接反应到精度上，网络层数越深，精度越高。改进点VGG使用2个3x3的卷积来取代5x5的卷积，两者的感受野相同但是参数更少。GoogLeNe

首届AI实战营开课啦带你一站式体验CV明星框架你的热门活动小助手已上线技术大牛直播带学，两周快速上手这个寒假带你一站式体验CV明星框架从基础课入门到体系化学习揭秘AI学习快车道在项目实践中打败拖延、迸发灵感在专属技术社群中建立链接、快速成长AI实战营是什么？计算机视觉，作为人工智能的核心技术之一，近年来取得了革命性进展，并深刻改变着各行各业。作为初学者，如何跨过编程、算法、项目实战三座大山，“无痛

关于这些任务，openmmlab均有其相关的成熟算法库，mmcls、mmdet、mmseg等等。自2012年Alexnet开始，计算机视觉已全面进入深度学习时代。从手工特征到机器自主学习特征表达。

本篇文章为OpenMMLabAI实战营打卡笔记，想要具体了解可以跳转课程视频：计算机视觉之图像分类算法基础目录一、图像分类与基础视觉模型二、MMClassification介绍一、图像分类与基础视觉模型  这节课主要讲述了卷积网络的发展与模型学习的相关知识。从卷积神经网络到轻量化卷积神经网络，再到神经结构搜索，最后到VisionTransformers，完整的介绍了卷积网络的发展。同时对模型学习的

图像分类与基础视觉模型卷积神经网络AlexNet（2012）第一个成功实现大规模图像的模型，在ImagNet数据集上达到~85%的top-5的准确率5个卷积层，3个全连接层，共有60M个可学习参数使用ReLU激活函数，大幅提高收敛速度实现并开源了cuda-convnet，在GPU上训练大规模神经网络在工程上成为可能。GoingDeeper（2012~2014）VGG（2014）将大尺寸的卷积拆解为

OpenMMLab实战营打卡-第二课文章目录OpenMMLab实战营打卡-第二课传统算法与深度学习传统算法与深度学习`图像处理好识别算法，传统是通过设计人工算子如canny、sobel、直方图统计等方式提取图像中的特征然后加上机器学习的方式对提取到的图特征进行学习

【mmdetection小目标检测教程】一、openmmlab基础环境搭建1.系统环境2.构建虚拟环境3.安装pytorch4.安装mmegine和mmcv5.安装mmdetectionmmdetection

算法部署一体化intelopenvino算法框架包括目标检测、实例分割、全景分割从数据中学习经验，解决实际工程问题

今天听了子豪兄的课，收获如下：由于不是计算机系科班出身，有一些听了就在想为什么会是这样呢，所以记得比较凌乱1、拟合问题用他的话来比喻：过拟合：平时考得好，高考没考好拟合：平时考得好，高考考得好欠拟合：平时没考好，高考也没考好解决方法：过拟合：扩充训练样本，提早结束训练（引入早停策略）欠拟合：延长训练，更换模型这两个问题我都经历过我曾想训练一个鞋类图片生成模型，于是在网上抄了一个dcgan的代码下来

通用视觉框架OpenMMLab--计算机视觉与OpenMMLab开源算法体系计算机视觉计算机视觉是什么？

本文是openmmlabAI实战营的第二次课程的笔记，以下是我比较关注的部分。在图像分类任务上，视觉基础模型的发展，最新的是convNeXt。convNeXt:返璞归真，将SwinTransformer的模型元素迁移到卷积网络中，性能反超Transformer他更好的一个事情就是，卷积在视觉领域已经做了很多年了，包括很多工程问题，一些算法，一些硬件，很多都对卷积进行了优化，突然换到transfor

1.图像分类的两大步骤，一是模型设计，选择各种神经网络模型，使用resnet18可以满足很多需求了，二是模型学习，可以通过标注的数据集训练的监督学习，也可以采用自监督学习方式。2.了解AlexNet，VGG，GooLeNet，ResNet等现代经典网络模型结构，还有visiontransformer，swintransformer等更强的图像分类模型。3.一些优化策略和技巧，如动量SGD，自适应梯

最近在找小研究方向上面很迷茫，看到datawhale和openmmlab合作的AI实战营，想着巩固学习于是参加了，之前研究旋转框的时候用过mmrorate，当时有在巨人的肩膀上学习的感觉。

本节课主要是讲了一些图像分类的内容和基础的视觉模型，那我们马上开始吧。我们做图像分类，首先就是要先明确图像分类是什么——就是给定一张图片，让计算机自己识别图片中的物体是什么，并输出。计算机中输入的图像一般是数字图像，即由许多数字构成的矩阵，每一个数值代表一个像素值，一般灰度图像有单个通道，彩色图像有三个通道（RGB），所以在计算机中，图像的内容是所有的像素整体呈现的结果。一般的机器学习规则就是：①

图像分类任务目标：给定一张图片，识别图像中的物体是什么。数学表示图像是像素构成的数组：X∈RH×W×3X\in\mathbb{R}^{H\timesW\times3}X∈RH×W×3对类别进行编号，香蕉→\rightarrow→1，苹果→\rightarrow→2，橘子→\rightarrow→3等等，得到类别y∈{1,⋯ ,K}y\in\{1,\cdots,K\}y∈{1,⋯,K}，且预测结果符

第二次课程主要讲解了图像分类的算法以及图像分类的迭代历史。首先从AlexNet开始，之后是VGG，GooGleNet,ResNet.之后attitation与transformer横空出世，并且在计算机视觉上的能力也被发掘出来，相继出现VisionTranformer与SwinTransformer。之后的ConvNeXt又在卷积的体系上引入transformer的体系取得了很好的效果。最后讲解了

这节课主要学习了图像分类，从传统的特征工程再到特征学习；接着学习了卷积神经网络模型的发展历程，了解了多种的卷积神经网络模型；接下来详细介绍了更强的图像分类模型，如神经结构搜索、VIsionTransforms、ConvNext最后学习了轻量化卷积神经网络。通过这一节的学习，加深了图像分类学习的认识。引用自：https://blog.csdn.net/G968574321/article/detai

OpenMMlab当今提供先进的底层架构，覆盖计算机视觉的多维方向，提供统一的基准，以pytorch为底层架构，构建目标检测，人体参数化模型等算法框架和视觉基础库。

计算机视觉之图像分类算法基础第二节课讲了一些深度网络的发展史，也讲了一些轻量级网络VGG使用小的卷积核替代一个大的卷积核，减少了参数的数量，而且感受野不变亮点1.引入了inception结构，可以融合不同尺度的信息2.使用了1x1的卷积核进行降维以及映射处理3.添加了两个辅助分类器帮助训练4.丢弃了全连接层，使用平均池化层（大大减小了模型的参数）RES-net亮点1.超深的网络结构2.提出了res

OpenMMLabAI实战营笔记（一）机器视觉与OpenMMLab开源算法体系0x01机器视觉是什么计算机视觉是一门让计算机学会"看"的学科，研究如何自动理解图像和视频中的内容图像识别：识别图像中的物体是什么人脸检测

一、图像分类图像本身是一堆数字，分布非常复杂。传统机器学习：人工设计算法，对输入进行降维。（特征工程）深度学习：端到端的分类器（特征学习）卷积神经网络Transformer模型设计和模型学习AlexNet：开创，使在GPU上进行训练成为可能VGG：5*5的kernel->3*3GoogleNet：inception残差学习Resnet：跳跃连接（？），模型集成的方式神经结构搜索基于强化学习，搜索表

今天的课程主要叙述图像分类与基础视觉模型，从图像分类到数学模型的转化需要建立一系列的函数，让机器在数据中学习。传统的机器学习是根据图像的各种特征进行函数的调配，而特征学习则是直接学习如何寻找特征，卷积神经网络CNN能够实现一步特征的提取，深度学习能够提升特征提取的精度和图像的还原度。此外，卷积神经网络中的VGG和残差网络作为主要部分，通过改进转变为轻量级CNN，该CNN着重注意特征值的权重，通过设

Listitem第二节笔记）传统方法：设计图像特征(1990s~2000s)AlexNet的诞生&深度学习时代的开始卷积神经网络1.AlexNet(2012)2.GoingDeeper(2012~2014)3.VGG(2014)4.GoogLeNet(Inceptionv1,2014)精度退化问题神经结构搜索NeuralArchitectureSearch(2016+)VisionTransfor

计算机视觉任务：图像分类，目标定位和分类（目标检测），语义分割，实例分割，关键点检测等。图像分类任务是计算机视觉任务的基础。计算机视觉应用无人驾驶动漫特效虚拟主播（人脸关键点检测）视频自动剪辑计算机视觉发展早期萌芽（1960-1980）：边缘检测统计机器学习与模式识别(1990-2000）：根据特征涉及检测器（特征工程）。难度大，鲁棒性差。ImageNet大型数据库建立(2006）初有成效的视觉系

摘要本节课由同济子豪兄主讲，主要介绍计算机视觉基础以及初始openmmlab，相关ppt的pdf文件下载（可下载的课件远小于直播的课件，02/01~02/14每晚19:30-21:00直播）计算机视觉基础本部分从计算视觉的任务出发

什么是OpenMMLab呢？为了帮助更多的同学在复现上少走弯路，并且实现可以在一个相同的环境下比较不同的settings，香港中文大学-商汤科技联合实验室(MMLab)推出了OpenMMLab计划。

其实今天讲的是用什么方法来区分图像中物体的类别。以简单的二分类为例，一个图像中有猫和狗，现在就要找到一种方法让机器来区分图像中的猫和狗。我们知道，猫和狗的特征不一样。传统的方法是通过人工设置特征工程来区分。但是人工设计的通用性太差，不利于推广，于是就想让机器去寻找物体的特征，让机器去进行图像分类，于是就产生了机器学习，这部分内容就属于西瓜书讲的内容。在实践过程中最典型的就是深度学习的各种网络。所谓

什么是图像分类？根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。问题的数学表达视觉任务的难点图像的内容是像素整体呈现出的结果，和个别像素的值没有直接关联，难以遵循具体的规则设计算法。机器学习的局限机器学习算法善于处理低维、分布相对简单的数据。而图像数据在几十万维的空间中以复杂的方式“缠绕”在一起，常规的机器学习算法难以处理这种复杂数据分布。传统方式设计图像特征在Ima

这节课主要学习了图像分类，从传统的特征工程再到特征学习；接着学习了卷积神经网络模型的发展历程，了解了多种的卷积神经网络模型；接下来详细介绍了更强的图像分类模型，如神经结构搜索、VIsionTransforms、ConvNext最后学习了轻量化卷积神经网络。通过这一节的学习，加深了图像分类学习的认识。

相关资源:github第一课计算机视觉与OpenMMLab开源算法体系张子豪计算机视觉基础计算机视觉：让计算机理解图像、视频。计算机视觉的三大基础任务：图像分类(图像识别)、目标检测、图像分割任务。

计算机视觉之图像分类算法基础图像分类任务介绍卷积神经网络轻量化卷积神经网络VisionTransformers模型学习监督学习学习率与优化器策略数据增强模型相关策略自监督学习MMClassification介绍图像分类任务介绍受限于人类的智慧，手工设计特征更多局限在像素层面的计算，丢失信息过多，在视觉任务上的性能达到瓶颈层次化特征的实现方式卷积-CNN多头注意力-Transformer卷积神经网络

/article/details/123003778最新分类网络模型MMClassification介绍图像分类模型的构成总结：本次主要复习深度学习图像分类知识，学习图像分类最新的模型，计算机视觉框架OpenMMLab

OpenMMLab主页：https://openmmlab.com/计算机视觉概念：计算机视觉应用：大致可以分为这么几类：图像识别、目标检测、图像分割、图像增强、图像生成、视觉感知、人脸分类识别、姿态估计

这节课主要有三个方面计算机视觉基础OpenMMLab开发体系机器学习以及卷积神经网络基础知识1计算机视觉基础除了（a）其他都是像素粒度的，目标检测是像素进行定位，分割要基本抠图2OpenMMLab机器学习不同卷积核定义了不同的

一、模型设计：卷积神经网络AlexNet，VGG，GooglLeNet，RESNET（2015）残差网络，轻量化卷积神经网络可分离卷积：逐层卷积，逐点卷积。分组卷积神经结构搜索借助强化学习的方法搜索出表现最佳的网络Transformer注意力机制二、模型学习：学习率策略：学习率退火，学习率升温，自适应梯度算法自监督学习（基于无标注的学习）：基于代理任务，基于对比学习，基于掩码学习

监督学习与无监督学习的区别：前者需要人的经验，后者不需要，自己学习大量数据的结构和规律。强化学习：如何和环境交互，获得最大收益。深度神经网络自适应梯度算法：根据梯度的历史幅度自动调整学习率（区分”学习重点“）优化器：动量，将上一步的移动延续到本布，帮助逃离局部极小值与鞍点，环节随机梯度下降的波动为了避免过拟合，我们设计了earlystopping卷积神经网络分为卷积层，激活层，池化层，全连接层，（

OpenmmlabAI实战营Day2首先对模型进行设计，（找到合适的网络，设计好的函数）接着对模型进行学习来求解一组好的参数。（监督学习，自监督学习）然后讲了一下训练技巧的事情。数据增强自监督学习因为昨天刚刚回到学校，收拾了很久东西，基本上课的时候全程都在收拾东西，所以今天决定先重听一下昨晚的课程。昨天的课程按我的回忆，应该是讲述了resnet网络，无监督学习等。图像，分辨率，像素数组如何使这些像

图像分类与MMClassification图像分类图像：像素构成的数组视觉任务的难点：图像的内容是像素整体呈现出的结果，和个别像素的值没有直接关联，难以遵循具体的规则设计算法解决：让机器从数据中学习收集数据定义模型：设计适合图像的F(X)卷积神经网络轻量化卷积神经网络神经结构搜索Transformer训练：寻找最佳参数，使模型在训练集上达到最高正确率监督学习：基于标注数据学习自监督学习：基于无标注

一、卷积神经网络1、发展历程：AlexNet(2012)>>GoingDeeper(2012~2014)>>VGG(2014)>>VGG(2014)>>GoogLeNet(Inceptionv1,2014)2、精度退化问题模型层数增加到一定程度后，分类正确率不增反降。二、残差1、残差学习基本思路2、残差网络ResNet(2015）以VGG为基础、保持多级结构、增加层数、增加跨层连接两种残差模块：成

今天的课程主要讲图像分类算法。图像分类算法的目标，就是构建图到物体类别的对应。如果以传统的（统计）机器学习的方法出发，我最先想到的就是先提取特征，然后做Clustering&Classifying，但是毕竟，传统的对矩阵提取特征的方法（PCA，RDA等）容易丢失太多信息，而且大部分聚类还是离不开距离或者传统的概率模型，往往还要各种调参，不能适应多变的现实需求。所以首先从特征提取开始，CNN本身提供