Joshua_Li_
Joshua_Li_

训练MTCNN

训练MTCNN

  • MTCNN训练记录
    • 已经遇到的问题现象
      • 2018.09.11：目前只训练了12net，召回率偏低。
    • 训练记录
      • 2018.09.11
      • 2018.09.14
      • 2018.09.17
      • 2018.09.18
      • 2018.09.19
      • 2018.09.20
      • 2018.09.26
      • 2018.09.27
      • 2018.10.01
      • 2018.10.13

MTCNN训练记录

最近尝试使用Caffe复现MTCNN，感觉坑很大，记录一下训练过程，目前还没有好的结果。网上也有很多童鞋在尝试训练MTCNN，普遍反映使用TensorFlow可以得到比较好的结果，但是使用Caffe不是很乐观。

已经遇到的问题现象

2018.09.11：目前只训练了12net，召回率偏低。

以blankWorld/MTCNN-Accelerate-Onet为baseline，blankWorld在FDDB上的测试性能如下图

训练MTCNN_第1张图片

这个效果很不错，但是我自己生成样本后训练12net，召回率有明显下降。性能对比如下图

训练MTCNN_第2张图片

暂且不管12net的测试结果为什么会这么差，两个模型的性能差距是可以反映的。

训练记录

2018.09.11

训练数据生成

参考AITTSMD/MTCNN-Tensorflow提供的prepare_data进行数据生成。数据集情况如下表

Positive Negative Part Landmark
Training Set 156728/189530 470184/975229 156728/547211 313456/357604
Validation Set 10000 10000 10000 10000

其中Pos:Neg:Part:Landmark = 1:3:1:2，样本比例参考原作的比例。Pos、Neg、Part来自于WiderFace，Landmark来自于CelebA。其中正样本进行了人工的数据筛选，筛选的原因是根据WiderFace生成的正样本，有很多都是质量很差的图像，包含人脸大面积遮挡或十分模糊的情况。之前召回率很差的性能来自没有经过筛选的训练集，因为使用了OHEM，只有loss值在前70%的样本才参与梯度计算，感觉如果质量差的样本占比较大，网络学习到的特征是错误的，那些质量好的图像可能得不到充分的学习。

训练参数设置

初始训练参数如下

type:"Adam"
momentum: 0.9
momentum2:0.999
delta:1e-8
base_lr: 0.01
weight_decay: 0.0005
batch_size: 256

第一轮训练在75000次迭代(17.5个epoch)时停止，测试记录如下

I0911 10:16:25.019253 21722 solver.cpp:347] Iteration 75000, Testing net (#0)
I0911 10:16:28.057858 21727 data_layer.cpp:89] Restarting data prefetching from start.
I0911 10:16:28.072748 21722 solver.cpp:414] Test net output #0: cls_Acc = 0.4638
I0911 10:16:28.072789 21722 solver.cpp:414] Test net output #1: cls_loss = 0.096654 (### 1 = 0.096654 loss)
I0911 10:16:28.072796 21722 solver.cpp:414] Test net output #2: pts_loss = 0.008529 (### 0.5 = 0.0042645 loss)
I0911 10:16:28.072801 21722 solver.cpp:414] Test net output #3: roi_loss = 0.0221648 (### 0.5 = 0.0110824 loss)

注意：分类测试结果是0.4638是因为测试集没有打乱，1-10000为pos样本，10001-20000为neg样本，20001-30000为part样本，30001-40000为landmark样本。因此，实际分类正确率应该是0.9276

降低学习率至0.001，训练135000次迭代(31.5个epoch)时停止，测试记录如下

I0911 13:14:36.482010 23543 solver.cpp:347] Iteration 135000, Testing net (#0)
I0911 13:14:39.629933 23660 data_layer.cpp:89] Restarting data prefetching from start.
I0911 13:14:39.645612 23543 solver.cpp:414] Test net output #0: cls_Acc = 0.4714
I0911 13:14:39.645649 23543 solver.cpp:414] Test net output #1: cls_loss = 0.0765401 (### 1 = 0.0765401 loss)
I0911 13:14:39.645656 23543 solver.cpp:414] Test net output #2: pts_loss = 0.00756469 (### 0.5 = 0.00378234 loss)
I0911 13:14:39.645661 23543 solver.cpp:414] Test net output #3: roi_loss = 0.0201988 (### 0.5 = 0.0100994 loss)

实际分类正确率是0.9428。训练260000次迭代后停止，测试记录如下

I0911 16:58:47.514267 28442 solver.cpp:347] Iteration 260000, Testing net (#0)
I0911 16:58:50.624385 28448 data_layer.cpp:89] Restarting data prefetching from start.
I0911 16:58:50.639556 28442 solver.cpp:414] Test net output #0: cls_Acc = 0.471876
I0911 16:58:50.639595 28442 solver.cpp:414] Test net output #1: cls_loss = 0.0750447 (### 1 = 0.0750447 loss)
I0911 16:58:50.639602 28442 solver.cpp:414] Test net output #2: pts_loss = 0.0074394 (### 0.5 = 0.0037197 loss)
I0911 16:58:50.639608 28442 solver.cpp:414] Test net output #3: roi_loss = 0.0199694 (### 0.5 = 0.00998469 loss)

实际分类正确率是0.943752。

问题： 训练结果看似还可以，但是召回率很低，在阈值设置为0.3的情况下，召回率也才将将达到90%。阈值要设置到0.05，才能达到97%-98%的召回率，ROC曲线如下图。严格来说这个测试并不严谨，应该用检测器直接在图像中进行检测，但是为了方便，我直接用val集上的性能画出了ROC曲线，其中的FDDB曲线是将的人脸区域截取出来进行测试得到的。

训练MTCNN_第3张图片

2018.09.14

使用上述12net在WiderFace上提取正负样本，提取结果如下：

Thresholed Positive Negative Part
0.05 85210 36745286 632861
0.5 66224 6299420 354350

2018.09.17

准备24net的训练样本。由于生成12net检测到的正样本数目有限，训练24net的pos样本包含两部分，一部分是训练12net的正样本，一部分是经过筛选的12net检测到的正样本；neg样本和part样本全部来自12net的难例；landmark与12net共用样本。经过采样后达到样本比例1:3:1:2，样本数目如下表：

Positive Negative Part Landmark
Training Set 225172 675516 225172 313456
Validation Set 10000 10000 10000 10000

训练过程与12net类似，学习率从0.01下降到0.0001，最终的训练结果如下

I0917 15:19:00.631140 36330 solver.cpp:347] Iteration 70000, Testing net (#0)
I0917 15:19:03.305665 36335 data_layer.cpp:89] Restarting data prefetching from start.
I0917 15:19:03.317827 36330 solver.cpp:414] Test net output #0: cls_Acc = 0.481501
I0917 15:19:03.317865 36330 solver.cpp:414] Test net output #1: cls_loss = 0.0479137 (### 1 = 0.0479137 loss)
I0917 15:19:03.317874 36330 solver.cpp:414] Test net output #2: pts_loss = 0.00631254 (### 0.5 = 0.00315627 loss)
I0917 15:19:03.317879 36330 solver.cpp:414] Test net output #3: roi_loss = 0.0179083 (### 0.5 = 0.00895414 loss)

实际分类正确率是0.963。ROC曲线如下图，同样使用val集上的性能画出曲线。

训练MTCNN_第4张图片

2018.09.18

使用24net在WiderFace上提取正负样本，提取结果如下：

Thresholed Positive Negative Part
0.5, 0.5 86396 83212 225285

利用以上数据生成48net的训练样本，由于24net生成的样本数量有限，结合前两次训练所用的数据，生成训练集：

Positive Negative Part Landmark
Training Set 283616 850848 283616 567232
Validation Set 10000 10000 10000 10000

2018.09.19

在训练48net的过程中，首先尝试了Adam算法进行优化，后来发现训练十分不稳定。转而使用SGD进行优化，效果好转。训练初始参数如下：

type:"SGD"
base_lr: 0.01
momentum: 0.9
weight_decay: 0.0005

48net的训练结果比较一般，性能如下:

I0919 18:02:22.318362  3822 solver.cpp:347] Iteration 165000, Testing net (#0)
I0919 18:02:25.877437  3827 data_layer.cpp:89] Restarting data prefetching from start.
I0919 18:02:25.894898  3822 solver.cpp:414] Test net output #0: cls_Acc = 0.4662
I0919 18:02:25.894937  3822 solver.cpp:414] Test net output #1: cls_loss = 0.0917524 (### 1 = 0.0917524 loss)
I0919 18:02:25.894943  3822 solver.cpp:414] Test net output #2: pts_loss = 0.00566356 (### 1 = 0.00566356 loss)
I0919 18:02:25.894948  3822 solver.cpp:414] Test net output #3: roi_loss = 0.0177907 (### 0.5 = 0.00889534 loss)

实际的分类精度为0.9324。整体来看基本实现了文章中参考文献[19]在验证集上的性能，性能对比如下表

CNN 12-net 24-net 48-net
[19] 94.4% 95.1% 93.2%
MTCNN 94.6% 95.4% 95.4%
Ours 94.3% 96.3% 93.2%

2018.09.20

整个系统连通后进行测试，发现人脸框抖动比较厉害，这应该是训练过程和样本带来的问题。

比较奇怪的问题是在Caffe上进行CPU运算时，速度极慢，尤其12net运行速度慢30倍左右。通过观察参数分布发现，有大量kernel都是全零分布，初步感觉是因为Adam和ignore label相互作用的结果，即ignore label的样本会产生0值loss，这些loss会影响Adam的优化过程，具体原因还需进一步理论推导。目前的解决方案是将含有大量0值kernel的层随机初始化，使用SGD进行训练。至于抖动的问题，需要进一步分析。重训后的模型性能如下表：

12-net 24-net 48-net
Accuracy 94.59% 96.52% 93.94%

2018.09.26

目前来看回归器的训练是完全失败。失败的原因可能有以下几点：

  1. 对欧拉损失层做了代码修改，用来支持ignore label，可能代码出现问题
  2. 数据本身存在问题，需要验证数据的正确性

先训练一个不带ignore label的回归器，看loss是否发生变化。

2018.09.27

做了一个实验，用20张图像生成一个数据集，经过训练，网络是可以完全过拟合这个数据集的，说明数据和代码是没有问题的，但是加大数据量后，bounding box的回归依旧不好。通过跟大神讨论，发现自己犯了一个很弱智的低级错误，回归问题是不可以做镜像的，回归问题是不可以做镜像的，回归问题是不可以做镜像的，重要的事情说三遍，如果图像做镜像操作，那么标注也需要进行镜像操作。

重训后的模型性能如下表：

12-net 24-net 48-net
Accuracy 94.35% 97.45% 94.67%

2018.10.01

实验还是不够顺利，有些受挫感。目前来看12net和24net的训练是相对顺利的，至少能够去除大量虚检并给出相对准确的回归框。48net的训练比较失败，存在虚检、定位不准以及关键点定位不准的问题。

在训练12net和24net时，因为网络较小，而且这两个网络都不负责输出关键点，所以训练时只训练了分类和框回归问题。训练48net时三个loss都很重要，感觉按照原文的loss weight进行配置会造成回归问题学习不充分的问题，需要提高回归问题的loss weight。

接下来的工作包括：

  1. 之前的训练为了快速验证思路，并没有严格按照后一阶段数据是前一阶段数据中的难例的原则，接下来需要重新走这个流程。
  2. 探索48net的训练过程。具体来说有几个点需要尝试，首先，是刚刚提到的难例挖掘；其次，调整各个loss的权重；最后，除了阶段间的难例挖掘，也应注意阶段内的难例挖掘。
  3. 以24net在landmark数据集上进行检测，将其输出作为48net进行landmark回归的输入。

2018.10.13

最近一次训练的记录如下：

12net：

12net的样本由随机采样得来。

Positive Negative Part
Training Set 156728 470184 156728
Validation Set 10000 10000 10000

验证集上的性能为：

Test net output #0: cls_Acc = 0.9435
Test net output #1: cls_loss = 0.0747717 (### 1 = 0.0747717 loss)
Test net output #2: roi_loss = 0.0168385 (### 0.5 = 0.00841924 loss)

24net

24net的样本全部来自12net的检测结果。

Positive Negative Part
Training Set 60149 180447 120298
Validation Set 500 1500 1500

验证集上的性能为：

Test net output #0: cls_Acc = 0.977588
Test net output #1: cls_loss = 0.0648633 (### 1 = 0.0648633 loss)
Test net output #2: roi_loss = 0.0192365 (### 5 = 0.0961826 loss)

48net

48net的正样本和part样本来自于24net在widerface上的检测结果，负样本来自于24net在widerface和celeba上的检测结果，landmark样本来自于24net在celeba上的检测结果。

Positive Negative Part landmark
Training Set 242862 728586 242862 485724
Validation Set 5000 5000 5000 5000

在验证集上的性能为：

Test net output #0: cls_Acc = 0.978155
Test net output #1: cls_loss = 0.0694968 (### 1 = 0.0694968 loss)
Test net output #2: pts_loss = 0.00119616 (### 5 = 0.00598078 loss)
Test net output #3: roi_loss = 0.0111277 (### 1 = 0.0111277 loss)

使用0.5,0.5,0.5作为阈值，在FDDB上测得的discROC曲线如下图

训练MTCNN_第5张图片

你可能感兴趣的:(计算机视觉,人脸检测)

  • AI大模型的架构演进与最新发展 季风泯灭的季节 AI大模型应用技术二人工智能架构
    随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
  • 个人学习笔记7-6：动手学深度学习pytorch版-李沐 浪子L 深度学习深度学习笔记计算机视觉python人工智能神经网络pytorch
    #人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
  • 计算机视觉中，Pooling的作用 Wils0nEdwards 计算机视觉人工智能
    在计算机视觉中，Pooling（池化）是一种常见的操作，主要用于卷积神经网络（CNN）中。它通过对特征图进行下采样，减少数据的空间维度，同时保留重要的特征信息。Pooling的作用可以归纳为以下几个方面：1.降低计算复杂度与内存需求Pooling操作通过对特征图进行下采样，减少了特征图的空间分辨率（例如，高度和宽度）。这意味着网络需要处理的数据量会减少，从而降低了计算量和内存需求。这对大型神经网络
  • OpenCV图像处理技术（Python）——入门 森屿_ opencv
    ©FuXianjun.AllRightsReserved.OpenCV入门图像作为人类感知世界的视觉基础，是人类获取信息、表达信息的重要手段，OpenCV作为一个开源的计算机视觉库，它包括几百个易用的图像成像和视觉函数，既可以用于学术研究，也可用于工业邻域，它于1999年由因特尔的GaryBradski启动，OpenCV库主要由C和C++语言编写，它可以在多个操作系统上运行。1.1图像处理基本操作
  • CV、NLP、数据控掘推荐、量化 海的那边- AI算法自然语言处理人工智能
    下面是对CV（计算机视觉）、NLP（自然语言处理）、数据挖掘推荐和量化的简要概述及其应用领域的介绍：1.CV（计算机视觉，ComputerVision）定义：计算机视觉是一门让计算机能够从图像或视频中提取有用信息，并做出决策的学科。它通过模拟人类的视觉系统来识别、处理和理解视觉信息。主要任务：图像分类：识别图像中的物体并分类，比如猫、狗、车等。目标检测：在图像或视频中定位并识别多个对象，如人脸检测
  • 基于YOLOV5人脸检测打上码赛克 Deep-white YOLO人工智能深度学习
    还在为自己的隐私而烦恼吗，还在为拍摄的视频因不想露脸而无法发布吗。yolov5检测人脸，并打上马赛克，保护自己的隐私。只需下载代码，解压缩后就可以传入你想要打马赛克的视频或者图片了。这个是需要你对代码有一些了解的，等我开发一下使大家都可以用。里面权重已经训练好了，也有一些人脸的数据集，数据量不多，训练完的权重不是很好，但是给自己的视频打上马赛克足够了。大家要是想去增加数据集，可以使用里面的权重利用
  • Python计算机视觉编程 第三章 图像到图像的映射 一只小小程序猿 计算机视觉pythonopencv
    目录单应性变换直接线性变换算法仿射变换图像扭曲图像中的图像分段仿射扭曲创建全景图RANSAC拼接图像单应性变换单应性变换是将一个平面内的点映射到另一个平面内的二维投影变换。在这里，平面是指图像或者三维中的平面表面。单应性变换具有很强的实用性，比如图像配准、图像纠正和纹理扭曲，以及创建全景图像。单应性变换本质上是一种二维到二维的映射，可以将一个平面内的点映射到另一个平面上的对应点。代码如下：impo
  • DIODE：超高分辨率室内室外数据集（猫脸码客 第186期） 猫脸码客: catCode2024 开源数据集猫脸码客开源数据集超高分辨率室内室外数据集
    亲爱的读者们，您是否在寻找某个特定的数据集，用于研究或项目实践？欢迎您在评论区留言，或者通过公众号私信告诉我，您想要的数据集的类型主题。小编会竭尽全力为您寻找，并在找到后第一时间与您分享。在计算机视觉和深度学习领域，深度信息作为三维空间感知的重要组成部分，对于实现高级视觉任务如场景理解、机器人导航、增强现实等具有至关重要的作用。然而，获取准确且密集的深度数据一直是一个挑战，尤其是在同时涵盖室内和室
  • 深度学习入门篇：PyTorch实现手写数字识别 AI_Guru人工智能 深度学习pytorch人工智能
    深度学习作为机器学习的一个分支，近年来在图像识别、自然语言处理等领域取得了显著的成就。在众多的深度学习框架中，PyTorch以其动态计算图、易用性强和灵活度高等特点，受到了广泛的喜爱。本篇文章将带领大家使用PyTorch框架，实现一个手写数字识别的基础模型。手写数字识别简介手写数字识别是计算机视觉领域的一个经典问题，目的是让计算机能够识别并理解手写数字图像。这个问题通常作为深度学习入门的练习，因为
  • OpenCV高阶操作 富士达幸运星 opencv人工智能计算机视觉
    在图像处理与计算机视觉领域，OpenCV（OpenSourceComputerVisionLibrary）无疑是最为强大且广泛使用的工具之一。从基础的图像读取、1.图片的上下，采样下采样（Downsampling）下采样通常用于减小图像的尺寸，从而减少图像中的像素数。这个过程可以通过多种方法实现，但最常见的是通过图像金字塔中的pyrDown函数（在OpenCV中）或其他类似的滤波器（如平均池化、最
  • 深入掌握大模型精髓：《实战AI大模型》带你全面理解大模型开发！ 努力的光头强 人工智能langchainprompttransformer深度学习
    今天，人工智能技术的快速发展和广泛应用已经引起了大众的关注和兴趣，它不仅成为技术发展的核心驱动力，更是推动着社会生活的全方位变革。特别是作为AI重要分支的深度学习，通过不断刷新的表现力已引领并定义了一场科技革命。大型深度学习模型（简称AI大模型）以其强大的表征能力和卓越的性能，在自然语言处理、计算机视觉、推荐系统等领域均取得了突破性的进展。尤其随着AI大模型的广泛应用，无数领域因此受益。AI大模型
  • 计算机视觉—照相机（下） zidea
    封面焦距(FieldofView)同一位置相机用不同焦距，28mmFieldofView就变小，85mm时候的Fieldofview也就是只有28度视野，每一个物体在通常尺寸的胶片上像素也就是越多，chromaticAberration焦距和是波长相关，不同颜色光聚焦在不同位置。这种现象在物体边缘尤为明显。颜色颜色说简单也简单，说复杂也复杂，我们在高中物理已经知道可见光是电磁波，不同颜色对应不同波
  • Python OpenCV精讲系列 - 高级图像处理技术（五） 极客代码 PythonOpenCV精讲pythonopencv图像处理开发语言人工智能计算机视觉
    ⚡️⚡️专栏：PythonOpenCV精讲⚡️⚡️本专栏聚焦于Python结合OpenCV库进行计算机视觉开发的专业教程。通过系统化的课程设计，从基础概念入手，逐步深入到图像处理、特征检测、物体识别等多个领域。适合希望在计算机视觉方向上建立坚实基础的技术人员及研究者。每一课不仅包含理论讲解，更有实战代码示例，助力读者快速将所学应用于实际项目中，提升解决复杂视觉问题的能力。无论是入门者还是寻求技能进
  • 计算机视觉中的数据增强方法总结 CV技术指南(公众号) CV技术总结计算机视觉深度学习卷积神经网络
    前言：在计算机视觉方向，数据增强的本质是人为地引入人视觉上的先验知识，可以很好地提升模型的性能，目前基本成为模型的标配。最近几年逐渐出了很多新的数据增强方法，在本文将对数据增强做一个总结。本文介绍了数据增强的作用，数据增强的分类，数据增强的常用方法，一些特殊的方法，如Cutout，RandomErasing，Mixup，Hide-and-Seek，CutMix，GridMask，FenceMask
  • 计算机视觉中，什么是Hide-and-Seek？ Wils0nEdwards 计算机视觉人工智能
    是的，Hide-and-Seek技术主要是在弱监督学习领域中使用的，它的核心思想是通过随机遮掩输入图像的一部分，强迫模型学习更全面的特征，而不是仅仅依赖显著的局部信息。由于弱监督场景下的监督信号有限，例如只有少量的点标注、粗略标注或没有任何标注，模型容易过度依赖于图像中最显著的部分，而忽略其他信息。这种现象会导致模型只关注容易识别的局部特征，而无法理解物体的整体结构或捕捉更多的背景信息。1.Hid
  • 计算机视觉——第三章 图像拼接 JMU15980999055 python计算机视觉人工智能
    计算机视觉——第三章图像拼接1.图像全景拼接的原理和过程的简要介绍1.1特征点提取和匹配1.2图像配准1.3图像拼接2.实现多图像拼接2.1图片集说明2.2实验代码2.3实验结果及其分析3.两张不同角度的图像拼接3.1图片集说明3.2实验代码3.3实验结果及其分析总结1.图像全景拼接的原理和过程的简要介绍在同一位置拍摄的两幅或者多幅图片是单应性相关的，我们经常使用该约束将很多图像缝补起来，拼成一个
  • 计算机视觉学习路线 不会代码的小林 计算机视觉
    计算机视觉学习路线是一个系统而全面的过程，涵盖了从基础知识到高级应用的多个方面。以下是一个详细的计算机视觉学习路线，供您参考：一、基础知识学习编程语言与基础库学习Python语言，掌握基础语法、函数、面向对象编程等概念。Python是计算机视觉领域广泛使用的编程语言，因其简洁易读和丰富的库支持而受到青睐。学习Numpy库，用于科学计算和多维数组操作，这是计算机视觉中数据处理的基础。学习OpenCV
  • 【Python第三方库】OpenCV库实用指南 墨辰JC Pythonopencvpython人工智能学习
    文章目录前言安装OpenCV读取图像图像基本操作获取图像信息裁剪图像图像缩放图像转换为灰度图图像模糊处理边缘检测图像翻转图像保存视频相关操作方法讲解读取视频从摄像头读取视频前言OpenCV（OpenSourceComputerVisionLibrary）作为一个强大的计算机视觉库，提供了丰富的图像处理和计算机视觉功能，尤其在图像识别、对象检测、视频分析等领域有着广泛的应用。本文将带领读者使用Pyt
  • ESRGAN——老旧照片、视频帧的修复和增强，提高图像的分辨率 爱研究的小牛 AIGC——图像AIGC—视频AIGC人工智能深度学习音视频自动化
    ESRGAN（EnhancedSuper-ResolutionGAN）：用于提高图像的分辨率，将低质量图像升级为高分辨率版本，常用于老旧照片、视频帧的修复和增强。一、ESRGAN介绍1.1背景超分辨率问题是计算机视觉中的一个重要研究领域，其目标是通过增加像素数量来提高图像的分辨率，恢复出更加细腻的图像。传统的算法（如双三次插值）通常导致放大后的图像模糊、不自然。而深度学习特别是**生成对抗网络（G
  • 计算机视觉之旅-进阶-图像滤波处理 撸码猿 计算机视觉图像处理人工智能
    1.基本概念1.1.数字图像图像处理的对象是数字图像,它是由像素点阵列表示的图像。需要了解像素、图像分辨率、灰度级、RBG等图像表示方法。用numpy数组表示,每个元素为像素值。例如RGB图像 importnumpyasnp img=np.array([[[255,0,0],[0,255,0]],[[0,0,255],[255,255,255]]]) 1.2.采样和量化数字图像是通过采样和量化得到
  • 探秘3D UNet-PyTorch：高效三维图像分割利器 鲍凯印Fox
    探秘3DUNet-PyTorch：高效三维图像分割利器在医学影像处理、计算机视觉和自动驾驶等领域，三维图像的理解与分析至关重要。而是一个基于PyTorch实现的深度学习模型，专为三维图像分割任务设计。本文将深入剖析该项目的技术细节，应用场景及特性，以期吸引更多的开发者和研究人员参与其中。项目简介3DUNet是2DUNet的三维扩展，其结构保持了卷积神经网络的对称性，采用跳跃连接的方式保留了不同尺度
  • 论文学习笔记 VMamba: Visual State Space Model Wils0nEdwards 学习笔记
    概览这篇论文的动机源于在计算机视觉领域设计计算高效的网络架构的持续需求。当前的视觉模型如卷积神经网络（CNNs）和视觉Transformer（ViTs）在处理大规模视觉任务时展现出良好的表现，但都存在各自的局限性。特别是，ViTs尽管在处理大规模数据上具有优势，但其自注意力机制的二次复杂度对高分辨率图像处理时的计算成本极高。因此，研究者希望通过引入新的架构来降低这种复杂度，并提高视觉任务的效率。现
  • 深度学习计算机视觉中 feature modulation 操作是什么？ Wils0nEdwards 深度学习计算机视觉人工智能
    什么是特征调制（FeatureModulation）？在深度学习与计算机视觉领域，特征调制（FeatureModulation）是一种用于增强模型灵活性和表达能力的技术，尤其是最近几年，它在许多任务中变得越来越重要。特征调制通过动态调整神经网络中间层的特征，使模型能够根据不同的上下文、输入或任务自适应地调整自身的行为。特征调制的核心概念特征调制的基本思想是通过某种形式的参数调节来改变特征表示的性质
  • 计算机视觉中，如何理解自适应和注意力机制的关系？ Wils0nEdwards 计算机视觉人工智能
    自适应和注意力机制之间的关系密切相关，注意力机制本质上是一种自适应的计算方法，它能够根据输入数据的不同特点，自主选择和聚焦于输入的某些部分或特征。以下是两者之间的具体关系和如何理解它们：1.注意力机制的自适应特性注意力机制的核心功能是为不同输入元素（如特征、位置、通道等）分配不同的权重。这些权重是通过学习动态生成的，表示模型对不同输入元素的关注程度。由于这些权重是根据具体的输入数据动态计算的，因此
  • 解锁Python中的人脸识别：Face Recognition库详解与应用 码上飞扬 Recognition人脸识别
    在当今的人工智能时代，人脸识别技术已经成为了计算机视觉领域的一项重要应用。无论是在安全监控、社交媒体还是智能设备中，人脸识别都扮演着不可或缺的角色。在众多的人脸识别工具和库中，Python的FaceRecognition库以其简单易用和高效性而备受青睐。本文将深入探讨FaceRecognition库的使用方法、工作原理及其应用场景，帮助你快速掌握这一强大的工具。一、什么是FaceRecogniti
  • OpenCV3最常用的基本操作 HeoLis
    OpenCV介绍OpenCV的全称是OpenSourceComputerVisionLibrary，是一个跨平台的计算机视觉库。OpenCV是由英特尔公司发起并参与开发，以BSD许可证授权发行，可以在商业和研究领域中免费使用。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。该程序库也可以使用英特尔公司的IPP进行加速处理。以上是维基百科关于OpenCV的介绍，简单来说它就是处理图
  • 论文阅读笔记: DINOv2: Learning Robust Visual Features without Supervision 小夏refresh 论文计算机视觉深度学习论文阅读笔记深度学习计算机视觉人工智能
    DINOv2:LearningRobustVisualFeatureswithoutSupervision论文地址:https://arxiv.org/abs/2304.07193代码地址:https://github.com/facebookresearch/dinov2摘要大量数据上的预训练模型在NLP方面取得突破，为计算机视觉中的类似基础模型开辟了道路。这些模型可以通过生成通用视觉特征(即无
  • Sora文本生成影像模型背后的创新原理与挑战 noVonN c语言深度学习算法区块链人工智能
    引言随着人工智能技术的飞速发展，OpenAI作为行业领导者，在文本生成领域取得重大突破之后，近日又推出了其在影像生成领域的最新力作——Sora。这款模型将自然语言处理与计算机视觉技术相结合，旨在通过输入文本描述来快速创作出逼真的电影场景，为内容创作者提供了前所未有的艺术表达工具。然而，正如OpenAI所指出的那样，尽管Sora展现出了令人惊叹的创造力，但它在仿真复杂物理现象和理解具体事例因果关系方
  • 深度学习驱动下的字符识别：挑战与创新 逼子歌 神经网络深度学习字符识别卷积神经网络图像处理特征提取
    一、引言1.1研究背景深度学习在字符识别领域具有至关重要的地位。随着信息技术的飞速发展，对字符识别的准确性和效率要求越来越高。字符识别作为计算机视觉领域的一个重要研究方向，其主要目的是将各种形式的字符转换成计算机可识别的文本信息。近年来，深度学习技术在字符识别领域取得了显著的进展。国内研究者主要使用基于模板匹配的方法、基于统计模型的方法、基于神经网络的方法等各种方法进行字符识别研究。目前，国内各大
  • 【深度学习实战】行人检测追踪与双向流量计数系统【python源码+Pyqt5界面+数据集+训练代码】YOLOv8、ByteTrack、目标追踪、双向计数、行人检测追踪、过线计数 阿_旭 AI应用软件开发实战深度学习实战深度学习python行人检测行人追踪过线计数
    《博主简介》小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~感谢小伙伴们点赞、关注！《------往期经典推荐------》一、AI应用软件开发实战专栏【链接】项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体
  • 二分查找排序算法 周凡杨 java二分查找排序算法折半
    一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
  • java中的BigDecimal bijian1013 javaBigDecimal
            在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
  • Shell echo命令详解 daizj echoshell
    Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
  • Oracle DBA 简单操作 周凡杨 oracle dba sql
    --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
  • 画图重绘 朱辉辉33 游戏
      我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
  • 线程之初体验 西蜀石兰 线程
    一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
  • linux集群互相免登陆配置 林鹤霄 linux
    配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
  • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
    原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
  • Socket编程 基本的聊天实现。 alleni123 socket
    public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
  • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
        多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
  • spring InitializingBean接口 bijian1013 javaspring
    spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
  • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
            Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
  • 【Struts2五】Struts2 参数传值 bit1129 struts2
    Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
  • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
    I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
  • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
    nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
  • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
    two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
  • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
    JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
  • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
         看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
  • js 获取浏览器型号 cuityang js浏览器
    根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
  • C# socks5详解 转 dalan_123 socketC#
    http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
  • 运维 Centos问题汇总 dcj3sjt126com 云主机
    一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
  • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
    网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
  • MongoDB简介[一] eksliang mongodbMongoDB简介
    MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
  • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
    一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
  • Spring之使用事务缘由(2-注解实现) ihuning spring
      Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
  • iOS App Launch Option 啸笑天 option
    iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
  • jdk与jre的区别（_） macroli javajvmjdk
    简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
  • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
    $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
  • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
    关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
  • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
      Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他