数据预处理--数据扩增

数据预处理--数据扩增/Data Augmentation/图像增强

  若增加训练数据,则能够提升算法的准确率,因为这样可以避免过拟合,更好地泛化;而避免了过拟合你就可以增大你的网络结构了。
  可以大量使用数据增广。

1)几何变换

  包括:弹性变换(Elastic Transform)、透视变换(Perspective Transform)、分段仿射变换(Piecewise Affine transforms)、枕形畸变(Pincushion Distortion)。
在这里插入图片描述

  a)随机改变大小(resize),随机缩放、旋转、翻转

  b)从原始图像(256,256)中,随机的crop出一些图像(224,224)
  作者说,不做随机crop,大型网络基本都过拟合(under substantial overfitting)。
  先crop,后padding再resize,这样输入图片会保持长宽比。我们做过类似的实验,抠图直接resize到输入尺寸,这样图片会损失长宽比,结果会差一点。然后,我们会先做加入Random scales,把框进行随机扩大或者缩小。

  c)水平/竖直翻转,flip。mirror,即水平翻转图像。

transform_param { 
# 测试的时候就不做镜像了
    mirror: false
    crop_size: 227
    mean_file: ""ilsvrc12/imagenet_mean.binaryproto""
}

       
       
       
       
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

  d)Rotation变换/旋转变换
  目前主流的处理方式rotate负30度到正30度,这次我们用的是负45度到正45度。这个Rotation一般来说会有提升但是不会很大,主要是用在一些比较极端的情况下,比如人是斜着的。
  在后面做实验的时候,发现了另外一种思路:直接把人旋转,检测出人的头,或某个部位之后,按照一定的角度把人转正。

2)加噪声

  对主成分做一个(0, 0.1)的高斯扰动。

3)PCA Jittering(颜色改变)

  最早是由Alex在他2012年赢得的ImageNet竞赛的那篇NIPS中提出的。
  a)首先按照RGB三个颜色通道计算均值和标准差,对网络的输入数据进行规范化,
  b)随后我们在整个训练集上计算了协方差矩阵,进行特征分解,得到特征向量和特征值,用来做PCA Jittering。
  对RGB空间做PCA,然后对主成分做一个(0, 0.1)的高斯扰动。结果让错误率又下降了1%。
在这里插入图片描述

4)对比度和亮度

  给图像增加一些随机的光照;
  对比度受限自适应直方图均衡化算法(Clahe),锐化(Sharpen),凸点(Emboss);

5)随机色相、饱和度、明度(HSV)变换

6)彩图到灰度转换(Color to Gray)

7)将灰度图重新映射到随机颜色的图像中

8)模糊(Blur)、一般模糊(Median Blur)、非常模糊(Motion Blur)

9)通道重排

  由于数据的天然性,这一点非常重要

10)图像上细胞核的复制?

  这样就创造了大量重叠的细胞核,似乎有助于网络更好地学到重叠细胞核的边界。

                
    

数据扩增 data-augmentation的方法及代码

12-24 阅读数 5514

为了扩增数据集,采用了2种方式来进行数据的扩增。1、使用keras的数据增强处理2、使用skimage的数据增强处理keras包括的处理,有featurewise视觉上图像会稍微变暗,samplewi... 博文 来自: duanshao的专栏

python实现图像数据扩增

10-25 阅读数 3257

包括平移,翻转,旋转,调整对比度,高斯噪声,颜色变换importskimageimportio,osimportmatplotlib.pyplotaspltfromPILimportImage,Ima... 博文 来自: qq_36219202的博客

数据扩增方法 Data Augmentation

05-01 阅读数 206

1.Commonmethodsmirroring镜像水平翻转randomcropping随机裁切rotationshearinglocalwarping2.Colorshifting给R、G、G颜色分... 博文 来自: 随风秀舞(diyoosjtu)

图像识别实验过程(二)图像数据集的扩展

10-20 阅读数 2244

转自:http://www.cnblogs.com/zhoulixue/p/6567443.html在训练图像识别的深度神经网络时,使用大量更多的训练数据,可能会使网络得到更好的性能,例如提高网络的分... 博文 来自: 岁月流星0824的博客

data augmentation 数据增强方法总结

03-07 阅读数 2万+

1、问题描述收集数据准备微调深度学习模型时,经常会遇到某些分类数据严重不足的情况,另外数据集过小容易造成模型的过拟合。本文参考和中对于数据增强方法的一些tips,后续会附上自己实现的C++代码;2、d... 博文 来自: u010555688的专栏

数据扩增

10-09 阅读数 630

1.番外篇】聊一聊深度学习中的数据增强与实现https://zhuanlan.zhihu.com/p/295137602.深度学习必备---用Keras和直方图均衡化---数据增强https://cl... 博文 来自: qq_32951799的博客

目标检测数据扩增

09-12 阅读数 746

HBB格式的数据扩增该格式下目标被标注为xmin,ymin,xmax,ymaximportosimportcv2importxml.dom.minidomfromxml.dom.minidomimpo... 博文 来自: Mr_health的博客

深度学习中的数据扩增方法

11-14 阅读数 5816

图像平移。这种方法可以使得网络学习到平移不变的特征。图像旋转。学习旋转不变的特征。有些任务里,目标可能有多种不同的姿态,旋转正好可以弥补样本中姿态较少的问题。图像镜像。和旋转的功能类似。图像亮度变化。... 博文 来自: thesby的专栏

OCR -- 训练数据扩增的方法

10-27 阅读数 533

结交了一些大神级的人物,每次交流都有很多收获,感谢一路相伴,感谢带我一起成长。(1)透视变换(2)gauss_blur(3)norm_blur(4)模糊图像,模拟小图片放大的效果(5)颜色翻转、滤波等... 博文 来自: MachineLP的专栏

深入浅出Spring Data JPA

深入浅出Spring Data JPA视频教程,开发者实现应用程序的持久层一直是很繁琐的事情,总是要写很多的模版代码来执行CRDU、分页等等。Spring Data JPA旨在改进持久层的实现,减少开发时间。开发者只需编写数据库接口时,定义规范的方法名称等,余下的事情由Spring Data JPA自动完成,通过代理自动对其提供实现。rn嘉宾介绍:蓝声强,成都源代码教育咨询有限公司技术经理。8年J2EE项目经验,擅长Spring,EJB3,JPA,Hibernate, iBatis,Struts1/2,JBPM,Lucene等J2EE系列技术框架及Android技术;数据库设计、JAVA设计模式、UML等; EhCache,OSCache,Memcached等缓存框架,深入研究AppFuse,SpringSide集成框架。 学院 讲师: CSDN讲师

深度学习-目标检测-数据扩增

11-27 阅读数 254

有些数据扩增牵扯到boundingbox的坐标变换问题,需要多注意:变换方式注意事项图像翻转没什么太多要注意的,正常变换就好图像平移当图中的物体被平移出去时,要记得取消boundingbox(判定物体... 博文 来自: qq_29007291的博客

在caffe中添加样本扩增的功能

04-01 阅读数 1535

在caffe-cudnn中添加样本扩增的功能有个样本扩增的代码。可以run考虑到我的caffe的版本太多了。所以把所有的功能都merge到一起。首先merge的是样本扩增的功能。因为只有在imaged... 博文 来自: keyanxiaocaicai的专栏

		

keras入门 --- Data augmentation(数据扩充)

01-04 阅读数 1万+

keras入门—Dataaugmentation(数据扩充)在深度学习中,我们经常需要用到一些技巧(比如将图片进行旋转,翻转等)来进行dataaugmentation,来减少过拟合。在本文中,我们将主... 博文 来自: gq的博客

扩增样本

11-14 阅读数 746

https://nbviewer.jupyter.org/github/vxy10/SCND_notebooks/blob/master/preprocessing_stuff/img_transfo... 博文 来自: keyanxiaocaicai的专栏

Data Augmentation数据扩充)

04-12 阅读数 702

图像数据:旋转|反射变换(Rotation/Reflection):随机旋转图像一定角度;改变图像内容的朝向。翻转变换(flip):沿着水平或者垂直方向翻转图像。缩放变换(zoom):按照一定的比例放... 博文 来自: cynere的博客

OpenCV:Adaboost训练时数据扩增

04-06 阅读数 696

更准确的模型需要更多的数据,对于传统非神经网络机器学习方法,不同的特征需要有各自相符合的数据扩增方法。... 博文 来自: wishchinYang的专栏

深度学习--数据增强

07-08 阅读数 1万+

在深度学习中,为了避免出现过拟合(Overfitting),通常我们需要输入充足的数据量.本页面主要记录下常用的数据增强(DataAugmentation)变换方法.不同的任务背景下,我们可以通过图像... 博文 来自: yogyliu的专栏

深度学习_数据扩充学习

12-02 阅读数 1917

别人写的博客,记录下,防止以后找不到,顺便留着以后更新写自己的东西http://blog.csdn.net/samylee/article/details/53436648... 博文 来自: chenzhi1992的博客

正则化方法:L1和L2 regularization、数据扩增、dropout

03-14 阅读数 8万+

本文是《Neuralnetworksanddeeplearning》概览中第三章的一部分,讲机器学习/深度学习算法中常用的正则化方法。(本文会不断补充)正则化方法:防止过拟合,提高泛化能力在训练数据不... 博文 来自: wepon的专栏

Matlab样本增加

05-02 阅读数 1659

forn=0:646 str1='G:\pos\';str2=num2str(n);str3='.jpg';SC=[str1,str2,str3];       i=imread(SC); j=imr... 博文 来自: 深度学习 图像算法

[深度学习] 增加样本——弹性变换算法实现

01-08 阅读数 9375

我们都知道,深度学习的成功的原因主要有两点:(1)当前计算机的计算能力有很大提升;(2)随着大数据时代的到来,当前的训练样本数目有很大的提升。然而深度学习的一大问题是,有的问题并没有大量的训练数据,而... 博文 来自: lhanchao的博客

Keras Image Data Augmentation 各参数详解

06-06 阅读数 1095

图像深度学习任务中,面对小数据集,我们往往需要利用ImageDataAugmentation图像增广技术来扩充我们的数据集,而keras的内置ImageDataGenerator很好地帮我们实现图像增... 博文 来自: mieleizhi0522的博客

【DeepLearning】深度学习上的图像增广(image augmentation

12-30 阅读数 1244

图像增广(imageaugmentation)技术通过对训练图像做一系列随机改变,来产生相似但又不同的训练样本,从而扩大训练数据集的规模。图像增广的另一种解释是,随机改变训练样本可以降低模型对某些属性... 博文 来自: Taily老段的专栏

神经网络优化方法(避免过拟合,提高模型泛化性)

08-08 阅读数 1万+

一、背景简介  在深度学习和机器学习的各种模型训练过程中,在训练数据不够多时,自己常常会遇到的问题就是过拟合(overfitting),过拟合的意思就是模型过度接近训练的数据,使得模型的泛化能力降低,... 博文 来自: Chenyukuai6625的博客

data augmentation

07-24 阅读数 3118

一般比较有效的有randomcrop,randommirror,randomresize(scaleaugmentation)。以上三种实现简单而且有效,基本能复现resnet的结果。至于colora... 博文 来自: 烧卖的技术成长之路

PCA变换和2DPCA变换区别在哪里?

09-16

如题,有点混乱,我看着怎么感觉差不多呢 论坛

【转载】常用数据增强方法总结及实现

05-17 阅读数 2917

【参考资料】博客园-dataaugmentation总结,CSDN博客-数据增强方法总结,海康威视研究院ImageNet2016竞赛经验分享【常用方法】1、ColorJittering:对颜色的数据增... 博文 来自: 学习容易上瘾

【方法】数据增强(Data Augmentation)

08-30 阅读数 8949

在训练过程中,网络优化是一方面,数据集的优化又是另一方面。数据集会存在各类样本不均匀的情况,也就是各类样本的数量不一样,有的甚至差别很大。为了让模型具有更强的鲁棒性,采用DataAugmentatio... 博文 来自: crazyang的博客

关于深度学习训练的硬件配置

05-10

各位大大们好! 老板甩给我一个关于深度学习方面的课题,近几个月以来一直在做调研、学习,现在准备是采用SSD来做目标检测方面的研究。做训练、预测的话需要配置一些设备,目前手头上有一块TX1板子,感觉跑模 论坛

数据增强相关总结

02-24 阅读数 5378

DataAugmentation是通过少量的计算从原始图片变换得到新的训练数据。数据增强对最后的识别性能和泛化能力都有着非常重要的作用。我们使用下面这些数据增强方法:第一,对颜色的数据增强,包括色彩的... 博文 来自: 毛财胜的专栏

【卷积神经网络-进化史】从LeNet到AlexNet

05-17 阅读数 6万+

本系列博客是对刘昕博士的《CNN的近期进展与实用技巧》的一个扩充性资料。主要引用刘昕博士的思路,将按照如下方向对CNN的发展作一个更加详细的介绍:【从LeNet到AlexNet】、【进化之路一:网络结... 博文 来自: AutoVision (by 仙道菜)

【转】data augmentation 数据增强方法总结

12-22 阅读数 2501

转自:http://blog.csdn.net/u010555688/article/details/607579321、问题描述收集数据准备微调深度学习模型时,经常会遇到某些分类数据严重不足的情况,... 博文 来自: lanyuxuan100的博客

data augmentation 总结

04-15 阅读数 84

dataaugmentation总结dataaugmentation几种方法总结在深度学习中,有的时候训练集不够多,或者某一类数据较少,或者为了防止过拟合,让模型更加鲁棒性,dataaugmentat... 博文 来自: baobei0112的专栏

Data Augmentation的几种常用方法总结

12-06 阅读数 2848

DataAugmentation的几种常用方法总结:ColorJittering:对颜色的数据增强:图像亮度、饱和度、对比度变化(此处对色彩抖动的理解不知是否得当);PCAJittering:首先按照... 博文 来自: DBG的博客

CNN数据增强(1)

05-10 阅读数 1万+

数据增强(DataAugmentation) 深度学习通常需要大量的数据作为支撑,看到那些公开的数据集,少的也有几十万张,但是在现实中,我们能拥有的数据集网络没有那么到。但是数据量少,往往会造成过拟合... 博文 来自: l_xyy的博客

训练过程--测试时增强(test time augmentation, TTA)

12-06 阅读数 1175

  可将准确率提高若干个百分点,它就是测试时增强(testtimeaugmentation,TTA)。这里会为原始图像造出多个不同版本,包括不同区域裁剪和更改缩放程度等,并将它们输入到模型中;然后对多... 博文 来自: wydbyxr的博客

DL开源框架Caffe | 模型微调 (finetune)的场景、问题、技巧以及解决方案

04-12 阅读数 8601

DL开源框架Caffe|模型微调(finetune)的场景、问题、技巧以及解决方案 博文 来自: 深度学习思考者

机器学习中图像增强的方法

05-11 阅读数 753

    在训练模型时,数据是很重要的一部分。在这个数据为王的年代,要想训练出优秀的模型,数据是不可或缺的一部分。但是很多。但是大多数情况下,数据的获取并不那么容易,所以这时候就可以采取图像增强的方法,... 博文 来自: qq_24193303的博客

优化:深度神经网络Tricks【笔记】

10-26 阅读数 629

http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.htmlIntroductionaspects: 1)dataaugmentatio... 博文 来自: 女王の专属领地

数据增强及预处理

04-22 阅读数 5392

一、数据增强深层神经网络一般都需要大量的训练数据才能获得比较理想的结果。在数据量有限的情况下,可以通过数据增强(DataAugmentation)来增加训练样本的多样性,提高模型鲁棒性,避免过拟合。图... 博文 来自: Man

Data augmentation 数据增强

05-22 阅读数 233

转载自:https://blog.csdn.net/u010555688/article/details/607579321、问题描述收集数据准备微调深度学习模型时,经常会遇到某些分类数据严重不足的情... 博文 来自: Darlewo

trick—Data Augmentation -- 基于海康威视经验

08-15 阅读数 1770

海康威视研究院ImageNet2016竞赛经验分享海康威视经验    数据增强对最后的识别性能和泛化能力都有着非常重要的作用。我们使用下面这些数据增强方法。第一,对颜色的数据增强,包括色彩的饱和度、亮... 博文 来自: MachineLP的专栏

sqlserver中表值函数的常用方法技巧有哪些?

06-12

- 问答

深度学习你不可不知的技巧(上)

12-19 阅读数 1131

Weassumeyoualreadyknowthebasicknowledgeofdeeplearning,andherewewillpresenttheimplementationdetails(t... 博文 来自: ZhikangFu的专栏

深度学习之数据预处理

11-30 阅读数 643

文章目录数据预处理数据预处理数据归一化白化(协方差矩阵为单位矩阵)one-hot独热编码(离散数据)数据增强(数据量有限)保存数据补充数据预处理https://www.yuque.com/lart/m... 博文 来自: 画心

数据预处理--数据扩增/Data Augmentation/图像增强 - w..._CSDN博客

6-6

wydbyxr的博客 登录 原 数据预处理--数据扩增/Data Augmentation/图像增强 whitenightwu 阅读数:1272 2018-12-03   若增加训练数据,则能够提升算法的准确...

数据扩增 data-augmentation的方法及代码 - duanshao的..._CSDN博客

5-22

数据预处理--数据扩增/Data Augmentation/图像增强 12-03 阅读数 1165  ...博文 来自: wydbyxr的博客 深度学习中的数据扩增方法 11-14 阅读数 5685 ...

深度学习训练中为什么要将图片随机剪裁(random crop)

03-25 阅读数 8636

图像分类中,在深度学习的训练时将图片的随机剪裁(randomcrop)已经成为很普遍的数据扩充(dataaugmentation)方法,随机剪裁(缩写为:IRC)不但提高了模型精度,也增强了模型稳定性... 博文 来自: u010165147的博客

数据增强——Keras Image Data Augmentation 各参数详解

04-11 阅读数 9471

图像深度学习任务中,面对小数据集,我们往往需要利用ImageDataAugmentation图像增广技术来扩充我们的数据集,而keras的内置ImageDataGenerator很好地帮我们实现图像增... 博文 来自: pp闲哲qq

优化:微调Finetuning

11-12 阅读数 1077

模型的微调     使用别人训练好的网络模型进行训练,前提是必须和别人用同一个网络,因为参数是根据网络而来的。当然最后一层是可以修改的,因为我们的数据可能并没有1000类,而只有几类。把最后一层的输出... 博文 来自: 女王の专属领地

深度学习中的数据增强(data augmentation

05-02 阅读数 1365

直接上代码:[python] viewplain copy#encoding:utf-8  ''''' tf 参考链接 :https://tensorflow.google.cn/api_guides... 博文 来自: kwame211的博客

优化:数据增强

03-23 阅读数 590

转载自:https://www.cnblogs.com/zhonghuasong/p/7256498.htmldataaugmentation几种方法总结在深度学习中,有的时候训练集不够多,或者某一类... 博文 来自: 女王の专属领地

第五章(1.7)深度学习——常用的八种神经网络性能调优方案

02-23 阅读数 1883

一、神经网络性能调优主要方法数据增广图像预处理网络初始化训练过程中的技巧激活函数的选择不同正则化方法来自于数据的洞察集成多个深度网络1.数据增广在不改变图像类别的情况下,增加数据量,能提高模型的泛化能... 博文 来自: 两只橙的博客

人脸检测工具face_recognition的安装与应用

08-11 阅读数 9万+

人脸检测工具face_recognition的安装与应用 博文 来自: roguesir的博客

DM368开发 -- 编码并实时播放

09-12 阅读数 1万+

最近正好又用到 DM368 开发板,就将之前做的编解码的项目总结一下。话说一年多没碰,之前做的笔记全忘记是个什么鬼了。还好整理了一下出图像了。不过再看看做的这个东西,真是够渣的,只能作为参考了。项目效... 博文 来自: 不积跬步,无以至千里

python图片处理类之~PIL.Image模块(ios android icon图标自动生成处理)

08-31 阅读数 13万+

1.从pyCharm提示下载PIL包nn http://www.pythonware.com/products/pil/nn nn2.解压后,进入到目录下nnncd /Users/jianan/Dow... 博文 来自: 专注于cocos+unity+node.js全栈网游开发

【小程序】微信小程序开发实践

11-07 阅读数 32万+

帐号相关流程注册范围n企业n政府n媒体n其他组织换句话讲就是不让个人开发者注册。 :)填写企业信息不能使用和之前的公众号账户相同的邮箱,也就是说小程序是和微信公众号一个层级的。填写公司机构信息,对公账... 博文 来自: 小雨同学的技术博客

jquery/js实现一个网页同时调用多个倒计时(最新的)

11-25 阅读数 57万+

jquery/js实现一个网页同时调用多个倒计时(最新的)nn最近需要网页添加多个倒计时. 查阅网络,基本上都是千遍一律的不好用. 自己按需写了个.希望对大家有用. 有用请赞一个哦!nnnn//jsn... 博文 来自: Websites

环信(Android)设置头像和昵称的方法(最简单暴力的基于环信demo的集成)。

06-28 阅读数 1248

http://blog.csdn.net/zqbemail10/article/details/51659128 博文 来自: 力学不知疲

Java调用Shell命令和脚本

05-07 阅读数 3万+

1.介绍n有时候我们在Linux中运行Java程序时,需要调用一些Shell命令和脚本。而Runtime.getRuntime().exec()方法给我们提供了这个功能,而且... 博文 来自: GatsbyNewton

用jvisualvm分析dump文件

03-08 阅读数 3万+

最近有一个java服务的堆内存溢出,然后僵死了,在重启服务之前用jmap命令生成了一份dump文件便于后面分析。n生成dump文件的命令:njmap -dump:format=b,file=20170... 博文 来自: lkforce

jni中arm64-v8a,armeabi-v7a,armeabi文件夹的意义和用法

05-26 阅读数 1万+

jni中arm64-v8a,armeabi-v7a,armeabi文件夹的意义和用法起因之前并没有关注这块,直到:您的应用被拒绝,原因:xplay5sQ心里点击笑值点击拍照显示停止运行,查看发过来的日... 博文 来自: hss01248的专栏

微信支付V3微信公众号支付PHP教程(thinkPHP5公众号支付)/JSSDK的使用

02-02 阅读数 19万+

扫二维码关注,获取更多技术分享nnn 本文承接之前发布的博客《 微信支付V3微信公众号支付PHP教程/thinkPHP5公众号支付》必须阅读上篇文章后才可以阅读这篇文章。由于最近一段时间工作比较忙,... 博文 来自: Marswill

DataTables 的 实例 《一》

01-14 阅读数 1万+

1.加载需要的js/css文件rnnnnrn2.nnnfunction del(id){n alert(id);n}nnvar table;n$(document).ready(function(... 博文 来自: 辛修灿的博客

mybatis一级缓存(session cache)引发的问题

05-14 阅读数 5万+

mybatis一级缓存(session cache)引发的问题 博文 来自: flysharkym的专栏

fragment清除页面数据(重新加载布局)

07-27 阅读数 3万+

上一篇博客介绍了如何解决Fragment重叠的问题,有需要的同学可以看一下,底部有demo下载。 n直通车:完美解决Fragment重叠本篇博客我们来说一下怎么让fragment重新加载布局资源文件。... 博文 来自: 喻志强的博客

linux上安装Docker(非常简单的安装方法)

06-29 阅读数 30万+

最近比较有空,大四出来实习几个月了,作为实习狗的我,被叫去研究Docker了,汗汗!nnDocker的三大核心概念:镜像、容器、仓库n镜像:类似虚拟机的镜像、用俗话说就是安装文件。n容器:类似一个轻量... 博文 来自: 我走小路的博客

讯飞语音 20006 错误,已解决

04-18 阅读数 1万+

错误显示 未能启动录音,nnn原因分析:n我的这里的原因是因为,唤醒的监听还是start的状态,所以唤醒它占用了录音的设备,所以当唤醒之后再想听取用户的录音就会出现未能启动录音的20006 的错误.n... 博文 来自: Kodulf的专栏

Spark2学习1之基本环境搭建(win)问题

07-30 阅读数 6万+

更多代码请见:https://github.com/xubo245/SparkLearning 版本:Spark-2.0.01解释 n从【2】中下载release版,idea打开mvn packag... 博文 来自: Keep Learning

thymeleaf模板实现html5标签的非严格检查

02-24 阅读数 5万+

一、概述最近在springboot项目引入thymeleaf模板时,使用非严格标签时,运行会报错。默认thymeleaf模板对html5标签是严格检查的。二、在项目中加NekoHTML库在Maven中... 博文 来自: Luck_ZZ的博客

            
                        

没有更多推荐了,返回首页

你可能感兴趣的:(数据预处理--数据扩增)