原
数据预处理--数据扩增/Data Augmentation/图像增强
2018年12月03日 11:00:26 whitenightwu
阅读数 1432
若增加训练数据,则能够提升算法的准确率,因为这样可以避免过拟合,更好地泛化;而避免了过拟合你就可以增大你的网络结构了。 可以大量使用数据增广。
1)几何变换
包括:弹性变换(Elastic Transform)、透视变换(Perspective Transform)、分段仿射变换(Piecewise Affine transforms)、枕形畸变(Pincushion Distortion)。
a)随机改变大小(resize),随机缩放、旋转、翻转
b)从原始图像(256,256)中,随机的crop出一些图像(224,224) 作者说,不做随机crop,大型网络基本都过拟合(under substantial overfitting)。 先crop,后padding再resize,这样输入图片会保持长宽比。我们做过类似的实验,抠图直接resize到输入尺寸,这样图片会损失长宽比,结果会差一点。然后,我们会先做加入Random scales,把框进行随机扩大或者缩小。
c)水平/竖直翻转,flip。mirror,即水平翻转图像。
transform_param {
# 测试的时候就不做镜像了
mirror: false
crop_size: 227
mean_file: ""ilsvrc12/imagenet_mean.binaryproto""
}
d)Rotation变换/旋转变换 目前主流的处理方式rotate负30度到正30度,这次我们用的是负45度到正45度。这个Rotation一般来说会有提升但是不会很大,主要是用在一些比较极端的情况下,比如人是斜着的。 在后面做实验的时候,发现了另外一种思路:直接把人旋转,检测出人的头,或某个部位之后,按照一定的角度把人转正。
2)加噪声
对主成分做一个(0, 0.1)的高斯扰动。
3)PCA Jittering(颜色改变)
最早是由Alex在他2012年赢得的ImageNet竞赛的那篇NIPS中提出的。 a)首先按照RGB三个颜色通道计算均值和标准差,对网络的输入数据进行规范化, b)随后我们在整个训练集上计算了协方差矩阵,进行特征分解,得到特征向量和特征值,用来做PCA Jittering。 对RGB空间做PCA,然后对主成分做一个(0, 0.1)的高斯扰动。结果让错误率又下降了1%。
4)对比度和亮度
给图像增加一些随机的光照; 对比度受限自适应直方图均衡化算法(Clahe),锐化(Sharpen),凸点(Emboss);
5)随机色相、饱和度、明度(HSV)变换
6)彩图到灰度转换(Color to Gray)
7)将灰度图重新映射到随机颜色的图像中
8)模糊(Blur)、一般模糊(Median Blur)、非常模糊(Motion Blur)
9)通道重排
由于数据的天然性,这一点非常重要
10)图像上细胞核的复制?
这样就创造了大量重叠的细胞核,似乎有助于网络更好地学到重叠细胞核的边界。
数据 扩增 data -augmentation 的方法及代码
为了扩增数据集,采用了2种方式来进行数据的扩增。1、使用keras的数据增强处理2、使用skimage的数据增强处理keras包括的处理,有featurewise视觉上图像会稍微变暗,samplewi... 博文 来自: duanshao的专栏
python实现图像数据 扩增
包括平移,翻转,旋转,调整对比度,高斯噪声,颜色变换importskimageimportio,osimportmatplotlib.pyplotaspltfromPILimportImage,Ima... 博文 来自: qq_36219202的博客
数据 扩增 方法 Data Augmentation
1.Commonmethodsmirroring镜像水平翻转randomcropping随机裁切rotationshearinglocalwarping2.Colorshifting给R、G、G颜色分... 博文 来自: 随风秀舞(diyoosjtu)
图像识别实验过程(二)图像数据 集的扩展
转自:http://www.cnblogs.com/zhoulixue/p/6567443.html在训练图像识别的深度神经网络时,使用大量更多的训练数据,可能会使网络得到更好的性能,例如提高网络的分... 博文 来自: 岁月流星0824的博客
data augmentation 数据 增强方法总结
1、问题描述收集数据准备微调深度学习模型时,经常会遇到某些分类数据严重不足的情况,另外数据集过小容易造成模型的过拟合。本文参考和中对于数据增强方法的一些tips,后续会附上自己实现的C++代码;2、d... 博文 来自: u010555688的专栏
数据 扩增
1.番外篇】聊一聊深度学习中的数据增强与实现https://zhuanlan.zhihu.com/p/295137602.深度学习必备---用Keras和直方图均衡化---数据增强https://cl... 博文 来自: qq_32951799的博客
目标检测数据 扩增
HBB格式的数据扩增该格式下目标被标注为xmin,ymin,xmax,ymaximportosimportcv2importxml.dom.minidomfromxml.dom.minidomimpo... 博文 来自: Mr_health的博客
深度学习中的数据 扩增 方法
图像平移。这种方法可以使得网络学习到平移不变的特征。图像旋转。学习旋转不变的特征。有些任务里,目标可能有多种不同的姿态,旋转正好可以弥补样本中姿态较少的问题。图像镜像。和旋转的功能类似。图像亮度变化。... 博文 来自: thesby的专栏
OCR -- 训练数据 扩增 的方法
结交了一些大神级的人物,每次交流都有很多收获,感谢一路相伴,感谢带我一起成长。(1)透视变换(2)gauss_blur(3)norm_blur(4)模糊图像,模拟小图片放大的效果(5)颜色翻转、滤波等... 博文 来自: MachineLP的专栏
深入浅出Spring Data JPA
深入浅出Spring Data JPA视频教程,开发者实现应用程序的持久层一直是很繁琐的事情,总是要写很多的模版代码来执行CRDU、分页等等。Spring Data JPA旨在改进持久层的实现,减少开发时间。开发者只需编写数据库接口时,定义规范的方法名称等,余下的事情由Spring Data JPA自动完成,通过代理自动对其提供实现。rn嘉宾介绍:蓝声强,成都源代码教育咨询有限公司技术经理。8年J2EE项目经验,擅长Spring,EJB3,JPA,Hibernate, iBatis,Struts1/2,JBPM,Lucene等J2EE系列技术框架及Android技术;数据库设计、JAVA设计模式、UML等; EhCache,OSCache,Memcached等缓存框架,深入研究AppFuse,SpringSide集成框架。 学院 讲师: CSDN讲师
深度学习-目标检测-数据 扩增
有些数据扩增牵扯到boundingbox的坐标变换问题,需要多注意:变换方式注意事项图像翻转没什么太多要注意的,正常变换就好图像平移当图中的物体被平移出去时,要记得取消boundingbox(判定物体... 博文 来自: qq_29007291的博客
在caffe中添加样本扩增 的功能
在caffe-cudnn中添加样本扩增的功能有个样本扩增的代码。可以run考虑到我的caffe的版本太多了。所以把所有的功能都merge到一起。首先merge的是样本扩增的功能。因为只有在imaged... 博文 来自: keyanxiaocaicai的专栏
keras入门 --- Data augmentation (数据 扩充)
keras入门—Dataaugmentation(数据扩充)在深度学习中,我们经常需要用到一些技巧(比如将图片进行旋转,翻转等)来进行dataaugmentation,来减少过拟合。在本文中,我们将主... 博文 来自: gq的博客
扩增 样本
https://nbviewer.jupyter.org/github/vxy10/SCND_notebooks/blob/master/preprocessing_stuff/img_transfo... 博文 来自: keyanxiaocaicai的专栏
Data Augmentation (数据 扩充)
图像数据:旋转|反射变换(Rotation/Reflection):随机旋转图像一定角度;改变图像内容的朝向。翻转变换(flip):沿着水平或者垂直方向翻转图像。缩放变换(zoom):按照一定的比例放... 博文 来自: cynere的博客
OpenCV:Adaboost训练时数据 扩增
更准确的模型需要更多的数据,对于传统非神经网络机器学习方法,不同的特征需要有各自相符合的数据扩增方法。... 博文 来自: wishchinYang的专栏
深度学习--数据 增强
在深度学习中,为了避免出现过拟合(Overfitting),通常我们需要输入充足的数据量.本页面主要记录下常用的数据增强(DataAugmentation)变换方法.不同的任务背景下,我们可以通过图像... 博文 来自: yogyliu的专栏
深度学习_数据 扩充学习
别人写的博客,记录下,防止以后找不到,顺便留着以后更新写自己的东西http://blog.csdn.net/samylee/article/details/53436648... 博文 来自: chenzhi1992的博客
正则化方法:L1和L2 regularization、数据 集扩增 、dropout
本文是《Neuralnetworksanddeeplearning》概览中第三章的一部分,讲机器学习/深度学习算法中常用的正则化方法。(本文会不断补充)正则化方法:防止过拟合,提高泛化能力在训练数据不... 博文 来自: wepon的专栏
Matlab样本增加
forn=0:646 str1='G:\pos\';str2=num2str(n);str3='.jpg';SC=[str1,str2,str3]; i=imread(SC); j=imr... 博文 来自: 深度学习 图像算法
[深度学习] 增加样本——弹性变换算法实现
我们都知道,深度学习的成功的原因主要有两点:(1)当前计算机的计算能力有很大提升;(2)随着大数据时代的到来,当前的训练样本数目有很大的提升。然而深度学习的一大问题是,有的问题并没有大量的训练数据,而... 博文 来自: lhanchao的博客
Keras Image Data Augmentation 各参数详解
图像深度学习任务中,面对小数据集,我们往往需要利用ImageDataAugmentation图像增广技术来扩充我们的数据集,而keras的内置ImageDataGenerator很好地帮我们实现图像增... 博文 来自: mieleizhi0522的博客
【DeepLearning】深度学习上的图像增广(image augmentation )
图像增广(imageaugmentation)技术通过对训练图像做一系列随机改变,来产生相似但又不同的训练样本,从而扩大训练数据集的规模。图像增广的另一种解释是,随机改变训练样本可以降低模型对某些属性... 博文 来自: Taily老段的专栏
神经网络优化方法(避免过拟合,提高模型泛化性)
一、背景简介 在深度学习和机器学习的各种模型训练过程中,在训练数据不够多时,自己常常会遇到的问题就是过拟合(overfitting),过拟合的意思就是模型过度接近训练的数据,使得模型的泛化能力降低,... 博文 来自: Chenyukuai6625的博客
data augmentation
一般比较有效的有randomcrop,randommirror,randomresize(scaleaugmentation)。以上三种实现简单而且有效,基本能复现resnet的结果。至于colora... 博文 来自: 烧卖的技术成长之路
PCA变换和2DPCA变换区别在哪里?
09-16
如题,有点混乱,我看着怎么感觉差不多呢 论坛
【转载】常用数据 增强方法总结及实现
【参考资料】博客园-dataaugmentation总结,CSDN博客-数据增强方法总结,海康威视研究院ImageNet2016竞赛经验分享【常用方法】1、ColorJittering:对颜色的数据增... 博文 来自: 学习容易上瘾
【方法】数据 增强(Data Augmentation )
在训练过程中,网络优化是一方面,数据集的优化又是另一方面。数据集会存在各类样本不均匀的情况,也就是各类样本的数量不一样,有的甚至差别很大。为了让模型具有更强的鲁棒性,采用DataAugmentatio... 博文 来自: crazyang的博客
关于深度学习训练的硬件配置
05-10
各位大大们好! 老板甩给我一个关于深度学习方面的课题,近几个月以来一直在做调研、学习,现在准备是采用SSD来做目标检测方面的研究。做训练、预测的话需要配置一些设备,目前手头上有一块TX1板子,感觉跑模 论坛
数据 增强相关总结
DataAugmentation是通过少量的计算从原始图片变换得到新的训练数据。数据增强对最后的识别性能和泛化能力都有着非常重要的作用。我们使用下面这些数据增强方法:第一,对颜色的数据增强,包括色彩的... 博文 来自: 毛财胜的专栏
【卷积神经网络-进化史】从LeNet到AlexNet
本系列博客是对刘昕博士的《CNN的近期进展与实用技巧》的一个扩充性资料。主要引用刘昕博士的思路,将按照如下方向对CNN的发展作一个更加详细的介绍:【从LeNet到AlexNet】、【进化之路一:网络结... 博文 来自: AutoVision (by 仙道菜)
【转】data augmentation 数据 增强方法总结
转自:http://blog.csdn.net/u010555688/article/details/607579321、问题描述收集数据准备微调深度学习模型时,经常会遇到某些分类数据严重不足的情况,... 博文 来自: lanyuxuan100的博客
data augmentation 总结
dataaugmentation总结dataaugmentation几种方法总结在深度学习中,有的时候训练集不够多,或者某一类数据较少,或者为了防止过拟合,让模型更加鲁棒性,dataaugmentat... 博文 来自: baobei0112的专栏
Data Augmentation 的几种常用方法总结
DataAugmentation的几种常用方法总结:ColorJittering:对颜色的数据增强:图像亮度、饱和度、对比度变化(此处对色彩抖动的理解不知是否得当);PCAJittering:首先按照... 博文 来自: DBG的博客
CNN数据 增强(1)
数据增强(DataAugmentation) 深度学习通常需要大量的数据作为支撑,看到那些公开的数据集,少的也有几十万张,但是在现实中,我们能拥有的数据集网络没有那么到。但是数据量少,往往会造成过拟合... 博文 来自: l_xyy的博客
训练过程--测试时增强(test time augmentation , TTA)
可将准确率提高若干个百分点,它就是测试时增强(testtimeaugmentation,TTA)。这里会为原始图像造出多个不同版本,包括不同区域裁剪和更改缩放程度等,并将它们输入到模型中;然后对多... 博文 来自: wydbyxr的博客
DL开源框架Caffe | 模型微调 (finetune)的场景、问题、技巧以及解决方案
DL开源框架Caffe|模型微调(finetune)的场景、问题、技巧以及解决方案 博文 来自: 深度学习思考者
机器学习中图像增强 的方法
在训练模型时,数据是很重要的一部分。在这个数据为王的年代,要想训练出优秀的模型,数据是不可或缺的一部分。但是很多。但是大多数情况下,数据的获取并不那么容易,所以这时候就可以采取图像增强的方法,... 博文 来自: qq_24193303的博客
优化:深度神经网络Tricks【笔记】
http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.htmlIntroductionaspects: 1)dataaugmentatio... 博文 来自: 女王の专属领地
数据 增强及预处理
一、数据增强深层神经网络一般都需要大量的训练数据才能获得比较理想的结果。在数据量有限的情况下,可以通过数据增强(DataAugmentation)来增加训练样本的多样性,提高模型鲁棒性,避免过拟合。图... 博文 来自: Man
Data augmentation 数据 增强
转载自:https://blog.csdn.net/u010555688/article/details/607579321、问题描述收集数据准备微调深度学习模型时,经常会遇到某些分类数据严重不足的情... 博文 来自: Darlewo
trick—Data Augmentation -- 基于海康威视经验
海康威视研究院ImageNet2016竞赛经验分享海康威视经验 数据增强对最后的识别性能和泛化能力都有着非常重要的作用。我们使用下面这些数据增强方法。第一,对颜色的数据增强,包括色彩的饱和度、亮... 博文 来自: MachineLP的专栏
sqlserver中表值函数的常用方法技巧有哪些?
06-12
- 问答
深度学习你不可不知的技巧(上)
Weassumeyoualreadyknowthebasicknowledgeofdeeplearning,andherewewillpresenttheimplementationdetails(t... 博文 来自: ZhikangFu的专栏
深度学习之数据预处理
文章目录数据预处理数据预处理数据归一化白化(协方差矩阵为单位矩阵)one-hot独热编码(离散数据)数据增强(数据量有限)保存数据补充数据预处理https://www.yuque.com/lart/m... 博文 来自: 画心
数据预处理 --数据 扩增 /Data Augmentation /图像增强 - w..._CSDN博客
wydbyxr的博客 登录 原 数据预处理--数据扩增/Data Augmentation/图像增强 whitenightwu 阅读数:1272 2018-12-03 若增加训练数据,则能够提升算法的准确...
数据 扩增 data -augmentation 的方法及代码 - duanshao的..._CSDN博客
数据预处理--数据扩增/Data Augmentation/图像增强 12-03 阅读数 1165 ...博文 来自: wydbyxr的博客 深度学习中的数据扩增方法 11-14 阅读数 5685 ...
深度学习训练中为什么要将图片随机剪裁(random crop)
图像分类中,在深度学习的训练时将图片的随机剪裁(randomcrop)已经成为很普遍的数据扩充(dataaugmentation)方法,随机剪裁(缩写为:IRC)不但提高了模型精度,也增强了模型稳定性... 博文 来自: u010165147的博客
数据 增强——Keras Image Data Augmentation 各参数详解
图像深度学习任务中,面对小数据集,我们往往需要利用ImageDataAugmentation图像增广技术来扩充我们的数据集,而keras的内置ImageDataGenerator很好地帮我们实现图像增... 博文 来自: pp闲哲qq
优化:微调Finetuning
模型的微调 使用别人训练好的网络模型进行训练,前提是必须和别人用同一个网络,因为参数是根据网络而来的。当然最后一层是可以修改的,因为我们的数据可能并没有1000类,而只有几类。把最后一层的输出... 博文 来自: 女王の专属领地
深度学习中的数据 增强(data augmentation )
直接上代码:[python] viewplain copy#encoding:utf-8 ''''' tf 参考链接 :https://tensorflow.google.cn/api_guides... 博文 来自: kwame211的博客
优化:数据 增强
转载自:https://www.cnblogs.com/zhonghuasong/p/7256498.htmldataaugmentation几种方法总结在深度学习中,有的时候训练集不够多,或者某一类... 博文 来自: 女王の专属领地
第五章(1.7)深度学习——常用的八种神经网络性能调优方案
一、神经网络性能调优主要方法数据增广图像预处理网络初始化训练过程中的技巧激活函数的选择不同正则化方法来自于数据的洞察集成多个深度网络1.数据增广在不改变图像类别的情况下,增加数据量,能提高模型的泛化能... 博文 来自: 两只橙的博客
人脸检测工具face_recognition的安装与应用
人脸检测工具face_recognition的安装与应用 博文 来自: roguesir的博客
DM368开发 -- 编码并实时播放
最近正好又用到 DM368 开发板,就将之前做的编解码的项目总结一下。话说一年多没碰,之前做的笔记全忘记是个什么鬼了。还好整理了一下出图像了。不过再看看做的这个东西,真是够渣的,只能作为参考了。项目效... 博文 来自: 不积跬步,无以至千里
python图片处理类之~PIL.Image模块(ios android icon图标自动生成处理)
1.从pyCharm提示下载PIL包nn http://www.pythonware.com/products/pil/nn nn2.解压后,进入到目录下nnncd /Users/jianan/Dow... 博文 来自: 专注于cocos+unity+node.js全栈网游开发
【小程序】微信小程序开发实践
帐号相关流程注册范围n企业n政府n媒体n其他组织换句话讲就是不让个人开发者注册。 :)填写企业信息不能使用和之前的公众号账户相同的邮箱,也就是说小程序是和微信公众号一个层级的。填写公司机构信息,对公账... 博文 来自: 小雨同学的技术博客
jquery/js实现一个网页同时调用多个倒计时(最新的)
jquery/js实现一个网页同时调用多个倒计时(最新的)nn最近需要网页添加多个倒计时. 查阅网络,基本上都是千遍一律的不好用. 自己按需写了个.希望对大家有用. 有用请赞一个哦!nnnn//jsn... 博文 来自: Websites
环信(Android)设置头像和昵称的方法(最简单暴力的基于环信demo的集成)。
http://blog.csdn.net/zqbemail10/article/details/51659128 博文 来自: 力学不知疲
Java调用Shell命令和脚本
1.介绍n有时候我们在Linux中运行Java程序时,需要调用一些Shell命令和脚本。而Runtime.getRuntime().exec()方法给我们提供了这个功能,而且... 博文 来自: GatsbyNewton
用jvisualvm分析dump文件
最近有一个java服务的堆内存溢出,然后僵死了,在重启服务之前用jmap命令生成了一份dump文件便于后面分析。n生成dump文件的命令:njmap -dump:format=b,file=20170... 博文 来自: lkforce
jni中arm64-v8a,armeabi-v7a,armeabi文件夹的意义和用法
jni中arm64-v8a,armeabi-v7a,armeabi文件夹的意义和用法起因之前并没有关注这块,直到:您的应用被拒绝,原因:xplay5sQ心里点击笑值点击拍照显示停止运行,查看发过来的日... 博文 来自: hss01248的专栏
微信支付V3微信公众号支付PHP教程(thinkPHP5公众号支付)/JSSDK的使用
扫二维码关注,获取更多技术分享nnn 本文承接之前发布的博客《 微信支付V3微信公众号支付PHP教程/thinkPHP5公众号支付》必须阅读上篇文章后才可以阅读这篇文章。由于最近一段时间工作比较忙,... 博文 来自: Marswill
DataTables 的 实例 《一》
1.加载需要的js/css文件rnnnnrn2.nnnfunction del(id){n alert(id);n}nnvar table;n$(document).ready(function(... 博文 来自: 辛修灿的博客
mybatis一级缓存(session cache)引发的问题
mybatis一级缓存(session cache)引发的问题 博文 来自: flysharkym的专栏
fragment清除页面数据(重新加载布局)
上一篇博客介绍了如何解决Fragment重叠的问题,有需要的同学可以看一下,底部有demo下载。 n直通车:完美解决Fragment重叠本篇博客我们来说一下怎么让fragment重新加载布局资源文件。... 博文 来自: 喻志强的博客
linux上安装Docker(非常简单的安装方法)
最近比较有空,大四出来实习几个月了,作为实习狗的我,被叫去研究Docker了,汗汗!nnDocker的三大核心概念:镜像、容器、仓库n镜像:类似虚拟机的镜像、用俗话说就是安装文件。n容器:类似一个轻量... 博文 来自: 我走小路的博客
讯飞语音 20006 错误,已解决
错误显示 未能启动录音,nnn原因分析:n我的这里的原因是因为,唤醒的监听还是start的状态,所以唤醒它占用了录音的设备,所以当唤醒之后再想听取用户的录音就会出现未能启动录音的20006 的错误.n... 博文 来自: Kodulf的专栏
Spark2学习1之基本环境搭建(win)问题
更多代码请见:https://github.com/xubo245/SparkLearning 版本:Spark-2.0.01解释 n从【2】中下载release版,idea打开mvn packag... 博文 来自: Keep Learning
thymeleaf模板实现html5标签的非严格检查
一、概述最近在springboot项目引入thymeleaf模板时,使用非严格标签时,运行会报错。默认thymeleaf模板对html5标签是严格检查的。二、在项目中加NekoHTML库在Maven中... 博文 来自: Luck_ZZ的博客
你可能感兴趣的:(数据预处理--数据扩增)
机器学习与深度学习间关系与区别
ℒℴѵℯ心·动ꦿ໊ོ꫞
人工智能 学习 深度学习 python
一、机器学习概述定义机器学习(MachineLearning,ML)是一种通过数据驱动的方法,利用统计学和计算算法来训练模型,使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本,识别其中的模式和规律,从而对新的数据进行判断。其核心在于通过训练过程,让模型不断优化和提升其预测准确性。主要类型1.监督学习(SupervisedLearning)监督学习是指在训练数据集中包含输入
【iOS】MVC设计模式
Magnetic_h
ios mvc 设计模式 objective-c 学习 ui
MVC前言如何设计一个程序的结构,这是一门专门的学问,叫做"架构模式"(architecturalpattern),属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构,也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC(控制器)负责协调Model和View,处理大部分逻辑它将数据从Mod
微服务下功能权限与数据权限的设计与实现
nbsaas-boot
微服务 java 架构
在微服务架构下,系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加,如何保证不同用户和服务之间的访问权限准确、细粒度地控制,成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限:指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作,比如查看订单、创建订单、修改用户资料等。数据权限:
c++ 的iostream 和 c++的stdio的区别和联系
黄卷青灯77
c++ 算法 开发语言 iostream stdio
在C++中,iostream和C语言的stdio.h都是用于处理输入输出的库,但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系:区别1.编程风格iostream(C++风格):C++标准库中的输入输出流类库,支持面向对象的输入输出操作。典型用法是cin(输入)和cout(输出),使用>操作符来处理数据。更加类型安全,支持用户自定义类型的输入输出。#includeintmain(){in
《投行人生》读书笔记
小蘑菇的树洞
《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅,比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力,更多的是自我意识,你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议,细节,截止日期和数据很重要截止日期,一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
Long类型前后端数据不一致
igotyback
前端
响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题,尤其是当后端使用Java的Long类型(64位)与前端JavaScript的Number类型(最大安全整数为2^53-1,即16位)进行数据交互时,很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
Python数据分析与可视化实战指南
William数据分析
python python 数据
在数据驱动的时代,Python因其简洁的语法、强大的库生态系统以及活跃的社区,成为了数据分析与可视化的首选语言。本文将通过一个详细的案例,带领大家学习如何使用Python进行数据分析,并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前,我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
WPF中的ComboBox控件几种数据绑定的方式
互联网打工人no1
wpf c#
一、用字典给ItemsSource赋值(此绑定用的地方很多,建议熟练掌握)在XMAL中:在CS文件中privatevoidBindData(){DictionarydicItem=newDictionary();dicItem.add(1,"北京");dicItem.add(2,"上海");dicItem.add(3,"广州");cmb_list.ItemsSource=dicItem;cmb_l
Pyecharts数据可视化大屏:打造沉浸式数据分析体验
我的运维人生
信息可视化 数据分析 数据挖掘 运维开发 技术共享
Pyecharts数据可视化大屏:打造沉浸式数据分析体验在当今这个数据驱动的时代,如何将海量数据以直观、生动的方式展现出来,成为了数据分析师和企业决策者关注的焦点。Pyecharts,作为一款基于Python的开源数据可视化库,凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力,成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏,并通过实际代码案例
Python教程:一文了解使用Python处理XPath
旦莫
Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath?2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
Google earth studio 简介
陟彼高冈yu
旅游
GoogleEarthStudio是一个基于Web的动画工具,专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库,使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具,专为创作使用G
LLM 词汇表
落难Coder
LLMs NLP 大语言模型 大模型 llama 人工智能
Contextwindow“上下文窗口”是指语言模型在生成新文本时能够回溯和参考的文本量。这不同于语言模型训练时所使用的大量数据集,而是代表了模型的“工作记忆”。较大的上下文窗口可以让模型理解和响应更复杂和更长的提示,而较小的上下文窗口可能会限制模型处理较长提示或在长时间对话中保持连贯性的能力。Fine-tuning微调是使用额外的数据进一步训练预训练语言模型的过程。这使得模型开始表示和模仿微调数
关于提高复杂业务逻辑代码可读性的思考
编程经验分享
开发经验 java 数据库 开发语言
目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑,一般都是三层架构,表示层(Controller)接收客户端请求,并对入参做检验,业务逻辑层(Service)负责处理业务逻辑,一般开发都是在这一层中写具体的业务逻辑。数据访问层(Dao)是直接和数据库交互的,用于查数据给业务逻辑层,或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说,基本上写好一
SQL Server_查询某一数据库中的所有表的内容
qq_42772833
SQL Server 数据库 sqlserver
1.查看所有表的表名要列出CrabFarmDB数据库中的所有表(名),可以使用以下SQL语句:USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释:SELECTTABLE_NAME:这个语句的作用是从查询结果中选择TABLE_NAM
使用LLaVa和Ollama实现多模态RAG示例
llzwxh888
python 人工智能 开发语言
本文将详细介绍如何使用LLaVa和Ollama实现多模态RAG(检索增强生成),通过提取图像中的结构化数据、生成图像字幕等功能来展示这一技术的强大之处。安装环境首先,您需要安装以下依赖包:!pipinstallllama-index-multi-modal-llms-ollama!pipinstallllama-index-readers-file!pipinstallunstructured!p
使用Apify加载Twitter消息以进行微调的完整指南
nseejrukjhad
twitter easyui 前端 python
#使用Apify加载Twitter消息以进行微调的完整指南##引言在自然语言处理领域,微调模型以适应特定任务是提升模型性能的常见方法。本文将介绍如何使用Apify从Twitter导出聊天信息,以便进一步进行微调。##主要内容###使用Apify导出推文首先,我们需要从Twitter导出推文。Apify可以帮助我们做到这一点。通过Apify的强大功能,我们可以批量抓取和导出数据,适用于各类应用场景。
深入理解 MultiQueryRetriever:提升向量数据库检索效果的强大工具
nseejrukjhad
数据库 python
深入理解MultiQueryRetriever:提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域,高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用,但仍存在一些局限性。本文将介绍一种创新的解决方案:MultiQueryRetriever,它通过自动生成多个查询视角来增强检索效果,提高结果的相关性和多样性。MultiQueryRetriever的工
数组去重
好奇的猫猫猫
整理自js中基础数据结构数组去重问题思考?如何去除数组中重复的项例如数组:[1,3,4,3,5]我们在做去重的时候,一开始想到的肯定是,逐个比较,外面一层循环,内层后一个与前一个一比较,如果是久不将当前这一项放进新的数组,挨个比较完之后返回一个新的去过重复的数组不好的实践方式上述方法效率极低,代码量还多,思考?有没有更好的方法这时候不禁一想当然有了!!!hashtable啊,通过对象的hash办法
Day1笔记-Python简介&标识符和关键字&输入输出
~在杰难逃~
Python python 开发语言 大数据 数据分析 数据挖掘
大家好,从今天开始呢,杰哥开展一个新的专栏,当然,数据分析部分也会不定时更新的,这个新的专栏主要是讲解一些Python的基础语法和知识,帮助0基础的小伙伴入门和学习Python,感兴趣的小伙伴可以开始认真学习啦!一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码,再通过语言处理程序执行向计算机发送指令,让计算机完成对应的工作,编程
【目标检测数据集】卡车数据集1073张VOC+YOLO格式
熬夜写代码的平头哥∰
目标检测 YOLO 人工智能
数据集格式:PascalVOC格式+YOLO格式(不包含分割路径的txt文件,仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)图片数量(jpg文件个数):1073标注数量(xml文件个数):1073标注数量(txt文件个数):1073标注类别数:1标注类别名称:["truck"]每个类别标注的框数:truck框数=1120总框数:1120使用标注工具:labelImg标注
MongoDB Oplog 窗口
喝醉酒的小白
MongoDB 运维
在MongoDB中,oplog(操作日志)是一个特殊的日志系统,用于记录对数据库的所有写操作。oplog允许副本集成员(通常是从节点)应用主节点上已经执行的操作,从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中,从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定:Oplog大小:oplog的大小是有限
Faiss Tips:高效向量搜索与聚类的利器
焦习娜Samantha
FaissTips:高效向量搜索与聚类的利器faiss_tipsSomeusefultipsforfaiss项目地址:https://gitcode.com/gh_mirrors/fa/faiss_tips项目介绍Faiss是由FacebookAIResearch开发的一个用于高效相似性搜索和密集向量聚类的库。它支持多种硬件平台,包括CPU和GPU,能够在海量数据集上实现快速的近似最近邻搜索(AN
pyecharts——绘制柱形图折线图
2224070247
信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd)数据可视化团队研发的ECharts1.0发布到GitHub网站以来,ECharts一直备受业界权威的关注并获得广泛好评,成为目前成熟且流行的数据可视化图表工具,被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言,也加入ECharts的使用行列,并研发出方便Python开发者使用的数据
番茄西红柿叶子病害分类数据集12882张11类别
futureflsl
数据集 分类 数据挖掘 人工智能
数据集类型:图像分类用,不可用于目标检测无标注文件数据集格式:仅仅包含jpg图片,每个类别文件夹下面存放着对应图片图片数量(jpg文件个数):12882分类类别数:11类别名称:["Bacterial_Spot_Bacteria","Early_Blight_Fungus","Healthy","Late_Blight_Water_Mold","Leaf_Mold_Fungus","Powdery
钢筋长度超限检测检数据集VOC+YOLO格式215张1类别
futureflsl
数据集 YOLO 深度学习 机器学习
数据集格式:PascalVOC格式+YOLO格式(不包含分割路径的txt文件,仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)图片数量(jpg文件个数):215标注数量(xml文件个数):215标注数量(txt文件个数):215标注类别数:1标注类别名称:["iron"]每个类别标注的框数:iron框数=215总框数:215使用标注工具:labelImg标注规则:对类别进
回溯算法-重新安排行程
chirou_
算法 数据结构 图论 c++ 图搜索
leetcode332.重新安排行程这题我还没自己ac过,只能现在凭着刚学完的热乎劲把我对题解的理解记下来。本题我认为对数据结构的考察比较多,用什么数据结构去存数据,去读取数据,都是很重要的。classSolution{private:unordered_map>targets;boolbacktracking(intticketNum,vector&result){//1.确定参数和返回值//2
数据仓库——维度表一致性
墨染丶eye
背诵 数据仓库
数据仓库基础笔记思维导图已经整理完毕,完整连接为:数据仓库基础知识笔记思维导图维度一致性问题从逻辑层面来看,当一系列星型模型共享一组公共维度时,所涉及的维度称为一致性维度。当维度表存在不一致时,短期的成功难以弥补长期的错误。维度时确保不同过程中信息集成起来实现横向钻取货活动的关键。造成横向钻取失败的原因维度结构的差别,因为维度的差别,分析工作涉及的领域从简单到复杂,但是都是通过复杂的报表来弥补设计
python os 环境变量
CV矿工
python 开发语言 numpy
环境变量:环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里,比如数据库密码,个人账户密码,如果写进自己本机的环境变量里,程序用的时候通过os.environ.get()取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量:os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
闲鱼鱼小铺怎么开通?鱼小铺开通需要哪些流程?
高省APP大九
闲鱼鱼小铺是平台推出的一个专业程度的店铺,与普通店铺相比会有更多的权益,比如说发布的商品数量从50增加到500;拥有专业的店铺数据看板与分析的功能,这对于专门在闲鱼做生意的用户来说是非常有帮助的,那么鱼小铺每个人都能开通吗?大家好,我是高省APP联合创始人蓓蓓导师,高省APP是2021年推出的电商导购平台,0投资,0风险、高省APP佣金更高,模式更好,终端用户不流失。【高省】是一个可省钱佣金高,能
高级 ECharts 技巧:自定义图表主题与样式
SnowMan1993
echarts 信息可视化 数据分析
ECharts是一个强大的数据可视化库,提供了多种内置主题和样式,但你也可以根据项目的设计需求,自定义图表的主题与样式。本文将介绍如何使用ECharts自定义图表主题,以提升数据可视化的吸引力和一致性。1.什么是ECharts主题?ECharts的主题是指定义图表样式的配置项,包括颜色、字体、线条样式等。通过预设主题,你可以快速更改图表的整体风格,而自定义主题则允许你在此基础上进行个性化设置。2.
java杨辉三角
3213213333332132
java基础
package com.algorithm;
/**
* @Description 杨辉三角
* @author FuJianyong
* 2015-1-22上午10:10:59
*/
public class YangHui {
public static void main(String[] args) {
//初始化二维数组长度
int[][] y
《大话重构》之大布局的辛酸历史
白糖_
重构
《大话重构》中提到“大布局你伤不起”,如果企图重构一个陈旧的大型系统是有非常大的风险,重构不是想象中那么简单。我目前所在公司正好对产品做了一次“大布局重构”,下面我就分享这个“大布局”项目经验给大家。
背景
公司专注于企业级管理产品软件,企业有大中小之分,在2000年初公司用JSP/Servlet开发了一套针对中
电驴链接在线视频播放源码
dubinwei
源码 电驴 播放器 视频 ed2k
本项目是个搜索电驴(ed2k)链接的应用,借助于磁力视频播放器(官网:
http://loveandroid.duapp.com/ 开放平台),可以实现在线播放视频,也可以用迅雷或者其他下载工具下载。
项目源码:
http://git.oschina.net/svo/Emule,动态更新。也可从附件中下载。
项目源码依赖于两个库项目,库项目一链接:
http://git.oschina.
Javascript中函数的toString()方法
周凡杨
JavaScript js toString function object
简述
The toString() method returns a string representing the source code of the function.
简译之,Javascript的toString()方法返回一个代表函数源代码的字符串。
句法
function.
struts处理自定义异常
g21121
struts
很多时候我们会用到自定义异常来表示特定的错误情况,自定义异常比较简单,只要分清是运行时异常还是非运行时异常即可,运行时异常不需要捕获,继承自RuntimeException,是由容器自己抛出,例如空指针异常。
非运行时异常继承自Exception,在抛出后需要捕获,例如文件未找到异常。
此处我们用的是非运行时异常,首先定义一个异常LoginException:
/**
* 类描述:登录相
Linux中find常见用法示例
510888780
linux
Linux中find常见用法示例
·find path -option [ -print ] [ -exec -ok command ] {} \;
find命令的参数;
SpringMVC的各种参数绑定方式
Harry642
springMVC 绑定 表单
1. 基本数据类型(以int为例,其他类似):
Controller代码:
@RequestMapping("saysth.do")
public void test(int count) {
}
表单代码:
<form action="saysth.do" method="post&q
Java 获取Oracle ROWID
aijuans
java oracle
A ROWID is an identification tag unique for each row of an Oracle Database table. The ROWID can be thought of as a virtual column, containing the ID for each row.
The oracle.sql.ROWID class i
java获取方法的参数名
antlove
java jdk parameter method reflect
reflect.ClassInformationUtil.java
package reflect;
import javassist.ClassPool;
import javassist.CtClass;
import javassist.CtMethod;
import javassist.Modifier;
import javassist.bytecode.CodeAtt
JAVA正则表达式匹配 查找 替换 提取操作
百合不是茶
java 正则表达式 替换 提取 查找
正则表达式的查找;主要是用到String类中的split();
String str;
str.split();方法中传入按照什么规则截取,返回一个String数组
常见的截取规则:
str.split("\\.")按照.来截取
str.
Java中equals()与hashCode()方法详解
bijian1013
java set equals() hashCode()
一.equals()方法详解
equals()方法在object类中定义如下:
public boolean equals(Object obj) {
return (this == obj);
}
很明显是对两个对象的地址值进行的比较(即比较引用是否相同)。但是我们知道,String 、Math、I
精通Oracle10编程SQL(4)使用SQL语句
bijian1013
oracle 数据库 plsql
--工资级别表
create table SALGRADE
(
GRADE NUMBER(10),
LOSAL NUMBER(10,2),
HISAL NUMBER(10,2)
)
insert into SALGRADE values(1,0,100);
insert into SALGRADE values(2,100,200);
inser
【Nginx二】Nginx作为静态文件HTTP服务器
bit1129
HTTP服务器
Nginx作为静态文件HTTP服务器
在本地系统中创建/data/www目录,存放html文件(包括index.html)
创建/data/images目录,存放imags图片
在主配置文件中添加http指令
http {
server {
listen 80;
server_name
kafka获得最新partition offset
blackproof
kafka partition offset 最新
kafka获得partition下标,需要用到kafka的simpleconsumer
import java.util.ArrayList;
import java.util.Collections;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.
centos 7安装docker两种方式
ronin47
第一种是采用yum 方式
yum install -y docker
 
java-60-在O(1)时间删除链表结点
bylijinnan
java
public class DeleteNode_O1_Time {
/**
* Q 60 在O(1)时间删除链表结点
* 给定链表的头指针和一个结点指针(!!),在O(1)时间删除该结点
*
* Assume the list is:
* head->...->nodeToDelete->mNode->nNode->..
nginx利用proxy_cache来缓存文件
cfyme
cache
user zhangy users;
worker_processes 10;
error_log /var/vlogs/nginx_error.log crit;
pid /var/vlogs/nginx.pid;
#Specifies the value for ma
[JWFD开源工作流]JWFD嵌入式语法分析器负号的使用问题
comsci
嵌入式
假如我们需要用JWFD的语法分析模块定义一个带负号的方程式,直接在方程式之前添加负号是不正确的,而必须这样做:
string str01 = "a=3.14;b=2.71;c=0;c-((a*a)+(b*b))"
定义一个0整数c,然后用这个整数c去
如何集成支付宝官方文档
dai_lm
android
官方文档下载地址
https://b.alipay.com/order/productDetail.htm?productId=2012120700377310&tabId=4#ps-tabinfo-hash
集成的必要条件
1. 需要有自己的Server接收支付宝的消息
2. 需要先制作app,然后提交支付宝审核,通过后才能集成
调试的时候估计会真的扣款,请注意
应该在什么时候使用Hadoop
datamachine
hadoop
原帖地址:http://blog.chinaunix.net/uid-301743-id-3925358.html
存档,某些观点与我不谋而合,过度技术化不可取,且hadoop并非万能。
--------------------------------------------万能的分割线--------------------------------
有人问我,“你在大数据和Hado
在GridView中对于有外键的字段使用关联模型进行搜索和排序
dcj3sjt126com
yii
在GridView中使用关联模型进行搜索和排序
首先我们有两个模型它们直接有关联:
class Author extends CActiveRecord {
...
}
class Post extends CActiveRecord {
...
function relations() {
return array(
'
使用NSString 的格式化大全
dcj3sjt126com
Objective-C
格式定义The format specifiers supported by the NSString formatting methods and CFString formatting functions follow the IEEE printf specification; the specifiers are summarized in Table 1. Note that you c
使用activeX插件对象object滚动有重影
蕃薯耀
activeX插件 滚动有重影
使用activeX插件对象object滚动有重影 <object style="width:0;" id="abc" classid="CLSID:D3E3970F-2927-9680-BBB4-5D0889909DF6" codebase="activex/OAX339.CAB#
SpringMVC4零配置
hanqunfeng
springmvc4
基于Servlet3.0规范和SpringMVC4注解式配置方式,实现零xml配置,弄了个小demo,供交流讨论。
项目说明如下:
1.db.sql是项目中用到的表,数据库使用的是oracle11g
2.该项目使用mvn进行管理,私服为自搭建nexus,项目只用到一个第三方 jar,就是oracle的驱动;
3.默认项目为零配置启动,如果需要更改启动方式,请
《开源框架那点事儿16》:缓存相关代码的演变
j2eetop
开源框架
问题引入
上次我参与某个大型项目的优化工作,由于系统要求有比较高的TPS,因此就免不了要使用缓冲。
该项目中用的缓冲比较多,有MemCache,有Redis,有的还需要提供二级缓冲,也就是说应用服务器这层也可以设置一些缓冲。
当然去看相关实现代代码的时候,大致是下面的样子。
[java]
view plain
copy
print
?
public vo
AngularJS浅析
kvhur
JavaScript
概念
AngularJS is a structural framework for dynamic web apps.
了解更多详情请见原文链接:http://www.gbtags.com/gb/share/5726.htm
Directive
扩展html,给html添加声明语句,以便实现自己的需求。对于页面中html元素以ng为前缀的属性名称,ng是angular的命名空间
架构师之jdk的bug排查(一)---------------split的点号陷阱
nannan408
split
1.前言.
jdk1.6的lang包的split方法是有bug的,它不能有效识别A.b.c这种类型,导致截取长度始终是0.而对于其他字符,则无此问题.不知道官方有没有修复这个bug.
2.代码
String[] paths = "object.object2.prop11".split("'");
System.ou
如何对10亿数据量级的mongoDB作高效的全表扫描
quentinXXZ
mongodb
本文链接:
http://quentinXXZ.iteye.com/blog/2149440
一、正常情况下,不应该有这种需求
首先,大家应该有个概念,标题中的这个问题,在大多情况下是一个伪命题,不应该被提出来。要知道,对于一般较大数据量的数据库,全表查询,这种操作一般情况下是不应该出现的,在做正常查询的时候,如果是范围查询,你至少应该要加上limit。
说一下,
C语言算法之水仙花数
qiufeihu
c 算法
/**
* 水仙花数
*/
#include <stdio.h>
#define N 10
int main()
{
int x,y,z;
for(x=1;x<=N;x++)
for(y=0;y<=N;y++)
for(z=0;z<=N;z++)
if(x*100+y*10+z == x*x*x
JSP指令
wyzuomumu
jsp
jsp指令的一般语法格式: <%@ 指令名 属性 =”值 ” %>
常用的三种指令: page,include,taglib
page指令语法形式: <%@ page 属性 1=”值 1” 属性 2=”值 2”%>
include指令语法形式: <%@include file=”relative url”%> (jsp可以通过 include