E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
lmdb
如何用Python合并
lmdb
文件
由于Caffe使用的存储图像的数据库是
lmdb
,因此有时候需要对
lmdb
文件进行操作,本文主要讲解如何用Python合并
lmdb
文件。没有
lmdb
支持的,需要用pip命令安装。
SnailTyan
·
2018-07-02 15:58
python读取
LMDB
中图像的方法
本文实例为大家分享了python读取
LMDB
中的图像具体代码,供大家参考,具体内容如下图像数据写入
LMDB
之后最好再按照写入的逻辑反向解析写入的图像,如果图像能够被还原则证明写入方式是没有问题的。
Searching_Bird
·
2018-07-02 11:16
python读写
LMDB
文件的方法
LMDB
的全称是LightningMemory-MappedDatabase(快如闪电的内存映射数据库),它的文件结构简单,包含一个数据文件和一个锁文件:
LMDB
文件可以同时由多个进程打开,具有极高的数据存取速度
Touch_Dream
·
2018-07-02 11:13
训练SSD时出现的数据问题
生成
lmdb
格式数据。开始训练之后报这种错误。
Dreamerzl
·
2018-06-28 10:10
实验BUG
解决ImportError:No module named caffe.proto No module named google.protobuf.internal问题
在使用caffe-ssd处理数据集,生成
lmdb
文件时.遇到问题:Nomodulenamedcaffe.proto解决办法是把caffe中的和python有关的路径添加到python的编译路径中去:终端执行
Dreamerzl
·
2018-06-25 10:41
实验BUG
Caffe训练准备--整合译Intel官方指南、caffe官方文档
Layers欲创建一个Caffe模型,你需要在一个协议文件(prototxt)中定义你的模型结构caffe的层级及其参数又定义在了官方的协议文件caffe.proto中数据集准备将自己的训练集转换为
LMDB
LlveSzy
·
2018-06-16 20:36
caffe
《深度学习——实战caffe》——训练和测试自己的图片
因此,本文介绍一下,从自己的原始图片到
lmdb
数据,再到训练和测试模型的整个流程。
频率52HZ
·
2018-06-04 19:59
深度学习
caffe
caffe数据层数据增广
caffe数据层相关学习以及训练在线数据增广caffe数据层是将已经生成好的
LMDB
文件中的label和数据读入到Datum数据结构体中,然后将数据转化到Blob中,进而进行数据传递,才能进行数据训练。
CVAIDL
·
2018-06-04 09:21
caffe训练技巧总结
一数据集的制作我们经常用到的原始数据是图片文件,如jpg,jpeg,png,tif等格式的,而且有可能图片的大小还不一致,而在caffe中经常使用的数据类型是
lmdb
或leveldb。
吃水果不削皮
·
2018-06-03 11:35
神经网络
caffe
caffe训练
深度学习
LMDB
数据生成与解析
将图片转换为
LMDB
#-*-coding:utf-8-*-importpicklefromPILimportImageimportnumpyasnpimportosimportmatplotlib.imageasplimgfrommysqlimportconnector
Coder_Nan
·
2018-05-30 15:06
Deep
Learning
M_L
python
caffe生成
LMDB
时的坑
编辑此文件,写入如下代码,并保存#!/usr/bin/envshDATA=data/re/MY=examples/myfileecho"Createtrain.txt..."rm-rf$MY/train.txtforiin34567dofind$DATA/train-name$i*.jpg|cut-d'/'-f4-5|sed"s/$/$i/">>$MY/train.txtdoneecho"Crea
flowrush
·
2018-05-29 20:05
caffe
ai竞赛--场景识别
所有的代码在https://pan.baidu.com/s/1AA72Scy7D9nwf36rCYDuKg密码为:dmr0里面自带了
lmdb
数据集文件忘了怎么做的了在全球ai竞赛中取得了100多名的好成绩
andeyeluguo
·
2018-05-16 18:29
深度学习
ncnn上基于Caffe用MobileNet_SSD训练和测试自己的数据
1.数据集标注a.采用VoTT用于图像检测任务的数据集制作voc格式2.
lmdb
数据集制作a.采用weiliu89中的./data/VOC0712/create_list.sh和.
陆号
·
2018-05-08 20:36
ubuntu16.04 caffe GPU 模式下 问题求教:check failed:head_==HEAD AT CPU
I042623:27:46.7244919245layer_factory.hpp:77]CreatinglayerLenetI042623:27:55.6559259245db_
lmdb
.cpp:35
dz0602pshr
·
2018-04-26 22:36
caffe中非图片数据转为
lmdb
文件
caffe训练时,一般会先把数据转换成
lmdb
格式的文件,图片怎么转成
lmdb
格式的文件,比较简单,可以参考的博客较多,主要是使用caffe自带的convert_imageset函数。
keep_forward
·
2018-04-17 11:41
caffe
【深度学习】使用caffeNet训练自己的数据集(caffe框架)
gathered/examples/imagenet.html数据集及第一部分参考网址:http://www.lxway.com/4010652262.htm主要步骤:1.准备数据集2.标记数据集3.创建
lmdb
苏源流
·
2018-04-17 10:28
深度学习
深度学习
caffe框架
caffe模型训练全过程(一)脚本、数据准备与制作
1.首先建立工程文件夹文件夹结构如下|——project├──create_imagenet.sh#生成
lmdb
文件的脚本|——train_
lmdb
├──data.mdb└──lock.mdb#存放输出的训练集
dyingstraw
·
2018-04-16 22:33
Linux
caffe
分割数据转成
lmdb
格式,python代码
分割数据转成
lmdb
格式分割数据转成
lmdb
格式通常有两种方法1:原图和标签图各生成一个
lmdb
文件2:原图和标签图写在一个
lmdb
文件中这里采用方法2作为示例,文中以cityscapes数据集为转换对象
Suodislie
·
2018-04-12 13:14
data
processing
tool
制作
LMDB
格式数据库
LMDB
是caffe用来训练图片最常用的数据格式之一,常用于单标签数据,像分类等。1、数据准备新建train、val和test三个文件夹,分别包括训练图片、验证图片和测试图片。
wxx0426
·
2018-04-12 13:36
caffe学习历程
linux下对文件进行批量重命名
在使用DIGITS生成
LMDB
格式的数据时,发现训练样本和标签的命名不一样,比如对应image000.bmp的标签为image00_L.png,所以需要删除所有的“_L”,下面是自己写的一个脚本:fornamein
chenxjhit
·
2018-03-21 17:03
Shangqi
caffe手写数字识别-训练模型
为什么写第二篇呢以为第一篇有坑用
lmdb
格式的数据训练,可能生成的
lmdb
数据有问题,验证准确率很低,所以这次直接用原始数据训练,准确率%99左右,只训练了10epoch,这个结果不算太好,我之前用Keras
今晚打佬虎
·
2018-03-21 13:44
caffe
手写数字识别Caffe实现
用
lmdb
训练的模型准确率很低,可能是
lmdb
出了问题,这里是直接使用图片进行训练的%99准确率生成配置文件的时候特别要注意路径问题下面是我的几个文件夹的位置关系和路径wang是放着所有的数据和配置文件和脚本
今晚打佬虎
·
2018-03-21 11:44
caffe
[超详细]在caffe上用alexnet做汉字分类识别
----2018.3.19本文结构:1.数据准备、制作
lmdb
数据集2.计算均值3.编写网络结构文件4.编写s
luolan9611
·
2018-03-19 19:37
验证码设计与破解
生成非图像类型的
LMDB
数据
最近在训练网络中会用到非图像类型的数据,我这里是将这种数据转换成
LMDB
类型作为一个数据层,加载进网络。主要用到caffe的Python接口。
Crazy-Monica
·
2018-03-15 18:05
深度学习
caffe
LMDB
:轻量级内存映射数据库-----介绍(翻译)
1.概述LMDBiscompact(紧凑的),fast,powerful,androbustandimplementsasimplifiedvariantoftheBerkeleyDB(BDB)API.(BDBisalsoverypowerful,andverboselydocumentedinitsownright.)Afterreadingthispage,themain\refmdbdocu
那个少年
·
2018-03-04 22:46
开源库
数据库
lmdb
实例运行mnist
一、转换mnist数据集格式(转换为
lmdb
/leveldb)1.首先下载数据文件http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gzhttp
Angela_qin
·
2018-03-03 10:27
ubuntu caffe 训练自己的数据(简单)
因此,本文介绍一下,从自己的原始图片到
lmdb
数据,再到训练和测试的整个流程。一、数据的准备有条件的同学,可以去ImageNet的官网下载ImageNet图片来训练。
DL_Tensor
·
2018-03-02 13:37
详解如何在python中读写和存储matlab的数据文件(*.mat)
背景在做deeplearning过程中,使用caffe的框架,一般使用matlab来处理图片(matlab处理图片相对简单,高效),用python来生成需要的
lmdb
文件以及做test产生结果。
网海水手
·
2018-02-24 10:57
blotDB [译]
boltDBBlotBolt是由HowardChu的
LMDB
项目启发的一个纯粹的Gokey/value数据库。
wolf4j
·
2018-02-24 10:33
Mobilenet-SSD训练环境搭建和训练自己的数据
环境准备编译Caffe训练超参数详解训练自己的数据制作
LMDB
文件训练环境Ubuntu14.04GTX1070gcc4.9.x(默认4.8,需升级)准备显卡驱动安装http://www.nvidia.com
FreeApe
·
2018-02-10 17:34
deep-learning
Python3 转换 SVHN 数据集成
lmdb
格式
该数据集处理的前提是需要先配置好pycaffe,windows下得具体方法见:Windows下Pycaffe的配置与使用。然后程序处理方法其实有点类似于处理python接口的cifar100数据集,只不过这里处理得是mat文件,用scipy.io是可以读取mat文件。importnumpyasnpimportcaffeimportlmdbimportscipy.ioassioimportrando
Chris_zhangrx
·
2018-02-07 17:10
caffe学习
配置文件
Python3 转换 SVHN 数据集成
lmdb
格式
该数据集处理的前提是需要先配置好pycaffe,windows下得具体方法见:Windows下Pycaffe的配置与使用。然后程序处理方法其实有点类似于处理python接口的cifar100数据集,只不过这里处理得是mat文件,用scipy.io是可以读取mat文件。importnumpyasnpimportcaffeimportlmdbimportscipy.ioassioimportrando
Chris_zhangrx
·
2018-02-07 17:10
caffe学习
配置文件
一种空间复杂度较低的求均值算法
最近需要对很大的
LMDB
文件中的数据整体进行Normalization,传统的求均值算法在求和时有溢出的风险,于是查找到了一个空间复杂度较低的求均值算法,记录如下。不间断读取数据并计数。
Adam_fei
·
2018-02-07 13:34
Python创建CRNN训练用的
LMDB
数据库文件
CRNN简介CRNN由BaoguangShi,XiangBai,CongYao提出,2015年7月发表论文:“AnEnd-to-EndTrainableNeuralNetworkforImage-basedSequenceRecognitionandItsApplicationtoSceneTextRecognition”,链接地址:https://arxiv.org/abs/1507.05717
-牧野-
·
2018-01-26 12:49
深度学习
OpenCV-Python
tensorflow
caffe-python
lmdb
读写(转)
lmdb
-writeimportlmdbimportnumpyasnpimportcv2importcaffefromcaffe.protoimportcaffe_pb2#basicsetting#这个设置用来存放
ch07013224
·
2018-01-26 09:21
caffe
深度学习21天实战caffe学习笔记《8:Caffe I/O模块》
运行caffe例程前,详见原始数据转换为
LMDB
格式,训练网络时需要由数据读取层(DataLayer)不断从
LMDB
读取数据,送入后续卷积,下采样等层。
女王の专属领地
·
2018-01-25 16:07
Caffe
SSD+基于pascal_voc数据集的
lmdb
数据制作
最近一直在搞objectdetection玩,之前用的是faster-rcnn,准确率方面73.2%,效果还不错,但是识别速度有点欠缺,我用的GPU是GTX980ti,识别速度大概是15fps.最近发现SSD(singleshotmultiboxdetector)这篇论文效果和速度都不错,我自己实验了一下,速度确实比faster-rcnn快不少。下面分两部分来介绍。第一部分介绍SSD的安装,第二部
coding思想
·
2018-01-14 23:06
SSD
Pascal_voc_lmdb
帮助理解prototxt文件的格式说明
文件的格式说明主要分为三种:***_solver.prototxt***_train_val.prototxt***_deploy.prototxtsolvertrain_val数据来源type必选项数据库(
lmdb
chunish
·
2018-01-04 19:56
caffe
人脸关键点检测
本例是使用caffe框架实现的结果,效果如下:二:数据源的制作因为
lmdb
不支持多标签,所以这里使用的是hdf5格式,支持多标签。
_tommy
·
2017-12-08 11:30
caffe
caffe+linux平台——运行最初的mnist手写识别
总体框架如下:首先我们需要下载数据库,下载好后,用create_mnist.sh将格式转换为
lmdb
格式并生成mnist_test_
lmdb
和mnist_train_
lmdb
两个
Miss_yuki
·
2017-11-13 21:59
深度学习
caffe
caffe之Data_Layer层代码解析
一、caffe的数据输入层,根据不同的输入方式有不同的层,因为本人最早接触的是通过
lmdb
数据库输入数据,而
lmdb
对应这DataLayer层,其实还有一个常用的就是ImageDataLayer层,这个层可以直接输入图片的路径
MingDaYeDe
·
2017-11-06 17:00
C++程序
深度学习
Caffe学习系列(12):训练和测试自己的图片
因此,本文介绍一下,从自己的原始图片到
lmdb
数据,再到训练和测试模型的整个流程。
伊藤炫
·
2017-11-03 11:08
windows10+GPU下caffe数据集
Lmdb
格式制作+训练自己数据集
最近做人脸识别项目,想用到caffe训练自己的数据,电脑操作系统为win10+GPU,这里对caffe-windows配置、数据集制作、训练数据都做一些介绍。(无GPU配置的看我这个博客)。如果你用的是vs2015,那么下面介绍的caffe不适合,要用BVLCwindows分支版本的caffe(非微软的caffe-master),坑有点多,安装配置可以点这里或这里,另外需要自己下载依赖库(依赖库给
The_Matrix_
·
2017-10-21 22:07
C++
深度学习
caffe
CNN学习----创建自己的数据集
学习的时候看了很多参考书和博客,调试了很多次,其实数据集
lmdb
格式转换很简单,需要更改的文件并不多将自己的数据导入Ubuntu,这里作者省略步骤。
YueYTONG
·
2017-09-24 20:49
caffe使用之——将自己的数据生成
lmdb
1,准备文件目录在caffe/examples/下新建my_image文件夹下面在新建data文件夹以存放数据,建lmdbtest文件夹存放
lmdb
文件2,数据准备data文件夹下新建train,val
aliceDingYM
·
2017-09-19 11:16
caffe
深度学习caffe框架(1):如何快速上手caffe?
初识caffe安装caffe跑一个例子mnist配置caffe框架的深度学习网络结构输入数据数据层的定义图片数据如何保存为
lmdb
格式模型的保存和读取caffe的代码层次参考初识caffe安装caffe
lxy_Alex
·
2017-09-10 00:52
Deep
Learning
caffe python 图片训练识别 实例
本文主要是使用caffepython做图片识别的示例包括训练数据
lmdb
生成,训练,以及模型测试,主要内容如下:训练,验证数据
lmdb
生成,主要包括:样本的预处理(直方图均衡化,resize),训练样本以及验证样本的
FishBear_move_on
·
2017-09-09 21:41
图像处理
深度学习&数据挖掘
caffe搭建alexnet
caffe训练
caffe图片识别
caffe-python
自制lenet:从获取数据到网络编写…
首先说几个对自己帮助比较大的博客:【1】、http://www.cnblogs.com/NanShan2016/p/5487194.html这个系列博客介绍了一种一般性的方法,如何从任意图像数据,得到能被caffe处理的
lmdb
宣小K
·
2017-09-05 12:03
机器学习与图像识别
读取JPG文件作为caffe网络结构的输入
这种方式生成配置文件,必须有个前提,就是要先把原始图片转换成
LMDB
文件才行。
小白鼠丶coding
·
2017-08-22 15:58
caffe-学习
python接口
利用python脚本生成caffe的prototxt文件
"SpyderEditor"""fromcaffeimportlayersasL,paramsasP,to_protopath='/home/xxx/data/'#保存数据和配置文件的路径train_
lmdb
小白鼠丶coding
·
2017-08-22 15:58
caffe-学习
python接口
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他