caffe数据文件lmdb训练神器digits

denny的学习专栏

徐其华

随笔- 145  文章- 0  评论- 1085 

Caffe学习系列(21):caffe图形化操作工具digits的安装与运行

经过前面一系列的学习,我们基本上学会了如何在linux下运行caffe程序,也学会了如何用python接口进行数据及参数的可视化。

如果还没有学会的,请自行细细阅读: caffe学习系列:http://www.cnblogs.com/denny402/tag/caffe/

也许有人会觉得比较复杂。确实,对于一个使用惯了windows视窗操作的用户来说,各种命令就要了人命,甚至会非常抵触命令操作。没有学过python,要自己去用python编程实现可视化,也是非常头痛的事情。幸好现在有了nvidia digits这款工具,这些问题都可以解决了。

nvidia为了卖出更多的显卡,对深度学习的偏爱真是亮瞎了狗眼。除了cudnn, 又出了digits,真是希望小学生也能学会深度学习,然后去买他们的卡。

nvidia digits是一款web应用工具,在网页上对caffe进行图形化操作和可视化,用于caffe初学者来说,帮助非常大。

不过有点遗憾的是,据nvidia官方文档称,digits最佳支持系统是ubuntu 14.04,其它的系统效果如何,就不得而知了。

一、安装digits 3.0

digits是运行在cuda和caffe基础上的,所以要先配置好cuda+caffe那是毫无疑问的了。还不会配置的,请参考:Caffe学习系列(1):安装配置ubuntu14.04+cuda7.5+caffe+cudnn

打开一个终端,依次运行下列命令:

cd

sudo -s

进入当前用户根目录,并切换到超级用户(符号由$变成#,不用每句都输sudo)

CUDA_REPO_PKG=cuda-repo-ubuntu1404_7.5-18_amd64.deb &&
wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x86_64/$CUDA_REPO_PKG &&
sudo dpkg -i $CUDA_REPO_PKG

接着,

ML_REPO_PKG=nvidia-machine-learning-repo_4.0-2_amd64.deb &&
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1404/x86_64/$ML_REPO_PKG &&
sudo dpkg -i $ML_REPO_PKG
apt-get update
apt-get install digits

ok,保持网络通畅,慢慢安装吧!

二、运行digits

默认情况下,digits的安装目录为 /usr/share/digits

安装完成后,打开浏览器,地址栏输入 http://localhost/ 就可以了,就是这么简单。

更强悍的是:在局域内的其它机子上,也可以用浏览器访问,只是localhost变成了主机 ip地址。很多人喜欢在windows系统上远程连接linux来执行caffe。现在好了,不需要远程连接了,只需要访问一个网站就可以了。。。还有谁!!!!

caffe数据文件lmdb训练神器digits_第1张图片

三、运行mnist实例

现在来运行一个实例:mnist(名符其实的helloworld)

原始数据需要的是图片,但网上提供的mnist数据并不是图片格式的数据,因此我们需要将它转换成图片才能运行。

digits提供了一个脚本文件,用于下载mnist, cifar10 和cifar100 三类数据,并转换成png格式图片。文件路径为:

/usr/share/digits/tools/download_data/main.py

我们先在当前用户的根目录下,新建一个mnist文件夹用来保存mnist图片。

# cd 
# mkdir mnist

然后执行脚本

# /usr/share/digits/tools/download_data/main.py mnist ~/mnist

main.py带两个参数,第一个为数据集名称(可设置为mnist, cifar10或cifar100),第二个为输出路径(~/mnist)

执行成功后,会在mnist文件夹下,生成两个文件夹(train文件夹和test文件夹),每个文件夹下面就是我们需要的图片(10类分别放在10个子文件夹内),同时还生成了对应在图片列表文件train.txt和test.txt

caffe数据文件lmdb训练神器digits_第2张图片

接下来,在浏览器上运行digits, 点击左边Dataset模块的"Image"按钮选择“classification", 创建一个dataset

 

caffe数据文件lmdb训练神器digits_第3张图片

在这个页面的左边,可以设置图片是彩色图片还是灰度图片,如果提供的原始图片大小不一致,还可用Resize Transformation功能转换成一致大小 。从页面中间可以看出,系统默认将训练图片中的25%取出来作为验证集(for validation)。

如果想把用来测试的图片,也生成lmdb, 则把“ separate test image folder" 这个选项选上。

全部设置好后,点击"create" 按钮,开始生成lmdb数据。

 

caffe数据文件lmdb训练神器digits_第4张图片

 

注意左上角的Job Directory(工作目录),生成的lmdb文件就放在这个目录下面,大家最好打开这个目录去看看,看一下生成了些什么文件,了解一下运行原理。

在这个界面,我们还可以可视化查看训练和测试的图片,如下图:

caffe数据文件lmdb训练神器digits_第5张图片

train.txt里面存放的是所有训练图片的列表清单,柱状图清晰地显示了10类样本各自的数量。点击" Explorer the db” 即可查看图片。

最后,点击最左上角“ DIGITS" 链接回到网站根目录。

caffe数据文件lmdb训练神器digits_第6张图片

 

由于图片太多,因此本文很长,所以在此截断一下,后续。。

 

分类: caffe

标签: caffe

好文要顶 关注我 收藏该文  

denny402
关注 - 3
粉丝 - 1041

+加关注

1

0

« 上一篇:python数字图像处理(14):高级滤波
» 下一篇:Caffe学习系列(22):caffe图形化操作工具digits运行实例

posted @ 2016-01-16 19:22 denny402 阅读(19923) 评论(15) 编辑 收藏

评论

  

#1楼 2016-04-02 11:42 | suoluoshu  

前辈你好,我已经安装了caffe和cuda7.5 ,并根据您的提示安装完了cuda-repo-ubuntu1404_7.5-18_amd64.deb,但我下载了nvidia-machine-learning-repo_4.0-2_amd64.deb并安装的时候报错,提醒我这个依赖于cuda-repo-ubuntu1404和cuda-repo-ubuntu1404-7.0-local,说我没有安装,这个不知如何解决?是我版本不对吗?我下载的明明是7.5的,为何提醒要7.0?

支持(0)反对(0)

  

#2楼 2016-06-27 09:11 | inkling  

您好!请问cpu only 模式可以安装吗?

支持(0)反对(0)

  

#3楼 2016-11-30 18:01 | 卉卉是爱学习的小青年  

前辈您好 我一直有关注您的博客 我安装digist时,下载machine-learning的包 显示的是404 然后官网也找不到了 该怎么办

支持(1)反对(0)

  

#4楼[楼主] 2016-11-30 18:32 | denny402  

@ 卉卉是爱学习的小青年
官网的digits版本升级了,下载地址也变了。你在网页中打开http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1404/x86_64,然后下载digits_4.0.0-1_amd64.deb ,然后运行dpkg -i digits_4.0.0-1_amd64.deb就可以了

支持(0)反对(0)

  

#5楼 2016-12-23 00:32 | flysnow_88  

您好! 今晚按照您回复卉卉是爱学习的小青年 安装digits时报错如下:
dpkg: error processing package digits (--install):
dependency problems - leaving unconfigured
Processing triggers for ureadahead (0.100.0-16) ...
Errors were encountered while processing:
digits

想请问下 该怎么办呢?多谢!

支持(1)反对(0)

  

#6楼 2017-02-22 17:08 | ws666  

@ flysnow_88 
我也遇到这个问题了,请问你解决了么?

支持(0)反对(0)

  

#7楼 2017-02-23 15:21 | VIVIAN-Ni  

@ws666 
ML_REPO_PKG=nvidia-machine-learning-repo_4.0-2_amd64.deb 变了,改成ML_REPO_PKG=nvidia-machine-learning-repo-ubuntu1404_4.0-2_amd64.deb就可以了

支持(0)反对(0)

  

#8楼 2017-03-28 21:27 | EchoAmor  

Making manifest for /usr/lib/luarocks/rocks
Warning: This looks like a local rocks tree, but you did not pass --local-tree.
Generating index.html for /usr/lib/luarocks/rocks
Processing triggers for libc-bin (2.19-0ubuntu6.11) ...
Processing triggers for ureadahead (0.100.0-16) ...


please tell me why,I can not use Chinese in the server,sorry

支持(0)反对(0)

  

#9楼 2017-03-28 21:30 | EchoAmor  

Setting up cuda-license-8-0 (8.0.61-1) ...
*** LICENSE AGREEMENT ***
By using this software you agree to fully comply with the terms and 
conditions of the EULA (End User License Agreement). The EULA is located
at /usr/local/cuda-8.0/doc/EULA.txt. The EULA can also be found at
http://docs.nvidia.com/cuda/eula/index.html. If you do not agree to the
terms and conditions of the EULA, do not use the software.

支持(0)反对(0)

  

#10楼 2017-03-28 21:30 | EchoAmor  

不好意思博主,服务器里的输入法还没装上,我按照您的教程安装完了,没提示错误,但是我在浏览器输入http://localhost/一直说打不开页面,我才看到终端上最后 有一个这样的warning,而且它的cuda好像是8.0的,不知道是不是这个问题?求解答!

支持(0)反对(0)

  

#11楼 2017-04-01 16:30 | 向前跑带着赤子的骄傲  

@ VIVIAN-N我照这样安装的digits下面只有一个文件夹custom_http_errors,没有tools什么的请问是怎么回事呢?

支持(2)反对(0)

  

#12楼 2017-04-05 15:28 | Cche  

博主你好,我安装完digits后,训练模型都没有问题,但是测试时,就提示
ERROR:error code-6
WARNING: Logging before InitGoogleLogging() is written to STDERR
F0405 15:03:38.596593 6033 gpu_memory.cpp:152] Check failed:error==cudaSuccess (46 vs.0) all CUDA-capable devices are busy or unavailable ***Check failure stack trace:***
我该怎么解决呢?

支持(0)反对(0)

  

#13楼 2017-04-27 14:52 | renwu  

@向前跑带着赤子的骄傲 你好,我也遇到了这个问题,请问你解决了吗?

支持(0)反对(0)

  

#14楼 2017-07-15 11:34 | Witneess  

博主您好,一直按照您的教程做到这一步,非常感谢您的分享。现在我在安装digits_4.0.0-1_amd64.deb的时候提示这个错误,麻烦您帮我看一下:
正准备解包 digits_4.0.0-1_amd64.deb ...
正在将 digits (4.0.0-1) 解包到 (4.0.0-1) 上 ...
dpkg: 依赖关系问题使得 digits 的配置工作不能继续:
digits 依赖于 python-flask (>= 0.10.1);然而:
未安装软件包 python-flask。
digits 依赖于 python-gevent (>= 1.0);然而:
未安装软件包 python-gevent。
digits 依赖于 python-flaskext.socketio;然而:
未安装软件包 python-flaskext.socketio。
digits 依赖于 python-flaskext.wtf (>= 0.11);然而:
未安装软件包 python-flaskext.wtf。
digits 依赖于 python-wtforms (>= 2.0);然而:
未安装软件包 python-wtforms。
digits 依赖于 python-pydot (>= 1.0.28);然而:
未安装软件包 python-pydot。
digits 依赖于 python-lmdb (>= 0.87);然而:
未安装软件包 python-lmdb。
digits 依赖于 python-skimage;然而:
未安装软件包 python-skimage。
digits 依赖于 python-caffe-nv (>= 0.13);然而:
未安装软件包 python-caffe-nv。
digits 依赖于 caffe-nv (>= 0.13);然而:
未安装软件包 caffe-nv。
digits 依赖于 gunicorn;然
dpkg: 处理软件包 digits (--install)时出错:
依赖关系问题 - 仍未被配置
正在处理用于 ureadahead (0.100.0-16) 的触发器 ...
在处理时有错误发生:
digits
-------------------------------------------------------------------------------------
但是我使用conda install gevet/flask等又安装不上
也试过apt-get install flask,但是提示flask又依赖其他的库
请问这种情况该怎么办呢?谢谢您

支持(0)反对(0)

  

#15楼 2017-08-20 20:38 | 北海盗  

@ renwu
@向前跑带着赤子的骄傲
@VIVIAN-N我照这样安装的digits下面只有一个文件夹custom_http_errors,没有tools什么的请问是怎么回事呢?

修改下执行命令:
# /usr/share/digits/tools/download_data/main.py mnist ~/mnist
改为
$ python -m digits.download_data mnist ~/mnist
参考:
https://github.com/NVIDIA/DIGITS/blob/digits-5.0/docs/GettingStarted.md

支持(0)反对(0)

刷新评论刷新页面返回顶部

注册用户登录后才能发表评论,请 登录 或 注册,访问网站首页。

【推荐】超50万VC++源码: 大型组态工控、电力仿真CAD与GIS源码库!
【免费】程序员21天搞定英文文档阅读
【推荐】ActiveReports 报表控件,全面满足 .NET开发需求
【推荐】企业SaaS应用开发实战,快速构建企业运营/运维系统

qcloud0814

最新IT新闻:
· 马云:如果没有电商,格力美的股价会很难看
· 火币网推迟SBTC充值开放
· 扎克伯克昨天抛售36万股FB股票 套现6220万美元
· 大脑也有“功能指纹”:将有助于识别神经疾病风险
· AI溃败!Dota2最强人机大战首场终结 独家专访OpenAI
» 更多新闻...

华为CH0822

最新知识库文章:

· 一个故事看懂“区块链”
· 被踢出去的用户
· 成为一个有目标的学习者
· 历史转折中的“杭派工程师”
· 如何提高代码质量?

» 更多知识库文章...昵称:denny402
园龄:8年2个月
粉丝:1041
关注:3

+加关注

< 2018年8月 >
29 30 31 1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31 1
2 3 4 5 6 7 8

搜索

 

 

常用链接

  • 我的随笔
  • 我的评论
  • 我的参与
  • 最新评论
  • 我的标签
  •  

我的标签

  • python(38)
  • caffe(33)
  • tensorflow(13)
  • opencv3(10)
  • mvc(9)
  • matlab(9)
  • mnist(8)
  • MVC3(8)
  • ajax(7)
  • geos(6)
  • 更多

随笔分类

  • caffe(34)
  • caffe2
  • GDAL(2)
  • GEOS(6)
  • matlab(11)
  • opencv(19)
  • Python(29)
  • Pytorch(4)
  • tensorflow(13)

随笔档案

  • 2017年9月 (4)
  • 2017年6月 (12)
  • 2017年3月 (1)
  • 2016年9月 (5)
  • 2016年7月 (8)
  • 2016年1月 (33)
  • 2015年12月 (29)
  • 2015年11月 (10)
  • 2015年7月 (7)
  • 2014年10月 (4)
  • 2014年7月 (4)
  • 2013年10月 (3)
  • 2013年8月 (5)
  • 2013年7月 (7)
  • 2013年6月 (6)
  • 2011年4月 (4)
  • 2010年6月 (3)

最新评论

  • 1. Re:pytorch学习:准备自己的图片数据
  • 很棒,解决了我的问题
  • --ayew
  • 2. Re:caffe windows 学习第一步:编译和安装(vs2012+win 64)
  • 博主你好,我是最近刚刚开始对Caffe进行学习,读了你写的几篇文章,感觉受益匪浅,虽然看到这个帖子已经是3年前,但是我还是想问问用你这个步骤编译成功了Caffe,可以配置Python接口吗?如果不能配......
  • --Februarybird
  • 3. Re:在MVC3中使用富文本编辑器:KindEditor的配置及上传图片
  • 为什么我的会显示 cannot post Url.Content,换药配置什么?跪求啊
  • --xuexi乐园
  • 4. Re:caffe的python接口学习(7):绘制loss和accuracy曲线
  • @
    好吧,在本节(7)中发现问题同样出现了,不知道咋解决。
  • --浅笑哥
  • 5. Re:caffe的python接口学习(7):绘制loss和accuracy曲线
  • 大家好,我也是使用的jupyter notebook,经过我的测试,我发现在调用solver的相关方法时确实会出现“The kernel appears to have died. It will r......
  • --浅笑哥

阅读排行榜

  • 1. 用python简单处理图片(1):打开\显示\保存图像(109354)
  • 2. Caffe学习系列(2):数据层及参数(73566)
  • 3. Caffe学习系列(12):训练和测试自己的图片(73044)
  • 4. Caffe学习系列(7):solver及其配置(71869)
  • 5. Caffe学习系列(11):图像数据转换成db(leveldb/lmdb)文件(62060)

评论排行榜

  • 1. Caffe学习系列(12):训练和测试自己的图片(257)
  • 2. Caffe学习系列(23):如何将别人训练好的model用到自己的数据上(67)
  • 3. caffe的python接口学习(6):用训练好的模型(caffemodel)来分类新的图片(59)
  • 4. Caffe学习系列(20):用训练好的caffemodel来进行分类(54)
  • 5. Caffe学习系列(13):数据可视化环境(python接口)配置(46)

推荐排行榜

  • 1. Caffe学习系列(12):训练和测试自己的图片(23)
  • 2. Caffe学习系列(7):solver及其配置(17)
  • 3. Caffe学习系列(2):数据层及参数(14)
  • 4. Caffe学习系列(11):图像数据转换成db(leveldb/lmdb)文件(10)
  • 5. Caffe学习系列(6):Blob,Layer and Net以及对应配置文件的编写(7)

Copyright ©2018 denny402

你可能感兴趣的:(caffe数据文件lmdb训练神器digits)