caffe数据文件lmdb训练神器digits

denny的学习专栏

徐其华

• 博客园
• 首页
• 新随笔
• 联系
• 管理
• 订阅

随笔- 145  文章- 0  评论- 1085 

Caffe学习系列(21)：caffe图形化操作工具digits的安装与运行

经过前面一系列的学习，我们基本上学会了如何在linux下运行caffe程序，也学会了如何用python接口进行数据及参数的可视化。

如果还没有学会的，请自行细细阅读： caffe学习系列：http://www.cnblogs.com/denny402/tag/caffe/

也许有人会觉得比较复杂。确实，对于一个使用惯了windows视窗操作的用户来说，各种命令就要了人命，甚至会非常抵触命令操作。没有学过python，要自己去用python编程实现可视化，也是非常头痛的事情。幸好现在有了nvidia digits这款工具，这些问题都可以解决了。

nvidia为了卖出更多的显卡，对深度学习的偏爱真是亮瞎了狗眼。除了cudnn, 又出了digits，真是希望小学生也能学会深度学习，然后去买他们的卡。

nvidia digits是一款web应用工具，在网页上对caffe进行图形化操作和可视化，用于caffe初学者来说，帮助非常大。

不过有点遗憾的是，据nvidia官方文档称，digits最佳支持系统是ubuntu 14.04，其它的系统效果如何，就不得而知了。

一、安装digits 3.0

digits是运行在cuda和caffe基础上的，所以要先配置好cuda+caffe那是毫无疑问的了。还不会配置的，请参考：Caffe学习系列(1)：安装配置ubuntu14.04+cuda7.5+caffe+cudnn

打开一个终端，依次运行下列命令：

cd

sudo -s

进入当前用户根目录，并切换到超级用户（符号由$变成#，不用每句都输sudo)

CUDA_REPO_PKG=cuda-repo-ubuntu1404_7.5-18_amd64.deb &&
wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x86_64/$CUDA_REPO_PKG &&
sudo dpkg -i $CUDA_REPO_PKG

接着,

ML_REPO_PKG=nvidia-machine-learning-repo_4.0-2_amd64.deb &&
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1404/x86_64/$ML_REPO_PKG &&
sudo dpkg -i $ML_REPO_PKG

apt-get update

apt-get install digits

ok,保持网络通畅，慢慢安装吧！

二、运行digits

默认情况下，digits的安装目录为 /usr/share/digits

安装完成后，打开浏览器，地址栏输入 http://localhost/ 就可以了，就是这么简单。

更强悍的是：在局域内的其它机子上，也可以用浏览器访问，只是localhost变成了主机 ip地址。很多人喜欢在windows系统上远程连接linux来执行caffe。现在好了，不需要远程连接了，只需要访问一个网站就可以了。。。还有谁！！！！

三、运行mnist实例

现在来运行一个实例：mnist(名符其实的helloworld)

原始数据需要的是图片，但网上提供的mnist数据并不是图片格式的数据，因此我们需要将它转换成图片才能运行。

digits提供了一个脚本文件，用于下载mnist, cifar10 和cifar100 三类数据，并转换成png格式图片。文件路径为：

/usr/share/digits/tools/download_data/main.py

我们先在当前用户的根目录下，新建一个mnist文件夹用来保存mnist图片。

# cd 
# mkdir mnist

然后执行脚本

# /usr/share/digits/tools/download_data/main.py mnist ~/mnist

main.py带两个参数，第一个为数据集名称（可设置为mnist, cifar10或cifar100)，第二个为输出路径（~/mnist)

执行成功后，会在mnist文件夹下，生成两个文件夹（train文件夹和test文件夹），每个文件夹下面就是我们需要的图片(10类分别放在10个子文件夹内），同时还生成了对应在图片列表文件train.txt和test.txt

接下来，在浏览器上运行digits, 点击左边Dataset模块的"Image"按钮选择“classification", 创建一个dataset

 

在这个页面的左边，可以设置图片是彩色图片还是灰度图片，如果提供的原始图片大小不一致，还可用Resize Transformation功能转换成一致大小 。从页面中间可以看出，系统默认将训练图片中的25%取出来作为验证集（for validation)。

如果想把用来测试的图片，也生成lmdb, 则把“ separate test image folder" 这个选项选上。

全部设置好后，点击"create" 按钮，开始生成lmdb数据。

 

 

注意左上角的Job Directory(工作目录），生成的lmdb文件就放在这个目录下面，大家最好打开这个目录去看看，看一下生成了些什么文件，了解一下运行原理。

在这个界面，我们还可以可视化查看训练和测试的图片，如下图：

train.txt里面存放的是所有训练图片的列表清单，柱状图清晰地显示了10类样本各自的数量。点击" Explorer the db” 即可查看图片。

最后，点击最左上角“ DIGITS" 链接回到网站根目录。

 

由于图片太多，因此本文很长，所以在此截断一下，后续。。

 

分类: caffe

标签: caffe

好文要顶 关注我 收藏该文  

denny402
关注 - 3
粉丝 - 1041

+加关注

1

0

« 上一篇：python数字图像处理（14）：高级滤波
» 下一篇：Caffe学习系列(22)：caffe图形化操作工具digits运行实例

posted @ 2016-01-16 19:22 denny402 阅读(19923) 评论(15) 编辑 收藏

评论

  

#1楼 2016-04-02 11:42 | suoluoshu  

前辈你好，我已经安装了caffe和cuda7.5 ，并根据您的提示安装完了cuda-repo-ubuntu1404_7.5-18_amd64.deb，但我下载了nvidia-machine-learning-repo_4.0-2_amd64.deb并安装的时候报错，提醒我这个依赖于cuda-repo-ubuntu1404和cuda-repo-ubuntu1404-7.0-local,说我没有安装，这个不知如何解决？是我版本不对吗？我下载的明明是7.5的，为何提醒要7.0？

支持(0)反对(0)

  

#2楼 2016-06-27 09:11 | inkling  

您好！请问cpu only 模式可以安装吗？

支持(0)反对(0)

  

#3楼 2016-11-30 18:01 | 卉卉是爱学习的小青年  

前辈您好 我一直有关注您的博客 我安装digist时，下载machine-learning的包 显示的是404 然后官网也找不到了 该怎么办

支持(1)反对(0)

  

#4楼[楼主] 2016-11-30 18:32 | denny402  

@ 卉卉是爱学习的小青年
官网的digits版本升级了，下载地址也变了。你在网页中打开http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1404/x86_64，然后下载digits_4.0.0-1_amd64.deb ，然后运行dpkg -i digits_4.0.0-1_amd64.deb就可以了

支持(0)反对(0)

  

#5楼 2016-12-23 00:32 | flysnow_88  

您好！ 今晚按照您回复卉卉是爱学习的小青年 安装digits时报错如下：
dpkg: error processing package digits (--install):
dependency problems - leaving unconfigured
Processing triggers for ureadahead (0.100.0-16) ...
Errors were encountered while processing:
digits

想请问下 该怎么办呢？多谢！

支持(1)反对(0)

  

#6楼 2017-02-22 17:08 | ws666  

@ flysnow_88 
我也遇到这个问题了，请问你解决了么？

支持(0)反对(0)

  

#7楼 2017-02-23 15:21 | VIVIAN-Ni  

@ws666 
ML_REPO_PKG=nvidia-machine-learning-repo_4.0-2_amd64.deb 变了，改成ML_REPO_PKG=nvidia-machine-learning-repo-ubuntu1404_4.0-2_amd64.deb就可以了

支持(0)反对(0)

  

#8楼 2017-03-28 21:27 | EchoAmor  

Making manifest for /usr/lib/luarocks/rocks
Warning: This looks like a local rocks tree, but you did not pass --local-tree.
Generating index.html for /usr/lib/luarocks/rocks
Processing triggers for libc-bin (2.19-0ubuntu6.11) ...
Processing triggers for ureadahead (0.100.0-16) ...


please tell me why,I can not use Chinese in the server,sorry

支持(0)反对(0)

  

#9楼 2017-03-28 21:30 | EchoAmor  

Setting up cuda-license-8-0 (8.0.61-1) ...
*** LICENSE AGREEMENT ***
By using this software you agree to fully comply with the terms and 
conditions of the EULA (End User License Agreement). The EULA is located
at /usr/local/cuda-8.0/doc/EULA.txt. The EULA can also be found at
http://docs.nvidia.com/cuda/eula/index.html. If you do not agree to the
terms and conditions of the EULA, do not use the software.

支持(0)反对(0)

  

#10楼 2017-03-28 21:30 | EchoAmor  

不好意思博主，服务器里的输入法还没装上，我按照您的教程安装完了，没提示错误，但是我在浏览器输入http://localhost/一直说打不开页面，我才看到终端上最后 有一个这样的warning，而且它的cuda好像是8.0的，不知道是不是这个问题？求解答！

支持(0)反对(0)

  

#11楼 2017-04-01 16:30 | 向前跑带着赤子的骄傲  

@ VIVIAN-N我照这样安装的digits下面只有一个文件夹custom_http_errors，没有tools什么的请问是怎么回事呢？

支持(2)反对(0)

  

#12楼 2017-04-05 15:28 | Cche  

博主你好，我安装完digits后，训练模型都没有问题，但是测试时，就提示
ERROR:error code-6
WARNING: Logging before InitGoogleLogging() is written to STDERR
F0405 15:03:38.596593 6033 gpu_memory.cpp:152] Check failed:error==cudaSuccess (46 vs.0) all CUDA-capable devices are busy or unavailable ***Check failure stack trace:***
我该怎么解决呢？

支持(0)反对(0)

  

#13楼 2017-04-27 14:52 | renwu  

@向前跑带着赤子的骄傲 你好，我也遇到了这个问题，请问你解决了吗？

支持(0)反对(0)

  

#14楼 2017-07-15 11:34 | Witneess  

博主您好，一直按照您的教程做到这一步，非常感谢您的分享。现在我在安装digits_4.0.0-1_amd64.deb的时候提示这个错误，麻烦您帮我看一下：
正准备解包 digits_4.0.0-1_amd64.deb ...
正在将 digits (4.0.0-1) 解包到 (4.0.0-1) 上 ...
dpkg: 依赖关系问题使得 digits 的配置工作不能继续：
digits 依赖于 python-flask (>= 0.10.1)；然而：
未安装软件包 python-flask。
digits 依赖于 python-gevent (>= 1.0)；然而：
未安装软件包 python-gevent。
digits 依赖于 python-flaskext.socketio；然而：
未安装软件包 python-flaskext.socketio。
digits 依赖于 python-flaskext.wtf (>= 0.11)；然而：
未安装软件包 python-flaskext.wtf。
digits 依赖于 python-wtforms (>= 2.0)；然而：
未安装软件包 python-wtforms。
digits 依赖于 python-pydot (>= 1.0.28)；然而：
未安装软件包 python-pydot。
digits 依赖于 python-lmdb (>= 0.87)；然而：
未安装软件包 python-lmdb。
digits 依赖于 python-skimage；然而：
未安装软件包 python-skimage。
digits 依赖于 python-caffe-nv (>= 0.13)；然而：
未安装软件包 python-caffe-nv。
digits 依赖于 caffe-nv (>= 0.13)；然而：
未安装软件包 caffe-nv。
digits 依赖于 gunicorn；然
dpkg: 处理软件包 digits (--install)时出错：
依赖关系问题 - 仍未被配置
正在处理用于 ureadahead (0.100.0-16) 的触发器 ...
在处理时有错误发生：
digits
-------------------------------------------------------------------------------------
但是我使用conda install gevet/flask等又安装不上
也试过apt-get install flask，但是提示flask又依赖其他的库
请问这种情况该怎么办呢？谢谢您

支持(0)反对(0)

  

#15楼 2017-08-20 20:38 | 北海盗  

@ renwu
@向前跑带着赤子的骄傲
@VIVIAN-N我照这样安装的digits下面只有一个文件夹custom_http_errors，没有tools什么的请问是怎么回事呢？

修改下执行命令：
# /usr/share/digits/tools/download_data/main.py mnist ~/mnist
改为
$ python -m digits.download_data mnist ~/mnist
参考:
https://github.com/NVIDIA/DIGITS/blob/digits-5.0/docs/GettingStarted.md

支持(0)反对(0)

刷新评论刷新页面返回顶部

注册用户登录后才能发表评论，请 登录 或 注册，访问网站首页。

【推荐】超50万VC++源码: 大型组态工控、电力仿真CAD与GIS源码库！
【免费】程序员21天搞定英文文档阅读
【推荐】ActiveReports 报表控件，全面满足 .NET开发需求
【推荐】企业SaaS应用开发实战，快速构建企业运营/运维系统

最新IT新闻:
· 马云：如果没有电商，格力美的股价会很难看
· 火币网推迟SBTC充值开放
· 扎克伯克昨天抛售36万股FB股票 套现6220万美元
· 大脑也有“功能指纹”：将有助于识别神经疾病风险
· AI溃败！Dota2最强人机大战首场终结 独家专访OpenAI
» 更多新闻...

最新知识库文章:

· 一个故事看懂“区块链”
· 被踢出去的用户
· 成为一个有目标的学习者
· 历史转折中的“杭派工程师”
· 如何提高代码质量？

» 更多知识库文章...昵称：denny402
园龄：8年2个月
粉丝：1041
关注：3

+加关注

< 2018年8月 >
日	一	二	三	四	五	六
29	30	31	1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30	31	1
2	3	4	5	6	7	8

搜索

 

 

常用链接

• 我的随笔
• 我的评论
• 我的参与
• 最新评论
• 我的标签
•  

我的标签

• python(38)
• caffe(33)
• tensorflow(13)
• opencv3(10)
• mvc(9)
• matlab(9)
• mnist(8)
• MVC3(8)
• ajax(7)
• geos(6)
• 更多

随笔分类

• caffe(34)
• caffe2
• GDAL(2)
• GEOS(6)
• matlab(11)
• opencv(19)
• Python(29)
• Pytorch(4)
• tensorflow(13)

随笔档案

• 2017年9月 (4)
• 2017年6月 (12)
• 2017年3月 (1)
• 2016年9月 (5)
• 2016年7月 (8)
• 2016年1月 (33)
• 2015年12月 (29)
• 2015年11月 (10)
• 2015年7月 (7)
• 2014年10月 (4)
• 2014年7月 (4)
• 2013年10月 (3)
• 2013年8月 (5)
• 2013年7月 (7)
• 2013年6月 (6)
• 2011年4月 (4)
• 2010年6月 (3)

最新评论

• 1. Re:pytorch学习：准备自己的图片数据
• 很棒，解决了我的问题
• --ayew
• 2. Re:caffe windows 学习第一步：编译和安装（vs2012+win 64)
• 博主你好，我是最近刚刚开始对Caffe进行学习，读了你写的几篇文章，感觉受益匪浅，虽然看到这个帖子已经是3年前，但是我还是想问问用你这个步骤编译成功了Caffe，可以配置Python接口吗？如果不能配......
• --Februarybird
• 3. Re:在MVC3中使用富文本编辑器：KindEditor的配置及上传图片
• 为什么我的会显示 cannot post Url.Content,换药配置什么？跪求啊
• --xuexi乐园
• 4. Re:caffe的python接口学习（7）：绘制loss和accuracy曲线
• @
  好吧，在本节（7）中发现问题同样出现了，不知道咋解决。
• --浅笑哥
• 5. Re:caffe的python接口学习（7）：绘制loss和accuracy曲线
• 大家好，我也是使用的jupyter notebook，经过我的测试，我发现在调用solver的相关方法时确实会出现“The kernel appears to have died. It will r......
• --浅笑哥

阅读排行榜

• 1. 用python简单处理图片（1）：打开\显示\保存图像(109354)
• 2. Caffe学习系列(2)：数据层及参数(73566)
• 3. Caffe学习系列(12)：训练和测试自己的图片(73044)
• 4. Caffe学习系列(7)：solver及其配置(71869)
• 5. Caffe学习系列(11)：图像数据转换成db（leveldb/lmdb)文件(62060)

评论排行榜

• 1. Caffe学习系列(12)：训练和测试自己的图片(257)
• 2. Caffe学习系列(23)：如何将别人训练好的model用到自己的数据上(67)
• 3. caffe的python接口学习（6）：用训练好的模型（caffemodel）来分类新的图片(59)
• 4. Caffe学习系列(20)：用训练好的caffemodel来进行分类(54)
• 5. Caffe学习系列(13)：数据可视化环境（python接口)配置(46)

推荐排行榜

• 1. Caffe学习系列(12)：训练和测试自己的图片(23)
• 2. Caffe学习系列(7)：solver及其配置(17)
• 3. Caffe学习系列(2)：数据层及参数(14)
• 4. Caffe学习系列(11)：图像数据转换成db（leveldb/lmdb)文件(10)
• 5. Caffe学习系列(6)：Blob,Layer and Net以及对应配置文件的编写(7)

Copyright ©2018 denny402