深度学习算法实验平台的设计实现

目 录
摘 要 I
ABSTRACT II
1 绪论 1
1.1 研究背景 1
1.2 研究现状 2
1.3 论文内容安排 3
2 深度学习算法实验平台底层技术介绍 4
2.1 Docker 4
2.1.1 Docker技术概述 4
2.1.2 联合文件系统(AUFS) 6
2.1.3 数据卷(Data Volume) 6
2.1.4 Docker Hub与Docker Registry 6
2.2 Node.js语言和Express框架 7
2.2.1 Node.js介绍 7
2.2.2 Express.js 8
2.3 小结 8
3 深度学习算法实验平台辅助模块介绍 9
3.1 Jupyter交互式笔记本 9
3.1.1 Jupyter简介 9
3.1.2 Jupyter的安装和使用 10
3.2 Fabrik深度学习模型建立平台 10
3.2.1 Fabrik简介 10
3.2.2 Fabrik的安装和使用 11
3.3 HyperBoard深度学习Web仪表板 11
3.3.1 HyperBoard简介 11
3.3.2 HyperBoard的安装和使用 11
3.4 小结 12
4 深度学习算法实验平台的设计与实现 13
4.1 深度学习平台总体设计思想 13
4.2 深度学习Docker镜像的设计与实现 14
4.2.1 Docker镜像设计前期准备 14
4.2.2 深度学习框架的选择 15
4.2.3 深度学习Docker镜像的实现 16
4.3 算法实验平台的设计与实现 19
4.3.1 算法平台的设计 19
4.3.2 算法平台的实现 19
4.4 小结 27
5 深度学习算法实验平台的部署与测试 28
5.1 部署 28
5.2 系统测试 28
5.3 小结 31
6 总结与展望 32
致 谢 33
参 考 文 献 34

4 深度学习算法实验平台的设计与实现
4.1 深度学习平台总体设计思想
深度学习作为最火热的技术之一，Docker是优秀的的容器，二者可以很好的结合起来，为学习使用者提供便捷的深度学习开发环境，探索人工智能的奥秘，容器随开随用方便快捷。平台设计时参考了Google云机器学习服务的工作流，如4-1图所示。

图4-1 Google云机器学习服务的工作流
在本项目设计过程中，腾讯发布了DI-X深度学习平台，DI-X（Data Intelligence X）是基于腾讯云强大计算能力的一站式深度学习平台。它通过可视化的拖拽布局，组合各种数据源、组件、算法、模型和评估模块，让算法工程师和数据科学家在其之上，方便地进行模型训练、评估及预测。目前支持TensorFlow、Caffe、Torch三大深度学习框架，并提供相应的常用深度学习算法和模型，DI-X可以帮助您快速接入人工智能的快车道，释放数据潜力。
图片从服务器上传到COS对象存储后，您可以通过DI-X调度CPU和HPC集群对图片数据进行裁剪、格式转换等数据预处理；接下来采用Faster R-CNN或其他算法进行图象识别的模型训练，并优化参数直至最优；训练完毕的模型即可用于其他图片的图像识别预测，以判断图像物品的基本属性。DI-X深度学习平台图片识别流程如图4-2所示。
DI-X的图片识别结果可广泛应用于公安领域的网络鉴黄，反恐的高危行为检测、嫌疑人特征检测，广告推荐领域的新商品识别、相似商品推荐，智能交通领域的车辆识别、行人识别、自动驾驶等场景。
图4-2 DI-X深度学习平台图片识别流程
但遗憾的是，像Google云机器学习、腾讯的DI-X深度学习平台、小米的Cloud-ML深度学习平台等都是非开源的付费产品，而且其昂贵的价格设置足以让学习研究者望而却步。本项目项目一定程度上的借鉴了商业深度学习平台的设计思想，研究一个基于Docker容器技术，支持TensorFlow、Caffe、CNTK、Torch等多种深度学习框架，并集成优秀的深度学习辅助工具，用以降低深度学习领域探索门槛的深度学习算法实验平台。
4.2 深度学习Docker镜像的设计与实现
像深度学习框架这种开源软件因为有难以重现、复杂的依赖网络：不同版本的编译器、丢失头文件、错误的库路径等，本文转载自http://www.biyezuopin.vip/onews.asp?id=14560所有这些导致在软件的安装配置阶段浪费你大量的时间，Docker容器技术可以完美的解决这一问题。
4.2.1 Docker镜像设计前期准备
Docker的发展非常迅速，apt源的更新往往比较滞后。所以docker官网推荐的安装方式都是下载docker安装脚本安装。本项目使用的操作系统是Ubuntu 14.04版本，无需安装额外的依赖包，可以直接安装（其他系统如需安装请选择官网对应的安装教程）：
（a）检查curl包有没有安装，which curl。
如果curl没有安装的话，更新apt源之后，安装curl包，sudo apt-get update 、sudo apt-get install curl。
（b）获得最新的docker安装包，curl -sSL https://get.docker.com/ | sh，shell会提示你输入sudo的密码，然后开始执行安装过程。
（c）确认Docker是否安装成功，sudo docker run hello-world，这个命令会下载一个测试用的镜像并启动一个容器运行它。

    
    
    
    
    
    


    
    
    
    

    


    

    

    
        
    
    
    
    IED
    Jupyter
    WebBoard
    

    

        深度学习算法实验平台
    
    
一个帮你快速开始深度学习、监视和管理深度学习过程的平台


    

        

  
方便使用
  

    你只需要专注于核心问题，我们来排除工程瓶颈，解决环境、部署等问题
  
  

  
工具帮助你事半功倍
  

    平台支持JupyterNotebook、Web控制台等，支持拖拽式建立深度学习模型，提高你的工作效率
  
  

  
开源
    

     平台基于Tensorflow、Caffe、CNTK等开源项目，方便扩展和自定义，提供完整的Docker支持
    
  

    
    
    
  

  

      

          

          

          

          

          

          

      



    

        

            © 2017 SUST

            

                Blog ·
                About
            

            




            
            
Made with ZhengFei_SUST♥