nova-docker 使用记录

使用nova管理docker的container，为了省事，没想到踩到了不少坑。

第一坑

nova-docker的branch选择，担心有兼容问题，选择了目前openstack的stable/kilo版本，但是在使用中，该版本支持的docker remote api版本只到 1.13 。完全不符合目前将设备节点映射到容器中的需求。

解决

对比了stable/liberty 版本和当前版本的差异，还在可手动处理的范围呢，而且支持了docker remote api 的1.19版本。里面有了host-config接口 ，能够传递较多的参数，比如现在需要devices接口。合并中比较顺利，从/stable/kilo版本中签出了一个dev分支，将/stable/liberty合并到当前版本，就是一些细致的活。需要对比调用接口的变化，如果目前使用的公共库不支持，那就换回之前的版本。先对着git 的commit列了一个清单，挨个对比就好。对比中，开源软件的改进有部分也太糙了，有些依赖说改就改(其实有很多完全没有必要修改)，但是基础库不能随意发生版本变化， 因为不确定在新基础库上会发生什么情况。
基础库不能随便动的前提下，采用手动合并新版本的方法是可行的，而且在使用中发现好多改动其实没啥必要。还有就是先把改动列出来，一个一个对比，清晰明确

第二坑

映射驱动至container 内部，使用的device接口，传入一个做了软链接的文件路径，实际的路径指向了dev目录下的设备节点。传入后docker提示找不到文件，可是文件在本地真实存在。查询后是docker的一个bug，对于软链接的路径无法识别。

解决

改用Python 中的OS.readlink 获取真实路径拼接，传给docker
多看官方的文档，特别是github中的issus，会有惊喜

第三坑

按照官方文档说明，docker remote api的文档格式，dict方式传递了参数，
args[devices] = { "PathOnHost": "/dev/deviceName", "PathInContainer": "/dev/deviceName", "CgroupPermissions": "mrw"}
但是docker提示error gathering device information while adding custom device “” ，lstat ：no such file or directory

解决

增加打印调试，传递参数没有问题。半天没找到问题，最后看看nova-py的文档[1]
。里面提到了使用"xx:xx:xx"格式，抱着试试的心态结果好了。
有时候需要看所有组件的文档，出了问题第一时间在文档中寻找答案

第四坑

挂载 volumes ，在docker命令行就是简单的一个-v就能搞定的事情，但是在调用api显示的时候就会比较麻烦，需要在create时，将 volumes中设置好host上的路径。然后在binds 中传递进去绑定的规则。（这里我没传递dict，直接传了一个list。）container启动后，docker inspect查看，发现volumes已经有了相关信息，binds信息也有了，但是docker exec xxx /bin/sh 后还是没能成功映射目录。

解决

最后抱着试试的心态，将之前binds中的host和container位置换了一下，问题解决了。最后结构如下：
{0}:/var/log/mysql/:rw'.format(args['volumes’])
前面的才是host路径，中间的是container路径。
不要随便就经验思维认为顺序就是这样，可以查文档，可以找，再不济，也可以手动尝试。

1. nova-py文档 (http://docker-py.readthedocs.org/en/latest/)
2. nova-remote-api (https://docs.docker.com/engine/reference/api/docker_remote_api_v1.19/)