说明
最近碰到地一个问题是多机分布式训练的时候总是起不了程序，但是每台机器单独起训练程序总是没有问题，感觉这个问题经常碰到，解决的办法就是删掉程序，重新再来，确保每一台机器的程序一模一样，这样非常头疼，因为不理解其中的原理，接下来准备把kv-store和ps-lite看看，把其中的原理弄弄明白，方便以后调试
下面这篇文章基于官https://mxnet.incubator.apache.org/tutorials/python/kvstore.html
分布式key value存储
KVStore是一个数据共享的地方，把它想象成一个跨设备(不同的GPU和机器)的对象就行了，每个设备可以推数据到该对象，也可以从该对象拉数据到本地
初始化
首先举一个简单的例子，初始化一个(int, NDArray)类型的键值对，然后通过pull操作拿出这个值
import mxnet as mx
kv = mx.kv.create('local') # create a local kv store.
shape = (2,3)
kv.init(3, mx.nd.ones(shape)*2)
a = mx.nd.zeros(shape)
kv.pull(3, out = a)
print a
[[ 2. 2. 2.]
[ 2. 2. 2.]]
初始化一个全部为2对2x3的数据作为值，用3作为这个值的key，pull出来的结果和创建的时候是一样的，可以证明kv-store确实存在了这个值，这里的key可以是其他值，不一定是整数，我试过string是ok的
Push, Aggregate, and Update 推，聚合，更新
对于任何已经初始化了的key，可以用一个形状一样的数据更新这个key:
kv.push(3, mx.nd.ones(shape)*8)
kv.pull(3, out = a) # pull out the value
b = mx.nd.ones(shape)
kv.pull(3, out = b)
print b
print a
[[ 8. 8. 8.]
[ 8. 8. 8.]]
[[ 8. 8. 8.]
[ 8. 8. 8.]]
这里2x3的8覆盖掉原来的2，此外，这里pull操作需要传递一个接收值(引用)的对象给它，这里我想把pull 的值接收到另外一个地方，传递了一个同样形状的b给它，就能得到数据
数据可以从任何设备push上来，还可以对某一个key推送多个值，KVStore会把他们求和然后push聚合后对值，多个值用一个list表示，一般的使用是从多个gpu推送各自计算的梯度，我没有gpu，用多个数据替代：
#gpus = [mx.gpu(i) for i in range(4)]
#b = [mx.nd.ones(shape, gpu) for gpu in gpus]
b = [mx.nd.ones(shape), mx.nd.ones(shape), mx.nd.ones(shape)]
kv.push(3, b)
kv.pull(3, a)
print a
[[ 3. 3. 3.]
[ 3. 3. 3.]]
每一次调用push, kvstore对像调用update方法更新参数，更新的方式可以自定义，传入更新的方式，先看效果：
def update(key, input, stored):
print "update on key: %d" % key
stored += input * 2
kv._set_updater(update)
kv.pull(3, out=a)
print a.asnumpy()
kv.push(3, mx.nd.ones(shape))
kv.pull(3, out=a)
print a.asnumpy()
[[ 3. 3. 3.]
[ 3. 3. 3.]]
update on key: 3
[[ 5. 5. 5.]
[ 5. 5. 5.]]
上面对一个stored的2x3的，全部是3的矩阵更新，传入的值是相同形状的1，更新函数将传入值乘以2再更新
在kvstore.py文件中，找到了_set_updata__方法，本想看看默认的_updata方法了，目测进入C++方法，已经不知道怎么看下去，大牛知道在哪个文件的哪个位置实现了这个默认的更新梯度的方法请和戳我
pull
上面已经展示了推送多个值到一个key(从多个设备推送各自的值到一个key)，对于pull也一样，同样可以从一个值拉下来到不同的设备上
b = [mx.nd.ones(shape, gpu) for gpu in gpus]
kv.pull(3, out = b)
print b[1].asnumpy()
[[ 6. 6. 6.]
[ 6. 6. 6.]]
这个是官方的例子，执行pull，一个数据，并将这个数据复制成多份，一次发送到每一个gpu上
处理键值对列表
以上介绍的都是针对单个key, kvstore也支持键值对列表的接口
针对单机：
keys = [5, 7, 9]
kv.init(keys, [mx.nd.ones(shape)]*len(keys))
kv.push(keys, [mx.nd.ones(shape)]*len(keys))
b = [mx.nd.zeros(shape)]*len(keys)
kv.pull(keys, out = b)
print b[1].asnumpy()
创建一个三个元素的list，初始化到5，7，9三个key上，创建一个相同形状的数据list，定义一个相同形状的数据b用于得到输出，输出是一个list
针对多个设备：
b = [[mx.nd.ones(shape, gpu) for gpu in gpus]] * len(keys)
kv.push(keys, b)
update on key: 5
update on key: 7
update on key: 9
kv.pull(keys, out = b)
print b[1][1].asnumpy()
[[ 11. 11. 11.]
[ 11. 11. 11.]]
上面已经介绍过聚合，如果一个ke对应的value是一个list，系统会将他们先聚合，然后更新key所对应的value，针对多个key的情况也一样，更新的数据维度多一个
这些都是针对单机的，多机的文档没有介绍，我也想搞搞明白，哪位大神有知道好资料的请戳我
