深度学习系统cxxnet V2

机器学习日报 号外。订阅请给 [email protected] 发封邮件，标题是 " 订阅机器学习日报 "

@好东西传送门 整理于 2015-03-18

15 条精选讨论（选自459条原始评论和转发）

 陈天奇怪   原微博 2015-03-17 15:12

发布深度学习系统cxxnet V2，和小伙伴 @李沐M @antinucleon @winsty 完成，文章解析了简洁高效神经网络的技术细节。代码 http://t.cn/Rws2Ws6 http://t.cn/Rws26qV

winsty 原微博 转发于2015-03-17 15:14

这才是今天的大新闻[嘻嘻] 跟这个比起来kaggle神马的都是浮云啦[嘻嘻] 感谢大神们这几个月来的指导，真心学习了很多[嘻嘻]

createamind 评论于2015-03-17 15:33  回复 @hbyido “代码”

及时更新的最新技术：我们将及时跟进学术界的动态，例如现在已经支持MSRA的ParametricRelu和Google的Batch Normalization 6. Caffe模型转换：支持将训练好的Caffe模型直接转化为cxxnet模型（本周内上线！）

算文解字 评论于2015-03-17 16:00

不知道有没有人系统比较过cxxnet和caffe?前者更“轻”更灵活？后者优势在于文本文件完成配置？

m1nl1n 评论于2015-03-17 16:09

Good job, 我们今天也发布了Purine，支持多机多卡的并行。expression template的确很优美！我私信找你讨论点问题吧。

掩青门 评论于2015-03-17 17:14

赞，之前的xgboost让我受益匪浅~ 奈何c++功底不够，mshadow的精髓领会不了，继续学习

Shadow也叫高大壮 原微博 转发于2015-03-17 18:22  回复 @Hagnesta_Hill “这才是玩机器学习的大婶。。”

@刘小小喂 i have no idea what they talking about, but 居然feels我们有点腻害[doge]

聪老师ZJU永远马屁精 原微博 转发于2015-03-17 18:39  回复 @winsty “这才是今天的大新闻[嘻嘻]”

这个工作的工作量、意义和精细程度，在国内的话，估计可以够一个研究组拿下大项目，养活一批人，干上好几年。可几位大神几个月就搞定了。古代赤手空拳能打赢十个普通人，战斗力爆表。现在这个社会，一个顶尖人才抵上100个普通人才已不罕见

Mai灿不Mai萌 原微博 转发于2015-03-17 22:20  回复 @郑伟诗_中大教书细路

mark 一下，说不定course project 会用到。

她男朋友 原微博 转发于2015-03-18 00:35  回复 @刘江总编 “居然没有上GitHub热榜，不科学啊...”

和Theano相比优势在哪？不要告诉我这是Theano的中文翻译版

BigData大数据 原微博 转发于2015-03-18 03:09  回复 @BigData大数据

刚到主页看了一下代码，http://t.cn/Rws2Ws6 感觉跟CAFFE很类似，也是用的BLOB做DATA，难道就是把GPU的BACKEND自己优化了一下，用了自己的mshadow ？此外把CAFFE提供的KV的CONF.，封装了一个皮提供PYTHON？

陈天奇怪 评论于2015-03-18 04:58

回复@BigData大数据: 神经网络的更新和layer的逻辑类似是很正常的，对比各种实现都会差不多。 主要的差别已经在长微博里面指出了，更加清晰高效的mshadow代码。和基于mshadow-ps的分布式接口。 如果一眼看上去看起来和单机的代码很像正是我们希望看到的，开发简单但功能不平凡

BigData大数据 评论于2015-03-18 05:17

回复@陈天奇怪:第一映像很好，我又读了一下代码，mshadow还是很有必要的，可以有效减少GPU的通讯开销，此外mshadow-ps可以使得多节点分布式成为可能，扩展了Caffe的功能，Penuum也可以做到类似的功能，你们对比他们的优势？PS方面，还是GPU方面？此外和今天发布的PURINE对比分析？建议写个RELATED WORK

陈天奇怪 评论于2015-03-18 05:22

回复@BigData大数据: mshadow-ps更多的是接口上面的设计，实现完全可以采用任何通信框架。因为GPU线程模型和CPU不同的缘故，原有的接口做不到GPU异步。mshadow-ps在CPU PS的基础上支持了GPU的异步操作，有兴趣可以看看mshadow的多卡神经网络代码，我们目前默认的分布式后端是@李沐M 的ps

李沐M 评论于2015-03-18 05:24

回复@BigData大数据: petuum他们在开公司，似乎不是很愿意share他们的人力

BigData大数据 评论于2015-03-18 05:27  回复 None “回复@BigData大数据: petuum他们...”

回复@李沐M: petuum除了是XING原因，它的优势？他们连PS都没有！ [呵呵]