Shotgun: Parallel CD for L1-LR

1. Abstract

单机多核并行,near-linear speedup

2. Intro

  • L1 regularization适合sparse高维大数据
  • CD: 本文称为Shooting,每轮迭代只更新一个坐标
  • 并行SGD:单机多核 and 分布式,切分samples,但是L1应用一般feature比sample数量多,因此切分数据不合适
  • 因此选用一种相反的方式,切分features,并行化L1-regularized CD
  • Shotgun:多核算法,让P个维度并行地更新
  • 证明了Shotgun的convergence bound,near-linear in P,同时提供了P的最佳的估计

3. Parallel CD

  • 从所有weights中平均地选择P个weights,然后用同样的更新规则更新它们
  • 并行地更新可能增加divergence的风险。如果features不相关,那么并行更新会加快收敛;如果features相关,那么并行更新就可能会增加objective value

4. Experiment

  • Shotgun的实现:pathwise 优化方法;atomic compare-and-swap opearation
  • 对LR,比较Shotgun和SGD variants
  • Shotgun CDN(Coordinate Descent Newton)的实现:使用backtrack line-search策略寻找step size
  • SGD适合大数据(large n),Shotgun适合大维度(large d)

你可能感兴趣的:(Shotgun: Parallel CD for L1-LR)