GO-MTL:Learning and overlap in Multi-task Learning 论文随笔

• 相关名词:

  1. trace—norm constraint:
     

  2. sparse matrix:就是含零项的矩数越多，越稀疏阵，零的个数越多，越稀疏

  3. mixed integer programming :混合整数规划

  4. nonparametric Bayesian approach:???

  5. task clusters:??

  6. the difference between cluster and goup:??

  7. Newton-Raphson:??

  8. iterative reweighted least squares algorithm(IRLS):??
     

  9. normal distribution:正太分布
  10. l1 norm : trace-norm
  11. root mean square error: RMSE(均方根误差)
      

      ---

• 前提假设分类：

  1. 所有tasks相关

  2. 组内相关，其他的任务与别的都不相关（outlier task）

  3. tasks 参数在低维空间，特征只有两种情况：要么对所有的任务都活跃，要么对大部分的任务都不活跃

  4. 在子空间的分组结构基于正则化，每个组内的tasks对于特征提取都共享一个线性变换 （？？？）

• 指定任务的预测性结构有L矩阵决定，而分组结构取决于s矩阵

• Kronecher product:

• 牛顿-拉夫森(Newton-Raphson)迭代法:
  

• Amijo rule:
  

• 假设的特点:
  假设每一个任务组的参数都在一个维度的子空间,即不假设不相交任务结构,过着任务属于不同的组其他组的任务相交,通过共享一个或者多个隐藏任务