ELLA:An Efficient LIfelong Learning Algorithm 随笔

相关名词:

an instance of the Lasso:??

 vec::向量化

L1\L2 regularization term :??

i.i.d:独立同分布

a.s:almosrt sure 全概率成立

sparse coding:??

l论文中的Proof sketch??

如何推导??

-------范数类别:

ELLA:An Efficient LIfelong Learning Algorithm 随笔_第1张图片

-------L为基向量向量空间,k*d   K个 长度为d的基向量组成。

theta(t)表示 L每一列的线性组合 ,至于他们的权重向量为S(t).

 

--------下示公式不适合终身机器学习的原因:

ELLA:An Efficient LIfelong Learning Algorithm 随笔_第2张图片

1、需要到和所有以前的训练数据相关的总和,该论文通过泰勒展开来解决这个不足

 

泰勒展开抑制了常数项和线性项,只留下二次项。delta X=theta(t)-L*s(t), L是函数的自变量,delta不是确值,Xo=theta(t)。

2、为了评估一个新的L,T个 s(t)又要重新计算一次,当T越来越大的时候,会越来越。(通过gT公式我们可以看出来),该论文移除公式(2)中s(t)的min,当有 第t 任务来的时候只更新对应的s(t),而其他的s(t)不改变。这样的做法 得益于接下来的修改L上。

-----------D(t)的尺寸为d*d.s(t)为k*1,L为d*k,,theta(t)为d*1

---------Lipschitz  条件

ELLA:An Efficient LIfelong Learning Algorithm 随笔_第3张图片
-----------ELLA 和GO-MTL 比较:让我们知道两个模型正确率之间的关系。

-----------ELLA 和OMTL:让我们知道相对于其他的终身机器学习方法ELLA的效率。

------------S(t)的稀疏值为0.5,意思为:用一般数量的隐藏基来表征参数

-----------可以拓展的方向:

1、确定K值

2、优化L值

3、确定s的稀疏值

---------需要看得内容:STL GO-MTL OMTL

你可能感兴趣的:(ELLA:An Efficient LIfelong Learning Algorithm 随笔)