以下是对论文《PP-PLL: Probability Propagation for Partial Label Learning》的总结,按照假设、创新点、技术路线、技术实现细节、具体的数学公式、实验结果分析和结论的结构进行。
论文的技术路线分为以下几个步骤:
J ( D , θ , F ) = L ( D , F , θ ) + λ Ω ( θ ) + μ Q ( F ) \mathcal{J}(\mathcal{D}, \mathbf{\theta}, \mathbf{F}) = \mathcal{L}(\mathcal{D}, \mathbf{F}, \mathbf{\theta}) + \lambda \Omega(\mathbf{\theta}) + \mu \mathcal{Q}(\mathbf{F}) J(D,θ,F)=L(D,F,θ)+λΩ(θ)+μQ(F)
其中:
P ( y i = j ∣ x i , θ ) = { exp ( θ j ⊤ x i ) ∑ j ′ ∈ S i exp ( θ j ′ ⊤ x i ) if j ∈ S i 0 otherwise P(y_i = j | \mathbf{x}_i, \mathbf{\theta}) = \begin{cases} \frac{\exp(\mathbf{\theta}_j^\top \mathbf{x}_i)}{\sum_{j' \in S_i} \exp(\mathbf{\theta}_{j'}^\top \mathbf{x}_i)} & \text{if } j \in S_i \\ 0 & \text{otherwise} \end{cases} P(yi=j∣xi,θ)=⎩ ⎨ ⎧∑j′∈Siexp(θj′⊤xi)exp(θj⊤xi)0if j∈Siotherwise
表示样本 x i \mathbf{x}_i xi的标签 j j j的条件概率,仅在候选标签集 S i S_i Si内非零。
L ( D , F , θ ) = ∑ i = 1 m ∑ j ∈ S i F i j log F i j C i j \mathcal{L}(\mathcal{D}, \mathbf{F}, \mathbf{\theta}) = \sum_{i=1}^{m} \sum_{j \in S_i} \mathbf{F}_{i j} \log \frac{\mathbf{F}_{i j}}{\mathbf{\mathcal{C}}_{i j}} L(D,F,θ)=i=1∑mj∈Si∑FijlogCijFij
使用KL散度度量标签分布 F \mathbf{F} F与条件概率 C \mathbf{\mathcal{C}} C的差异。
Q ( F ) = 1 2 ∑ i , j = 1 n w i j ∥ F i D i i − F j D j j ∥ 2 2 \mathcal{Q}(\mathbf{F}) = \frac{1}{2} \sum_{i,j=1}^{n} w_{ij} \left\| \frac{\mathbf{F}_i}{\sqrt{D_{ii}}} - \frac{\mathbf{F}_j}{\sqrt{D_{jj}}} \right\|_2^2 Q(F)=21i,j=1∑nwij DiiFi−DjjFj 22
其中 w i j w_{ij} wij是加权图中的权重, D i i D_{ii} Dii是对角矩阵 D \mathbf{D} D的对角元素,确保相邻样本的标签分布相似。
min θ , F ∑ i = 1 m ∑ j ∈ S i F i j log F i j C i j + λ 2 ∥ θ ∥ F 2 + μ 2 ∑ i , j = 1 n w i j ∥ F i D i i − F j D j j ∥ 2 2 \min_{\mathbf{\theta}, \mathbf{F}} \sum_{i=1}^{m} \sum_{j \in S_i} \mathbf{F}_{i j} \log \frac{\mathbf{F}_{i j}}{\mathbf{\mathcal{C}}_{i j}} + \frac{\lambda}{2} \|\mathbf{\theta}\|_F^2 + \frac{\mu}{2} \sum_{i,j=1}^{n} w_{ij} \left\| \frac{\mathbf{F}_i}{\sqrt{D_{ii}}} - \frac{\mathbf{F}_j}{\sqrt{D_{jj}}} \right\|_2^2 θ,Fmini=1∑mj∈Si∑FijlogCijFij+2λ∥θ∥F2+2μi,j=1∑nwij DiiFi−DjjFj 22
约束条件: ∑ j = 1 q F i j = 1 , F i j ≥ 0 , ∀ i \sum_{j=1}^{q} \mathbf{F}_{i j} = 1, \mathbf{F}_{i j} \geq 0, \forall i ∑j=1qFij=1,Fij≥0,∀i,目标是最小化总损失。