小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch

在前面的几个章节中,我们介绍了几种基于不同半监督假设的模型优化方案,包括Mean Teacher等一致性正则约束,FGM等对抗训练,min Entropy等最小熵原则,以及Mixup等增强方案。虽然出发点不同但上述优化方案都从不同的方向服务于半监督的3个假设,让我们重新回顾下(哈哈自己抄袭自己):

  • moothness平滑度假设:近朱者赤近墨者黑,两个样本在高密度空间特征相近,则label应该一致。优化方案如Mixup,一致性正则和对抗学习
  • Cluster聚类假设:高维特征空间中,同一个簇的样本应该有相同的label,这个强假设其实是Smoothness的特例
  • Low-density Separation低密度分离假设:分类边界应该处于样本空间的低密度区。这个假设更多是以上假设的必要条件,如果决策边界处于高密度区,则无法保证簇的完整和边缘平滑。优化方案入MinEntropy

MixMatch则是集各家所长,把上述方案中的SOTA都融合在一起实现了1+1+1>3的效果,主要包括一致性正则,最小熵,Mixup正则这三个方案。想要回顾下原始这三种方案的实现可以看这里

本章介绍几种半监督融合方案,包括MixMatch,和其他变种MixText,UDA,FixMatch

MixMatch

小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch插图

针对无标注样本,MixMatch融合了最小熵原则和一致性正则, 前者最小化模型预测在无标注样本上的熵值,使得分类边界远离样本高密度区,后者约束模型对微小的扰动给出一致的预测,约束分类边界平滑。实现如下

  1. Data Augmentation: 对batch中每个无标注样本做K轮增强(hat{u_{b,k}}=Augment(u_b)),每轮增强得到一个模型预测(P_{model}(y|u_{b,k};theta))。针对图片作者使用了随机翻转和裁剪作为增强方案。
  2. Label Guessing: Ensemble以上k轮预测得到无标注样本的预估标签
[overline{q_b}=frac{1}{k}sum_{k=1}^{K}P_{model}(y|hat{u_{b,k}}; theta)
]
  1. Sharpening:感觉Sharpen是搭配Ensemble使用的,考虑K轮融合可能会得到置信度较低的标签,作者使用Temperature来降低以上融合标签的熵值,促使模型给出高置信的预测
[Sharpen(overline{q_{i}}, T) = overline{q_{i}}^{frac{1}{T}}/sum_{j=1}^Loverline{q_{j}}^{frac{1}{T}}
]

针对有标注样本,作者在原始Mixup的基础上加入对以上无标注样本的使用。

  1. 拼接:把增强后的标注样本(hat{X})和K轮增强后的无标注样本(hat{U})进行拼接得到(W=Shuffle(Concat(hat{X},hat{U})))
  2. Mixup:两两样本对融合特征和标签得到新样本(X^,U^),这里在原始mixup的基础上额外约束mixup权重>0.5, 感觉这个约束主要针对引入的无标注样本,保证有标注样本的融合以原始标签为主,避免引入太多的噪声
[begin{align}
lambda &sim Beta(alpha, alpha) \
lambda &= max(lambda, 1-lambda )\
x^` &= lambda x_1 + (1-lambda)x_2 \
p^` &= lambda p_1 + (1-lambda)p_2
end{align}
]

最终的损失函数由标注样本的交叉熵和无标注样本在预测标签上的L2正则项加权得到

[begin{align}
L_x &= frac{1}{X^}sum_{x in X^} CrossEntropy(p, P_{model}(y|x;theta)) \
L_x &= frac{1}{k cdot U^}sum_{u in U^}||q - P_{model}(y|u;theta)||^2 \
L & = L_x+ lambda_u L_u
end{align}
]

Mixmath因为使用了多种方案融合因子引入了不少超参数,包括融合轮数K,温度参数T,Mixup融合参数(alpha), 以及正则权重(lambda_u)。不过作者指出,多数超惨不需要根据任务进行调优,可以直接固定,作者给的参数取值,T=0.5,K=2。(alpha=0.75,lambda_u=100)是推荐的尝试取值,其中正则权重作者做了线性warmup。

通过消融实验,作者证明了LabelGuessing,Sharpening,Mixup在当前的方案中缺一不可,且进一步使用Mean Teacher没有效果提升。

小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch插图1

效果上对比单一的半监督方案,Mixmatch的效果提升十分显著

小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch插图2

MixText

小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch插图3

MixText是MixMatch在NLP领域的尝试,关注点在更适合NLP领域的Mixup使用方式,这里只关注和MixMatch的异同,未提到的部分基本上和MixMatch是一样的

  1. TMix:Mixup融合层
    这一点我们在Mixup章节中讨论过,mixup究竟应该对哪一层隐藏层进行融合,能获得更好的效果。这里作者使用了和Manifold Mixup相同的方案,也就是每个Step都随机选择一层进行融合,只不过对选择那几层进行了调优(炼丹ing。。。), 在AG News数据集上选择更高层的效果更好,不过感觉这个参数应该是task specific的
小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch插图4
  1. 最小熵正则
    MixText进一步加入了最小熵原则,在无标注数据上,通过penalize大于(gamma)的熵值(作者使用L2来计算),来进一步提高模型预测的置信度
[begin{align}
L_{margin} &= E_{x in U} max(0, gamma - ||y^u||^2)\
L_{MixText} &= L_{TMix} + gamma_{m} L_{margin}
end{align}
]
  1. 无标注损失函数
    MixMatch使用RMSE损失函数,来约束无标注数据的预测和Guess Label一致,而MixText使用KL-Divergance, 也就是和标注样本相同都是最小化交叉熵

UDA

小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch插图5

同样是MixMatch在NLP领域的尝试,不过UDA关注点在Data Augmentation的难易程度对半监督效果的影响,核心观点是难度高,多样性好,质量好的噪声注入,可以提升半监督的效果。以下只总结和MixMatch的异同点

  1. Data Augmentation
    MixMatch只针对CV任务,使用了随机水平翻转和裁剪进行增强。UDA在图片任务上使用了复杂度和多样性更高的RandAugment,在N个图片可用的变换中每次随机采样K个来对样本进行变换。原始的RandAugment是搜索得到最优的变换pipeline,这里作者把搜索改成了随机选择,可以进一步增强的多样性。
    针对文本任务,UDA使用了Back-translation和基于TF-IDF的词替换作为增强方案。前者通过调整temperature可以生成多样性更好的增强样本,后者在分类问题中对核心关键词有更好的保护作用,生成的增强样本有效性更高。这也是UDA提出的一个核心观点就是数据增强其实是有效性和多样性之间的Trade-off
  2. Pseudo Label
    针对无标注样本,MixMatch是对K次弱增强样本的预测结果进行融合得到更准确的标签。UDA只对一次强增强的样本进行预测得到伪标签。
  3. Confidence-Based Maskin & Domain-relevance Data Filtering
    UDA对无标注样本的一致性正则loss进行了约束,包括两个方面
  • 置信度约束:在训练过程中,只对样本预测概率最大值>threshold的样本计算,如果样本预测置信度太低则不进行约束。这里的约束其实和MixMatch的多次预测Ensemble+Sharpen比较类似,都是提高样本的置信度,不过实现更简洁。
  • 样本筛选:作者用原始模型在有标注上训练,在未标注样本上预测,过滤模型预测置信度太低的样本
    核心是为了从大量的无标注样本中筛选和标注样本领域相似的样本,避免一致性正则部分引入太多的样本噪声。效果上UDA比MixMatch有进一步的提升,具体放在下面的FixMatch一起比较。

FixMatch

小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch插图6

和MixMatch出自部分同一作者之手,融合了UDA的强增强和MixMatch的弱增强来优化一致性正则,效果也比MixMatch有进一步提升,果然大神都是自己卷自己~

  1. Pseudo Label

在生成无标注样本的伪标签时,FixMatch使用了UDA的一次预测,和MixMatch的弱增强Flip&Shift来生成伪标签,同时应用UDA的置信度掩码,预测置信度低的样本不参与loss计算。

  1. 一致性正则

一致性正则是FixMatch最大的亮点,它使用以上弱增强得到的伪标签,用强增强的样本去拟合,得到一致性正则部分的损失函数。优点是弱增强的标签准确度更高,而强增强为一致性正则提供更好的多样性,和更大的样本扰动覆盖区域,使用不同的增强方案提高了一致性正则的效果

小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch插图7

效果上FixMatch相比UDA,MixMatch和ReMixMatch均有进一步的提升

小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch插图8

文章来源于互联网:小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch

THE END
分享
二维码