1、常规方法:在SimCLR中,随机裁剪和随机颜色失真的组合可以得到更好的性能。以及一些数据增广pipeline应用于对比学习框架中来。
2、Contrastive Crop(Crafting Better Contrastive Views for Siamese Representation Learning**,** CVPR2022)
使用semantic-aware localization语义感知定位和 center-suppressed sampling中心抑制采样。它可以有效地为连体表示学习生成更好的对比对。
语义感知定位:它可以有效地为连体表示学习生成更好的对比对。不会像(a)(b)一样错过对象,从事保证使得正阳本对包含我们的目标,而不包含背景。
中心抑制采样:不会像(c),(d)一样两者图像太过于相近,具有大相似度,该算法可以更覆盖对象的不同部分,以扩大裁剪的方差。
3、根据下游任务选择不同的视图(What Makes for Good Views for Contrastive Learning?, nips2020)。
核心观点:
(1)视图的最佳选择主要取决于下游任务。 如果您了解任务,通常可以设计有效的视图。
(2)在下游性能方面存在一个最佳点,即视图之间的互信息 (MI) 既不太高也不太低。(InfoMin原则)
“InfoMin原则”:一组好的样本对是那些共享最低限度的必要信息来完成下游任务样本对。即,**两个视图之间的互信息量存在一个最佳点(不是太少,也不是太多),因此下游性能在这一点上最高。**但是主要方法还是随机裁剪和随机颜色失真(抖动)。实验通过检测和分割两种下游任务验证有效性。
4、CAST(CASTing Your Model: Learning to Localize Improves Self-Supervised Representations,CVPR 2021)(a) 智能几何变换,用于从输入图像中裁剪不同视图,基于从无监督显着图(saliency maps,来源于同一作者ICCV2017的文章)派生的约束,以及 (b) 基于 Grad-CAM 的注意力损失,提供通过强制模型关注裁剪中常见的对象来进行明确的接地监督。1. 基于使用图像显着性图生成的约束,从原始图像中对查询和关键作物进行约束采样,2. 对比学习具有强制模型查看相关的损失 通过 GradCAM 监督,查询和关键作物之间共有的对象区域。