基于样本对设计的对比学习方法

常用分类数据集

CIFAR-10

CIFAR-100

ImageNet(200, 1K)

STL-10

VOC07

从数据本身出发,正样本对设计

Untitled

负样本对设计

Untitled

两篇文章都说明了我们选取的负样本的选取应该需要让模型能够把细粒度的问题区分出来。主要可以提升模型的点就在这里。

关于从直接数据角度思考

关于正对,我们需要可以通过图像本身增广作为监督信号,对于图像特征进行提取。这要求我们可以对于增广方法的优化,使得正对样本对更多的特征被学习到,而且这些特征是鲁棒的。

对于负对,我们希望可以他能够尽可能区分出来与正样本的不同,但是太简单的区分无法提高自监督学习对于细粒度样本的提升,但是但过于难以区分的样本会对模型有害,泛化性降低。

从pipeline出发改善样本对的影响

Untitled