Minimal Sufficient Representation最小充分表示
问题：对比学习存在过度适应视图间共享信息的风险，即出现过拟合问题，本文对其做了大量理论分析
解决方法：增加表示和输入之间的互信息作为正则化，以近似引入更多与任务相关的信息，因为我们在训练期间不能利用任何下游任务信息。
引入”RC” for ”ReConstruction” 和”LBE” for ”Lower Bound Estimate”.
代码：https://github.com/Haoqing-Wang/InfoCL
这篇文章主要探索了一下四个问题
(i) 数据量的影响是什么？
(ii) 预训练域的影响是什么？ 在一个域上训练的自监督表示迁移到另一个域的效果如何？
(iii) 数据质量的影响是什么？ 自监督方法对训练时间图像损坏（例如分辨率降低、压缩伪影或噪声）的鲁棒性如何？ 对损坏的图像进行预训练是否会导致未损坏图像的下游性能不佳？
(iv) 任务粒度的影响是什么？ SSL 是否会产生仅对“简单”分类任务有效的功能，或者它们对更具挑战性的“细粒度”视觉概念也有用？
针对(iv)细粒度的问题，我们可以看出自监督学习相较于监督学习，在细粒度分类上存在不足。
