MoCo是Momentum Contrast for Unsupervised Visual Representation Learning的缩写,即动量对比,其是一种对比学习算法。
对比学习是一种无监督学习,通过正例对,负例对学习样本的特征表示。在特征空间里正例对的特征尽可能的靠近,负例对的特征尽可能远离。学到好的特征表示后,在下游任务上简单微调就可以取得好的结果。
对于监督学习是有固定Label的,而对比学习是没有固定Label,随着模型训练,同一个样本生成的特征一直在变。因此对比学习有两个要求:
- 负例要尽可能的多
- 负例要尽可能一致
MoCo中动量来自于股票中的移动平均EMA。其将图片对比学习看成字典检索问题,每次有1个样本称为query,字典里有1个正样本其他均为负样本。其目标是从字典中找出唯一与query的正样本。其Loss函数选择的是InfoNCE。
参考视频:
https://www.bilibili.com/video/BV1dtSuY7Evj https://www.bilibili.com/video/BV1hwLEzZEnS?p=9
如果喜欢这篇文章或对您有帮助，可以：[☕] 请我喝杯咖啡 | [💓] 小额赞助
