视觉基础模型的迁移方法主要有4种:
- Linear Probing
- Finetune
- Adapter
- Prompt
其中线性探测(Linear Probing)在预训练模型参数冻结情况下训练新的线性分类器。只适用于大模型学习到的特征非常好、特别容易迁移的情况下才有效。
而微调是指全参数化的微调,允许对预训练模型修改其所有层从而适配特定的任务。但这种方式可能会产生灾难遗忘的问题且需要的显存需要与训练的模型相同。
第三种适配器的方法是在预训练模型上插入微小可训练的模块。
而视觉Prompt可以不改变原模型,迁移到下游任务。具备few及zero-shot能力且更少的参数量。通过给模型提供额外的信息从而帮助其执行特定任务。其主要分为两种方式:
- 基于标注的Prompt
- 基于学习的Prompt
参考视频:
如果喜欢这篇文章或对您有帮助，可以：[☕] 请我喝杯咖啡 | [💓] 小额赞助
