# 自监督学习
- 本身是 unsupervised learning 的方式，使用数据增强、重构等方式构建标签信号
- 两大类方法： pretext-task 和对比学习
- 可以把大量未标注数据用于训练，这样只要模型的规模足够大就 ok，最后就是预训练模型
# 多模态大模型
# 领域适应
一个基本假设是在两个域上的任务是相同的。
领域泛化比领域适应要难，因为领域泛化训练时不能拿到目标的数据。领域适应只是拿不到目标域的标签。
于是领域泛化可以用元学习的思想，将源域中的某些数据当做目标域。
# 小样本学习
包括预训练和元学习两种方式。
元学习的 loss 不是定义在训练集上的，这是元学习和一般的机器学习的区别。
# 连续学习
连续学习的本质是假设连续的任务之间是相关的。目前动态结构不能利用好相关性。
连续学习中，eval 不能只评价遗忘指标，还应该评价在所有任务上的平均（总）表现。
MoE 似乎可以解决遗忘问题。因为 openai 没有产生遗忘问题。但 MoE 是不好训的。
