大模型持续学习

主讲人  张岚雪

---

在大模型优化过程中，由于知识高度密集，模型常常会遭遇灾难性遗忘的问题，即在学习新任务时容易丧失对旧任务的掌握。为缓解这一问题，研究者通常采用持续学习的方法，旨在使模型在动态环境中不断获取新知识的同时，有效保持对已有任务的记忆。本期讨论班专题将围绕如何在模型优化过程中缓解灾难性遗忘展开，从多种优化方式的角度进行探讨。本次讨论班重点关注如何通过上下文信息实现模型的长期记忆，避免因微调模型参数而产生的记忆干扰，并进一步讨论如何评估大模型的长期记忆能力以及长期记忆的管理策略。希望本次讨论能够对大家的研究工作有所启发。