2025专题：持续学习
大模型的终身知识编辑
主讲人 李英杰
持续知识编辑是实现大语言模型终身学习的一条重要技术路径，在实际部署应用中，对大模型的知识进行及时的更新至关重要。然而，现有的知识编辑方法在面对长期/顺序更新的持续学习场景时往往遇到泛化能力弱、编辑容量有限、模型能力退化等挑战；同时，现有基准对持续编辑能力的评估也存在较大局限性。本次讨论班将聚焦近两年在持续知识编辑领域的最新方法与评估基准，探讨知识编辑作为大模型终身学习技术路径的局限性与未来发展方向。
从RAG到持续学习
主讲人 刘振羽
传统的持续微调和模型编辑方法在融入新知识时往往会因灾难性遗忘和高计算成本而受限。而 RAG 技术因其非参数化特性，在推理时检索相关的外部信息，避免直接修改模型参数，从而减少了灾难性遗忘的问题，能够在不破坏原有知识的基础上，让大模型实时适应新知识。本次讨论班将聚焦RAG技术在大模型持续学习中的应用以及与智能体的结合两个方面展开探讨，并进一步讨论RAG在持续学习中的未来前景与技术思路。
持续学习的核心：灾难性遗忘
主讲人 董方龙
在持续学习的场景中，模型需按任务出现的先后顺序依次学习，这一特性使得模型无法预先获取所有任务的数据并行训练。在此过程中，模型完成新任务的训练后，其在先前已掌握的原始任务上的性能出现断崖式下降，这一现象被称为 “灾难性遗忘” 。目前，针对缓解灾难性遗忘的研究已形成多维度方案，涵盖数据、梯度更新、模型架构设计及训练方法优化等方向。本次讨论班将聚焦模型结构优化与微调方法改进两个方面展开探讨，并进一步讨论灾难性遗忘的本质和遗忘的内容。
大模型持续学习
主讲人 张岚雪
在大模型优化过程中，由于知识高度密集，模型常常会遭遇灾难性遗忘的问题，即在学习新任务时容易丧失对旧任务的掌握。为缓解这一问题，研究者通常采用持续学习的方法，旨在使模型在动态环境中不断获取新知识的同时，有效保持对已有任务的记忆。本期讨论班专题将围绕如何在模型优化过程中缓解灾难性遗忘展开，从多种优化方式的角度进行探讨。本次讨论班重点关注如何通过上下文信息实现模型的长期记忆，避免因微调模型参数而产生的记忆干扰，并进一步讨论如何评估大模型的长期记忆能力以及长期记忆的管理策略。希望本次讨论能够对大家的研究工作有所启发。