2023年5-6月：后ChatGPT时代，研究生做科研的思路探讨
Advances in LLM Capabilities
主讲人 李豪
大模型在自然语言处理中展现了优秀的性能，然而仍然面临一些固有的局限性，例如局限的应用场景、无法获取实时的信息、无法进行精确的数学推理。为了解决这些问题，研究者开始关注使用即插即用的工具或模块来增强大模型的能力。本次讨论班将从增强大模型能力的角度进行讨论，希望对大家的工作有所启发。
大模型的应用
主讲人 李英杰
GPT4等大模型具有非常强的任务理解能力和泛化性能，因此出现了许多应用大模型来进行辅助下游任务的工作，如数据增强、垂域适配、zero-shot、few-shot等。本期讨论班主要介绍研究大模型应用的几篇典型工作，并讨论如何应用大模型的能力来辅助研究工作。
Technology Behind LLM Training
主讲人 刘益
随着语言模型参数规模增至数十亿或上百亿的级别，以往采用全量微调范式的训练方式面临以下挑战: 1) 完整模型所需的存储空间远超过GPU显存的容量；2) 大规模模型的训练所需计算操作数量巨大，导致训练时间过长。本期讨论班将介绍在大语言模型训练中采用的分布式并行策略与内存优化技术，通过将模型参数分片到不同的设备上，以降低对存储资源的需求。随后，我们将为大家介绍参数高效微调 (PEFT) 的方法，该方法仅微调少量或额外的模型参数，同时固定大部分预训练参数，以在大幅降低计算和存储成本的前提下，实现与全量微调相当的性能。
After ChatGPT
主讲人 任昱冰
ChatGPT之后涌现出许多优秀工作，无论是学术界还是工业界都在快速跟进大模型相关研究，大模型为其带来了全新的机遇，值得深入探索。本期讨论班将首先按时间线介绍2023年最新大模型相关工作如LLaMA、Dolly 2.0、PaLM 2等，接着跟大家整体探讨后ChatGPT时代研究生做科研的几个思路。
2023年5月：ACL 2023中稿论文分享会
Retrieve-and-Sample: Document-level Event Argument Extraction via Hybrid Retrieval Augmentation
主讲人 任昱冰
最近的研究表明，检索增强技术在许多生成式自然语言处理任务中的有效性已得到证明。这些技术能够以非参数化的方式显式地获取外部先验知识，并将检索到的参考样例视为增强文本生成的线索。检索增强技术通常使用基于相似性的检索策略，该策略基于一种简单的假设：检索的样例与原始输入越相似，其标签与输入标签越可能相似。然而，在篇章级事件论元抽取任务中，由于事件标签的复杂性和事件论元的稀疏性，这种假设并不总是成立。因此，本文提出了一个有趣的问题：如何为篇章级事件论元抽取任务设计检索策略？本文从输入分布和标签分布的视角探究了多种检索设置，并进一步提出了一种新颖的混合检索增强范式，该范式定义了事件语义区域，并通过从该区域中采样出伪样例以提高模型的类比能力。通过在 RAMS和WikiEvents上进行充分实验，展示了所提出的检索增强方法的有效性，并对其有效性进行了进一步深入的分析。
Towards Better Entity Linking with Multi-View enhanced Distillation
主讲人 刘益
稠密检索被广泛用于实体链接之中，以从大规模知识库中检索与提及相关的实体。主流的稠密检索技术基于双编码器框架，分别将提及和实体的文本内容编码为单个向量
，并通过点积等粗粒度的交互策略来建模两者之间的相关性，导致双编码器难以准确地对实体中与提及相关的部分进行建模，以匹配具有不同上下文的提及。针对此问题，本文提出了一种多视图增强的蒸馏框架，可以有效地将实体中提及相关部分的知识从具有深层次语境交互的交叉编码器转移到双编码器上，来学习多样化的，提及相关的实体表征。每个实体被分成多个视图，以避免提及无关的信息被引入到实体表征中。我们进一步为该框架设计了交叉对齐和自对齐机制，通过对齐交叉编码器与双编码器间提及相关的实体表征，来促进教师模型到学生模型的细粒度知识蒸馏。此外，我们保留了一个全局视图来对实体进行整体的建模，以避免全局的信息被分散到局部的视图中。实验证明，我们的方法在若干实体链接基准上取得了最佳的效果。
具体而言，本方法引入了交流机制、对话意图和语义框架作为多粒度信号，对共情回复实现粗粒度和细粒度的控制。此外，设计了一个特定的掩码策略来反映多粒度信号和回复词语之间的关系，并将其集成到扩散模型中，以影响生成过程。在基准数据集EmpatheticDialogue上的实验结果表明，我们的框架在不丢失上下文相关性的情况下，在可控性、信性和多样性方面优于竞争性基线。
DiffusEmp: A Diffusion Model-Based Framework with Multi-Grained Control for Empathetic Response Generation
主讲人 毕冠群
在开放域对话中，共情是一个至关重要的因素，它自然地表达了一个人对他人的关心和理解。虽然已有方法对共情回复生成进行了研究，但这些方法生成的共情内容往往较为单调，即表达比较通用且枯燥。本文提出用显式控制来引导共情表达，并设计了一个基于条件扩散语言模型的框架DiffusEmp，以统一对话历史和面向属性的控制信号的使用。
具体而言，本方法引入了交流机制、对话意图和语义框架作为多粒度信号，对共情回复实现粗粒度和细粒度的控制。此外，设计了一个特定的掩码策略来反映多粒度信号和回复词语之间的关系，并将其集成到扩散模型中，以影响生成过程。在基准数据集EmpatheticDialogue上的实验结果表明，我们的框架在不丢失上下文相关性的情况下，在可控性、信性和多样性方面优于竞争性基线。
Divide, Conquer, and Combine: Mixture of Semantic-Independent Experts for Zero-Shot Dialogue State Tracking
主讲人 王青悦
零样本的迁移学习旨在帮助任务型对话脱离标注数据适配多领域场景。已有工作大多从数据/模型层面提升通用性，忽略了样本的语义解耦，限制了零样本下对话状态追踪的表现。在本篇工作中，我们提出了简单高效的方案——“划分，解决和合并”，即明确地解耦可见数据的语义信息，利用混合专家机制提升健壮性。具体地，我们先独立地划分可见数据并训练多个语义独立的专家，随后通过我们设计的聚合机制来映射和推理未见样本。我们的方案在不添加任何额外知识的前提下，仅使用10M的可训练参数使模型在MultiWOZ 2.1数据集上提升至SOTA性能。
2023年3-4月：图网络及其应用
图神经网络在推荐系统中的应用
主讲人 吴咏萱
在生物化学领域，药物分子化合物、蛋白质等经常被作为研究对象，而它们也具有天然的图结构。例如将原子看作节点，化学键看作边，分子则可以看成是原子图。基于上述背景，目前已有很多工作将图数据分析挖掘技术应用到生物化学领域，如蛋白质交互预测、药物研发、分子化学性质预测等等。本次讨论班，我们将重点探讨图网络在生物化学领域相关的应用。
图神经网络在社会网络中的应用
主讲人 宋传承
在生物化学领域，药物分子化合物、蛋白质等经常被作为研究对象，而它们也具有天然的图结构。例如将原子看作节点，化学键看作边，分子则可以看成是原子图。基于上述背景，目前已有很多工作将图数据分析挖掘技术应用到生物化学领域，如蛋白质交互预测、药物研发、分子化学性质预测等等。本次讨论班，我们将重点探讨图网络在生物化学领域相关的应用。
图神经网络在生物化学领域的应用
主讲人 周玉晨
在生物化学领域，药物分子化合物、蛋白质等经常被作为研究对象，而它们也具有天然的图结构。例如将原子看作节点，化学键看作边，分子则可以看成是原子图。基于上述背景，目前已有很多工作将图数据分析挖掘技术应用到生物化学领域，如蛋白质交互预测、药物研发、分子化学性质预测等等。本次讨论班，我们将重点探讨图网络在生物化学领域相关的应用。
图神经网络赋能的知识图谱研究与应用
主讲人 刘瑜
知识图谱是人工智能在知识工程理论和技术发展中的前沿知识图谱方法、技术与应用在新一代人工智能由“感知智能”迈向“认知智能”的过程中扮演重要角色。知识图谱本身采用图结构的方式来构建和关联知识数据，应用图神经网络技术能够实现更强大的推理能力、更清晰的解释过程和更可信的人工智能技术。本次讨论班旨在介绍图神经网络赋能的知识图谱在理论体系、技术方法、系统实践等方面的最新成果和进展。
图神经网络在金融领域的应用
主讲人 石逢钊
金融领域存在着大量的用户交互信息，这些信息使得用户之间构成了一张张密不可分的关系图，通过对这些关系图的挖掘可以解决金融领域的很多重要问题。本文将以基于图的金融欺诈检测为代表，着重介绍图神经网络在金融领域的应用落地。同时，作为本次图领域讨论班的开篇，也将对后续的报告内容做一个简单的介绍。(RLHF)是ChatGPT的核心技术之一，是使其具有“人味”的关键。使用强化学习的方法直接优化带有人类反馈的语言模型，使语言模型能够开始将训练在一般文本数据语料库上的模型与复杂的人类价值观模型对齐。本次讨论班，我们将从强化学习的相关背景、具体算法以及与人工反馈结合这几方面介绍RLHF方法。
2023年2-3月：ChatGPT的前世今生
大语言模型的能力和未来
主讲人 王青悦
据统计，ChatGPT的日用户增速远超现有的互联网产品，国内外非常重视ChatGPT引发的科学浪潮。一方面，chatgpt市场反应强烈，商业化序幕俨然拉开，另一方面，chatgpt在短期发展也存在一定阻力，有待解决。在本期讨论班，我们探究“chatgpt”们的应用价值、存在缺陷和未来方向。(RLHF)是ChatGPT的核心技术之一，是使其具有“人味”的关键。使用强化学习的方法直接优化带有人类反馈的语言模型，使语言模型能够开始将训练在一般文本数据语料库上的模型与复杂的人类价值观模型对齐。本次讨论班，我们将从强化学习的相关背景、具体算法以及与人工反馈结合这几方面介绍RLHF方法。
基于人类反馈的强化学习
主讲人 毕冠群
在过去的几年里，语言模型通过从人类输入提示生成多样化和引人注目的文本，展示了令人印象深刻的能力。然而，“好”文本在本质上很难定义，因为它依赖于是主观和上下文的信息。基于人类反馈的强化学习(RLHF)是ChatGPT的核心技术之一，是使其具有“人味”的关键。使用强化学习的方法直接优化带有人类反馈的语言模型，使语言模型能够开始将训练在一般文本数据语料库上的模型与复杂的人类价值观模型对齐。本次讨论班，我们将从强化学习的相关背景、具体算法以及与人工反馈结合这几方面介绍RLHF方法。
Instruct tuning & Prompt tuning
主讲人 张琬悦
ChatGPT和InstructGPT在模型结构及训练方式上都完全一致，即都使用了指示学习和人工反馈的强化学习来指导模型的训练。指示学习(Instruct Learning)期望通过prompt来提升模型效果，激发语言模型在大数据上训练获得语言补全能力;提示学习(Prompt Learning)被称为NLP领域的第四范式，在少样本和零样本中能够带来超越微调的能力。本次讨论班将介绍指示学习和提示学习的异同点以及相关拓展概念，并探讨ChatGPT和InstructGPT是如何进行指示学习的。
GPTs & ChatGPT
主讲人 张岚雪
从2018年至今，OpenAl致力于GPT系列模型的研究，每一次GPT模型的发布都会引发热烈的关注。ChatGPT的发布更是风靡全网，它以强大的语言处理能力、海量的数据积累等特点让用户感到惊讶甚至震撼。本次讨论班从GPT系列模型的发展过程来剖析其功能的进化，走近神探揭开ChatGPT的面纱，让我们一起讨论ChatGPT究竟会让大家失业，还是机遇与挑战并存。