2024年11-12月：专家讲座
Graph Anomaly Detection: From Self-supervised Learning to Foundation Models
主讲专家 Shirui Pan
Graph anomaly detection (GAD) aims to identify abnormal patterns in graph data, a task of great importance in applications such as social network analysis, financial analysis, and transportation analysis. This talk will explore recent advances in graph anomaly detection, including techniques in self-supervised learning, interpretability, and generalization, with a focus on building a foundation model for GAD only. Additionally, it will briefly outline the roadmap for developing a comprehensive graph foundation model applicable across broader domains.
图自监督学习若干基本问题的理解与反思
主讲专家 王啸
图自监督学习旨在在无标签场景下学习图数据的表征，已成为目前学术界与工业界处理图数据的重要手段之一 ，其关键技术包括了图数据增广、增广图学习、对比损失优化等。然而深究其背后的机理，若干基本问题依然 尚未被完全解答：到底什么才是好的增广图？不同的图增广策略背后，是否有同样的“游戏规则”？图对比学 习最后学到了图中的什么信息？Graph Transformer作为一种典型的图学习模型，全局注意 力机制真的就是最优的吗？本次报告围绕以上问题展开了初步思考与反思，为我们审视与改进现有图学习技术 带来新的视角。
大模型技术与应用落地
主讲专家 刘超
大模型技术推动各产业的发展，本报告汇报重庆大学团队的大模型技术积累，以及在软件工程、教育、政务、 医药、工业领域的应用情况。
浅谈大模型时代的研究转变：选题与实践
主讲专家 张绍磊
随着大模型时代的到来，自然语言处理（NLP）领域的研究范式正在发生深刻的变革。本报告旨在探讨在这 一新背景下如何找到科研选题，并且如何充分利用之前积累的研究经验的基础以应对新的挑战。报告将以多语 言大模型、多模态大模型、大模型幻觉方向的研究实践为例，分享如何在大模型时代中运用传统NLP任务的 研究经验，希望启发大家在大模型时代找到合适的研究选题和实践方法。
基于大语言模型的用户行为模拟智能体
主讲专家 陈旭
近年来，Human-centered AI受到了学术界和产业界的广泛关注，该领域的应用如推荐系统 ，社交网络等给人们的生活生产带来了极大地便利。然而，一直以来，制约该领域发展的关键问题之一是如何 获取高质量的用户行为数据。在本次报告中，汇报者将从LLM-based Agent的角度分享缓解该 问题的思路，并介绍其团队研发的基于大语言模型的用户行为模拟智能体RecAgent。该工作模拟了用 户在推荐系统，社交网络中的多种行为，每个用户是一个Agent，不同Agents可以在模拟环境中自 由对话，发帖，搜索，自我进化等。汇报者将详细介绍RecAgent的设计初衷、结构特点、使用方法以 及实验评测等。最后，汇报者将介绍RecAgent对未来Human-centered AI领域的潜 在影响。
面向大模型推理的可解释性研究
主讲专家 曹鹏飞
近些年来，以ChatGPT为代表的大模型展现出了强大的智能，甚至在很多复杂推理和规划任务中取得了 突破。但是其内部机理仍然不得而知，这为大模型的安全可信应用带来了巨大挑战。本报告将首先介绍面向大 模型推理的可解释性研究的背景，然后深入分析大模型的推理和规划模式，内部组件的工作机制，以及探究如 何提升大模型的推理能力。
大模型时代的虚假信息检测：进展与探讨
主讲专家 盛强
生成式人工智能大模型正在改变网络信息生态的格局。一方面，生成式大模型造成了“人机难辨、真假难分” 的威胁；另一方面，大模型卓越的语义理解和综合推理能力也为应对虚假信息问题提供了新的手段。本报告将 结合AI生成文本检测溯源、虚假信息检测近期发展，面向实际应用需求，介绍大模型生成文本的灰盒检测溯 源技术和大模型驱动的虚假信息检测技术。
Privacy Challenges in Graph Neural Networks in MLaaS
主讲专家 He Zhang
Graph Neural Networks (GNNs) have established themselves as influential graph learning tools with applications spanning from common utilities such as recommendation systems and advanced domains like drug discovery. As the adoption of GNNs in data-sensitive areas increases, their privacy considerations have garnered more focus. Recent research indicates that GNN models might be susceptible to privacy risks, emphasising the need to ensure the privacy of sensitive data, including model parameters and graph information. Two primary challenges in GNN privacy are: (1) the protection of diverse objectives like nodes, edges, graphs, and models, each with its unique requirements; and (2) the delicate balance between privacy and model utilities. Focusing on the privacy of graph data, this talk aims to offer a comprehensive overview of existing GNN privacy methodologies and to shed light on unresolved challenges and emerging trends.
2024年8-10月：大模型安全主题调研
语言模型毒性缓解
主讲人 李豪
大语言模型在各种自然语言处理任务和应用中表现出色。然而当遇到含有毒性的上下文或指令时，语言模型往往会生成包含毒性和偏见的文本，这在直接与用户交互时会带来重大风险。语言模型毒性缓解技术可以防止语言模型根据任何给定的上下文生成有毒的内容。本次讨论班将介绍语言模型毒性缓解的最新进展，希望对大家的工作有所启发。
毒性检测的模型增强方法
主讲人 陈辉华
大模型毒性指的是大型语言模型在生成文本时可能会产生的攻击性、歧视性、冒犯性或有害的内容。毒性检测任务的复杂性体现在多个方面。首先，毒性的定义是主观多变的，不同文化和社会对毒性内容的界定可能不同。其次，毒性内容的表现形式多样，从直接的侮辱到隐晦的偏见，检测系统需要能够识别各种形式的毒性。在当前信息量快速爆发的时代，传统的毒性检测方法可能难以跟上内容增长的速度，因此需要一些毒性检测增强方法，例如开发新的毒性检测数据集以及应用新的算法检测毒性。
毒性检测
主讲人 姚兴
毒性在自然语言处理中指得是含有攻击性和偏见性的语言。而毒性检测作为自然语言理解和情感分析中一个重要的组成部分，对于净化互联网和保护社会和谐具有重要意义，其任务的主要形式是将整段文本或者文本中的特定区域标记毒性，以便帮助审核人员高效处理有毒文本。本次汇报主要围绕这两种形式即文本毒性检测和文本毒性跨度检测的相关方法进行展开。
大模型安全评估
主讲人 董方龙
大语言模型凭借强大的性能表现和泛化能力备受关注，对其各方面的能力进行有效评测成为新兴的热点方向，各类榜单层出不穷。但同时，由于LLMs在大量缺少适当监督和可能包含有害内容的数据上训练，这不免导致LLMs生成和人类价值观不一致的内容，并构成滥用风险。因此，在部署LLMs之前对其进行综合的、多维度的安全性评价势在必行。本次讨论班将系统介绍现阶段大模型评估在安全领域的工作，重点论述评价基准和评价方法两个方面，为大家后续的研究提供思路讨论。
大模型的知识与能力评估
主讲人 宁钰成
知识与能力是评估大模型的核心维度之一。大模型的飞速发展，使其在诸多复杂任务中不断取得突破，并被广泛应用于越来越多的实际业务场景中。对其是否可以胜任真实场景任务，需要对大模型的知识和能力水平进行综合评估。本期讨论班将介绍评估大模型知识与能力的两个核心要点——“用什么评估”和“怎么评估”，分享三个评估角度——大模型综合评估、大模型相关应用评估、大模型特定领域知识或特定能力评估的最新研究进展，并探讨未来可能的研究方向。
图基础模型应用
主讲人 沈寒阳
随着计算能力的飞速提升和深度学习技术的突破，人工智能领域开始逐渐发展出各种“基础模型”的概念。在自然语言处理中，大语言模型的快速发展，使得基础模型在各种传统自然语言任务中展现出惊人的泛化性。然而，图结构数据在现实世界中也有广泛的应用，那么现有的图机器学习方法是否也能借助图基础模型，实现复杂真实场景中的广泛迁移和应用呢？本次讨论班将聚焦于图基础模型的应用，围绕三个具体的研究方向，探讨其中的潜力和挑战。
图基础模型
主讲人 张竞文
随着计算能力的提升和深度学习技术的突破，”基础模型“的概念受到了广泛的关注。基础模型是在广泛的数据上训练并能适应广泛的下游任务的模型，这类模型的强大能力启发着图机器学习研究人员讨论开发图基础模型，该范式设想了在广泛的图数据上预训练的模型，可以适应各种图任务。本期讨论班将详细介绍图基础模型与语言基础模型的区别，以及介绍几篇在不同角度实现迁移的图基础模型工作工作，最后对图基础模型实现可迁移性的原则进行一般性和分任务的讨论。
图与大模型
主讲人 南艺璇
在大语言模型时代，LLMs凭借其强大的泛化能力，逐渐在图学习领域受到广泛关注。大模型因其能够处理开放式任务的能力，能够有效处理复杂的图结构数据，但也面临如何更好地适应图学习任务的挑战。本次讨论班将系统介绍大模型在图领域的应用现状，从四个方面介绍目前研究人员尝试的工作以及未来可能的研究方向。通过对目前研究工作的深入探讨，本次讨论班旨在为大家提供图与大模型结合的前沿知识，为未来的研究与应用提供参考。
大模型中的幻觉问题
主讲人 刘振羽
随着市面上各种大模型的出现，研究者们发现大模型会“产生与某些来源无关的荒谬或不真实的内容”的倾向，大模型的开发者们将这一现象叫做幻觉。由于幻觉现象的存在，目前的大模型存在不可信、不安全的输出结果，无法在医疗和法律等需要高度严谨回答的领域广泛应用。本次讨论班将首先介绍大模型幻觉的分类与常见成因，接着介绍大模型幻觉评估结果分析目前各类大模型存在的幻觉程度，在此基础上目前介绍主流的幻觉检测与评估手段。探讨大模型幻觉方向的研究进展和研究趋势。
大模型价值观对齐
主讲人 姜泓旭
随着人工智能技术的发展和大模型能力的不断增强，价值观对齐任务最近受到了广泛的关注。价值观对齐任务指的是让LLM与人类的价值观保持一致。那么，我们如何形式化严格定义价值观对齐任务？如何严格定义大模型需要对齐的价值观？如何将其转换成可编程可量化的对齐目标从而进行训练？本期讨论班将详细介绍大模型价值观对齐任务，以及介绍几篇利用哲学等跨学科领域完成的价值观对齐工作，最后针对这几篇工作对未来的可能研究方向、研究思路等进行进一步讨论。
大模型中的用户隐私
主讲人 李卓凡
在大数据和人工智能的时代，大语言模型的隐私问题愈发凸显。LLM能够存储和分析大量数据，但同时也可能成为隐私泄露的风险源。本次报告将探讨大模型在处理用户数据时可能面临的主要隐私攻击和防御类型。此外，报告还将介绍基于检索增强的语言模型在隐私方面的具体问题及其对策。此次报告旨在为大家提供的大模型隐私攻击与防御相关知识，为未来的研究和实践提供参考。
可信用户偏好建模
主讲人 吴咏萱
可信的用户偏好建模致力于在确保用户隐私和数据安全的前提下，提供准确、公正和透明的个性化建模。能够准确捕捉用户的兴趣和需求，还要遵循公平性原则，避免偏见和不平等的建模。此外，模型必须具备鲁棒性以应对数据异常和潜在攻击，确保建模结果的稳定性。同时需要具备良好的可解释性，确保用户能够了解和信任其偏好被如何建模和使用。本次讨论班将首先介绍基于深度学习方法的可信用户偏好建模的关注重点和主要方法，随后探讨LLMs在可信用户偏好建模中的应用和挑战。
大模型赋能用户建模
主讲人 董彦
用户建模的目标是从用户数据中发现模式或学习表示，以了解特定用户的特征。最近由于大语言模型在生成、理解和推理方面表现出了卓越的能力，如何将大语言模型的这种能力更好地用于用户建模技术？大模型在用户建模过程中应该扮演着什么样的角色？这些问题获得了广泛关注。本报告将与大家一起讨论大语言模型用户建模方向的最新研究进展以及仍然存在的挑战和未来的发展方向。
大模型机生文本检测的评估
主讲人 赵国宇
LLM的不当使用会造成有害影响，可能导致错误知识或虚假信息的传播，也可能导致垃圾邮件的制作或欺诈行为的发生等等。但LLM强大的生成能力使得个人很难区分AI生成文本与人类撰写文本，因此近年来出现许多AI文本检测相关研究，检测技术层面有零样本检测方法，也有可训练的方法，同时文本数据层面也提出了许多AI文本检测数据集与评测框架。本次讨论班将从AI文本检测最新相关研究和崭新视角展开讨论。
大模型机生文本检测
主讲人 朱孝伟
LLM的不当使用会造成有害影响，可能导致错误知识或虚假信息的传播，也可能导致垃圾邮件的制作或欺诈行为的发生等等。但LLM强大的生成能力使得个人很难区分AI生成文本与人类撰写文本，因此近年来出现许多AI文本检测相关研究，检测技术层面有零样本检测方法，也有可训练的方法，同时文本数据层面也提出了许多AI文本检测数据集与评测框架。本次讨论班将从AI文本检测最新相关研究和崭新视角展开讨论。
谁用了我的模型？——大模型水印前沿探索
主讲人 任昱冰
随着大模型显现出越来越强的应用潜力，人们希望有一种更显式的方法来保证文本来源可追踪。大模型水印技术能够非常好的解决这个问题：通过将隐藏的模式加入大模型生成文本之后，能以极高的准确率和极低的假阳率来检测文本是否来自 AI，得到了各界广泛的关注和讨论。本报告将与大家一起探讨大模型水印技术的最新研究进展。
大模型防御
主讲人 刘一龙
随着大规模预训练语言模型在人工智能领域的广泛应用，其潜在的安全隐患也日益显现。大模型在整个生命周期中，从训练到推理，再到实际应用，各种攻击手段层出不穷，严重威胁其安全性。本期讨论班将聚焦大模型面临的安全挑战，涵盖训练时攻击、推理时攻击以及基于模型的攻击，并深入探讨针对模型越狱与后门攻击的防御策略。通过对攻防技术的深入研究，我们可以构建更加安全、可信的人工智能系统，推动该领域的技术进步和安全应用。
大模型攻击
主讲人 王一丹
随着大规模预训练语言模型在人工智能领域的广泛应用，其潜在的安全隐患也日益显现。大模型在整个生命周期中，从训练到推理，再到实际应用，各种攻击手段层出不穷，严重威胁其安全性。本期讨论班将聚焦大模型面临的安全挑战，涵盖训练时攻击、推理时攻击以及基于模型的攻击，并深入探讨针对模型越狱与后门攻击的防御策略。通过对攻防技术的深入研究，我们可以构建更加安全、可信的人工智能系统，推动该领域的技术进步和安全应用。
大模型偏见与公平性
主讲人 汪卓商 孙楠
大型语言模型（LLMs）的兴起和快速发展引发了语言模型发展范式的转变。然而，在大量未经过筛选的基于互联网的数据上训练出来的的LLMs，通常继承了语料库中的刻板印象、错误表述、贬损和排斥性语言以及其他不平等行为，这些行为很有可能伤害到边缘化或弱势的社会群体。这些伤害是“社会偏见”的具体形式。随着对LLMs中固有偏见的认识逐渐加深，人们越来越意识到这些模型不仅反映了现有的偏见，有时还会无意中放大它们。因此，许多研究工作应运而生，致力于度量和减少这些社会偏见的技术。这些技术主要可以归纳为以下几个类别：（1）偏见评估的指标；（2）偏见评估的数据集；（3）偏见缓解的技术。
2024年6-7月：抽取组
可控文本生成最新进展
主讲人 李豪
随着语言模型的发展及其在实际中的应用，生成满足特定约束的文本变得越来越重要。可控文本生成（Controllable Text Generation）专注于指导语言模型生成多样化、流畅的文本，这些文本符合预定义的一个或多个属性，例如主题、情感和无毒性等。本次讨论班分享可控文本生成的最新进展，希望对大家的工作有所启发和帮助。
大模型强化学习最新进展
主讲人 傅延赫
在大语言模型时代，强化学习是一种流行且有效的将模型输出与人类价值观对齐的方法。经过长久的发展，OpenAI提出的RLHF（PPO）方法已经逐渐被取代，而最近流行的DPO算法也因为标注困难，资源消耗大等问题饱受诟病。本次讨论班聚焦于强化学习在LLM领域的最新进展，介绍多个已经在工业界和学术界被尝试使用取代PPO的方法。此次汇报会先从强化学习基础切入，以帮助大家回顾相关知识从而更好了解后续内容。欢迎参加。
大模型知识编辑领域研究进展
主讲人 李英杰
大模型通过在海量自然语言文本等数据上的预训练隐式存储了大量知识，相比传统的符号化知识表达与存储方式具有表达能力强、泛化性好等优势，但也存在知识更新困难、知识谬误等问题。知识编辑技术是解决大模型知识谬误问题的方法之一，一般可以分为通过内部定位直接对参数进行更新的内部更新方法和使用外部额外参数、上下文提示等手段的外部干预方法，本次讨论班将介绍大模型知识编辑领域的研究进展以及面对的问题与挑战。
数字水印在图像和视频中的应用
主讲人 任昱冰 胡博翔
数字水印是一种将特定信息隐藏在数字信号中、不影响信号使用价值的技术。若要拷贝载有水印的信号，则水印也会一并被拷贝。如果水印包含了信号拥有者和来源等信息，一旦信号被泄露，通过在泄露的信号中重构水印，可确定信号的版权。本次讨论班将分享图像水印与视频水印的基础知识和技术进展。
2024年5-6月：图
图大模型
主讲人 刘瑜
近年来，图神经网络（GNN）已成为处理和学习图数据的强大工具，在社交网络分析、推荐系统、和生物信息等多个领域取得了革命性的突破。目前，大语言模型（LLM）技术的发展势不可挡，对图学习的研究也产生了很大的冲击。因此，本次讨论班围绕图大模型（GLM）展开。首先，介绍大模型与图神经网络结合的三类研究路线；然后，讲解三个类别中具有代表性的研究方法；最后，初步展望图基础模型，一种能够跨不同图和任务进行泛化的图模型。希望本次讨论班对大家的工作有所启发和帮助。
图大模型
主讲人 吴咏萱
MLaaS 正在成为一种新兴的云服务，用于训练和服务机器学习模型。它使模型开发人员能够方便、自动地构建和部署他们的模型和学习应用程序以供模型用户使用，同时也可以利用云计算资源实现模型的高效运算和管理。然而，这种便利性同时带来了新的安全威胁和挑战，本报告将探讨在MLaaS环境下部署图神经网络所面临的数据及模型的安全问题。
机器学期不确定性校正
主讲人 石逢钊
MLaaS 深度神经网络(Deep Neural Networks,DNN)在计算机视觉、语音识别和医疗诊断等具有挑战性的任务上显示出非常准确的结果。然而，在现实世界的决策应用中，准确性并不是唯一考虑的因素，网络的置信度对于拥有一个安全可靠的系统也是必不可少的。由此引出了对模型输出进行不确定性校正的问题。本次讨论班将对不确定性校正的定义，问题及方法展开详细的讨论。