CCKS 2025技术评测——大模型生成文本检测 #¥20,000

    发布时间:2025年05月15日


       CCKS 2025组织知识图谱相关评测竞赛,旨在促进知识图谱领域的技术发展,以及学术成果与产业需求的融合和对接。在2024年,CCKS评测竞赛环节共包含11项竞赛,涵盖知识编辑、知识抽取、复杂问答等多项任务,吸引了超过2400支队伍、近5300人参赛,共计24万奖金,单任务最高5万元,在工业界和学术界形成较高影响力。

      今年,经过评测任务第一轮征集和评测组委会筛选,CCKS 2025目前共设8项评测任务(详细信息请访问:https://sigkg.cn/ccks2025/evaluation-2/)。中国科学院信息工程研究所ASCII LAB主办了任务五,现开启报名。

     任务五大模型生成文本检测评测主页:

     https://tianchi.aliyun.com/competition/entrance/532358

    欢迎大家踊跃报名参加,奖品丰厚!


    评测背景

      随着人工智能技术的不断发展,大模型生成文本已呈现逼近人类写作水平的能力。这不仅引发学术不端、信息造假等社会风险,更对国家信息生态安全与技术治理体系构成严峻挑战。准确识别大模型生成文本成为保障数字内容可信度的关键防线,具有技术规范制定、行业监管强化和国家安全维护三重战略价值。大模型生成文本检测的挑战主要体现在以下几个方面:

       1) 生成文本在语法语义层面高度拟人化导致传统特征检测失效;
       2) 模型黑盒特性与动态参数调整阻碍针对性检测;
       3) 对抗性改写技术持续升级文本伪装能力;
       4) 模型迭代引发的数据漂移要求检测系统具备强泛化性。

      本次评测任务的文本语料包含大模型生成文本和真实人类文本两部分。其中,人类文本来源于互联网上真实人类的评论、写作、新闻等内容,而大模型生成文本包含7个主流大模型生成的文本,所有数据按照10:1的比例随机均匀划分训练集和测试集。任务目标是给定输入文本,正确分类其为大模型生成文本(标签为1)还是人类撰写文本(标签为0)。
      中国科学院信息工程研究所信息内容分析研究室在CCKS 2025大会组织本次评测任务,旨在推动大模型生成文本检测技术落地应用,助力国家人工智能治理能力建设。评测详情参见https://tianchi.aliyun.com/competition/entrance/532358


    赛程安排

    • 报名时间:5月10日—7月15日
    • 训练数据发布:5月15日
    • 测试A榜数据(测试集A)发布:5月15日
    • 测试A榜评测截止:7月15日
    • 测试B榜数据(测试集B)发布:7月16日
    • 测试B榜评测截止:7月21日
    • 公布测试结果:8月1日
    • 参与评奖队伍审核材料提交:8月8日
    • 评测论文提交:9月1日
    • CCKS会议日期(评测报告及颁奖):9月19日—22日

    奖金设置

      第一名:人民币10000元,1名

      第二名:人民币5000元,1名

      第三名:人民币2500元,1名

      创新奖:人民币2500元,1名

      备注:比赛优胜者会获得中国中文信息学会颁发的获奖证书,并有机会录用EI检索的评测论文。


    任务组织者

      曹亚男 (中国科学院信息工程研究所)

      任昱冰 (中国科学院信息工程研究所)

      王一丹 (中国科学院信息工程研究所)


    任务联系人

      任昱冰:renyubing@iie.ac.cn

      王一丹:wangyidan@iie.ac.cn


    学术指导组

      虎嵩林(中国科学院信息工程研究所)

      刘燕兵(中国科学院信息工程研究所)