技术评测


主办国内评测比赛

中国法律智能技术评测(CAIL)
由清华大学计算机科学与技术系牵头,至今已成功举办四届。
牵头人:刘知远、刘奕群
............... CAIL 2022 评测内容 ...............

CAIL 2022一共设置了八个任务,分别为:司法考试、 事件检测、 文书校对、 类案检索、 司法摘要、 论辩理解、 信息抽取、可解释类案匹配。同时,我们也将提供海量司法文书数据作为数据集。CAIL 2022预计将于2023年1月在北京举办颁奖典礼暨法律智能技术研讨会。我们诚邀学术界和工业界的研究者和开发者积极参与和支持!

............... CAIL 2022 赛制说明 ...............

本次比赛各个赛道均采用三阶段赛制,三阶段分别为初赛阶段、复赛阶段、封测阶段。三阶段的赛制设计可以防止过度调参带来的模型过拟合,尽可能确保泛化性能强的模型取得较高的得分。选手的最终成绩将综合考虑三个阶段的表现得出。

  • 1. 初赛阶段提供小规模数据集。选手需在小规模数据集上效果超过官方提供的Baseline,才能够进入到复赛阶段。

  • 2. 复赛阶段将为选手提供全量的训练数据集,帮助选手更好地对模型进行调优。

  • 3. 封测阶段要求选手提供模型,并用新的测试集评测模型的泛化性。

............... CAIL 2022 评测任务 ...............
case
司法考试

根据司法考试的题面以及选项,要求模型输出对应的正确答案

case
事件检测

识别出法律案件中的事件触发词及其对应的事件类型

case
文书校对

辅助司法人员对法律文书中存在的错误自动检出并纠正

case
类案检索

面向中国刑事案例,根据查询案例从候选案例池中筛选出与之相关的类案

case
司法摘要

融合多来源、多文档信息进行摘要精简,从而提升文档摘要的水平

case
论辩理解

面向裁判文书中诉辩双方的表述文本进行论辩分析,自动化识别裁判文书控辩双方的争议观点对

case
信息抽取

根据案件情节描述,识别文本中的司法关键实体及其关系,并按照规定格式返回结果

case
可解释类案匹配

判断案件是否匹配并给出支持性证据