人工智能在发展中形成了理性主义和经验主义两种范式,理性主义范式的针对性强,但适应性差,经验主义的适应性强,但泛化性和可解释性差。随着大数据发展,数据获取相对变得容易廉价,深度学习等经验主义范式的数据驱动方法取得了显著进展。即便如此,深度学习仍具有一定的局限性:很多情况下,数据呈现自然的长尾分布特性。大模型极大改变了深度学习的这一局限性,实现了深度学习从大规模无标注数据学习的能力。我们研发了法律大模型Lawformer,利用数千万份法律文书进行预训练,构建模型通用能力,在判决预测、类案检索、阅读理解和司法考试四个任务上进行了实验验证,发现大模型均能取得比传统方法更好的效果。
专家介绍
刘知远,清华大学计算机系副教授、博士生导师。主要研究方向为自然语言处理、知识图谱和社会计算。2011年获得清华大学博士学位,已在ACL、EMNLP、IJCAI、AAAI等人工智能领域的著名国际期刊和会议发表相关论文100余篇,Google Scholar统计引用超过2万次。曾获教育部自然科学一等奖(第2完成人)、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖(第2完成人)、中国中文信息学会汉王青年创新奖,入选国家万人计划青年拔尖人才、北京智源研究院青年科学家、2020年Elsevier中国高被引学者、《麻省理工科技评论》中国区35岁以下科技创新35人榜单、中国科协青年人才托举工程。担任中文信息学会青年工作委员会主任,中文信息学会社会媒体处理专委会秘书长,期刊AI Open副主编,ACL、EMNLP、WWW、CIKM、COLING领域主席。