12月15日,由法与经济学院与数字经济与法治学科创新引智基地联合举办的“法经论坛”第三十三期“基于大型语言模型的法定推理:一个基准研究”在文澴楼623会议室顺利举行。本场讲座由英国肯特大学商学院商业分析硕士项目主任、大数据分析高级讲师、中南财经政法大学“文澜学者”讲座教授朱震主讲,由法与经济学院黄赛男副院长主持,法与经济学院李胡兴讲师、张美扬讲师担任与谈嘉宾。
朱震教授首先介绍了大语言模型产生的背景,分析了人工智能帮助缺乏法律知识的人群乃至律师寻找适当法律条文的潜在功能。接着,朱震教授介绍了其团队针对大语言模型的法律推理能力开展的实证研究。该研究以《中华人民共和国民法典》侵权责任编为法条参照,利用ChatGPT生产的法律案例,再将该案例提供给ChatGPT去寻找正确的法律适用。在基准组之外,该研究还设计了三套不同的指令与基准组进行对照。对照结果显示,在法条数量固定时,法律案例字数越多,ChatGPT的精准度越高;对于同一案例,指令中法条数量越多,ChatGPT回答正确法条的准确度越低,反映出ChatGPT推理负担加重。在介绍了实验结果后,朱震教授畅想了利用大语言模型进行实验的未来方向以及大语言模型对于法律适用过程可能产生的诸多影响。
在与谈环节,李胡兴博士梳理了该研究的几点启示。首先,研究设计实际上模拟了法学教育和法律实务中的请求权基础检索工作。完整的法律推理链条还包括涵摄大小前提后得出法律效果的思维过程,有待未来研究拓展。其次,实证结果与法律人的直觉相符。比如,针对给定案情,ChatGPT在民法典侵权责任编第一章中找法的准确度低于在同编第四章中找法的准确度。这可能与采用总分结构的潘德克顿式法典编纂技术有关。再次,展望未来,大语言模型除了可能提供更为便捷的司法服务外,也许还可能用于立法阶段检验立法文本质量,助力精细化立法。张美扬博士则向朱震教授请教了关于案例和法条之间的对应关系、大型语言模型的正确率是否与提示(prompt)中所列的法条个数相关,以及应该如何看待和解读四种不同模式下大型语言模型的准确率。
讲座末尾,黄赛男副院长对本次讲座做了回顾与总结,表示将法律、经济传统学科与新兴的科技结合对于传统学科的发展将会是一大助力,并且在新兴领域中将留有很多空间给同学们进行研究与探索。