第二十届中国计算机大会(CNCC2023)于2023年10月26日-28日在辽宁省沈阳市举行。经过二十年的发展,CNCC已成为我国计算机学术与技术产业各领域广泛交流的平台,涵盖数十个方向129场技术论坛,700余位国内外讲者积极参与,超过13000人注册的计算领域年度盛会。作为学术、技术、产业、教育各界在计算领域共同探讨交流的年度盛会,CNCC的影响力逐年递增。
在模拟人类对话及解决数学问题上表现出惊人进展的大语言模型,是近几年人工智能发展最热门的领域之一。大语言模型实例ChatGPT的横空出世,则为其发展注入了一针强心剂,带来AI研发应用新范式并改变AI生态格局。
然而大模型在以数学推理为代表的复杂推理上表现欠佳,难以应对数学领域的研究难题。如何提升大模型数学能力,突破语言模型的先天性不足,成为了当下人工智能领域关注的重点。暨南大学教授、广东智慧教育研究院院长刘子韬和上海人工智能实验室主任助理、上海交通大学人工智能研究院副院长、未来媒体网络协同创新中心副主任王延峰教授,在CNCC2023上,共同举办《大语言模型在数学领域的前瞻问题与挑战:理论、方法与应用》技术论坛,邀请相关学者和专家,共同讨论相关前沿话题。
图 大会现场合照
大语言模型的各方面能力都非常强,把人工智能推向了一个新的发展阶段,把大语言模型应用在教育场景中,是非常前沿且热门的领域。
新华网:您的研究为何聚焦大语言模型在数学领域的前瞻问题与挑战?
刘子韬:我们主要想研究的是将大语言模型和教育相结合。在教育领域,数学是比较难的学科,从学科的角度上大家都想用AI去解决一些复杂的推理和数学问题,但一直难以突破。大语言模型应用以后,给解决复杂的数学问题给予了一些希望,所以我们在这个热点下,选择了更突出的数学学科。
大语言模型是在海量的高质量文本上进行学习,且具有超大规模参数的模型,可以认为它是一个“见多识广”的超强大脑。
新华网:大语言模型让更多人看到了人工智能未来的方向,请您介绍一下大语言模型是什么,它在自然语言处理领域有着怎样的重要意义?
刘子韬:大语言模型可以做出很多常识性的回答,具有初步的思维推理能力,可以对事物做出判断、想象、分辨。大语言模型的核心是在海量数据上训练,并且不是基于某一个具体任务来训练的大模型。自然语言理解的模型都是各个任务非常独立的小模型,假如进行一个多轮对话,这个多轮对话是一个任务,但其实背后是有很多个小模型,然后通过模块拼接的方式组合起来。大语言模型产生之后,因为模型足够大,有能力覆盖各个小模型的模块,就展示出更优秀的反应效果。
我们想探究的是大语言模型的数学推理能力。
新华网:数学一直被视为人工智能的试金石。在解决数学问题中,大语言模型是如何解决复杂的数学问题的?
刘子韬:大型语言模型通过学习大量的文本数据,包括数学教材、教程、论文和问题解答等,来理解和生成数学相关的文本。它们并不直接理解数学的本质,而是学习如何模仿人类解决数学问题的方式。训练大模型如何解决数学题,分为两个层面。第一步是需要先给他提供很多的数学相关的数据,但这些数据并不一定都是数学题,有可能是论文、代码、科学文献、科学报道等。第二步我希望大语言模型在数学上有突破,就需要提供纯数学相关的公式、数据、内容。通过这两步让它在数学的解题推理上有一个提升。对于一些简单的数学问题,如基础的四则运算、开根号等,模型可以直接生成正确答案。这是因为在训练数据中,这些类型的问题及其解答很常见,模型已经学习到了如何解决它们。对于更复杂的数学问题,模型可能会尝试生成一种解决问题的方法或策略,这通常涉及到对问题的重新表述、将问题分解为更小的子问题、应用数学公式或理论等。然而,由于模型并不真正理解数学,它可能会生成不准确或无意义的解答。在这些情况下,人类的指导和监督是必要的。同时,也有学者在尝试把大语言模型应用在数学领域的定理证明上,有很多学者在研究上需要证明定理的时候,可能需要一定量的定理来证明和支撑新提出的定理,但是每个人都不可能知道世界上所有的定理,这个时候大语言模型就会帮你找到它认为和新定理相关的,你可能需要用的其他定理。
期待形成合力,做一些高质量数据的汇集,推进这项工作。
新华网:大语言模型发展过程中还存在哪些挑战和机遇?如何面对?
刘子韬:目前的挑战分为两个层面,一方面是从技术层面如何提升大语言模型的数学推理能力。相当于它是一个曲线,一开始可能上升的比较快,然后进入平缓期,我们目前还处于上升阶段,提升空间非常大。所以我觉得它既是机遇又是挑战,明明有很大的上升空间,但它确实很难提升。另一方面从应用层面来讲,大语言模型让人看到教育的另外一种可能,有很多其他领域的专家都在关注,它对教育的影响和变革非常多。面对挑战,我认为首先在探索阶段要持续投入的去研究,目前国内的研究团队还是比较分散的,并没有形成非常大的平台和基础设施。另外就是数据方面,我们需要让大语言模型“见多识广”,让它汇聚各种各样的高质量的知识。
CNCC已20载,尚有非常多的潜力和未来亟待去挖掘。
新华网:2023CNCC恰逢20周年,您对本次大会有什么寄语?对人工智能的未来有哪些展望?
刘子韬:CNCC是一个让各方学者汇聚一堂进行交流的非常好的平台,在20年之际迎来新的阶段,我希望能够通过这个大会,未来能够不断的引领计算机的发展,促进各个领域行业的人才交流。