日前,广东智慧教育研究院师生荣获国际智慧教育竞赛The Quest for Quality Questions(简称Quest竞赛)第一名。比赛中,研究院团队以2.5%点的绝对优势,远超第二名团队,从诸多参赛团队中脱颖而出,获得冠军。
本次Quest竞赛由智慧教育领域国际知名非盈利组织Learning Agency Lab联合美国加州大学Mark Warschauer教授、美国宾夕法尼亚大学Ryan S. Baker教授、美国范德堡大学Scott Crossley教授等多名国际知名学者举办,旨在通过人工智能技术,自动化生成高质量伴随式阅读问题,通过提问驱动的方式来提高中小学生的阅读理解能力。
为了克服这个挑战,比赛邀请参赛者设计自然语言生成(NLG)模型,该模型可以自动根据文章和答案为学习者生成问题。这些问题将与教育、心理学和认知科学领域专家在Fairytale QA数据集中设计的参考问题进行比较。
Fairytale QA数据集由美国教育研究协会会士(Fellow of the American Educational Research Association)Mark Warschauer教授(谷歌引用4.6万,H-index:91)开发,是全球少数专注于叙述性文本阅读理解问题的数据集之一,特别是儿童故事书。该数据集由专家注释,以确保问答对的质量和多样性,且使用基于证据的理论框架开发,侧重于幼儿园到八年级学生的叙事理解。以下是FairytaleQA中的故事和问题-答案示例。每个问题都有元信息(隐含性,问题类型和部分来源),并且可能有多个答案并跨越多个章节。
在本次挑战中,组织方从FairytaleQA数据集的10,580 个问题中选取了约8,900个问答用于测试模型的性能(详情请点击底部阅读原文)。
比赛中,研究院团队对预训练模型Flan-T5-XL进行了基于指令的微调(Instruction finetuning),并采用自适应混合精度量化方法(LLM.int8)来优化推理,使得模型能够在显存较小的机器上进行推理,同时保持精度不受损失。研究院团队最终以0.6636的高分获得第一名,并获得10,000 美元的冠军奖金。
此次竞赛研究院的参赛团队为占博浚(研一),郑颖(研一),孙伟力(研二),刘子韬(指导老师)。