2024年1月9日，广东智慧教育研究院第十二次研究生汇报交流会在曾宪梓科学馆523会议室顺利举行，网络空间安全专业2023级硕士郁博涵同学以《多模态虚假新闻检测综述》为主题，做了精彩的学术汇报。我院多名老师和同学参加了本次会议。

图 学术汇报内容

       在这个信息爆炸的时代，每天都有大量的信息从各种渠道涌入我们的生活。这些信息的内容五花八门，包括新闻、广告、社交媒体更新、博客文章等等。然而，随着信息量的激增，虚假新闻的问题也日益突出，不仅仅容易误导公众，还会破坏公众对真实新闻的信任，引发社会恐慌，甚至影响政策制定和执行。因此，如何有效地检测和防止虚假新闻的传播是亟待解决的问题。

       在此背景下，郁博涵同学就多模态虚假新闻检测的研究成果进行了分享，为我们提供了全新的视角和思考。郁博涵同学的分享主要分为两个部分，一方面，他回顾了过去的研究，一方面，他介绍了现有的工作。

       在过去的研究中，科研人员主要是通过增加其他结构，改变融合方式来提高图像-文本检测器的精确度。例如增加了事件鉴别器，以便更好地理解新闻的背景和内容；增加了变分自编码器，以提取和学习新闻中的关键信息；利用跨模态注意力进行融合，以便更好地理解新闻的各个部分之间的关系。现有的研究更多是通过增加框架来辅助检测。如将假新闻按主题进行时间建模、将未来出现概率高的主题赋予较高权重、通过因果干预和反事实推理来消除文本和图像的影响。

       在提问环节，广东智慧教育研究院郭腾老师指出，当视频、图片和文字等多模态的文本同时出现且存在不一致性时，人工智能模型是否会将其误判为假新闻？这个问题是否揭示了事实核查的困境？对于这个问题，郁博涵同学表示尽管当前的模型会对单个模态进行内部一致性核查，但并不意味着多模态文本之间的不一致性就会导致其被判定为假新闻。目前他们的研究组正在寻求更多的外部知识和大型模型的辅助，以便引入更丰富的背景知识，从而更准确地核查新闻的真实性，但这一研究还有待进一步完善。此外，广东智慧教育研究院的侯明良博士后也对社交网络的模态问题提出了专门的问题，引发了现场师生的深入交流和探讨。参与者们纷纷发表了自己的见解，为解决这一问题提供了多元化的思路。这场讨论不仅提升了在场人员对人工智能模型判断假新闻问题的理解，也为相关研究提供了新的思考方向。

       一直以来，广东智慧教育研究院以开放、创新、协同的精神，深化教育改革，推动教育公平，提升教育质量。在这个信息化、智能化的时代，广东智慧教育研究院将积极探索和实践，整合各方资源，通过课题研究、技术研发、人才培养等方式，为构建高效、智慧的教育体系做出更大的贡献。未来，广东智慧教育研究院将以更加坚定的信念、更加务实的作风，为推动教育信息化、智能化的发展，为培养更多的智慧型人才，为构建和谐、可持续发展的教育信息生态系统，持续努力，不断前行。