近日,新西兰工程院院士Ruili Wang教授应邀来雪缘园比分直播电子与信息工程(大数据)学院,并作了题为“Progress in Video Captioning”的学术报告。讲座由学院院长张石清教授主持,吸引了多位教师和研究生前来学习交流。
学术报告现场
王教授介绍了他们团队在人工智能领域的研究进展,以及未来的研究方向,特别介绍他们在视频描述方向的最新研究成果,基于知识增强与解纠缠学习的视频字幕生成方法。该方法通过引入大型语言模型作为即插即用的知识源,将视频中的视觉对象词与语音转录信息整合为通用语义标记,并利用任务提示激活大型语言模型的推理能力以生成丰富多样的文本知识;同时设计模态共享解纠缠学习模块,通过分离模态共享特征与模态特定特征,增强视觉与文本信息的语义对齐。会后,师生们踊跃提问,就视频描述方向的技术细节、未来发展方向等问题与Ruili Wang教授展开了热烈的交流探讨,现场学术氛围浓厚。
专家简介
Ruili Wang教授,博士生导师,新西兰工程院院士,毕业于华中科技大学(学士)、东北大学(硕士)、都柏林城市大学(博士),担任新西兰梅西大学数学与计算科学学院科研副院长。目前从事的研究包括人工智能、机器学习、机器视觉、语音处理和自然语言处理等多个方面。曾获得多个新西兰国家级重大和重点项目的资助。担任多个SCI期刊的编委,包括IEEE Transactions on Multimedia(TMM),IEEE Transactions on Emerging Topics Computational Intelligence(TETCI),ACM Transactions Multimedia On Computing,Communications,and Applications(TOMM) Knowledge and Information Systems(Springer),Applied Soft Computing (Elsevier),Neurocomputing (Elsevier).