首页 - 讲座报告 - 正文

【电信学院】学术讲座:张民《序列生成模型中的随机性和基于笔画的Chinese NLP》

作者:       点击数:   更新时间:2022-10-31

报告题目

序列生成模型中的随机性和基于笔画的Chinese NLP

报 告 人

张民,博士,哈尔滨工业大学(深圳)教授,国家杰出青年基金获得者,国家百千万人才。

报告时间

2022年11月5日上午10:40

报告地点

香溢大酒店


报告内容简介:

基于Transformer的序列生成模型的随机性类型可概括为两类:(1)模型优化所涉及的多粒度辅助随机性,如数据(word-drop)、神经元(dropout)、网络结构(layer-drop)等随机性;(2)(条件)语言模型建模所基于的随机性,如随机掩码语言模型目标(MLM/CMLM)。针对以上两类随机性,本次报告介绍如何设计简单且高效的约束策略,包括模型输出空间的约束方法(R-Drop)和二次自适应掩码策略。相关方法已经在自回归(AT)和非自回归(NAT)两类主流生成范式、多个代表性序列生成任务和数十个数据集上取得显著效果提升,部分成果成功应用于产业界。

报告人简介:

张民,博士,哈尔滨工业大学(深圳)教授,特聘校长助理,计算与智能研究院院长。国家杰出青年基金获得者,国家“百千万”人才,国家有突出贡献中青年专家,鹏城孔雀计划A类人才,江苏省双创人才和双创团队首席科学家。长期从事自然语言处理、机器翻译和人工智能研究。发表论文200余篇,专著2部,英文论著(论文集)16本,部级科技进步奖4项,会议最佳论文3篇。享受国务院政府特殊津贴。



承办单位

电信学院

发布日期

2022年10月27日

欢迎广大教师、学生参加


文:项美晶/图:无/审核:姚俊/责任编辑:李明亮