直播预告 | 基于学习排序的对话模型预训练策略
3月3日，《基于学习顺序的对话模型预训练策略》将通过知领直播平台与大家见面。https://p3-sign.toutiaoimg.com/pgc-image/d16c51f47e5747fbaa68edd54b2ab435~tplv-tt-large.image?x-expires=2005769733&x-signature=MTl4qfF1gaFfzWf5wGAoD%2BuE7A8%3D
上海交通大学副教授、博士生导师顾小东带来分享：基于学习排序的对话模型预训练策略。
预训练语言模型在对话生成领域取得一定的成功，然而现有的方法通常将多轮对话上下文视为一段较长的单词序列，采用字符级的自注意机制进行表示学习。该策略难以准确获取句子层级的连贯关系，并且在时间上很低效。
本文提出一种针对多轮对话生成的预训练模型DialogBERT，采用层次化BERT构建句子级的连贯关系，并提出两种预训练方法：掩藏句编码回归和分布式句子顺序预测。在微博、DailyDialog等长短对话数据集上的实验结果标明DialogBERT相比现有基于预训练的对话模型如BART, DialoGPT等可以生成更连贯、细致的应答。
直播地址：http://live.ckcest.cn/PC_play.html?id=1208
页:
[1]