陈亮,吉林大学本科生,北京大学计算机学院计算语言所准研究生,主要研究方向为语义分析,机器翻译,本工作为在计算语言所实习所作。
报告内容简介(中文):
标签平滑和词汇共享是神经机器翻译模型中两种广泛使用的技术。 然而,我们认为简单地应用这两种技术可能会产生冲突,甚至会导致次优性能。原因在于分配平滑概率时,原始的标签平滑策略将永远不会出现在目标语言中的源端词与真正的目标端词同等对待,这可能会使翻译模型产生偏差。 为了解决这个问题,我们提出了掩码标签平滑(MLS),一种将源端单词的软标签概率屏蔽为零的新机制。 简单而有效,MLS 设法将标签平滑与词汇共享更好地结合起来。 我们广泛的实验表明,MLS 在不同数据集上,从BLEU,chrF,模型校准等多个角度均相比原始标签平滑有显著的提升。
牛广林,北京航空航天大学计算机科学与技术专业博士研究生,主要研究方向为符号规则与常识知识指导的知识图谱表示学习和推理。
报告内容简介(中文):当前知识表示学习方法都采用对三元组打分的方式来判断其正确性,在负采样和推理过程都容易受到嵌入表示不确定性的影响造成一些不符合常识的错误结果,而具有常识的人们可以轻松解决这一问题。为此,我们提出了一种从知识图谱中自动生成常识的机制为事实三元组提供更多确定性语义信息,进一步设计了常识感知的高质量负采样策略促进更有效的知识表示学习训练过程,并采用常识和事实联合驱动的多视角推理方法提高推理的准确性。实验表明,对已有的几个知识表示学习模型扩展到我们提出的名为CAKE的框架中,均可以通过补充常识角度的语义信息提高推理精度,说明该框架具有良好的可扩展性。