融合双向依存自注意力机制的神经机器翻译
作者:李治瑾; 赖华; 文永华; 高盛祥
更新时间:
针对神经机器翻译的不足,提出了一种基于双向依赖自注意机制的依赖句法知识融合方法。首先,使用外部解析器对源语句进行解析,获得依赖解析数据。然后,将依赖解析数据转换为父词位置向量和子词权重矩阵。最后,将依赖性知识集成到Transformer编码器的多头注意机制中。该翻译模型利用双向依赖自我注意机制,可以同时关注父词到子词以及子词到父词的依赖信息。与Transformer模型相比,整合双向依赖和自我注意机制的方法在汉泰翻译中提高了BLEU的价值1.07和0.86,在汉英翻译中提高了BLEU的价值0.79和0.68。在资源不足的情况下,BLEU在汉泰翻译中的价值增加了0.51和1.06,在汉英翻译中的价值增加了1.04和0.40。实验结果表明,双向依赖机制可以提高双向依赖模型的性能。