基于词切分的蒙汉神经机器翻译中BERT数据增强方法

神经机器翻译是机器翻译领域的主流研究方法，但由于缺乏蒙汉的平行语料库，很难提高神经机器翻译的性能。本文针对基于Transformer的蒙汉神经机器翻译系统，利用alpine模型研究了蒙古文的分词方法，并比较了蒙古文部分分词、BPE子词切分和bilstm CNN CRF神经网络分词方法对蒙汉机器翻译模型的影响，在此基础上，基于变压器双向编码器表示的语义相似度计算，使用数据增强技术对蒙汉机器翻译训练数据进行扩展。对CCMT2019年提供的数据集进行了对比实验。实验结果表明，与基线实验相比，数据增强方法的Bleu值显著提高，BLEU4值的Bleu值达到75.28%。