计算智能和神经科学
研究文章

比起一个改进的基于变压器神经机器翻译策略:Interacting-Head关注

表6

培训时间在IWSLT16 DE-EN训练数据集。
模型 数量的头
2 4 8 16 32 64年
多线程的关注 10米10秒 10米30年代 10米55秒 11米30秒 12米45秒 15米30年代
多线程(头部大小=注意n) 9米20多岁 9米40年代 10米10秒 11米05秒 12米55秒 16米55秒
的头部特写的关注 10米30年代 10米40年代 11米 11米40秒 15米50年代
Interacting-head关注 10米30年代 11米30秒 14米30秒 24米30秒 - - - - - - - - - - - -
请注意。m和s的单位代表分钟第二,分别。