Transformer

概述 sequence to sequence任务，目前主要依靠循环或卷积神经网络 通过encoder和decoder，和纯注意力完成翻译任务multi-headed attention 传统RNN无法并行，需要逐步计算每一步时序信息 使用卷积神经网络替换RNN，可以并行，但...

• Attention
• Transformer