#討論 Transformer 中 Decoder的 residual connection

最近在嘗試自己implement Transformer. 模型架構如同論文，見下圖：

小弟我知道在Transformer的training 階段是可以並行訓練的，不用像以往的RNN-based那樣step by step的將上一個time step輸出在這個時刻輸入；只要得當利用mask將未來的資訊在attention matrix 上遮起來即可讓模型在decoding 時不依賴未來的資訊。小弟我有疑問的點是，即使在attention matrix 上把未來的資訊蓋掉，但輸入端的residual connection(圖中紅色線) 不是也會把未來的資訊傳到後面add&norm嗎？而這樣會不會造成模型不在attention上面學習，直接從residual connection 那邊偷答案過來？雖然小弟我train出來的模型在inference階段也表現正常，但關於這點，我想不出個合理的解釋，希望各位朋友們不吝指教，感謝。

DeepLearning
討論
程式語言