Positional Encoding in Transformer
由于Transformer的自注意力机制具有置换不变形(Permutation Invariance)。也就是说即使输入词序列即使被打乱,自注意力的计算结果也完全一致。我们没有recurrence 和 convolution
All 1 post tagged with #AI.
由于Transformer的自注意力机制具有置换不变形(Permutation Invariance)。也就是说即使输入词序列即使被打乱,自注意力的计算结果也完全一致。我们没有recurrence 和 convolution