沈阳php网站舆情危机公关公司

Transformer以及BERT阅读参考博文

Transformer学习：

已有博主的讲解特别好了：

1. 李沐：Transformer论文逐段精读【论文精读】_哔哩哔哩_bilibili
2. 知乎：Transformer模型详解（图解最完整版） - 知乎

个人杂想：

1. $Q{K}^T\ast V$中，$Q{K}^T$其实可以理解为相似性矩阵S，那么$S\ast V$其实就相当于相似性矩阵对原始的嵌入加权求和。这感觉就是GAT的一个思想源泉。
2. 残差连接和concat挺重要的

BERT

1. BERT模型架构详解 - 知乎

2. 李沐：BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibili