当前位置: 首页 > news >正文

平顶山做网站的公司app拉新

平顶山做网站的公司,app拉新,网站手机版下悬浮条怎么做,docker启动wordpress🚩🚩🚩Transformer实战-系列教程总目录 有任何问题欢迎在下面留言 Transformer实战-系列教程1:Transformer算法解读1 Transformer实战-系列教程2:Transformer算法解读2 5、Multi-head机制 在4中我们的输入是X&#x…

🚩🚩🚩Transformer实战-系列教程总目录

有任何问题欢迎在下面留言

Transformer实战-系列教程1:Transformer算法解读1
Transformer实战-系列教程2:Transformer算法解读2

5、Multi-head机制

在4中我们的输入是X( x 1 x_1 x1 x 2 x_2 x2、…、 x n x_{n} xn)经过一次self-Attention计算后得到Z( z 1 z_1 z1 z 2 z_2 z2、…、 z n z_{n} zn),这可以当成是单头注意力机制。

而多头注意力机制,假如是8头,输入X,同时生成8个Z,即有 Z 0 Z_0 Z0 Z 1 Z_1 Z1、…、 Z 7 Z_7 Z7,而每一个Z的计算都是同时计算和生成的,每一个Z对应的 W Q W^Q WQ W K W^K WK W V W^V WV 可学习参数与生成Q、K、V还有经过softmax计算相关性的权重都是不一样的,而这8个Z拼接在一起再经过一层全连接生成新的Z,这个新的Z的维度和原来的Z的维度可以相同也可以不相同

不同的注意力结果,得到的特征向量表达也不相同

所以Multi-head机制实际上就是将self-Attention堆叠多层

6、位置信息表达

RNN之所以能够和CNN并立很久的原因,就是因为RNN相对于CNN能够比较好的提取出时序信息,即时间特征、前后序列特征。
在前面的self-Attention和Multi-head机制都没有计算时序信息,如果不计算时序信息,下面的这句话是不是一样的意思呢?

我打你
你打我

这两句话之所以意思完全不同,是因为它们的时序信息不同所以才有完全不同的意义。

以这句话为例:

The animal didn’t cross the street because it was too tired.
不考虑标点和缩写
上面的单词对应了这个位置索引:
[0,1,2,3,4,5,6,7,8,9,10]
每一个单词都对应了768个维度索引:
[0,1,2,3,4,5,6,7,…,765,766,767]

那么根据位置索引和维度索引可以计算出11x768个角度值,再将这个角度值通过正余弦的计算,就可以得到11个768维的向量

Transformer 中的位置编码使用正弦和余弦函数的组合来生成每个位置的编码,公式如下:
P E ( p o s , 2 i ) = s i n ( p o s / 1000 0 2 i / d m o d e l ) 、 P E ( p o s , 2 i + 1 ) = c o s ( p o s / 1000 0 2 i / d m o d e l ) PE(pos, 2i) =sin(pos / 10000^{2i/d_{model}}) 、 PE(pos, 2i+1) =cos(pos / 10000^{2i/d_{model}}) PE(pos,2i)=sin(pos/100002i/dmodel)PE(pos,2i+1)=cos(pos/100002i/dmodel)

  • P E ( p o s , 2 i ) PE(pos, 2i) PE(pos,2i) P E ( p o s , 2 i + 1 ) PE(pos, 2i+1) PE(pos,2i+1) 分别表示位置 pos 的编码在维度2i和(2i+1) 上的值
  • i 是维度索引
  • d m o d e l d_{model} dmodel,是模型中嵌入向量的维度

原始输入的 x 1 x_1 x1,它对应的位置编码信息的数据维度和 x 1 x_1 x1是完全一样的

import numpy as np# 定义位置编码函数
def positional_encoding(position, d_model):angle_rads = np.arange(position)[:, np.newaxis] / np.power(10000, (2 * (np.arange(d_model)[np.newaxis, :] // 2)) / d_model)# 将 sin 应用于数组的偶数索引(indices);2iangle_rads[:, 0::2] = np.sin(angle_rads[:, 0::2])# 将 cos 应用于数组的奇数索引(indices);2i+1angle_rads[:, 1::2] = np.cos(angle_rads[:, 1::2])pos_encoding = angle_rads[np.newaxis, ...]return pos_encoding# 生成位置编码
position = 10  # 为前10个位置生成编码
d_model = 512  # 嵌入向量的维度
pos_encoding = positional_encoding(position, d_model)# 打印位置编码的形状和部分值
pos_encoding.shape, pos_encoding[0, :4, :4]  # 查看前4个位置的前4维度的编码[[ 0.        ,  1.        ,  0.        ,  1.        ],[ 0.84147098,  0.54030231,  0.82185619,  0.56969501],[ 0.90929743, -0.41614684,  0.93641474, -0.35089519],[ 0.14112001, -0.9899925 ,  0.24508542, -0.96950149]]

这是一个位置编码的小例子

7、Decoder

在前面介绍了self-Attention、Multi-head、位置信息计算等内容,这些都是Encoder编码器的部分,就是将原始的文本编码成特征,与编码器对应的还有Decoder解码器

解码器与编码器有所不同:

  1. Attention计算不同
  2. 加入了MASK机制

在这里插入图片描述

如图所示,这是一个使用Transformer架构将法语翻译成英语的任务,法语输入3个单词,英语输出4个单词,左边为编码器,右边为解码器

  1. Je suis étudiant经过编码器变成了Z={ z 1 z_1 z1 z 2 z_2 z2 z 3 z_3 z3 } 3个向量
  2. Z直接对应生成K={ k 1 k_1 k1 k 2 k_2 k2 k 3 k_3 k3 } 和V={ v 1 v_1 v1 v 2 v_2 v2 v 3 v_3 v3 } ,其中 k i k_i ki= v i v_i vi= z i z_i zi
  3. 解码器的Q从上一个解码器的输出得到,比如上一个解码器的输出为I,那么I经过embbeding后在全连接层维度变换成和K、V一样的维度得到Q
  4. 但是第一个没有上一个解码器的输出怎么办呢?将“开始符号”进行embbeding
  5. 现在Q、K、V都有了,同样进行自注意力的计算,生成解码器自己的Z向量
  6. Z向量首先会经过包含激活函数ReLU、层归一化Layer Normalization、全连接层,然后依次经过残差连接、全连接层、softmax得到一个两万分类(假设语料表为两万词)的概率,选取概率最高的那个单词,假设就是I
  7. I经过embbeding后,再经过一层全连接层进行维度变换生成新的Q向量
  8. 如此循环直到生成“停止符号

在这里插入图片描述

8、输出层

解码器是不断的生成一个向量,这个向量在解析成一个单词,也就是说会一个一个单词的生成。
这个单词如何生成呢?主要是最后的线性层和Softmax层
线性层是一个简单的全连接神经网络,它将解码器产生的向量投影到一个更大的向量中,称为 logits 向量。

假设我们的模型从训练数据中可以统计到10000个不同的单词(那这一万个单词就是我们的语料表)。这使得
logits 向量有 10,000 个单元格——每个单元格对应一个唯一单词的分数。这就是我们解释线性层模型输出的方式。

然后,softmax 层将这些分数转换为概率(全部为正,全部加起来为 1.0)。选择概率最高的单元格,并生成与其关联的单词作为该时间步的输出。

在这里插入图片描述

Transformer实战-系列教程1:Transformer算法解读1
Transformer实战-系列教程2:Transformer算法解读2

http://www.khdw.cn/news/19183.html

相关文章:

  • 唐山网站制作价格百度收录提交网站后多久收录
  • 自己做文学网站赚钱吗百度科技有限公司
  • 网站建设价格标准报价网络营销的主要手段和策略
  • wordpress 访问限制seo查询工具有哪些
  • 网站结构的规划网站搜索排名优化软件
  • 优秀建筑案例分析seo搜索引擎工具
  • 沈阳做网站的设计公司哪家好seo一个关键词多少钱
  • 明珠信息港网站建设专家电商培训机构
  • 手工网站大全做椅子套搜索引擎关键词怎么选
  • 做的响应式网站用什么测试免费seo在线工具
  • ps做网站首页规范尺寸腾讯广点通
  • 山东做网站的开鲁网站seo转接
  • 学院宣传网站制作如何弄一个自己的网站
  • wordpress添加微信扫码支付seo技巧分享
  • 网站制作教程设计院沈阳网站推广优化
  • 上海网站开发技术最好公司开鲁网站seo
  • 差异基因做聚类分析网站外贸网站有哪些平台
  • 去除wordpress.orgseo服务建议
  • 怎样创建网站image百度竞价系统
  • 网站访问量过大北京百度关键词优化
  • 于都网站建设直通车关键词优化口诀
  • java web网站开发项目网络推广产品要给多少钱
  • 广州建站代运营公司有哪些seo扣费系统源码
  • 网站建设会出现的问题推广策划方案范文
  • 网站建设的安全技术搜索引擎营销的主要模式
  • 30g月流量网站百度搜索引擎入口
  • 网站开速度 流失百度关键词排名提升工具
  • 国内ui做的好的网站有哪些临沂百度seo
  • 厦门网站建设高级课程新产品推广方式有哪些
  • 有趣的网站名百度官网下载安装