当前位置: 首页 > news >正文

如何制作自己的网站图?青岛seo网络优化公司

如何制作自己的网站图?,青岛seo网络优化公司,电子商务网站开发公司,口碑最好的it培训机构这里写自定义目录标题 Self-attentionMulti-head self-attention用self-attention解决其他问题 Self-attention 用Wq、Wk、Wv分别乘输入向量得到q、k、v向量 用每个q向量乘所有的k向量得到对应项的attention,即用每项的query向量去匹配所有的key向量,得…

这里写自定义目录标题

  • Self-attention
  • Multi-head self-attention
  • 用self-attention解决其他问题

Self-attention

  1. 用Wq、Wk、Wv分别乘输入向量得到q、k、v向量
    在这里插入图片描述
  2. 用每个q向量乘所有的k向量得到对应项的attention,即用每项的query向量去匹配所有的key向量,得到该项对所有项的注意力打分。可以用矩阵优化运算。激活函数softmax可以用relu等替换。
    在这里插入图片描述
  3. 用q、v的相乘的结果乘v得到self-attention的输出b
    在这里插入图片描述
  4. 综上,如下图
    在这里插入图片描述

Multi-head self-attention

  1. 通过多组q、k、v来表示不同的相关性
    在这里插入图片描述
  2. 将多头的输出融合到一起
    在这里插入图片描述
  3. 位置编码,将位置信息编码为向量(每个位置一个专属向量),加到输入中即可
    在这里插入图片描述

用self-attention解决其他问题

  1. 语音解析:输入维度过大,使用truncated self-attention
    在这里插入图片描述
  2. 图像处理:每个像素(三个通道)可以看作一个三维向量,如下图可以将50个三维向量作为输入
    在这里插入图片描述
    在这里插入图片描述
  3. self-attention vs cnn:cnn相当于简化版的self-attention,卷积核的运算相当于对卷积核区域内的像素点求k、v,self-attention的感受野是自己学习的,而cnn的卷积核是手动设置的

在这里插入图片描述
cnn就是self-attention的特例。self-attention更灵活,但是如果训练集小可能更容易过拟。
在这里插入图片描述
在这里插入图片描述
4. self-attention vs RNN
在这里插入图片描述
5. self-attention for Graph:用attention来表示nodes之间的关联
在这里插入图片描述

http://www.15wanjia.com/news/37720.html

相关文章:

  • 公司网站推广如何做百度竞价渠道户
  • 外贸单子怎么找seo方法培训
  • 制作个人业务网站广告语
  • 广州网站建设建航科技公司网络项目推广平台
  • 网上做计算机一级的网站是懂得网站推广
  • 网站建设推广方法宁波网络营销有哪些
  • 做会计需要了解的网站及软件网络营销文案策划都有哪些
  • 阿里百秀wordpress大前端百度seo价格查询
  • 蓬莱做网站案例搜索引擎优化指南
  • 大型网站系统与java中间件实践竞价排名深度解析
  • 深圳网站建设哪里网站的优化从哪里进行
  • dw做的网站如何发布搜索引擎优化的含义
  • 怎样在手机上建网站天津网站策划
  • 钓鱼网站下载安装网站seo检测
  • 徐州网站制作排名第一的助勃药
  • js做音乐网站百度查重工具
  • 中国供应商网介绍seo的中文含义是
  • vue做网站看不到htmI吗友情链接举例
  • 做java面试题网站网络营销产品概念
  • 数据库检索网站建设免费创建个人网页
  • 试玩做任务赚钱的网站百度指数如何分析
  • 中国有哪些网站可以做兼职网站提交入口链接
  • 响应式网站一般做几个尺寸网络营销网站建设案例
  • 七牛云存储代替WordPress百度seo流量
  • php 建设网站汕头seo服务
  • 企业建站网站认证互联网营销案例
  • 医疗科技网站建设做网站需要哪些技术
  • 华久网站建设5g影讯5g天线在线观看免费视频
  • 在线客服链接网站优化公司哪家好
  • 一个网站值多少钱营销策划方案内容