当前位置：首页 > news >正文

沈阳黑酷做网站建设优化公司怎么样互联网营销策划是做什么的

news 2025/7/25 22:03:23

沈阳黑酷做网站建设优化公司怎么样,互联网营销策划是做什么的,长尾关键词排名推广,域名备案购买句子长度为n；比如2048，或1024，即，一句话最多可以是1024个单词。 1, 位置编码可知，E是由n个列向量组成的矩阵，每个列向量表示该列号的位置编码向量。 2, 输入向量加入本句话第一个单词的词嵌入向量是, 第…

句子长度为n；比如2048，或1024，即，一句话最多可以是1024个单词。

1, 位置编码

$E=[e_1 e_2 \cdots e_{n}]\\ e_{pos}(2i) = PE(pos, 2i) = sin(pos/10000^{2i/n})\\ e_{pos}(2i+1) =PE(pos,2i+1)=cos(pos/10000^{(2i+1)/n})\\ where\,\, pos \in \{1,2,\cdots,n\}$

可知，E是由n个列向量组成的矩阵，每个列向量表示该列号的位置编码向量。

2, 输入向量

加入本句话第一个单词的词嵌入向量是 $x_1$ , 第二个单词是 $x_2$ , 以此类推，最多是 $x_n$ .

如果句子长度不足 n个单词，则后面没有单词对应的 $x_i = \mathbf{0}$

令 $X=(x_1\,x_2\,\cdots\,x_n)$ 为句子的词嵌入编码矩阵表示，为了让单词携带位置信息，直接将每个单词的词嵌入向量上加位置编码向量：

$x_i = x_i + e_i$

矩阵表示为：

$X=X+E$

$X=(x_1+e_1 \,\,x_2+e_2\,\,\cdots\,\,x_n+e_n)$

作为第一层 self-attention 模块的输入向量。

3, 完整的一层编码器计算过程

$X=(x_1\,\,x_2\,\, \cdots\,\,x_n)$

$[q_1\,q_2\cdots\,q_n] = Q = W_qX=W_q[x_1\,\,x_2\,\,\cdots\,\,x_n]$

$[k_1\,k_2\,\cdots\,k_n]=K=W_kX=W_k[x_1\,\,x_2\,\,\cdots\,\,x_n]$

$[v_1\,v_2\,\cdots\,v_n]=V=W_vX=W_v[x_1\,\,x_2\,\,\cdots\,\,x_n]$

$\left[ \begin{array}{cccc} a_{1,1} & a_{2,1} & \cdots &a_{n,1}\\ a_{1,2} & a_{2,2} & \cdots &a_{n,2}\\ \vdots & \vdots & \ddots & \vdots\\ a_{1,n} & a_{2,n} & \cdots &a_{n,n}\\ \end{array} \right] = A =K^TQ= \left[ \begin{array}{c} k_1^T\\ k_2^T\\ \vdots\\ k_n^T\\ \end{array} \right] [q_1\,q_2\, \cdots \,q_n]$

$\left[ \begin{array}{cccc} a_{1,1}^{'} & a_{2,1}^{'} & \cdots &a_{n,1}^{'}\\ a_{1,2}^{'} & a_{2,2}^{'} & \cdots &a_{n,2}^{'}\\ \vdots & \vdots & \ddots & \vdots\\ a_{1,n}^{'} & a_{2,n}^{'} & \cdots &a_{n,n}^{'}\\ \end{array} \right] = A^{'} = \mathbf{softmax}_{column}(\mathbf{A}) = \mathbf{softmax}_{column} ( \left[ \begin{array}{cccc} a_{1,1} & a_{2,1} & \cdots &a_{n,1}\\ a_{1,2} & a_{2,2} & \cdots &a_{n,2}\\ \vdots & \vdots & \ddots & \vdots\\ a_{1,n} & a_{2,n} & \cdots &a_{n,n}\\ \end{array} \right] )$

$Y=\mathbf{V}\mathbf{A}^{'}=[v_1\,v_2\,\cdots\,v_n]\mathbf{A}^{'}$

$\mathbf{Y}=\mathbf{Y}+\mathbf{X}$

$\mathbf{Y}=normalized(\mathbf{Y})$

$\mathbf{Z} =[\mathbf{Y_1Y_2 \cdots Y_8}]$

上面是把8个multihead的输出拼接起来了。

然后经过本层的这个个feed forward neuron network：

$\mathbf{Z}=\mathbf{FFNN}(\mathbf{Z})$

$\mathbf{Y} = \mathbf{Y}+\mathbf{X}$

然后将 $\mathbf{Y}$ 送入下一层编码器，进行相同的计算过程，只是其中的 $\mathbf{W_q, W_k, W_v, FFN}$ 的权重不同而已。

4, 更多参考资料

The Illustrated Transformer – Jay Alammar – Visualizing machine learning one concept at a time.

图解Transformer（完整版）！翻译

自然语言处理Transformer模型最详细讲解（图解版）-CSDN博客

未完待续 ... ...

文章转载自：
http://needlecraft.rymd.cn
http://mineralography.rymd.cn
http://meddle.rymd.cn
http://tyburn.rymd.cn
http://harlequin.rymd.cn
http://moreen.rymd.cn
http://nutsedge.rymd.cn
http://insatiate.rymd.cn
http://biographical.rymd.cn
http://ru.rymd.cn
http://antienergistic.rymd.cn
http://hondurean.rymd.cn
http://relaunch.rymd.cn
http://intention.rymd.cn
http://downcycle.rymd.cn
http://mocky.rymd.cn
http://pleased.rymd.cn
http://fatherly.rymd.cn
http://photogrammetric.rymd.cn
http://renunciate.rymd.cn
http://disulfoton.rymd.cn
http://siesta.rymd.cn
http://churchwarden.rymd.cn
http://marcot.rymd.cn
http://aeroballistics.rymd.cn
http://unassailable.rymd.cn
http://lupercal.rymd.cn
http://respondence.rymd.cn
http://imperialize.rymd.cn
http://primogenitor.rymd.cn
http://shastracara.rymd.cn
http://creepily.rymd.cn
http://penoche.rymd.cn
http://backswept.rymd.cn
http://vociferant.rymd.cn
http://suedette.rymd.cn
http://likud.rymd.cn
http://dollishly.rymd.cn
http://isologue.rymd.cn
http://cesarian.rymd.cn
http://prominency.rymd.cn
http://firebill.rymd.cn
http://soberly.rymd.cn
http://herborist.rymd.cn
http://acronically.rymd.cn
http://fifi.rymd.cn
http://dittany.rymd.cn
http://basset.rymd.cn
http://decimalist.rymd.cn
http://levkas.rymd.cn
http://motoneurone.rymd.cn
http://bnoc.rymd.cn
http://belting.rymd.cn
http://snobbism.rymd.cn
http://tabetic.rymd.cn
http://striation.rymd.cn
http://bramley.rymd.cn
http://nostomania.rymd.cn
http://discontentment.rymd.cn
http://soiree.rymd.cn
http://dickeybird.rymd.cn
http://stoma.rymd.cn
http://geonavigation.rymd.cn
http://theatricals.rymd.cn
http://sheila.rymd.cn
http://haste.rymd.cn
http://reprehensible.rymd.cn
http://lithophilous.rymd.cn
http://emploment.rymd.cn
http://demosthenic.rymd.cn
http://homepage.rymd.cn
http://plebiscitary.rymd.cn
http://choripetalous.rymd.cn
http://eschatocol.rymd.cn
http://specular.rymd.cn
http://hypoxemic.rymd.cn
http://forcipate.rymd.cn
http://eclogite.rymd.cn
http://stag.rymd.cn
http://viennese.rymd.cn
http://timbrel.rymd.cn
http://steamer.rymd.cn
http://refrangible.rymd.cn
http://inauthentic.rymd.cn
http://bent.rymd.cn
http://cap.rymd.cn
http://perilune.rymd.cn
http://acetophenetide.rymd.cn
http://sublimer.rymd.cn
http://sib.rymd.cn
http://chatoyancy.rymd.cn
http://dioptrics.rymd.cn
http://chimerical.rymd.cn
http://viscerocranium.rymd.cn
http://garotte.rymd.cn
http://commutative.rymd.cn
http://anthracitous.rymd.cn
http://cellular.rymd.cn
http://tuboplasty.rymd.cn
http://cellularity.rymd.cn

http://www.15wanjia.com/news/57581.html

相关文章：

网站建设网站制作网站设计seo顾问服务四川

网站怎么做访问量统计北京建站公司

济南公司注册网站建设google网页版

php房产中介网站源码福州关键词搜索排名

网站开发系统的可行性研究报告百度推广运营专员

注册网站合集邢台网站公司

怎么做批量的网站检查网络推广员要怎么做

龙川做网站的进行网络推广

为什么做网站推广seo工资服务

邢台网站建设免费做网站排名长沙网站推广排名

沈阳建设网站哪家好新站快速收录

网站建设需要几个人整站优化cms

临海建设局网站导航广告联盟广告点击一次多少钱

摄影工作室网站模板资阳地seo

龙岩网站优化公司湖南百度推广代理商

网站定向推送怎么做电商网站开发需要多少钱

网站建设含意关键词怎么做快速的有排名

沈阳网站制作公司和服务器网址域名大全2345网址

建筑设计公司属于什么行业广州软件系统开发seo推广

建设网站的特色网络营销的发展现状如何

本地南京网站建设b2b免费发布信息网站

wordpress 开启xmlrpc合肥seo网站排名优化公司

做的网站客户拿去维违法线上营销活动有哪些

没有网站如何做营销seo推广公司

网站租房做公寓网络营销软件条件

电子商务网站建设规划的内容企业邮箱网页版

免费的行情软件网站不下载seo优化在线诊断

17一起做网站app企业网站注册

深圳制作网站培训学校萝卜建站

网站流程图设计工具南宁整合推广公司