当前位置: 首页 > news >正文

php mysql网站开发全程实例.pdf中超最新积分榜

php mysql网站开发全程实例.pdf,中超最新积分榜,网页美工设计哪家好,wordpress可选模式主题论文下载:https://openreview.net/pdf?idr1xMH1BtvB 另一篇分析文章:ELECTRA 详解 - 知乎 一、概述 对BERT的token mask 做了改进。结合了GAN生成对抗模型的思路,但是和GAN不同。 不是对选择的token直接用mask替代,而是替换为…

论文下载:https://openreview.net/pdf?id=r1xMH1BtvB

另一篇分析文章:ELECTRA 详解 - 知乎

一、概述

对BERT的token mask 做了改进。结合了GAN生成对抗模型的思路,但是和GAN不同。

不是对选择的token直接用mask替代,而是替换为一个生成器网络产生的token。

然后训练模型时并不是只被破坏的token,而是训练一个辨别模型来预测这些被破坏的输入的每一个token是否是被生成模型生成的样本替代的。因为将GANs应用于文本很困难,所以生成损坏token的生成器是以最大似然进行训练的。

小generator和大discriminator共同训练,但判别器的梯度不会传给生成器

fine-tuning 时丢弃generator,只使用discriminator

二、网络结构和训练

1、模型训练两个网络G和D。

        G:给定位置t,将该位置token替换为mask,输入到G,G输出一个概率,结合softmax层,来产生mask位置的xt,从而G产生损坏的输入。输出只在mask的token中计算分数,不是所有的token。

        D:给定位置t,D预测xt是否是真的。输出只在mask的token中预测是不是真的,不是所有的。

        对于给定一个随机位置序列,原始输入对应位置替换为[MASK] token,输入G,G学习恢复原始序列。D来分辨哪些token是被生成器产生的样本替换的。

文本损坏过程描述为:

2、损失函数为:

MLM损失的计算只计算m个,即m个被masked tokens

Disc损失 t的取值到 1..n,每个token都会更新参数

        在训练过程中,discriminator的loss不会反向传播到generator(因为generator的sampling的步骤导致),在pre-training之后,只使用discriminator进行fine-tuning.

http://www.15wanjia.com/news/18123.html

相关文章:

  • 做宣传图片用什么网站必应搜索引擎下载
  • 专门做微信推送的网站论坛优化seo
  • 重庆高端网站seowhois查询
  • 泉州免费建站查指数
  • 网站首页怎么做营销型网站模板
  • 网站 东莞长安企业宣传推广方案
  • 网站站内搜索代码长春建站程序
  • 域名注册 网站建设 好做吗torrent种子搜索引擎
  • 潍坊网站建设首荐创美网络世界网站排名查询
  • 搜索引擎手机动态网站制作设计百度灰色关键词排名
  • 沧州市做网站价格怎么做网上销售
  • 网站友情链接是什么天津seo数据监控
  • 网站建设技个人如何优化网站有哪些方法
  • 公司主营业务网站建设德阳seo优化
  • 一个网站有哪些优势贵阳网站建设公司
  • 晾衣架 东莞网站建设企业seo推广
  • 网站什么时候做负载均衡推广自己的网站
  • 女式包包网站建设策划书企业关键词优化专业公司
  • 江苏兴力建设集团有限公司网站现在阳性最新情况
  • 平面设计软件排行南宁seo全网营销
  • 建设银行网站无法转账长沙专业网络推广公司
  • 铁岭做网站哪家好营销策略包括哪些方面
  • 电子商务网站建设应用技术手机优化游戏性能的软件
  • 做外贸网站要有域名seo赚钱培训课程
  • wordpress添加优酷视频播放seo怎么快速提高排名
  • 自动生成图片的网站今日新闻7月1日
  • 网站数据展示运营推广计划
  • 网站建设日程表模板网络营销的工具有哪些
  • 做一网站困难吗天机seo
  • 资金盘网站建设常用的网络营销方法