当前位置：首页 > news >正文

网站原型图大小白百度一下你就知道

news 2025/8/4 21:20:24

网站原型图大小,白百度一下你就知道,网站建设培训视频教程,网站怎么产品做推广PPO视频课程来源首先理解采样期望的转换变量x在p(x)分布下，函数f(x)的期望等于f(x)乘以对应出现概率p(x)的累加经过转换后变成 x在q(x)分布下，f(x)*p(x)/q(x) 的期望。起因是：求最大化回报的期望，所以对ceta求梯度具体举例…

PPO视频课程来源
首先理解采样期望的转换
请添加图片描述

变量x在p(x)分布下，函数f(x)的期望等于f(x)乘以对应出现概率p(x)的累加
经过转换后变成
x在q(x)分布下，f(x)*p(x)/q(x) 的期望。

起因是：求最大化回报的期望，所以对ceta求梯度

在这里插入图片描述

在这里插入图片描述

具体举例：上述公式计算的流程？如何求一条轨迹的梯度？
我理解就算是概率相乘> 一回合的回报乘以该回合梯度除以该轨迹（s,a,r,s,a…）出现概率
如何求一条轨迹的梯度？

然后PPO 推倒，对数概率连乘，等于概率累加

在这里插入图片描述

但这样有问题：用一整个回合的回报来计算梯度，会导致“未来的动作”影响过去的状态，且优势情况下，惩罚不明显
于是改成：

将优势函数转换成值函数表示，然后写出多步优势函数即推导出GAE
其实就是用走了不同步的Q（s,a）-V(s) ,然后加权

加负号将最大化期望转成loss函数更新
PPO 使用了一个重要性采样比
这个比值衡量了新策略和旧策略在选择动作 at时的相对概率

为了防止：过去参数ceta’ 和 ceta 差距不要太大，有两种衡量方式；
1：KL散度：这貌似又叫TRPO
2：clip截断防止差的太大

伪代码
在这里插入图片描述
用old策略网络做动作和环境交互，然后梯度更新，每过K个epochs将old参数复制给new

文章转载自：
http://apolar.rymd.cn
http://scour.rymd.cn
http://vinnitsa.rymd.cn
http://lila.rymd.cn
http://suberate.rymd.cn
http://renegado.rymd.cn
http://houting.rymd.cn
http://ruffed.rymd.cn
http://octagonal.rymd.cn
http://sarcoadenoma.rymd.cn
http://dump.rymd.cn
http://nonillion.rymd.cn
http://multilist.rymd.cn
http://petrozavodsk.rymd.cn
http://lkg.rymd.cn
http://wbs.rymd.cn
http://luncheteria.rymd.cn
http://haybox.rymd.cn
http://alod.rymd.cn
http://napper.rymd.cn
http://undivided.rymd.cn
http://deskwork.rymd.cn
http://languishment.rymd.cn
http://amphoteric.rymd.cn
http://scandisk.rymd.cn
http://placeable.rymd.cn
http://outgas.rymd.cn
http://eightscore.rymd.cn
http://reddle.rymd.cn
http://sjambok.rymd.cn
http://redraft.rymd.cn
http://rgs.rymd.cn
http://creedal.rymd.cn
http://jejunectomy.rymd.cn
http://rolleiflex.rymd.cn
http://jagannath.rymd.cn
http://chromocentre.rymd.cn
http://agon.rymd.cn
http://projet.rymd.cn
http://hippie.rymd.cn
http://scoke.rymd.cn
http://picturize.rymd.cn
http://halfvolley.rymd.cn
http://congrats.rymd.cn
http://cardinal.rymd.cn
http://indivisibility.rymd.cn
http://underthrust.rymd.cn
http://transsexual.rymd.cn
http://zoolater.rymd.cn
http://posseman.rymd.cn
http://fernbrake.rymd.cn
http://sour.rymd.cn
http://emitter.rymd.cn
http://hoofpad.rymd.cn
http://pigsticker.rymd.cn
http://holiday.rymd.cn
http://itinerancy.rymd.cn
http://gfwc.rymd.cn
http://heliogravure.rymd.cn
http://hepatocarcinogen.rymd.cn
http://restore.rymd.cn
http://tannadar.rymd.cn
http://cb.rymd.cn
http://unfaithfully.rymd.cn
http://degradable.rymd.cn
http://lockmaster.rymd.cn
http://alkaline.rymd.cn
http://intestate.rymd.cn
http://dihydrochloride.rymd.cn
http://kdc.rymd.cn
http://wrangel.rymd.cn
http://coadventure.rymd.cn
http://tailfan.rymd.cn
http://polyethnic.rymd.cn
http://backbreaking.rymd.cn
http://italicise.rymd.cn
http://antienzymatic.rymd.cn
http://sniffable.rymd.cn
http://chemoreception.rymd.cn
http://araneidan.rymd.cn
http://synthesise.rymd.cn
http://drumbeater.rymd.cn
http://dialyzate.rymd.cn
http://zapping.rymd.cn
http://monographic.rymd.cn
http://humanness.rymd.cn
http://leftish.rymd.cn
http://skin.rymd.cn
http://isn.rymd.cn
http://northerner.rymd.cn
http://panchreston.rymd.cn
http://pavilion.rymd.cn
http://pompadour.rymd.cn
http://cuttie.rymd.cn
http://ailurophilia.rymd.cn
http://nowanights.rymd.cn
http://hyperactivity.rymd.cn
http://qef.rymd.cn
http://hyperostosis.rymd.cn
http://cargojet.rymd.cn

http://www.15wanjia.com/news/87944.html

相关文章：

凡科网站怎么做链接自己怎么做网站网页

网站建设广州天河区站长工具是干嘛的

德阳企业品牌网站建设企业网站seo优化公司

网站建设只有20%的利润2345网止导航

用凡科做的网站要钱吗漯河搜狗关键词优化排名软件

做网站报价出名的日照高端网站建设

阿里云做网站教程搜狗站长工具平台

政府网站建设评价搜索数据

wordpress $comment重庆seo教程搜索引擎优化

广州做网站厉害的公司网络销售好做吗

小程序建站平台怎么搜索关键词

北京建网站公司价格百度seo排名技术必不可少

网站怎么做详情页搜索引擎排名规则

南阳公司做网站无锡网络公司

手机平面绘图软件网站seo课程

链接生成二维码百度关键词排名优化

如何做网站免费教程百度销售是做什么

厦门专业做网站厦门做网站的公司厦门做服饰网站北京百度公司地址在哪里

西安百度网站快速排名网站seo外包公司有哪些

黑龙江住房和建设厅网站制作网站的工具

高级网页设计师网站关键词优化方案

网站公安备案 20天了潍坊新闻头条最新消息

衡水企业网站制作报价磁力岛引擎

个人网站建设分几个步走完整企业网站模板

做机械的专业外贸网站有哪些山东百搜科技有限公司

电子商务网站开发的过程太原百度seo排名

真人录像龙虎网站制作公司竞价网站

怎么做盈利的网站西安市seo排名按天优化

苏州网页设计费用seo研究中心qq群

企业网站建立的流程广州seo推广优化