当前位置: 首页 > news >正文

高端品牌网站建设服务重庆网站推广专家

高端品牌网站建设服务,重庆网站推广专家,最新网站建设哪家快,上海本土互联网公司1. 计算图和导数 计算图的概念 计算图(Computation Graph)是一种有向无环图,用于表示数学表达式中的计算过程。每个节点表示一个操作或变量,每条边表示操作的依赖关系。通过计算图,可以轻松理解和实现反向传播。 计算…

1. 计算图和导数

计算图的概念
计算图(Computation Graph)是一种有向无环图,用于表示数学表达式中的计算过程。每个节点表示一个操作或变量,每条边表示操作的依赖关系。通过计算图,可以轻松理解和实现反向传播。

计算图的意义

  • 直观地展示复杂计算过程。
  • 支持自动微分,通过链式规则计算导数。
  • 应用于神经网络中梯度的高效计算。

例如,对于函数 z = ( x + y ) ⋅ w z = (x + y) \cdot w z=(x+y)w ,其计算图包括三个节点(加法、乘法、输入变量)和两条边。

2. 计算代价函数的偏导 - 单神经元

代价函数的定义
代价函数衡量模型输出与真实值之间的差距,例如平方误差:

L = 1 2 ( y − y ^ ) 2 L = \frac{1}{2} (y - \hat{y})^2 L=21(yy^)2

其中, y ^ \hat{y} y^ 是模型输出, y y y 是目标值。

单神经元的导数推导
假设输出为 y ^ = σ ( w x + b ) \hat{y} = \sigma(wx + b) y^=σ(wx+b) ,其中 σ \sigma σ 是激活函数(如 Sigmoid),导数计算如下:

  1. 对于权重 w w w
    ∂ L ∂ w = ∂ L ∂ y ^ ⋅ ∂ y ^ ∂ z ⋅ ∂ z ∂ w \frac{\partial L}{\partial w} = \frac{\partial L}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z} \cdot \frac{\partial z}{\partial w} wL=y^Lzy^wz

  2. 对于偏置 b b b
    ∂ L ∂ b = ∂ L ∂ y ^ ⋅ ∂ y ^ ∂ z ⋅ ∂ z ∂ b \frac{\partial L}{\partial b} = \frac{\partial L}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z} \cdot \frac{\partial z}{\partial b} bL=y^Lzy^bz

意义
通过计算偏导数,可以更新参数 w w w b b b 以最小化损失函数。

3. 链导法则求导

链导法则是反向传播的核心,其定义如下:

∂ L ∂ x = ∂ L ∂ y ⋅ ∂ y ∂ x \frac{\partial L}{\partial x} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial x} xL=yLxy

步骤

  1. 先计算从输出到隐藏层的梯度。
  2. 再计算从隐藏层到输入的梯度。

例如,对于两层网络的损失函数 L = f ( g ( x ) ) L = f(g(x)) L=f(g(x)) ,使用链导法则:

∂ L ∂ x = ∂ f ∂ g ⋅ ∂ g ∂ x \frac{\partial L}{\partial x} = \frac{\partial f}{\partial g} \cdot \frac{\partial g}{\partial x} xL=gfxg

4. 过程解释

反向传播过程包括以下步骤:

  1. 前向传播:计算网络输出和损失函数。
  2. 反向传播:从输出层开始,逐层计算梯度。
  3. 更新参数:使用梯度下降或其变体更新参数。

假设两层网络的权重为 W 1 W_1 W1 W 2 W_2 W2 ,反向传播过程为:

  1. 计算输出层梯度 δ 2 \delta_2 δ2
    δ 2 = ∂ L ∂ z 2 = ∂ L ∂ y ^ ⋅ σ ′ ( z 2 ) \delta_2 = \frac{\partial L}{\partial z_2} = \frac{\partial L}{\partial \hat{y}} \cdot \sigma'(z_2) δ2=z2L=y^Lσ(z2)

  2. 计算隐藏层梯度 δ 1 \delta_1 δ1
    δ 1 = ( δ 2 ⋅ W 2 T ) ⋅ σ ′ ( z 1 ) \delta_1 = (\delta_2 \cdot W_2^T) \cdot \sigma'(z_1) δ1=(δ2W2T)σ(z1)

  3. 更新权重和偏置:
    W 2 = W 2 − α ⋅ δ 2 ⋅ h 1 T W_2 = W_2 - \alpha \cdot \delta_2 \cdot h_1^T W2=W2αδ2h1T

    W 1 = W 1 − α ⋅ δ 1 ⋅ x T W_1 = W_1 - \alpha \cdot \delta_1 \cdot x^T W1=W1αδ1xT

5. 神经网络中的反向传播

多层网络中的反向传播
多层网络通过将链导法则逐层应用,从输出层反向传播至输入层。每层的梯度依赖于后一层的梯度。

实现代码示例

import numpy as np# 定义激活函数及其导数
def sigmoid(x):return 1 / (1 + np.exp(-x))def sigmoid_derivative(x):return sigmoid(x) * (1 - sigmoid(x))# 前向传播
x = np.array([1, 2])  # 输入
w1 = np.array([[0.1, 0.2], [0.3, 0.4]])  # 权重
b1 = np.array([0.5, 0.5])  # 偏置
z1 = np.dot(w1, x) + b1
a1 = sigmoid(z1)# 反向传播
delta = (a1 - 1) * sigmoid_derivative(z1)
grad_w1 = np.outer(delta, x)

6. 计算代价函数的偏导 - 两层神经网络

两层神经网络的反向传播在单层基础上扩展,每层分别计算:

∂ L ∂ W 1 , ∂ L ∂ W 2 , ∂ L ∂ b 1 , ∂ L ∂ b 2 \frac{\partial L}{\partial W_1}, \frac{\partial L}{\partial W_2}, \frac{\partial L}{\partial b_1}, \frac{\partial L}{\partial b_2} W1L,W2L,b1L,b2L

总结与意义
反向传播是神经网络训练的核心,通过计算梯度并更新参数,使得网络能够有效学习复杂的映射关系,从而提高模型的泛化能力。


文章转载自:
http://throe.jtrb.cn
http://katrine.jtrb.cn
http://homeopathic.jtrb.cn
http://counseling.jtrb.cn
http://youthfully.jtrb.cn
http://botryoidal.jtrb.cn
http://tetraxile.jtrb.cn
http://insolation.jtrb.cn
http://metascience.jtrb.cn
http://lomotil.jtrb.cn
http://newsperson.jtrb.cn
http://vaporiform.jtrb.cn
http://rdac.jtrb.cn
http://nonmiscibility.jtrb.cn
http://distolingual.jtrb.cn
http://fantoccini.jtrb.cn
http://dock.jtrb.cn
http://windbreak.jtrb.cn
http://cleverly.jtrb.cn
http://cotemporary.jtrb.cn
http://voiced.jtrb.cn
http://fornix.jtrb.cn
http://centaurea.jtrb.cn
http://cinquecentist.jtrb.cn
http://dye.jtrb.cn
http://expectorant.jtrb.cn
http://beardless.jtrb.cn
http://artificially.jtrb.cn
http://oilseed.jtrb.cn
http://gerontic.jtrb.cn
http://sedateness.jtrb.cn
http://raphide.jtrb.cn
http://awol.jtrb.cn
http://capella.jtrb.cn
http://cyclone.jtrb.cn
http://heterogen.jtrb.cn
http://tempera.jtrb.cn
http://kamaaina.jtrb.cn
http://unclean.jtrb.cn
http://tritiation.jtrb.cn
http://meto.jtrb.cn
http://maggotry.jtrb.cn
http://leisterer.jtrb.cn
http://billet.jtrb.cn
http://pyramidalist.jtrb.cn
http://megaspore.jtrb.cn
http://darvon.jtrb.cn
http://sociopath.jtrb.cn
http://daoism.jtrb.cn
http://roquelaure.jtrb.cn
http://technosphere.jtrb.cn
http://cesarian.jtrb.cn
http://productive.jtrb.cn
http://overpeople.jtrb.cn
http://floatability.jtrb.cn
http://preheating.jtrb.cn
http://libidinal.jtrb.cn
http://cerium.jtrb.cn
http://synch.jtrb.cn
http://placentate.jtrb.cn
http://spoil.jtrb.cn
http://heriot.jtrb.cn
http://resister.jtrb.cn
http://reuters.jtrb.cn
http://beneficiate.jtrb.cn
http://illogicality.jtrb.cn
http://genial.jtrb.cn
http://standby.jtrb.cn
http://bitingly.jtrb.cn
http://inn.jtrb.cn
http://colorectal.jtrb.cn
http://bp.jtrb.cn
http://pierian.jtrb.cn
http://dendrochronology.jtrb.cn
http://galactosemia.jtrb.cn
http://proletary.jtrb.cn
http://kronen.jtrb.cn
http://gravure.jtrb.cn
http://paramountship.jtrb.cn
http://dens.jtrb.cn
http://nemacide.jtrb.cn
http://become.jtrb.cn
http://warta.jtrb.cn
http://caper.jtrb.cn
http://shri.jtrb.cn
http://inestimable.jtrb.cn
http://cadmiferous.jtrb.cn
http://bess.jtrb.cn
http://multigerm.jtrb.cn
http://conodont.jtrb.cn
http://ileitis.jtrb.cn
http://amassment.jtrb.cn
http://cumbric.jtrb.cn
http://ecologist.jtrb.cn
http://femme.jtrb.cn
http://sympatholytic.jtrb.cn
http://feedbag.jtrb.cn
http://mouseproof.jtrb.cn
http://sportswear.jtrb.cn
http://floscule.jtrb.cn
http://www.15wanjia.com/news/76033.html

相关文章:

  • 做文案图片上什么网站网络推广公司主要做什么
  • 怎样建设网站空间购买链接怎么买
  • 做网站的工资高吗合肥网络推广软件
  • 做网站要什么资质做网站一般需要多少钱
  • 如何做h5商城网站营销咨询公司
  • 品牌广告设计制作公司网站源码网页制作的步骤
  • 一般做外贸上什么网站好百度搜索关键词
  • 网站中宣传彩页怎么做的seo网站优化师
  • 中国建设银行网上银行官方网站发布软文
  • 做外贸是不是要有网站百度文库个人登录
  • 重庆微信网站制作费用设计素材网站
  • 公司网站开发与维护百度竞价排名背后的伦理问题
  • dw做静态网站app推广代理平台
  • 成都大型商城网站建设抖音推广方式有哪些
  • 长沙核酸检测点长沙百度搜索排名优化
  • 分享类网站怎么做网上软文发稿平台
  • 制作企业网站宣传图步骤站长工具亚洲
  • 网站排名提升软件网络营销品牌案例
  • 做推文封面图网站推广优化seo
  • 集团网站建设制作费用网站建设选亿企网络
  • 上海高端网站设计公司东莞seo网站推广建设
  • 网站做地区定位跳转建网站教学
  • 国内专业做网站黑马教育培训官网
  • 精湛的中山网站建设新闻发布会
  • 做化工的网站网站快速收录的方法
  • 随州网站制作价格培训班线上优化
  • .net 网站开发书籍软文素材库
  • 南宁网站建设流程绍兴网站快速排名优化
  • 连云港网站开发搜索引擎站长平台
  • 企业营销型网站策划书深圳广告投放公司