当前位置: 首页 > news >正文

上海网站制作顾问yande搜索引擎官网入口

上海网站制作顾问,yande搜索引擎官网入口,上海那家网站做的好,设计类的网站和简介1.正则化线性回归 对于线性回归的求解,我们之前推导了两种学习算法:一种基于梯度下降,一种基于正规方程。 正则化线性回归的代价函数为: J ( θ ) 1 2 m [ ∑ i 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 λ ∑ j 1 n θ j 2 …

1.正则化线性回归

对于线性回归的求解,我们之前推导了两种学习算法:一种基于梯度下降,一种基于正规方程。

正则化线性回归的代价函数为: J ( θ ) = 1 2 m [ ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 + λ ∑ j = 1 n θ j 2 ] J(\theta) = \frac{1}{2m} \left[ \sum_{i=1}^{m} \left( h_{\theta}(x^{(i)}) - y^{(i)} \right)^2 + \lambda \sum_{j=1}^{n} \theta_j^2 \right] J(θ)=2m1[i=1m(hθ(x(i))y(i))2+λj=1nθj2]
如果我们要使用梯度下降法令这个代价函数最小化,因为我们未对其进行正则化,所以梯度下降算法将分两种情形:
在这里插入图片描述
上面的算法中𝑗 = 1,2, . . . , 𝑛 时的更新式子进行调整可得:
θ j : = θ j ( 1 − a λ m ) − a 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) \theta_j := \theta_j \left(1 - a \frac{\lambda}{m}\right) - a \frac{1}{m} \sum_{i=1}^{m} (h_{\theta}(x^{(i)}) - y^{(i)}) x_j^{(i)} θj:=θj(1amλ)am1i=1m(hθ(x(i))y(i))xj(i)可以看出,正则化线性回归的梯度下降算法的变化在于,每次都在原有算法更新规则的基础上令𝜃值减少了一个额外的值。

我们同样也可以利用正规方程来求解正则化线性回归模型,方法如下所示:
在这里插入图片描述
图中的矩阵尺寸为 (𝑛 + 1) ∗ (𝑛 + 1)

2.正则化的逻辑回归模型

针对逻辑回归问题,我们在之前已经学习过两种优化算法:我们首先学习了使用梯度下降法来优化代价函数𝐽(𝜃),接下来学习了更高级的优化算法,这些高级优化算法需要你自己设计代价函数𝐽(𝜃)。
在这里插入图片描述
自己计算导数同样对于逻辑回归,我们也给代价函数增加一个正则化的表达式,得到代价函数:
J ( θ ) = 1 m ∑ i = 1 m [ − y ( i ) log ⁡ ( h θ ( x ( i ) ) ) − ( 1 − y ( i ) ) log ⁡ ( 1 − h θ ( x ( i ) ) ) ] + λ 2 m ∑ j = 1 n θ j 2 J(\theta) = \frac{1}{m} \sum_{i=1}^{m} \left[ -y^{(i)} \log \left( h_{\theta}(x^{(i)}) \right) - (1 - y^{(i)}) \log \left( 1 - h_{\theta}(x^{(i)}) \right) \right] + \frac{\lambda}{2m} \sum_{j=1}^{n} \theta_j^2 J(θ)=m1i=1m[y(i)log(hθ(x(i)))(1y(i))log(1hθ(x(i)))]+2mλj=1nθj2
Python 代码:

import numpy as np
def costReg(theta, X, y, learningRate):theta = np.matrix(theta)X = np.matrix(X)y = np.matrix(y)first = np.multiply(-y, np.log(sigmoid(X*theta.T)))second = np.multiply((1 - y), np.log(1 - sigmoid(X*theta.T)))reg = (learningRate / (2 * len(X))* np.sum(np.power(theta[:,1:the
ta.shape[1]],2))return np.sum(first - second) / (len(X)) + reg

要最小化该代价函数,通过求导,得出梯度下降算法为:在这里插入图片描述
注:看上去同线性回归一样,但是知道 h 𝜃 ( 𝑥 ) = 𝑔 ( 𝜃 𝑇 𝑋 ) ℎ_𝜃(𝑥) = 𝑔(𝜃^𝑇𝑋) h𝜃(x)=g(𝜃TX),所以与线性回归不同

http://www.15wanjia.com/news/10309.html

相关文章:

  • 可以自己做网站的软件下载郑州有没有厉害的seo
  • 西安企业建站排名seo运营人士揭秘
  • wordpress 网站制作小璇seo优化网站
  • 做网站和优化共多少钱百度快照推广是什么意思
  • 移动端网站开发流程自媒体人专用网站
  • 台州公司网站建设做seo必须有网站吗
  • 如何直到网站是用什么模板做的关键词优化软件
  • 如何做网站逻辑结构图登封网络推广
  • 网站建设需要学习什么电商运营主要工作内容
  • j2ee做的网站百度问一问付费咨询
  • 做公司网站要那些资料在线工具seo
  • 苹果网站上物体阴影怎么做的网站推广建设
  • 在网站做专题百度搜索工具
  • 怒江网站制作百度站长工具
  • 做汉字词卡的网站app开发工具
  • 加强网站建设的爱站网站排行榜
  • 企业网站开发douyanet外贸网站哪个比较好
  • 代理行业门户网站百度新版本更新下载
  • dw做网站图片运用seo专业培训班
  • 县政府网站建设情况汇报seo推广教程seo高级教程
  • 有什么平面设计的网站余姚关键词优化公司
  • 做软件网站成人电脑培训班附近有吗
  • b2b网站建设方案长沙专业搜索引擎seo公司
  • 连锁店管理网站开发怎么做好推广和营销
  • 专门教人做点心的网站巨量广告投放平台
  • 济南市建设委员会官方网站张雷明履新河南省委常委
  • 网站制作培训班台州网站建设方案推广
  • 淄博网站制作价格低bt磁力猫
  • 江西建设工程信息网站北京疫情最新新闻
  • 服装电子商务网站有哪些济南优化网站关键词