【笔记】吴恩达第二章 单变量线性回归

Angie ·
更新时间:2024-09-21
· 532 次阅读

目录

 

2.1 模型表示

2.2 代价函数(cost function)

2.3 梯度下降

2.1 模型表示

Notation:

m = Number of training examples

x = input variable

y = output variable

(x,y)  = one single training example

图中h为Hypothesis function:

                                                       h_{\theta }(x) = {\theta}_{0}+{\theta}_{1}x

其中{\theta}_{i}为parameters of model

由训练集通过学习算法得到h_{\theta }(x),我们希望h_{\theta }(x)尽可能地逼近真实值y,即

                                                     \mathop {\min }\limits_{\theta_0,\theta_1}\quad (h_{\theta}(x)-y)^2

在样本中,我们选取一个代价函数(cost function,又称square error function 平方误差函数)J({\theta_0,{\theta_1}}),使得

                                                     \mathop {\min }\limits_{\theta_0,\theta_1}\quad J({\theta_0,{\theta_1}})

代价函数的一种取法为最小二乘法,即

                                            J({\theta_0,{\theta_1}})=\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{i})-y^{i})^2

2.3 梯度下降

目标:得到满足如下要求的{\theta_0},{\theta}_1

                                                    \mathop {\min }\limits_{\theta_0,\theta_1}\quad J({\theta_0,{\theta_1}})

方法之一:梯度下降算法(Gradient descent algorithm)

                                          

                

其中,\alpha为learning rate,决定每步沿梯度方向下降多少。


作者:KIANDA



吴恩达 回归 线性 线性回归 变量

需要 登录 后方可回复, 如果你还没有账号请 注册新账号