全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 R语言论坛
5394 1
2012-08-12
悬赏 20 个论坛币 已解决
    之前ltx5151大神帮我解答了关于boosting的疑惑,现在在看gradient boosting的时候,又有一些问题不太明白。
    对于gradient boosting的了解,先看了斯坦福的网上教程 http://v.163.com/movie/2008/1/B/O/M6SGF6VB4_M6SGHJ9BO.html,gradient descent,了解了一下梯度下降的原理,就是对代价函数(损失函数)求导,找到损失函数梯度下降最大的方向,乘以步长,一步一步的达到收敛,即达到代价函数的局部最优解,由于代价函数设置为平方差的形式,最优解只有一个。
    然后在过来看楼主推荐的大牛friedman的文章,http://www-stat.stanford.edu/~jhf/ftp/stobst.pdf。看到第五个公式的时候,又迷惑了,然后找到这个公式的出处,同样是大牛friedman的,《Greedy Function Approximation:A Gradient Boosting Machine》,里面讲对这个公式进行参数优化:
是为了找到梯度下降最大的方向,我的疑问是里面的已经求了一次导了,为梯度方向,那这一步的意义又在哪?有什么数学含义啊?
    困扰了好久,求大神帮助。

最佳答案

ltx5151 查看完整内容

这里面讨论的是在training sample的情况下进行逼近。在此之前,作者讨论的在function space的概念,但是这里要具体讨论如何在有限样本上使用。每个g_m(x_i)都是对应的梯度函数(scaled by step length)在样本x_i上的实现。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2012-8-12 16:37:46
这里面讨论的是在training sample的情况下进行逼近。在此之前,作者讨论的在function space的概念,但是这里要具体讨论如何在有限样本上使用。每个g_m(x_i)都是对应的梯度函数(scaled by step length)在样本x_i上的实现。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群