机器学习:梯度Boost决策树

Gradient Boost Decision Tree

GBDT是一个应用很广泛的算法,可以用来做分类、回归。在很多的数据上都有不错的效果。

又称作:MART(Multiple Additive Regression Tree)GBRT(Gradient Boost Regression Tree)Tree Net。

发明者:Friedman。

Gradient Boost其实是一个框架,里面可以套入很多不同的算法。

原始的Boost算法

Boost是"提升"的意思,一般Boosting算法都是一个迭代的过程,每一次新的训练都是为了改进上一次的结果。

在算法开始的时候,为每一个样本赋上一个权重值。初始的时候,大家都是一样重要的。

在每一步训练中得到的模型,会使得数据点的估计有对有错,我们就在每一步结束后,增加分错的点的权重,减少分对的点的权重,这样使得某些点如果老是被分错,那么就会被“严重关注”,也就被赋上一个很高的权重。

等进行了N次迭代(由用户指定),将会得到N个简单的分类器(basic learner),然后我们将它们组合起来(比如说可以对它们进行加权、或者让它们进行投票等),得到一个最终的模型。

Gradient Boost与传统的Boost的区别

每一次的计算是为了减少上一次的残差(residual),而为了消除残差,我们可以在残差减少的梯度(Gradient)方向上建立一个新的模型。

所以说,在Gradient Boost中,每个新的模型的建立是为了使得之前模型的残差往梯度方向减少,与传统Boost对正确、错误的样本进行加权有着很大的区别。

参考: LeftNotEasy博客园

发布了397 篇原创文章 · 获赞 541 · 访问量 255万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览