今天根据ToDo List看了一篇文章：

Web-Search Ranking with Initialized Gradient Boosted Regression Trees, A. Mohan, Z. Chen & K. Weinberger; 14:77–89, 2011.

正好Jiawang同学有一篇读书笔记，有兴趣的可以去看看，我这里引用一段：

主要将Random Forests(RF)和Gradient Boosted Regression Trees(GBRT)做了一个sequence的combine.他们用RF得到了非常不错的效果，甚至比GBRT还要好。他们最后所用的方法是先用 RF学习一个ranking function, 用这个ranking function的输出去初始化GBRT，做一个sequence 的combine, combine的结果要比他们单独的结果都要好。他们最后分析也认为，分类能比回归得到更好的效果，这个结论和[7]相同，很值得尝试。从他们的结果 看，RF和GBRT的combine还是很有意义的，RF的一些优点在最后的model中都有体现，比如对parameter choice不敏感，不容易过拟合等。RF和GBRT的combine也解决了一个GBRT的缺点，因为GBRT是一个gradient boosting的方法，这一类方法存在一个trade-off, 就是step size和迭代轮数之间。如果要达到真正的global minimum, step size就必须很小，迭代轮数就必须增大，通过与RF的combine，对这个问题有所缓解，RF给了GBRT一个接近终点的start point, 这样即使step size比较小，也能比较快的结束迭代。

从表层意义上来说，是RF和GBRT的一种互补的集成。

文章是Proceedings of the Yahoo! Learning to Rank Challenge June 25, 2010, Haifa, Israel 里面的，其中还有几篇文章值得你去读读：

Proceedings of the Yahoo! Learning to Rank Challenge
June 25, 2010, Haifa, Israel

• Olivier Chapelle, Yi Chang:
  Yahoo! Learning to Rank Challenge Overview. 1-24
  

Contributed papers

• Christopher J. C. Burges, Krysta Marie Svore, Paul N. Bennett, Andrzej Pastusiak, Qiang Wu:
  Learning to Rank Using an Ensemble of Lambda-Gradient Models. 25-35
  
• Róbert Busa-Fekete, Balázs Kégl, Tamás Éltetö, György Szarvas:
  Ranking by calibrated AdaBoost. 37-48
  
• Pierre Geurts, Gilles Louppe:
  Learning to rank with extremely randomized trees. 49-61
  
• Andrey Gulin, Igor Kuralenok, Dmitry Pavlov:
  Winning The Transfer Learning Track of Yahoo!'s Learning To Rank Challenge with YetiRank. 63-76
  
• Ananth Mohan, Zheng Chen, Kilian Q. Weinberger:
  Web-Search Ranking with Initialized Gradient Boosted Regression Trees. 77-89
  

Afterword

• Olivier Chapelle, Yi Chang, Tie-Yan Liu:
  Future directions in learning to rank. 91-100
  

其中不乏有Ensemble、trees以及Boost的字眼儿，这些都实际上是体现了集成的思想，优势互补嘛。Ensemble、Fusion以及多分类器系统等，我感觉大的层面上原理是一样的，将weak的部分联合起来，构成strong的整体，达到更好的效果。

其实这几年的大赛，KDD cup、netflix、视觉领域的VOC、以及Yahoo的去年的学习排序和今年的音乐推荐的比赛，最后结果较好的一半都是采用集成的思想。

集成真的是挺好用的，当然在详细了解每种方法的基础上，做集成，应该更有效果。如果对每种方法不了解，或者投票也不失为一种方法。

竞赛中，出了对症下药，也别忘了集成。

您可能也喜欢：
Yahoo发起排序学习（Learning To Rank）竞赛	Yahoo! Learning to Rank Challenge的总结	在新的划时代的机器学习框架诞生之前，关注下“集成学习(Ensemble Learning)”	目前对Learning to Rank 最全面的总结	迁移学习(Transfer Learning)TL
无觅

相关文章

• Yahoo! Learning to Rank Challenge的总结 (2)
• 由集成学习引申到互联网元素集成 (0)
• Yahoo发起排序学习（Learning To Rank）竞赛 (4)
• 在新的划时代的机器学习框架诞生之前，关注下“集成学习(Ensemble Learning)” (2)
• 关于多分类器(系统)集成以及其性能(MCS) (0)

The winners are

Track 1:

• 1st place: Chris Burges, Krysta Svore, Ofer Dekel, Qiang Wu, Paul Bennett, Andrzej Pastusiak, John Platt [Microsoft Research]
• 2nd place: Eric Gottschalk [Activision Blizzard], David Vogel [Data Mining Solutions]
• 3rd place: Dmitry Pavlov, Cliff Brunk [Yandex Labs]
• 4th place: Daria Sorokina [Yandex Labs]

Track 2:

• 1st place: Igor Kuralenok [Yandex]
• 2nd place: Ping Li [Cornell University]
• 3rd place: Dmitry Pavlov, Cliff Brunk [Yandex Labs]
• 4th place: Pierre Geurts [Uuniversity of Liege]

Congratulations to all of the winners!

Workshop和ICML2010一起办的：

Organizers

Olivier Chapelle, Yahoo! Labs
Yi Chang, Yahoo! Labs
Tie-Yan Liu, Microsoft Research Asia

Program

您可能也喜欢：
Yahoo发起排序学习（Learning To Rank）竞赛	目前对Learning to Rank 最全面的总结	集成在竞赛中的作用	一些machine learning的网站总结	R机器学习包
无觅

相关文章

• Yahoo发起排序学习（Learning To Rank）竞赛 (4)
• 集成在竞赛中的作用 (0)
• 除了垂直，就是聚合 (4)
• KDD Cup 2011：音乐推荐 (4)
• [贴图] 当下，之流行 (15)

竞赛将公布两个之前从未发布的真实数据形成的数据集。第一个数据集包括29921个请求，744692个URL地址，519个特征。第二个数据集包括6330个请求，172870个URL地址，596个特征。竞赛的任务是根据训练集中的数据构造一个排序函数，对验证集和测试集中URL地址进行排序。
第1至4名优胜者将分别获得8000，4000，2000，1000美元，并将被邀请参加ICML 2010大会。
更多详细信息参见：Learning to Rank Challenge"

From:Solidot

您可能也喜欢：
Yahoo! Learning to Rank Challenge的总结	Pattern Recognition and Machine Learning	机器学习全球公开课-Machine Learning	迁移学习(Transfer Learning)TL	经典回顾–谈谈机器学习(Machine Learning)大家
无觅

相关文章

• Yahoo! Learning to Rank Challenge的总结 (2)
• 迁移学习(Transfer Learning)TL (6)
• ICML2007上的两篇文章：Boosting for transfer learning和Self-taught learning (7)
• 集成在竞赛中的作用 (0)
• 机器学习全球公开课-Machine Learning (6)
• ICML2011的一些摘要 (0)
• 一些machine learning的网站总结 (6)
• 读ICML2007的一篇文章：Boosting for Transfer Learning (10)
• Transfer Learning Resources – 迁移学习的一点资料 (2)
• 经典回顾–谈谈机器学习(Machine Learning)大家 (7)