今天根据ToDo List看了一篇文章： Web-Search Ranking with Initialized Gradient Boosted Regression Trees, A. Mohan, Z. Chen & K. Weinberger; 14:77–89, 2011. 正好Jiawang同学有一篇读书笔记，有兴趣的可以去看看，我这里引用一段： 主要将Random Forests(RF)和Gradient Boosted Regression Trees(GBRT)做了一个sequence的combine.他们用RF得到了非常不错的效果，甚至比GBRT还要好。他们最后所用的方法是先用 RF学习一个ranking function, 用这个ranking function的输出去初始化GBRT，做一个sequence ...

我们知道与集成学习有关的方法（感觉不能为理论，方法比较好）效果一般来说都会有一点点提高，当然你想本质的提高需要解决本质的问题。集成学习差不多的东西像是Adaboost几个若分类器通过不同的w集成在一起，还有Multiple kernel learning多核学习，也可以看做一种集成，问题在于就是怎么学习到最好的集成权重。这个可以迭代方法就可以解决了。在参数比较多的情况下，确定参数的方法也很多。 这里不谈论机器学习领域的，我是想的在互联网和移动互联网的领域，怎么把一些流行好用的互联网元素集成起来，当然不能做...

Ensemble Learning现在基本上就叫集成学习。相关的概念有上面说的多模型系统（这 实际上在很大程度上对应了机器学习里面的多专家混合）、Committee Learning、 Modular systems、多分类器系统等等。这些概念相互之间有非常密切的联系，但仔细 来说还是有些区别。问题是对这些概念的界定，目前并没有什么共识，有时不同的人在 用不同的术语说同一个东西，也有时是用同一个术语说不同的东西，所以区别也只能是 各说各话了。个人认为，集成学习一个非常重要的性质就是个体学习器是为同一个问题 进行学习，这与分而治...

多分类器，顾名思义，多个分类器进行集成学习，用多个机器学习算法进行训练和集成。一篇论文中已经证明其效果肯定比任何一个要好。好多少？在于度量。 多个机器学习算法怎么集成，有一定的原则： 1、各个分类器性能不能太差，正确率都保证在50%以上； 2、各个分类器的原理最好不要重叠或者重叠尽量的少； 举个例子：人的识别-人脸分类器、指纹分类器、声音、虹膜、步态等等，几个分类器集成之后，正确率肯定很高了，当然，效率有待于你怎么去优化。SVM一般就很慢，看你怎么用了，LIbsvm 听说比较快。 关于分类器的...