Boosting
和Bagging
是两种机器学习提高模型精度的方法,它们都属于集成学习策略,但工作原理有所不同
Boosting
Boosting是一种迭代的方法,它通过结合多个弱分类器来创建一个强分类器。每次训练新的模型时,它会给予之前模型错误分类的数据点更高的权重,这样新模型会更加关注这些难以正确分类的样本
首先训练一个基础模型,然后评估其在训练数据上的表现,对于被分错的样本,在下一轮迭代训练时将被授予更高的权重,使得后续模型更加关注这些样本
上述过程重复多次,每次迭代都会调整样本的权重,并训练一个新的模型,最终所有模型的结果经过加权或者投票得出最终预测
Bagging
Bagging
的全称是Bootstrap Aggregating
,是一种并行的方法,通过创造多个数据子集(有放回抽取)来训练多个模型,然后将这些模型的结果汇总进行投票或取均值得到最终预测,例如随机森林