Boosting（AdaBoost）

基本思想 一轮轮训练弱分类器、把被前一轮分错的样本权重调高让后续分类器更重视这些难样本，最后再按各分类器的准确度加权投票把它们组合成一个强分类器。 算法步骤 输入：训练数据集 T={(x_1,y_1),(x_2,y_2),\cdot\cdot\cdot(x_n,y_n)}，其中x_i \in \ch

机器学习——集成学习

集成学习简介 基本思想 集成学习指的是把多个“弱学习器”（weak learners，单个表现一般但比瞎猜好一点的模型）组合起来，形成一个“强学习器”（整体表现明显更好、泛化能力更强的模型）。 这些弱学习器又是又被成为“个体学习器”，不同的个体学习器和这些个体学习器的不同的集成方式决定了不同的集成学

机器学习-支持向量机

一、什么是支持向量机 支持向量机（SVM） 主要用于解决模式识别领域中的数据分类问题；找到一个最优超平面（Hyperplane），不仅能正确分类样本，还能让两类样本到超平面的间隔最大化（Margin）。 图中黑色实线称为决策超

机器学习-决策树

一、什么是决策树 我们看下面这个生活中的例子： 一个女生正在面临择偶的判断，最终的决策是：进一步了解（Yes/No），她往往从如下方面进行考虑（年龄、颜值、收入、价值观匹配度） 这很像一棵树对不对，根据属性对数据一步一步进行筛选（划分），从而达到符合条件的值。