海洋网络做网站不负责网络营销推广方法十种
一、决策树模型（Decision Tree Model)
椭圆形代表决策节点（decison nodes)，矩形节点代表叶节点（leaf nodes)，方向上的值代表属性的值，
构建决策树的学习过程：
第一步：决定在根节点上的特征（也就是第一个分开样本的特征）
第二步：决定在内部节点上的特征（第二个、第三个分开样本的特征）
第三步：顺着特征写出特定的值的输出值
第一个问题：如何选择在每个节点上使用划分的特征呢？
尽量要保持最大的纯度（Maximize purity)，纯度代表说，尽可能能直接完成分类（也就是尽量把这几个类的子集分开）
第二个问题：什么时候停止划分？
1. 当一个节点能百分百判断一个类的时候
2.当划分节点将会导致树超过最大深度时
3. 想避免过拟合时
二、测量纯度（Measuring purity)
熵：对一组数据不纯度的衡量
熵函数一般用H(p_1)表示
可以看到，当样本集是五五开的时候，这条曲线是最高的，也就是熵最大。
相反，如果样本集里都是猫或者都是狗的话，熵为0.
熵函数的方程：
