马克威决策树

马克威操作说明

以数据文件“马克威通用数据1.mkw”为例，演示决策树算法的操作。首先，在工作区内，打开建模分析工作流：“机器学习”→“决策树”，接着选择模型的训练或应用，然后选择数据源，并设置算法参数，最后双击运行按钮。具体的操作如下：

（1）模型训练

首先输入目标变量“目标变量”，响应变量为“变量1”、“变量2”、“变量3”、“变量4”、“变量5”、“变量6”，剪枝方法为“不剪枝”，将变量类型设置为“整型”，树生产方法为“信息熵”，输入变量如下所示，并选择保存模型的路径，设置如下图所示：

选项说明

决策树运行结果树如下图：

结果说明

从决策树图中可以看出，由顶到底可以有许多通路，每一个分枝路径都是一个规则。

（2）模型应用

完成模型训练后，可以应用模型对数据进行预测分析，选择“模型应用”标签，并选择模型来源，将模型变量与数据变量进行匹配，如下图：

选项说明

通过运行预测过程，得到结果如下：

数据要求

输入变量类型：整型、字符型。

算法用途

决策树是一种基本的分类与回归方法。决策树分类器具有很好的准确性，已被成功的应用于许多的应用领域的分类，如医学、制造和生产、金融分析、天文学与分子生物学等；具体的包括欺诈监测、针对销售、性能预测、制造和医疗整段。决策树是许多商业规则归纳系统的基础。

算法原理

决策树（Decision Tree）是应用于分类的一种树结构。其中的每个内部节点（internal node）代表对某个属性的一次测试判别，一个分枝代表一个测试结果，叶子（leaf）代表某个类（class）或者类的分布（class distribution）。最顶层的节点是根结点。可以将决策树理解为一个if-then规则的集合，由决策树的根节点到叶节点的每一条路径构建一条规则。

决策树学习算法包含特征选择、决策树的生成和决策树的修剪过程，构造决策树的方法是采用自上而下的递归构造。

构造的思路是，如果训练样本集合中的所有样本是同类的，则将之作为叶子节点，节点内容即是该类别标记。否则，根据某种策略（如信息熵或GINI系数）选择一个属性，按照属性的各个取值，把样本集合划分为若干子集合，使得每个子集上的所有样本在该属性上具有同样的属性值，然后再依次递归处理各个子集。这种思路实际上就是“分而治之”的道理。

信息增益算法：

设是个样本的集合，具有个不同的类别。设是类的样本数，那么对给定的样本分类所需要的经验熵为：

其中为任意样本属于类的概率，并用估计。

设属性具有个不同的值，可以用属性将集合划分为个子集，其中包含中属性上取值的一些样本。令是子集中类的样本数。根据划分成子集的经验熵为：

当熵值越小，子集划分的纯度越高。

在属性A上分枝将获得的信息增益为：

通过比较每个特征的信息增益值，并比较它们的大小，选择信息增益最大的特征。

结果与解释

输出结果：