您确定要删除吗?

取消
首页 算法大全 应用模型 分析软件 算法学院数据中心 关于本站
在线咨询
400-820-6981
意见反馈
返回顶部

决策树学习的常见问题(五):处理不同代价的属性

发布时间:2017-03-31

在某些学习任务中,势力的属性可能与代价相关。例如,在学习分类疾病时,我们可能以这些属性来描述患者:体温、活组织切片检查、脉搏、血液化验结果等。这些属性在代价方面差别非常大,不论是所需的费用还是患者要承受的不适。对于这样的任务,我们将优先选择尽可能使用低代价属性的决策树,仅当需要产生可靠的分类时才以来高代价属性。

通过引入一个代价项到属性选择度量中,可以是ID3算法考虑属性代价。例如,我们可以用信息增益除以属性的代价,以使低代价的属性会被优先选择。虽然这种代价敏感度量不保证找到最优的代价敏感决策树,但它们确实使搜索偏置到有利于低代价属性。

Tan & Schlimmer(1990)和Tan(1993)描述了一种这样的方法,并把它应用到机器人感知任务中。在这个任务中,机器人必须根据这些物体如何能被它的机械手抓住,从而学会分辨不同的物体。这种情况下,属性对应于机器人身上的移动声纳获得的不同传感器读数。属性的代价通过定位或操作声纳来获取属性值所需的秒数来衡量。他们证明,通过用下面的度量代替信息增益属性选择度量,学到了更加有效的识别策略,同时没有损失分类的精度。

Nunez1988)中描述了一种有关的方法,并把它应用到学习医疗诊断规则上。这里属性是具有不同代价的不同症状和化验测试。它的系统使用了稍有不同的属性选择度量:

  其中,w[01]是以这个常熟,决定代价对信息增益的相对重要性。Nunez1991)针对一系列任务给出了这两种方法的经验对比。