xgBoost的相对功能重要性是否随测试集中的数据点而变化?

Piyush Makhija

我正在研究一个二进制分类数据集,并将xgBoost模型应用于该问题。模型准备好后,我将绘制特征重要性以及底层随机森林所产生的树之一。请在下面找到这些图。

在此处输入图片说明 在此处输入图片说明

问题

  • 如果我使用一个说10个数据点的测试集,那么对于计算该数据点的predict_proba分数,功能的重要性会因数据点而异吗?
  • Taking analogy from CNNs class activation map which varies from datapoint to datapoint, does the ordering and relative importance of each feature remain the same when model runs on multiple datapoints or does it vary?
jared_mamrot

What do you mean by "datapoint"? Is a datapoint a single case/subject/patient/etc? If so;

  1. The feature importance plot and the tree you plotted both relate only to the model, they are independent of the test set. Finding out which features were important in categorising a specific subject/case/datapoint in the test set is a more challenging task (see e.g. XGBoostExplainer / https://medium.com/applied-data-science/new-r-package-the-xgboost-explainer-51dd7d1aa211).

  2. 每个主题/案例/数据点的每个功能的顺序和相对重要性都不同(请参见上文),并且xgboost中没有“类激活图”-分析所有数据,并且认为“不重要”的数据不起作用最终决定。

编辑

XGBoostExplainer的进一步示例: example_1.png

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

使用机器学习的数据集中特征的重要性?

来自分类Dev

具有更多功能重要性的XGBoost功能会降低准确性

来自分类Dev

XGBClassifier的功能重要性

来自分类Dev

XGBClassifier的功能重要性

来自分类Dev

根据数据点sql的重要性过滤BigQuery中的数据

来自分类Dev

分类中重要性的变化

来自分类Dev

XGBoost软件包中的功能得分(/重要性)如何计算?

来自分类Dev

lightgbm的重要性类型“拆分”与xgboost中的重要性类型“权重”相同吗?

来自分类Dev

scikit adaboost功能_重要性_

来自分类Dev

计算功能重要性的值

来自分类Dev

(Caret)包中的功能重要性

来自分类Dev

每个模式的功能重要性

来自分类Dev

XGBOOST:无法翻转轴的重要性-特征图

来自分类Dev

使用OneHotEncoded功能计算功能重要性

来自分类Dev

“这个”的重要性

来自分类Dev

“这个”的重要性

来自分类Dev

枚举的重要性

来自分类Dev

如何在R中执行测试的字段重要性

来自分类Dev

expss软件包中的重要性测试行

来自分类Dev

scikit-learn参考要求:树的功能重要性

来自分类Dev

使用adaboost在sklearn中的功能重要性

来自分类Dev

如何找到功能对逻辑回归模型的重要性?

来自分类Dev

MLR随机森林多标签获得功能重要性

来自分类Dev

使用adaboost在sklearn中的功能重要性

来自分类Dev

scikit-learn参考要求:树的功能重要性

来自分类Dev

数据库名称长度的重要性

来自分类Dev

定量数据集的重要性检验(Python Pandas)

来自分类Dev

如何在XGBOOST中获得正确的特征重要性图?

来自分类Dev

R plot,用线条粗细来传达信息的相对重要性