各位老铁们，大家好，今天由我来为大家分享使用SHAP 进行特征选择和超参数调整，以及的相关问题知识，希望对大家有所帮助。如果可以帮助到大家，还望关注收藏下本站，您的支持是我们最大的动力，谢谢大家了哈，下面我们开始吧！
特征选择和超参数调整是每个机器学习任务中的两个重要步骤。在大多数情况下，它们有助于提高性能，但缺点是时间成本高昂。参数组合越多，或者选择过程越准确，持续时间就越长。这是我们实际上无法克服的物理限制。我们能做的就是充分利用我们的管道。我们面临着不同的可能性，最方便的两种是：
结合调优和特征选择；使用SHAP（Shapley Additive exPlanations）使整个过程更加通用和准确。将调整过程与特征的最佳选择相结合可能是每个基于排名的选择算法的最佳解决方案。排名选择涉及迭代地删除不太重要的特征，同时重新训练模型，直到实现收敛。用于特征选择的模型可能与用于最终拟合和预测的模型不同（在参数配置或类型上）。这可能会导致性能不佳。例如，RFE（递归特征消除）或Boruta 就是这种情况，其中一种算法按不同重要性选择的特征由另一种算法用于最终拟合。
当我们使用基于排名的算法执行特征选择时，SHAP 会有所帮助。我们不使用梯度提升生成的默认变量重要性，而是选择最佳特征，例如具有最高shapley 值的特征。由于基于本地树的特征重要性存在偏差，因此使用SHAP 的好处是显而易见的。标准方法往往会高估连续或高基数分类变量的重要性。这使得在特征发生变化或类别数量发生变化的情况下重要性的计算变得不可信。
为了克服这些缺点，我们开发了shap-hypetune：一个用于同时调整超参数和特征选择的Python 包。它允许在单个管道中将超参数调整和特征选择与梯度增强模型结合起来。它支持网格搜索或随机搜索，并提供排名特征选择算法，例如递归特征消除（RFE）或Boruta。其他增强功能包括提供使用SHAP 重要性进行特征选择的可能性。
在本文中，我们演示了在执行监督预测任务时使用shap-hypetune 的实用性。我们尝试搜索最佳参数配置，同时选择带有（和不带有）SHAP 的最佳特征集。我们的实验分为三个试验。给定分类场景中的数据集，我们首先通过优化参数来拟合LightGBM。然后，我们尝试使用默认的基于树的特征重要性来操作标准RFE，同时优化参数。最后，我们做同样的事情，但使用SHAP 来选择特征。为了让事情变得更有趣，我们使用不平衡的二元目标和一些具有高基数的分类特征。
参数调优
在第一部分中，我们计算训练集的拟合度，仅搜索最佳参数组合。最佳模型的精度高于0.9，但我们的测试数据的召回率较低。
参数调优+特性选择
一般来说，特征选择用于从原始数据集中去除噪声预测因子。我们使用递归特征消除（RFE）来找到最佳参数集。换句话说，对于每个参数配置，我们在初始训练数据上迭代RFE。可以通过配置适当的参数来加速生成，例如提前停止，或设置更大的步长，同时删除较差的特征。验证集中得分最高的管道将被存储并准备在推理时使用。
在这种情况下，我们记录了整体改进，但召回率和F1 分数仍然很低。
参数调整+SHAP特征选择
最后，我们重用了相同的流程，但使用了SHAP 的RFE。 SHAP 与基于树的模型结合使用时非常有效。它使用树路径方法来跟踪树并提取每个叶子下的训练样本数量以提供后台计算。它也不太容易过度自信，因为我们可以计算验证集的重要性，而不是训练数据的重要性（如经典的基于树的重要性）。
我们看到召回率和F1 分数显着提高。 SHAP 能够处理低质量的分类特征，并且只保留最好的预测变量。
原创文章，作者：小su，如若转载，请注明出处：https://www.sudun.com/ask/111945.html
用户评论
有些人,只适合好奇~
看完这篇文章真是长见识了！SHAP我之前只知道是用来解释模型结果的，没想到还可以在特征选择和超参数调优上这么强大！感觉要赶紧把这个技术学一学！
有16位网友表示赞同！
拉扯
说得好！用SHAP进行特征选择的确比传统的特征重要性分析法更加直观易懂。我以前也常常遇到超参数调优的难题，现在看来SHAP或许能帮到我们呢！期待以后有更多的实践案例。
有7位网友表示赞同！
尘埃落定
这篇文章介绍得非常全面，从理论概念到实际运用都说得清清楚楚。作为一个数据分析新手，第一次了解到SHAP在特征选择和超参数调优方面的应用，感觉学习起来还是比较容易的。
有18位网友表示赞同！
◆乱世梦红颜
我觉得用 SHAP 进行超参数调优虽然有效，但也比较耗时间，对于一些大型模型来说可能不太现实。还需要考虑其他的优化算法结合使用才能提高效率吧！
有5位网友表示赞同！
限量版女汉子
这篇博客真是太有实用价值了！我一直在寻找高效的特征选择和超参数调优方法，SHAP确实很有潜力。以后可以尝试把它应用到我的项目中看看效果。
有8位网友表示赞同！
哭着哭着就萌了°
虽然 SHAP 的理论基础比较复杂，不过这篇文章解释得非常清晰，我作为一个机器学习小白也能理解。希望有更多实战案例来帮助我们更好地掌握它的运用技巧。
有6位网友表示赞同！
见朕骑妓的时刻
文章内容很棒，能帮我进一步了解 SHAP 除了解释模型外还可以用来进行特征选择和超参数调优，让我思路更加开阔了！
有6位网友表示赞同！
巴黎盛开的樱花
这篇文章说的很清楚，SHAP 在特征选择方面确实能提供比传统的指标更直观的帮助。但是我觉得作者对超参数调优部分的讲解可以再详细一些，比如具体哪些超参数可以借助 SHAP 调优等。
有18位网友表示赞同！
孤岛晴空
我已经在项目中使用了 SHAP 进行模型解释了，这篇博客让我了解到它还有其他强大的应用场景！非常期待把 SHAP 集成进我的开发流程。 真的太赞了!
有13位网友表示赞同！
猫腻
我感觉 SHAP 虽然很强大，但是对于一些规模庞大的数据集来说，计算时间还是一个问题需要考虑的啊！
有14位网友表示赞同！
呆萌
这篇文章让我对 SHAP 有更深入的理解啦！它不仅可以解释模型结果，还能帮助我们进行特征选择和超参数调优，简直太强大了！
有14位网友表示赞同！
颜洛殇
我一直在学习机器学习，这篇文章正好解答了我关于SHAP应用的一些疑惑。作者讲解得很详细，让我对 SHAP 的特性和优势更加了解。
有5位网友表示赞同！
哥帅但不是蟋蟀
看完这篇博客感觉像打开了新的世界大门！之前接触到很多特征选择和超参数调优的方法，但是从未听说过利用 SHAP 来实现的，真是太神奇了！
有7位网友表示赞同！
予之欢颜
对于一些复杂模型，SHAP 可以提供更加直观有效的解释结果，可以让我们更好地理解模型背后的机理。而且它还可以帮助我们进行特征选择和超参数调优，提高模型的性能。这篇文章写的很实用!
有18位网友表示赞同！
巷雨优美回忆
虽然 SHAP 有很多优点，但在使用过程中需要注意一些问题，比如数据的预处理、算法的选取等。希望以后的文章能更加深入地探讨这些方面。
有11位网友表示赞同！
不相忘
SHAP 在解释模型方面确实表现得很好，但我觉得它在实际应用过程中，需要结合其他的方法来进行特征选择和超参数调优，才能更有效地解决问题。
有8位网友表示赞同！
迷路的男人
这篇文章让我对 SHAP 进行了全面的理解，从基础理论到应用案例都有所涉及。我已经迫不及待想尝试运用 SHAP 来提升我的机器学习项目!
有19位网友表示赞同！