自动超参数优化 (HPO) 可以帮助从业者在机器学习模型中获得最佳性能。然而，通常缺乏关于不同超参数对最终模型性能影响的宝贵见解。这种可解释性的缺乏使得难以信任和理解自动 HPO 过程及其结果。我们建议使用可解释机器学习 (IML) 从使用贝叶斯优化 (BO) 进行 HPO 获得的实验数据中获取见解。BO 倾向于关注具有潜在高性能配置的有希望的区域，从而导致采样偏差。因此，许多 IML 技术，例如部分依赖图 (PDP)，都存在产生有偏差解释的风险。通过利用 BO 替代模型的后验不确定性，我们引入了一种带有估计置信带的 PDP 变体。我们建议对超参数空间进行划分，以在相关子区域获得更可信和可靠的 PDP。在一项实验研究中，我们提供了增加子区域内 PDP 质量的定量证据。
参考文献
Julia Moosbauer, Julia Herbinger, Giuseppe Casalicchio, Marius Lindauer, Bernd Bischl
通过部分依赖图解释超参数优化
收录于：国际自动化机器学习 (AutoML) 会议论文集，ICML’21