自动化机器学习支持用户、开发者和研究人员快速开发新的机器学习应用。然而，AutoML 工具的输出结果并不总是能被人类直觉或专家知识轻松解释，因此专家有时对 AutoML 工具缺乏信任。因此，我们开发方法来提高 AutoML 系统的透明度和可解释性，从而增加对 AutoML 工具的信任，并从原本不透明的优化过程中获得有价值的见解。解释 AutoML 的方法包括：
- 超参数重要性：哪些超参数（或其他设计决策）对提高机器学习系统的性能具有全局重要性？ [Hutter et al. 2014, Watanabe et al. 2023]
- 自动消融研究：如果一个 AutoML 工具从给定的配置开始（例如，由用户或所用机器学习算法的原始开发者定义），与 AutoML 工具返回的配置相比，哪些变化对实现观察到的性能提升至关重要？ [Biedenkapp et al. 2017]
- 超参数效应可视化：如何可视化改变超参数设置的效果，包括局部和全局效果？ [Hutter et al. 2014, Biedenkapp et al. 2018, Moosbauer et al. 2021]
- 采样过程可视化：AutoML 工具在何时以及为何在配置空间的哪些区域进行采样？我们可以在那里期望什么样的性能？ [Biedenkapp et al. 2018]
- 超参数效应的符号化解释： 如何获得描述超参数对最终模型性能影响的简单、可解释的公式？ [Segel et al. 2023]
除了从 AutoML 中获取见解之外，与 AutoML 交互以向用户提供进一步的指导，以找到好的解决方案也很重要。例如，一些专家对良好的超参数设置区域形成了直觉。
- 人类对最优值的先验知识： 如何让贝叶斯优化有效地利用用户对最优值的先验知识来指导其搜索？ [Souza et al. 2021, Hvarfner et al. 2022] 是否可以有效地且稳健地在多保真度优化中使用对最优值的知识？ [Mallik et al. 2023]
相关博客文章