贝叶斯优化

HPO问题的损失地形通常是未知的（例如，我们需要求解一个黑盒函数）且评估成本高昂。贝叶斯优化 (BO) 被设计为用于昂贵黑盒函数的全局优化策略。BO 首先使用代理模型估计目标损失地形的形状，然后建议在下一轮迭代中评估的配置。通过基于代理模型权衡利用和探索，它以其样本效率而闻名。

我们的软件包

• SMAC是一个用于优化算法超参数并实现不同的代理模型、采集函数和模型转换的通用工具。
• BOHB实现了一种TPE变体作为BO方法。

我们的工作

• JES (Joint Entropy Search) 是BO的一种新的基于信息论的采集函数。
• 树状帕森估计器 (TPE) 的扩展
  • c-TPE 展示了如何在BO中将约束应用于流行的TPE模型，用于HPO。
  • MO-TPE 元学习一个多目标TPE，赢得了AutoML-conf 2022中针对Transformer的多目标HPO 竞赛。