AutoML.org

弗莱堡-汉诺威-图宾根

多保真度 HPO

日益增长的数据量和模型复杂度使得在有限的计算或时间预算内找到合理的配置变得更加困难。多保真度技术通常使用廉价(可能存在噪声)的评估代理来近似真实值,从而大大提高超参数优化方法的效率。例如,我们可以使用数据集的一个小子集,或者只训练几轮的深度神经网络。

我们的软件包

  • Auto-sklearn 在 2.0 版本中通过使用多保真度优化提高了效率。
  • Auto-Pytorch 从一开始就被设计为一种多保真度方法,并展示了它对于自动机器学习的重要性。
  • SMAC 实现了 BOHB 的方法,通过结合 Hyperband 作为一种多保真度方法和贝叶斯优化。
  • DEHB 用差分进化取代 Hyperband 中的随机搜索,以展示其在多保真度超参数优化方面的强大性能 [博客]。