在多保真度超参数优化 (HPO) 的背景下，每个保真度会产生不同的学习曲线。学习曲线的一个例子是准确率随训练轮次的变化过程。在实践中，人类专家通常依赖观察到的学习曲线来停止表现不佳的配置。本研究旨在利用相同的信息来加速 HPO 方法。具体而言，我们提出贝叶斯模型来将观察到的学习曲线外推到更高的保真度。通过估计更高保真度下的配置性能，我们可以有效地丢弃不有希望的运行。
我们的工作
- 通过学习曲线外推加速深度神经网络的自动超参数优化 介绍了，据我们所知，第一个实用的贝叶斯学习曲线预测，它依赖于通过马尔可夫链蒙特卡洛训练的一组参数递增函数。
- LCNet 扩展了前述工作，以纳入超参数配置。
- LC-PFN 采用元学习视角，利用在人工数据上预训练的 Transformer。