我们能否用上下文学习取代 BO 中的 GP？ 当然可以。我们使用仅利用上下文学习提供训练值的 PFN，在各种基准测试中实现了强大的实际性能。这是我们在 ICML ‘23 论文 PFNs4BO：用于贝叶斯优化的上下文学习 中的发现。
我们的模型仅在先验数据上进行训练，即我们没有在真实数据上对其进行微调。由于我们的模型在底层是简单的 Transformer，因此我们可以非常灵活地使用它们。在这项工作中，我们使用了其他后验近似方法中先前不可用的两种先验。
我们甚至展示了如何允许用户通过向模型提供最优位置的先验来事后更改训练模型的先验。如果用户设置合理的先验，可以显著提高性能。
最后，我们展示了如何将知识梯度学习函数直接构建到神经网络中。如果您想在自己的 BO 问题上尝试我们的模型，只需 pip install pfns4bo。我们的文档和训练代码可以在 https://github.com/automl/PFNs4BO 找到
我们的模型目前存在重要的局限性。 i) 优化函数的参数数量上限为 18 个参数。 ii) 我们的评估非常侧重于以准确率为指标的 HPO。 iii) PFN 往往在较小的上下文中表现更好。因此，我们将训练限制为 50 次评估。