为了使超参数优化 (HPO) 的研究民主化并获得可比的经验结果，利用基准测试至关重要。
HPOBench
为了支持 HPO 中可重复的研究，发布了 100 多个真实、表格和代理基准测试，并提供了容器化版本。
JAHS-Bench-201
JAHS-Bench-201 是联合架构和超参数搜索 (JAHS) 的基准测试，它是神经架构搜索和超参数优化的结合。它是 JAHS 的第一个代理基准测试集合，旨在促进对多目标、成本感知和多保真度优化算法的研究。JAHS-Bench-201 在架构和超参数轴上覆盖更大的空间，其中一些超参数是连续的，并且在评估中存储 20 个指标，比任何以前的基准测试都多。它还完全支持多种保真度、目标和任务。JAHS-Bench-201 旨在使 JAHS 的研究民主化，并降低进入计算密集型领域的门槛。
Bansal, A., Stoll, D., Janowski, M., Zela, A., & Hutter, F. (2022). JAHS-Bench-201: A Foundation For Research On Joint Architecture And Hyperparameter Search. In Proceedings of the 36th Conference on Neural Information Processing Systems (NeurIPS 2022) [pdf]
LCBench
学习曲线基准测试 包含多个表格基准测试，其中包含在各种 OpenML 数据集上训练不同超参数的神经网络的每个 epoch 的学习曲线。
ACLib
ACLib是一个用于算法配置的基准测试集合