在这里，我们将概述一些常用的、广为人知的超参数优化 (HPO) 工具（其中只有少数几个是我们开发的）。 这绝不是一个完整的列表。 如果您认为列表中缺少某个工具，请告知 我们。
贝叶斯优化
贝叶斯优化 (BO) 被认为是一种针对昂贵黑盒函数的先进方法，因此已被广泛应用于不同的 HPO 工具中。
Spearmint 是第一个成功的用于 HPO 的开源贝叶斯优化工具之一。
SMAC3 以优化复杂和结构化的空间（例如，优化整个机器学习流水线）而闻名，其基于 RF 代替模型。
Hyperopt 是一种使用 Parzen 估计器树 (TPE) 实现的分布式 HPO 工具。
Scikit-optimize 是一个构建在 scikit-learn (sklearn) 之上的 BO 工具。
Bayesian Optimization 是一种（受约束的）全局优化工具。
HyperMapper 是一种 BO 工具，支持处理未知的约束和多目标优化。
OpenBox 是一个通用的黑盒优化框架，包括 HPO，并支持多目标优化、多保真度、提前停止、迁移学习和并行 BO。
Dragonfly 是一个开源的 Python 库，用于可扩展的 BO，具有多保真度和多目标优化功能。
GPflowOpt 是一个使用 GPflow 和 Tensorflow 的 BO Python 工具。
BoTorch 是一个使用 GPyTorch 和 PyTorch 进行 BO 的工具。
TurBO 是一种可扩展的 BO 工具，用于大规模并行 HPO 问题，具有大量的函数评估。
进化算法
进化算法 (EA) 是另一种流行的黑盒优化框架，因为 EA 可以轻松并行化，并且每次迭代的时间不会随着评估次数的增加而增加。
DEHB 将多保真度优化（例如 Hyperband 中的优化）与差异评估相结合。
DEAP 是一个新颖的进化计算框架，具有许多流行的 EA 实现。
Nevergrad 是一个无梯度优化平台。 Nevergrad 实现了不同的 EA，以满足不同问题的要求。
专家先验支持的算法
PriorBand 将 Hyperband 中的随机抽样替换为一系列抽样策略，包括从用户先验中抽样。
通用 HPO 工具
在这里，我们将介绍一些实现 BO 和 EA 方法的工具
Optuna 是一个自动 HPO 框架，允许动态构建搜索空间。
Oríon 是一个用于黑盒函数优化的异步框架。
Ray Tune 是一个可扩展的 HPO 框架，允许使用上述几种框架作为优化器。