什么是 EPMs？
基于经验的性能模型是回归模型，用于描述给定算法在不同问题实例和/或参数设置下的性能。这些模型可以预测算法在之前未见过的输入上的性能，包括之前未见过的问题实例和/或之前未测试过的参数设置，并且对于分析算法在不同条件下的表现、为新问题实例选择有希望的配置或作为替代基准测试非常有用。
使用替代基准测试进行高效基准测试
为了能够高效地比较不同的配置算法（包括算法配置和超参数优化），可以使用替代基准测试。我们用 EPM 的预测来代替对真实目标算法的昂贵评估。使用这种方法，我们可以将评估一个配置所需的时间减少到一秒钟以下，并允许进行广泛但计算上可行的经验比较。
K. Eggensperger, M. Lindauer, H. H. Hoos, F. Hutter and K. Leyton-Brown
通过基于模型的替代方案对算法配置器进行高效基准测试
机器学习 (2018)
我们还提供用于训练 EPM 的数据。每个 .tar.gz 包含性能数据、附加信息和文件格式的简短描述
- (MIP) CPLEX on Regions200
- (MIP) CPLEX on RCW
- (SAT) Probsat on 7SAT90
- (SAT) Minisat on randomK3
- (SAT) Clasp on Rooks
- (SAT) Lingeling on Circuitfuzz
- (Planning) LPG on zenotravel
- (Planning) LPG on satellite
- (ASP) Clasp on weighted
- (ML) XGBoost on covertype
- (ML) SVM on MNIST
我们还提供软件来加载和训练 EPM 这里 以及运行来自 AClib 的实验的代码 这里。
以前关于 EPM 的工作（包括 matlab 实现）可以在 这里 (外部网站) 找到