基准测试本身就常常充满挑战，并伴随着许多陷阱。在动态算法配置 (DAC) 中，由于目标算法和 DAC 控制器需要紧密配合才能在运行时控制超参数，这种挑战被进一步放大。设计这种接口涉及许多设计决策，包括定义成本函数、超参数范围、运行时统计信息、交互点等等。因此，即使对于单个目标算法，也存在许多难以比较的控制方式，更不用说比较不同 DAC 方法在不同目标算法和领域中的难度了。
DACBench 通过标准化目标算法和 DAC 控制器之间的交互动态和接口，以及提供一种方便的方式来调整、记录和共享设计决策，来缓解这种可比性问题。它还提供了廉价的替代问题，这些问题为算法提供了测试平台，并且高度可配置，可以深入了解 DAC 控制器，而这些在复杂且不透明的目标算法上是无法实现的。这些包括离散和连续的超参数空间、许多实例操作的可能性以及针对 DAC 问题特定属性的基准测试。
DAC 控制器与 DACBench 的交互
DACBench 中的实际基准测试包括深度学习、人工智能规划或进化计算等不同领域。这些基准测试具有广泛的难度和运行时间，既提出了开放的挑战，也提供了进一步改进现有解决方案方法的工具。
总而言之，DACBench 促进了跨领域的公平方法比较，确保了先前工作的可重复性，并为未来的基准测试提供了模板。
如果您有兴趣尝试解决这些基准测试，可以在 GitHub 上找到 DACBench。有关更多信息，请查看我们的 博客文章、YouTube 频道 或 IJCAI 2021 论文。
参考文献
- T. Eimer 和 A. Biedenkapp 和 M. Reimer 和 S. Adriaensen 和 F. Hutter 和 M. Lindauer
DACBench：动态算法配置基准库
载于：国际人工智能联合会议 (IJCAI’21) 论文集