自动化算法配置方法最近在人工智能社区受到了广泛关注,因为它们取代了繁琐、不可重复且容易出错的手动参数调整,并且可以带来新的最先进性能。然而,算法配置的实际应用容易受到实验设计中一些(通常是微妙的)陷阱的影响,这些陷阱会使该过程无效。我们确定了一些常见问题,并提出了避免这些问题的最佳实践,包括一个名为 GenericWrapper4AC 的工具,用于通过以标准化、受控的方式执行算法,防止在测量正在优化的算法性能时出现许多可能的问题。
参考文献
- 算法配置中的陷阱与最佳实践 (在 Arxiv 上)
本文实验的数据和脚本:BestPracticeExperiments.tar
