深度学习 (DL) 取得了许多成功，但为给定的数据集找到合适的模型仍然是一个挑战——尤其是在预算有限的情况下。将 DL 模型适应于新问题可能需要大量的计算资源，并且需要全面的训练数据。在表格数据上，AutoML 解决方案，如 Auto-SkLearn 和 AutoGluon 效果非常好。然而，目前还没有一个等效的方案能够选择视觉或自然语言处理中的预训练深度模型，并配合正确的微调超参数。我们结合 AutoML、元学习 和 预训练模型，提供两种不同的解决方案，可以根据数据集的特征自动选择最佳 DL 流程：ZAP 和 Quick-Tune。
使用预训练模型的零样本 AutoML (ZAP)
Quick-Tune：快速学习应该微调哪个预训练模型以及如何微调
与 ZAP 相关，Quick-Tune 还提出了一种高效的方法来选择合适的模型及其微调超参数，但通过元学习的多保真度性能预测器来实现。与 ZAP 相比，Quick-Tune 还使用训练学习曲线来获得一个复杂的性能预测器。我们通过实验表明，我们的方法可以快速从包含 24 个深度学习模型的模型中心选择一个高性能的预训练模型，并确定其最佳超参数，以用于新的数据集。
您可以在我们的完整 arxiv 论文 (目前正在 NeurIPS 2023 评审中) 中阅读所有详细信息。