神经网络结构搜索（NAS）是一个在不断进步的领域，但将其应用于各种数据集和搜索空间时，仍然会遇到显著的计算开销和有限的泛化能力。我们发表在 ICLR 2023 的论文“基于元学习贝叶斯代理的迁移 NAS”（Transfer NAS with Meta-Learned Bayesian Surrogates）旨在通过在数据集和网络架构的组合空间中采用贝叶斯优化来解决这些问题。这种方法利用了架构在不同数据集上的性能的先验知识，同时确保了对架构空间的探索。
所提出的方法利用基于 transformer 模型的集合编码器来编码数据集，一个图神经网络来编码架构，以及一个全连接神经网络来学习这些表示的联合嵌入。这些组件共同构成了深度核，用于在数据集和神经网络架构的联合空间中执行贝叶斯优化。来自深度核的嵌入被送入高斯过程代理，以进行标准的贝叶斯优化。
迁移 NAS (TNAS) 在即时性能和最终性能方面均表现出色，超越了传统的 HPO 方法，如赢得 2020 年 NeurIPS 黑盒优化挑战赛的 HEBO，以及适应 NAS 的 HPO 方法，如 BANANAS 和 NASBOWL。它在运行时方面也与一次性方法具有竞争力，并且鲁棒性更强。
在这项工作的未来扩展中，不仅可以纳入架构嵌入和数据集元特征之间的交互，还可以纳入训练管道的超参数配置。众所周知，这些超参数配置对给定架构的性能有影响。