神经网络架构搜索

神经网络架构搜索 (NAS) 自动化了神经网络架构设计的过程。NAS 方法优化网络的拓扑结构，包括如何连接节点以及选择哪些操作符。用户定义的优化指标可以包括准确性、模型大小或推理时间，以获得特定应用的最佳架构。由于搜索空间极其庞大，传统的基于进化或强化学习的 AutoML 算法往往计算成本高昂。因此，近期关于该主题的研究侧重于探索更高效的 NAS 方法。特别是，最近开发的基于梯度和多保真度方法为这些方向的研究提供了有前景的途径并推动了研究进展。我们团队一直积极开发最先进的 NAS 方法，并走在推动 NAS 研究前沿。我们总结了我们团队最近发布的一些重要工作 –

精选 NAS 论文

文献综述

NAS 是 AutoML 蓬勃发展的子领域之一，论文数量正在迅速增加。为了提供近期趋势的全面概述，我们提供以下资源：

• NAS 综述论文 [JMLR 2020]
• 我们开放获取的书籍《AutoML：方法、系统、挑战者》中的NAS 章节
• 一个持续更新的页面，包含全面的 NAS 文献综述
• 一个 GitHub 仓库，记录 NAS 和 Transformer 交叉领域的最新工作 awesome-transformer-search

一次性 NAS 方法

• 理解并增强可微分架构搜索的鲁棒性 [ICLR 2020，口头报告]

神经网络架构的元学习

• MetaNAS：用于小样本学习的神经网络架构元学习 [CVPR 2020]

神经集成搜索

• 用于不确定性估计和数据集漂移的神经集成搜索 [NeurIPS 2021]

• 多头神经集成搜索 [ICML 2021, UDL Workshop]

联合 NAS 和超参数优化

• 迈向自动化深度学习：高效联合神经网络架构和超参数搜索 [ICML 2018, AutoML Workshop]
• 用于多目标联合神经网络架构搜索和超参数优化的基线包 [ICML 2021, AutoML Workshop]

多目标 NAS

• LEMONADE：通过拉马克进化实现高效的多目标神经网络架构搜索 [ICLR 2019]
• 用于多目标联合神经网络架构搜索和超参数优化的基线包 [ICML 2021, AutoML Workshop]

特定应用的 NAS

• 计算机视觉中密集预测任务的神经网络架构搜索

NAS 方法的大规模研究

我们的博客

另请查看有关相关工作的博客文章