可微分架构搜索 (DARTS) 因其概念的简洁性和有效性而在 NAS 社区广受赞誉。为了将离散空间放宽为连续空间，DARTS 线性组合不同的操作选择以创建混合操作。之后，可以应用标准梯度下降法在该放宽的架构空间中进行优化。
在我们 2020 年的 ICLR 论文 RobustDARTS 中，我们识别并研究了导致 DARTS 产生退化架构的故障模式。通过计算验证损失对架构参数的 Hessian 矩阵，我们可以使用其特征值作为指标来提前停止搜索或在 DARTS 中对一次性模型进行更多正则化，从而产生更鲁棒的 DARTS 版本。
值得关注的后续工作
– SmoothDARTS (ICML 2020)
– 重新思考可微分 NAS 中的架构选择 (ICLR 2021)
– DARTS- (ICLR 2021)
– Lambda-DARTS (ICLR 2023)