关于神经网络架构搜索（NAS）的文献一直以来都非常关注优化架构以实现单一目标——模型的预测性能。然而，还有其他重要的考量，例如为了部署在更小、功能较弱的硬件上而减小模型尺寸。NAS 也需要大量的计算资源。
在我们 2019 年 ICLR 论文《通过拉马克进化实现高效多目标神经架构搜索》中，我们同时解决了这些挑战。LEMONADE (Lamarckian Evolutionary algorithm for Multi-Objective Neural Architecture DEsign) 采用了一种进化算法，该算法利用网络形变（NM）和近似网络形变（ANM）作为变异策略来生成新的架构变体，并维护一个模型的帕累托前沿。形变在增加模型尺寸的同时保持其功能映射，而近似形变则在近似其功能映射的同时缩小模型尺寸。这些形变消除了从头开始训练新生成的子模型的需要。
为了指导进化过程，我们将模型的目标分为“廉价”任务或“昂贵”任务。廉价任务涉及评估资源需求，而昂贵任务则与评估预测性能相关。我们的方法利用廉价评估来识别有前景的候选模型，以便进行更耗费资源的评估，从而节省大量的计算成本。
