元学习旨在改进跨不同任务或数据集的学习，而不是专注于单一任务或数据集。这使得元学习在一系列任务和应用中都很有用，例如用于热启动 HPO 和 NAS、学习跨不同任务实例的动态超参数策略或直接学习如何学习。
HPO 和 NAS 中的元学习
通过使用元学习在任务之间迁移知识（例如学习搜索空间中有前景的区域），可以显著提高超参数优化和神经架构搜索的效率。这可以通过使用数据集的元特征或基于许多数据集的性能数据构建元模型来实现。
这方面的例子可在以下内容中找到
性能预测
由于许多 AutoML 研究的评估成本非常高，我们开发了近似配置方法性能的方法，以提高 AutoML 的整体效率和可访问性。这种效率的提高既可以涉及 AutoML 优化器，也可以涉及 AutoML 方法的基准测试。
我们的一些性能预测研究
算法配置
在算法配置中，我们开发了为给定算法找到性能良好的超参数配置的方法。与 HPO 不同，这些配置必须在一组任务上表现良好，而不仅仅是在单个任务上。在这种设置下，任务的例子包括交叉验证的不同划分，以及一般的各种问题实例，例如布尔公式或 MIP 实例。
我们关于算法配置的工作包括
动态算法配置 (DAC)
DAC 专注于学习动态超参数调度而非静态值。由于这比传统 HPO 显著扩大了搜索空间，DAC 通常计算成本更高，但也充分利用了超参数设置的潜力，从而带来了更好的系统。为了尽可能广泛地高效学习和应用 DAC 模型，元学习是 DAC 的一个关键组成部分。
DAC 和相关的元学习方法
学习如何学习 (L2L)
在学习如何学习中，整个手动设计的学习过程被一种数据驱动的学习方法取代，该方法在许多不同的任务中进行学习，例如不同的数据集或不同的网络架构。例如，与手动设计的 SGD 更新不同，L2L 系统会学习如何更新神经网络的权重。
我们对 L2L 的应用
博客文章
也请查看我们关于元学习工作的博客文章