AutoML 是一项资源和时间消耗大的任务,导致了巨大的环境足迹。因此,找到智能方法来节省资源并减少 AutoML 的碳排放至关重要,这被称为绿色 AutoML。一方面,可以使 AutoML 方法本身更高效,例如使用数据压缩、零成本 AutoML、能源感知目标函数、多保真度评估或智能提前终止。另一方面,可以搜索节能管道,例如具有模型大小约束、节能架构或模型压缩。总而言之,一个重要的问题出现了:如何处理节省下来的资源?非常直接,可以提前终止,从而将节省的时间和资源以某种方式赠与地球。另一方面,可以使用(已经预算的)时间进一步搜索更好的候选管道。无论如何,量化环境足迹是绿色 AutoML 领域内任何研究的基础。这项非平凡的任务可以根据 CPU / GPU 小时的数量来近似,这可以通过合适的 工具轻松获得。
用于可持续发展的 AutoML
AutoML 也可以用于可持续应用,从而搜索性能良好的机器学习管道,并最大限度地减少其碳排放。一个例子是使用 AutoML 进行塑料垃圾检测 [Theodorakopoulos et. al. 2023]。
参考文献
- Tanja Tornede, Alexander Tornede, Jonas Hanselle, Marcel Wever, Felix Mohr, and Eyke Hüllermeier
迈向绿色自动化机器学习:现状与未来方向
In: arXiv:2111.05850 (2021) - Roy Schwartz, Jesse Dodge, Noah A. Smith, and Oren Etzioni
绿色人工智能
In: arXiv:1907.10597 (2019) - Aimee van Wynsberghe
可持续人工智能:用于可持续发展的 AI 以及 AI 的可持续性
In: AI Ethics 1.3 (2021), pp. 213–218. doi: 10 . 1007/s43681-021-00043-6 - Alexandre Lacoste, Alexandra Luccioni, Victor Schmidt, and Thomas Dandres
量化机器学习的碳排放
In: arXiv:1910.09700 (2019) - David Patterson, Joseph Gonzalez, Urs Hölzle, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David R. So, Maud Texier and Jeff Dean
机器学习训练的碳足迹将会达到平台期,然后下降
In: Computer 55.7 (2022), pp. 18–28. - Renbo Tu, Nicholas Roberts, Vishak Prasad, Sibasis Nayak, Paarth Jain, Frederic Sala, Ganesh Ramakrishnan, Ameet Talwalkar, Willie Neiswanger, and Colin White
用于气候变化的 AutoML:行动呼吁
In: NeurIPS 2022 应对气候变化与机器学习研讨会 (2022) - Daphne Theodorakopoulos, Christoph Manss, Frederic Stahl, and Marius Lindauer
用于塑料垃圾检测的绿色 AutoML
In: ICLR: 应对气候变化与机器学习研讨会, 2023
工具
- Victor Schmidt, Kamal Goyal, Aditya Joshi, Boris Feld, Liam Conell, Nikolas Laskaris, Doug Blank, Jonathan Wilson, Sorelle Friedler, and Sasha Luccioni
CodeCarbon:估算和跟踪机器学习计算的碳排放
In: Zenodo (2021). doi: 10.5281/ zenodo.4658424 - Lasse F. Wolff Anthony, Benjamin Kanding, and Raghavendra Selvan
Carbontracker:跟踪和预测深度学习模型训练的碳足迹
In: arXiv:2007.03051 (2020) - Omar Shaikh, Jon Saad-Falcon, Austin P. Wright, Nilaksh Das, Scott Freitas, Omar Isaac Asensio, and Duen Horng Chau
EnergyVis:交互式跟踪和探索机器学习模型的能源消耗
In: CHI ’21: CHI 人机交互大会 (2021), doi: 10.1145/3411763.3451780
