我们需要谈论AI的能源标签

文章 (28) 2021-03-26 11:01:12

人工智能(AI)可以将狗和猫区分开来,但是这样做所需的数十亿次计算需要大量的能量。人脑仅使用这些能量的一小部分就可以做同样的事情。这种现象会激发我们开发更节能的AI系统吗?

我们的计算能力呈指数增长,这使得人工智能得以广泛使用,该技术依赖于处理大量数据以识别模式。当我们使用我们最喜欢的流服务的推荐算法时,我们通常不会意识到其背后的巨大能耗。处理数据所需的数十亿次操作通常在数据中心内进行。所有这些计算消耗大量的电能。尽管数据中心对可再生能源进行了大量投资,但仍有很大一部分电力依赖化石燃料。人工智能应用程序的普及显然有一个弊端:生态成本。

为了更好地了解总足迹,我们应该考虑两个因素:训练和推理。首先,需要通过标记的数据集训练AI模型。在此训练阶段使用更大的数据集的日益增长的趋势导致能耗的爆炸性增长。马萨诸塞大学的研究人员计算出,在训练自然语言处理模型的过程中,排放了284公吨的二氧化碳。这相当于五辆汽车在其整个生命周期(包括建筑)中的排放量。科技巨头开发的某些AI模型(科学文献中未曾报道过)可能会发出更大的信号。

培训阶段只是AI模型生命周期的开始。一旦对模型进行了训练,就可以为现实世界做好准备:在新数据中找到有意义的模式。这个过程称为推理,会消耗更多的能量。与训练不同,推理不是一次性的。推理是连续发生的。例如,每当语音助手被问到一个问题并产生答案时,就会释放出多余的二氧化碳。在大约一百万次推理事件之后,影响将超过训练阶段。这个过程是不可持续的。

训练和推理通常都在数据中心内进行。这意味着,除了计算所涉及的能量之外,我们还应考虑将数据从设备发送到数据中心再发送回来的传输能量。我们是否可以通过将推理过程移植到捕获数据的设备来避免部分流量呢?除了节省大量能源外,在紧急决策至关重要的情况下(例如,自动驾驶汽车的图像分类),我们还可以节省时间。

从隐私和安全性的角度来看,分散数据处理也是一个好主意-如果您的个人信息永远不会离开您的手机,那么它就不会被截获。通过将情报带到数据收集设备,您甚至不需要Internet连接。那么,是什么让我们无法实现设备上的推断呢?好吧,当今的推理处理器太耗电了,无法用于电池供电的边缘设备,因为它们首先是为性能和精度而不是能源效率而设计的。

一线希望?开发全新的旨在显着提高能源效率的硬件体系结构的研究正在迅速开展。查找是在新的内存中计算体系结构中完成的,它利用了最先进的逻辑和内存组件。

在高能效的加速器上运行低效的算法将消除硬件的优势。因此,我们还需要开发节能算法。这不仅对于设备上的推理是必需的,而且在数据中心的AI算法的推理或训练过程中,减少了计算数量。

为了解决这个问题,我们可以从自己的本性中汲取灵感。如果您是一名优秀的网球运动员,那么学习壁球只是一小步。同样,我们可以将在一个域中训练的现有AI模型转移到相邻域中。训练后,我们可以通过应用压缩策略来进一步减少计算量。最吸引人的一项是网络修剪技术-我们“修剪”对最终结果影响不大的所有参数。剩下的就是具有相同功能但更小,更快和更节能的算法。

借助这种压缩策略,计算量已经可以减少30%到50%。此后,更多基于应用程序的技术将帮助我们进一步提高效率。这样,除了硬件方面的考虑之外,仅通过优化AI模型,我们就已经可以收回超过90%的电量。

通过使它们适应硬件的特殊性,我们可以进一步提高算法的效率。我们可以独立进行这两个开发,但是最大的收益就是协同优化。为了创建真正节能的AI系统,我们需要一种集成的方法,该方法必须结合数据使用,硬件和软件方面的创新。

尽管AI研究界将重点放在这些创新上,但消费者却无法弄清他们每天实际使用的AI系统有多“绿色”。如果该行业提供与使用推荐或图像识别算法有关的碳排放量的估计值,则意识将得到提高。

决策者已经为家用电器,车辆和建筑物引入了能源标签,从而在能源效率方面投入了更多的资金。为AI驱动的应用程序和系统引入能源标签可能会产生类似的效果。

 

THE END

发表评论