沃卡logo

生成式AI的成本和可持续性

2023-03-21来源:

  人工智能(AI)对于任何平台(包括公共云)而言都是资源密集型的技术。大多数AI技术都需要大量的推理计算,因而提高了对处理器、网络和存储资源的需求,最终增加了电费、基础设施成本和碳排放量。​

  ChatGPT等生成式AI系统的崛起再次将这个问题推到了前台。考虑到这项技术大行其道,加上公司、政府和公众可能广泛使用该技术,可以预料耗电量增长曲线会呈现出令人担忧的弧线。​

  AI自20世纪70年代以来一直切实可行,但考虑到成熟完备的AI系统需要大量的资源才能正常工作,最初并没有多大的商业影响。我记得我在20多岁时设计的基于AI的系统需要超过4000万美元的硬件、软件和数据中心空间才能让它运行起来。顺便说一下,该项目与其他许多AI项目一样从未迎来发布日期,商业方案根本就不可行。​

  云计算改变了这一切。借助公共云,曾经难以企及的任务现在能够以足够显著的成本效益来处理。事实上,您可能已经猜到了,云计算的兴起与过去10年到15年AI的兴起相得益彰,我要说现在两者休戚相关。​

  云资源的可持续性和成本

  其实不需要做太多的研究就能预测到这个领域会发生什么。市场对AI服务的需求将会飙升,比如现在非常流行的生成式AI系统以及其他AI和机器学习系统。引领这股热潮的将是通过创新寻求优势(比如智能供应链)的企业,或者甚至是成千上万希望生成式AI系统来撰写学期论文的大学生。​

  对AI的需求加大意味着对这些AI系统使用的资源的需求随之加大,比如公共云及其提供的服务。这一需求很可能会由更多容纳服务器和网络设备这些耗电大户的数据中心来满足。​

  公共云提供商就像任何其他公用资源提供商一样,会随着需求的增加而提高价格,就像我们看到民用电费季节性上涨一样(同样基于需求)。因此,我们通常控制用电量,在夏天将空调的温度开得高一点。​

  然而,更高的云计算成本可能不会对企业产生同样的影响。企业可能会发现这些AI系统并非可有可无,而是驱动某些关键业务流程所必需的。在许多情况下,它们可能会试图在内部节省资金,可能会采用减少员工数量以抵消AI系统的成本这种手段。生成式AI系统很快将取代许多信息工作者绝非什么秘密。​

  我们能做些什么呢?

  如果对运行AI系统的资源的需求会导致更高的计算成本和碳排放量,我们能做些什么呢?答案或许在于找到更高效的方法让AI充分利用处理器、网络和存储等资源。​

  比如说,对流水线进行采样可以通过减少处理的数据量来加快深度学习。麻省理工学院(MIT)和IBM的研究表明,使用这种方法可以减少在大型数据集上运行神经网络所需的资源。然而这也限制了准确性,这对于一些商业用例而言是可以接受的,但不是对所有商业用例而言都可以接受。​

  另一种已经在其他技术领域应用的方法是内存中计算。这种架构可以通过避免数据进出内存来加快AI处理速度。相反,AI计算直接在内存模块中运行,这大大加快了速度。​

  其他方法正在开发中,比如改变物理处理器(使用协处理器处理AI计算以提高速度)或者采用量子计算等下一代计算模型。可以预料,大型公共云提供商会在近期纷纷宣布能够解决许多这些问题的技术。​

  您该怎么办?

  本文倒不是说要避免AI,以降低云计算费用或拯救地球。AI是一种基础性的计算方法,大多数企业都可以利用它来创造巨大价值。​

  建议您在进行基于AI的开发项目或全新的AI系统开发项目时,应清楚地了解成本和可持续性方面的影响,两者密切相关。您必须做出成本/效益选择,这实际上回到了老话题:投入所需的成本、冒一定的风险后,可以为公司带来什么样的价值。这方面没什么新意。​

  我相信,这个问题基本上有望通过创新得到解决,无论创新是内存中计算、量子计算还是其他尚未出现的技术。AI技术提供商和云计算提供商都热衷于让AI更具成本效益和更节能环保,这是好消息。​

  图片使用申明:原创文章图片源自‘Canva可画’平台免费版权图片素材;引用文章源自引用平台文章中所使用的原图。