如何驯服AI大模型这头“能耗巨兽”？半导体企颐魅这样做

宣布时间：2023-12-02 22:50来源：中国电子报、电子信息工业网

AIGC及其背后的大模型，是不折不扣的“能耗巨兽”。在安排大模型的历程中，AI事情负载带来的功耗和本钱挑战，已然成为工业链的“阿喀琉斯之踵”。近期，蚂蚁集团联合多所高校宣布的《围绕绿色盘算生长机缘的一项视察》指出，绿色步伐、节能人工智能、节能盘算系统和可连续生长的人工智能用是构建绿色盘算的四个要害，强调了人工智能的节能降耗关于盘算工业的意义。与此同时，恩智浦、英特尔、英伟达等半导体企业也在积极应对大模型带来的能耗挑战，从架构立异、软硬件协同计划、网络平台等多个层面，为大模型安排提质降耗。

用“小脑”给“大脑”解压半导体厂商的架构立异要领论

大模型作为近年来最重要的新兴盘算场景，对芯片的算力和内存需求都提出了极大挑战。北京大学集成电路学院研究员贾天宇向《中国电子报》记者体现，在古板摩尔定律难以为继的配景下，半导体企业需要通过利用架构设计、制造工艺、先进封装等多个层级协同的设计手段来满足大模型的盘算需求。例如，通过接纳异构盘算、存算一体、三维堆叠等先进盘算理念降低芯片的能耗，提高简单芯片的性能和能效。别的，针对大模型的大算力需求，芯片的可扩展性也变得尤为重要。重视多芯片的系统级扩展和互联技术，也成为半导体企业技术研发中不可忽视的重要内容。

“在控制大模型带来的能耗和本钱方面，半导体企业可以通过优化盘算架构、提升能效等步伐，降低大模型的能耗和本钱。但针对大规模的大模型训练，需要与软件生态、数据中心建设等多环节配合，配合为企业和开发者提供更具本钱效益的解决计划。”贾天宇说。

如贾天宇所说，架构立异素来被视为实现芯片技术突破的发动机。在采访中，多家半导体企业卖力人都向记者论述了基于架构立异和优化为大模型增效降耗的思路。

恒久以来，人工智能及其热门应用经常被喻为“大脑”，好比自动驾驶被喻为“车轮上的大脑”。可是，人脑并不是仅仅依靠大脑事情，脑干、小脑也担负了许多任务，好比控制心跳和体温，坚持身体的稳定性、协调性等。如果人在走路时被绊了一下，小脑会基于条件反射立刻控制身体站稳，之后大脑才会剖析被绊到的原因并决策如何应对。如果大脑时刻在线，进行所有的决策和控制，人体就很难担负大脑需要的能量。

比照包括大脑、小脑、脑干的人脑系统，恩智浦半导体执行副总裁兼首席技术官Lars Reger为记者描述了一种越发高效节能的盘算体系：以AI算力芯片为“大脑”，进行高效能的盘算和加速；以网关处理器为 “小脑”，实现差别功效区的互联和集成，以及异构网络中的数据处理；以MCU、感知芯片、联网芯片作为“脑干”，实现感知和实时任务处理。

“有的车厂CEO告诉我们，由于能耗的问题，他们不得不降低汽车的续航，这主要是因为现有的技术架构不敷高效。所以在开发系统时，我们要确保在正常运行的情况下，不需要时刻激活大脑的功效，只要小脑就可以了。好比我们在开车的时候，更多是基于平时的规则和训练下意识地驾驶，只有遇到挑战的时候才需要用到大脑。”Lars Reger向《中国电子报》记者体现。

据悉，恩智浦已经将这套盘算理念集成到了智能驾驶的技术架构中，架构中“小脑”和“脑干”部分由恩智浦的技术来包管的。S32G作为网关处理器，饰演小脑的角色；S32K等用于车身各部分控制的MCU、S32R等传感芯片、S32Z等域控制和区域控制芯片以及以太网连接产品，配合组成“脑干”，以应对能耗对续航的局限和挑战。别的，恩智浦即将推出最新的5纳米级旗舰产品，能够把数据从车辆传输到控制单位。

随着最新算法走随时提供软硬件协同计划

随着业界对大模型的研发和安排逐步深入，新的压缩、调优方法层出不穷，从算法和框架层面实现对大模型的提效降耗。但算法、框架的更新，需要半导体厂商实时跟上，提供相应的软硬件协同计划，才华实现新算法、新框架的安排。

好比，大模型的调优方法，正在从完全微调走向越发简捷、低功耗的微调方法。蚂蚁集团联合多所高校宣布的《围绕绿色盘算生长机缘的一项视察》（以下简称视察）提到，古板的调优方法会微调所有模型参数，使通用大型语言模型适应特定的目标任务，这一历程称为完全微调。然而，当大模型的参数规模从百万、千万向数亿乃至万亿规模生长，完全微调会带来更长的程序代码运行时间和高昂的存储本钱。为了解决这个问题，越发简捷的微调要领已成为大模型的研究热点。好比PEFT（高效参数微调）仅更新模型参数的子集或附加的�？�，使大模型适配下游任务，以降卑微调所需的盘算和存储资源；基于提示的微调则训练大模型凭据特定提示或指令生成响应，引导大模型做出更理想的决策和行动。由于无需添加更多的训练数据，基于提示的微调能节省大宗的时间和本钱，以实现越发绿色的盘算。

围绕基于提示的微调等最新微调方法，英特尔基于AI加速引擎和配套的软件工具，进一步减少了微调所需的事情量。第四代英特尔至强可扩展处理器中内置了矩阵乘法加速器AMX，能够更快速地处理 BFloat16 (BF16) 或 INT8 数据类型的矩阵乘加运算，从而提升模型训练和推理的性能。尤其关于ChatGLM-6B等在开源微调代码中支持CPU 自动混淆精度的大模型，开发者在启动微调时加入 CPU 自动混淆精度的使能参数，就可以直接利用矩阵乘法加速器提升大模型的微调盘算速度。

英特尔院士、大数据技术全球CTO戴金权向《中国电子报》记者体现，解题大模型功耗和本钱压力的要害，是凭据差别大模型的最新技术需求，提供软硬件协同的支撑计划。

“我们可以通过提供跨平台的XPU架构和开放的AI软件架构及优化，为预训练、微调、推理等差别的AI和大模型应用，提供高效的开发安排平台。”戴金权告诉记者。据他介绍，英特尔在硬件架构方面，正在基于Gaudi AI加速器，数据中心Max GPU，内置AMX加速的第四代至强处理器，以及边沿和客户端处理器为用户提供XPU异构盘算支持。在软件架构层面，英特尔和社区在PyTorch、DeepSpeed、HuggingFace Transformers等开源项目开展相助，加入了在Intel XPU平台上的众多优化。同时，英特尔的开源软件工具IPEX、BigDL、INC、OpenVINO等，对大模型提供专门的支持和加速。

加速与降耗并行打造越发节能的基础设施

数据中心是AIGC和大模型主要的基础设施之一，也是节能技术的重点发力领域。随着全球的热点IT应用地区都在强调绿色数据中心，如何在降低能耗的同时释放更高效能，成为英伟达、AMD等数据中心芯片供应商的必答题。

围绕数据中心的减碳需求，AMD宣布了到2025年为人工智能训练和高性能盘算应用程序带来30倍能效提升的目标。据AMD测算，30倍的能效提升将在2025年节省数十亿千瓦时的电力，使系统在五年内完成单次盘算所需的电力减少97%。这一方面需要焦点制程的提升，另一方面需要架构的革新和技术的立异来提高算力。好比基于一颗第三代AMD EPYC效劳器处理器和四个AMD Instinct MI250x GPU的加速节点，AMD实现了在2020年的基准水平之上提高6.79倍能效。

英伟达也将加速盘算作为减少功耗的主要战略。加速库是英伟达加速盘算的焦点，目前英伟达面向盘算机视觉、数据处理、机械学习和 AI 等领域结构了300 个加速库和 400 个 AI 模型。

除了提升盘算单位的能效，盘算单位组成的AI集群，也对数据中心的整体功耗有着重要影响。在盘算单位互联以构建AI集群，以及集群、设备互联构建AI盘算网络的历程中，会爆发大宗网络数据。若接纳古板的以太网架构，会导致数据流的拥塞和延迟，使系统无法有效利用GPU，从而提升了大模型训练的时间和本钱。

在网络平台层面，英伟达推出专门面向AI负载的以太网架构Spectrum-X。该架构基于内置Spectrum-4 AISC芯片的交换机与Blue-Field DPU，提升AI集群的资源利用和数据传输效率。在对GPT-3的训练中，NVIDIA Spectrum-X 网络平台相比古板以太网网络架构，实现了的 1.7 倍的加速效果。尤其针对数据中心常用的功率封顶步伐，Spectrum-4 ASIC能够简化网络设计，提高了每瓦的性能，资助数据中心控制网络功率预算。

从盘算架构的革新，软硬件计划的更新，到基础设施算力和互联方法的迭代，半导体厂商正在从多个维度缓解大模型带来的能耗压力。而大模型的到来，也在倒逼算力系统的立异，为基础软硬件的各个节点带来新的市场时机。

上一篇五问全球半导体产能

下一篇全球半导体公司研发支出TOP12：美国把持

分享到：

yh533388银河

如何驯服AI大模型这头“能耗巨兽”？半导体企颐魅这样做

如何驯服AI大模型这头“能耗巨兽”？半导体企颐魅这样做