首页 > 聚焦 >

高通押注混合AI,终端侧或将运行100亿参数模型

发表时间:2023-06-25 12:08:31 来源:物联网智库

2022年末,美国人工智能公司Open AI推出了ChatGPT对话模型,迅速风靡全球并快速迭代,其在不到4个月后又发布了能力更强大的GPT-4,而后乘胜追击,推出了联网和第三方应用插件功能,不断刷新人们对生成式AI强大能力的认知。毫无疑问,生成式AI带来的巨大机遇将成为业界变革的转折点。


(资料图片)

然而,随着生成式 AI 模型使用量和复杂性的不断增长,仅在云端进行推理并“不划算”,因为包括硬件、场地、能耗、运营、额外带宽和网络传输在内的数据中心基础设施成本也将持续增加。而将一些处理从云端转移到边缘终端,则可以减轻云基础设施的压力并减少开支。这也是为何混合 AI 对生成式 AI 的规模化应用至关重要。

高通技术公司作为终端侧AI领导者,面向包括手机、汽车、XR头显与眼镜、PC和物联网等在内的数十亿边缘终端,可以提供行业领先的硬件和软件解决方案,对推动混合AI规模化扩展独具优势。6月16日,高通正式发布了白皮书《混合AI是AI的未来》,进一步阐释了混合AI在大模型时代的优势,以及高通如何凭借终端侧AI领导力、全球化规模和生态系统赋能,让混合AI成为现实。

“混合AI是AI的未来”

所谓的混合AI是指终端和云端协同工作,在适当的场景和时间下分配AI计算的工作负载,以提供更好的体验,并高效利用资源。在一些场景下,计算将主要以终端为中心,在必要时向云端分流任务。在以云为中心的场景下,终端将根据自身能力,在可能的情况下从云端分担一些AI工作负载。而混合AI架构可以根据模型和查询需求的复杂度等因素,选择不同方式在云端和终端侧之间分配处理负载。例如,如果模型大小、提示(prompt)和生成长度小于某个限定值,并且能够提供可接受的精确度,推理即可完全在终端侧进行。如果是更复杂的任务,模型则可以跨云端和终端运行。

此外,混合AI还能支持模型在终端侧和云端同时运行,也就是在终端侧运行轻量版模型时,在云端并行处理完整模型的多个标记(token),并在需要时更正终端侧的处理结果。更重要的是,随着强大的生成式AI模型不断缩小,以及终端侧处理能力的持续提升,混合AI的潜力将会进一步增长。参数超过10亿的AI模型已经能够在手机上运行,且性能和精度达到与云端相似的水平。不久的将来,拥有100亿或更高参数的模型将能够在终端上运行。混合AI可以说是能够适用于几乎所有生成式AI应用和终端领域,包括手机、笔记本电脑、XR头显、汽车和物联网,并在成本、能耗、性能、隐私、安全和个性化体验方面更具优势。

例如,在成本方面,生成式 AI 搜索可以提供更加出色的用户体验和搜索结果,但每一次搜索查询 ,其成本是传统搜索方法的10倍。所以,当前面向大语言模型推理的云计算架构,将导致搜索引擎企业的运营成本升高。但混合AI能够利用现已部署的、具备 AI 能力的数十亿边缘终端,以及未来还将具备更高处理能力的数十亿终端,在一定程度上减轻运营成本压力。

在能耗方面,边缘终端能够以很低的能耗运行生成式AI模型,尤其是将处理和数据传输相结合时。而在时延方面,当生成式 AI 查询对于云的需求达到高峰期时,会产生大量排队等待和高时延,甚至可能出现拒绝服务的情况,向边缘终端转移计算负载可防止这一现象发生。

高通全栈AI优化

众所周知,高通已经将其AI能力带入了包括智能手机、笔记本电脑、PC、汽车在内的众多终端产品中,其终端侧AI技术在大模型时代下也将成为推动混合AI规模化落地的重要推力。据高通技术公司产品管理高级副总裁兼AI负责人Ziad Asghar介绍,高通已经在飞行模式下实现了全球首个Android手机上的Stable Diffusion终端侧演示。Stable Diffusion是一个参数超过10亿的超大神经网络基础模型,能够基于输入的文本提示生成图片。而通过高通的全栈AI优化,这一模型能够完全在终端侧运行,实现在15秒内完成20步推理,生成饱含细节的图像。

Ziad Asghar也直言,虽然高通目前已经能够支持Stable Diffusion这一超过10亿参数的模型在终端侧运行,但许多关键的生成式AI模型的规模可以达到10亿到100亿参数之间,例如文本生成图像、自然语言处理、编程、图像理解、图像创作等。所以,在未来几个月内,高通将有望支持参数超过100亿的模型在终端侧运行。而这无疑也将成为基于高通技术的产品的重要差异化优势。

此外,通过高通AI软件栈,高通已经实现在搭载骁龙计算平台的笔记本电脑上运行Stable Diffusion。凭借行业领先的高通AI引擎,基于骁龙计算平台的笔记本电脑在MLCommons V3.0上率先实现了出色的MLPerf基准测试结果。同时,高通也是唯一一家能够在MLCommons V3.0的笔记本电脑品类中获得测试结果的公司,这也正是因为其拥有能够在终端侧运行如此大规模AI用例的硬件引擎。

其实,早在2022年6月,高通就推出了专门面向边缘侧AI的领先软件栈产品——高通AI软件栈,将其所有相关的 AI 软件产品集成在统一的解决方案中。OEM 厂商和开发者可在其产品上创建、优化和部署 AI 应用,充分利用高通 AI 引擎性能,让 AI 开发者创建一次 AI模型,即可跨高通所有硬件运行 AI 负载。谈及高通AI软件栈的核心优势,Ziad Asghar表示,基于高通AI软件栈的模型一旦开发出来,就可以在不同地方使用,再与混合AI部署相结合,形成杀手级的组合,将帮助生成式AI在不同终端上进行规模化扩展,实现生成式AI的普及。

未来,高通将不断提高边缘侧支持的模型参数阈值,Ziad Asghar提出,在不久的将来,拥有100亿或更大参数的生成式AI模型将能够在终端上运行。

最近更新