终端侧部署的AI更了解用户需求2023年2月23日，也就是ChatGPT发布后的3个月，高通成功在搭载了骁龙芯片的安卓手机上运行了StableDiffusion，这是一款风靡全球的从文本生成图片的应用。对于手机用户而言，安装一款应用仅仅是点击几下屏幕，但这背后是相当复杂的配置。StableDiffusion模型参数超过10亿个，此前只能在云端运行。

还有ChatGPT，登录网页依然是主流的使用方式。由此我们不禁要问，为何一定要在移动端部署AI？用更专业的说法，为何要在终端侧部署AI？这里的终端侧可以指手机、平板电脑、可穿戴设备、智能汽车等等。

首先，把AI部署在本地可以更好的获知用户需求。本地AI通过捕获用户的行为数据和位置信息，提供更加个性化的服务。与此同时，终端侧设备的使用方式也经历了转变，不再局限于单一应用的简单操作。以发送短信为例，当我提到参与某个活动并遇到另一个人时，如果之前与这个人拍了照片，AI将立即给予提示，导航至相册并识别出相关照片，使用户体验更为无缝。这种智能手机与AI的协同工作，不仅提升了用户体验，也为移动设备带来了更广泛的功能。生成式AI在此背景下发挥作用，协同工作于所有应用之间。

高通现任CEO安蒙（CristianoAmon）曾在一次公开演讲中说，“真正有趣的地方在于让生成式AI在智能手机本地运行，而不是云端”。在CES2024上，安蒙再次强调，“生成式AI的变革意义在于终端上的信息能够帮助AI成为无处不在的个人助手……”

其次，这关系到用户隐私、安全性和网络通畅性。请读者来设想一种情景，当你在和一款AI机器人沟通一些关于自己的私密问题，聊天记录是备份在本地更安全，还是云端更安全？如果用户是一家企业，这其中涉及到的诸多商业机密，想必不会上传云端。这就是终端侧部署AI的好处之一。

另一方面则是网络通畅性，虽然目前5G已经快速部署，但相比于AI产生的海量数据，网络传输速度似乎并不能满足需求。一架波音787每秒钟产生5GB数据，全球每时每刻正在飞行民航飞机何止几千架。高通发布的白皮书《混合AI是AI的未来》指出，相较于传统方式，生成式AI的搜索成本增加了10倍，全球每天产生超过100亿次的搜索查询量。

所以，最优的解决方案是混合式AI：即在终端侧部署AI，一部分AI计算在终端运行，一部分在云端运行，混合搭配，这会极大的减轻运营压力，降低算力成本和能耗，同时提升了安全性与用户体验。

终端侧AI的愿景：万物互联、分布式计算在媒体一轮又一轮的普及和展望之下，大众对“万物互联”的概念不陌生。然而，由于现实体验和“未来展望”的差距，相当多的用户以为万物互联就是“蓝牙连接”，更先进一些的，是智能家居之间通过同一个Wi-Fi网络的数据交互。

然后真正的万物互联并非如此。笔者认为，万物互联的基础首先是万物智能化，智能化之后的互联才更有意义。而“万物智能化”需要在终端设备上部署AI，这便是终端侧AI的愿景。当你手中的每一款终端都具备了AI能力、强大的算力，会产生一些神奇的应用场景。

比如推动科学进步，乃至造福社会和人类。

我们以Folding@home项目（也称FAH）为例做一下展望。这是一个分布式计算项目，科学家通过模式计算的方式研究蛋白质动力学，包括蛋白质折叠的过程和蛋白质运动。这个项目的意义在于，其研究成果可以用在一系列难以攻克的疾病上，比如老年痴呆、癌症、亨廷顿病等等。这个处在科学前沿的研究项目需要极大的计算量，或者说，计算速度越快，这项研究就能更早突破。

于是，研究人员想到了一个使用大众“富余算力”的办法，志愿者可以让自己的设备，如电脑参与到科学计算当中。比如，当用户处于夜间睡眠状态时，手机可能正在充电并置于Wi-Fi网络下，此时它便可以承担一些科学计算任务，最终这些结果汇总到一起，从而大大加速整个科研进程。目前FAH已经是全球最快的计算系统之一，它是全球第一个“亿亿次计算系统”。据称，该项目的模拟结果也与实验非常吻合。

这与十多年前互联网田园时代的BT（BitTorrent）下载十分相似，越多人参与，下载（计算）速度越快。

这或许是未来终端侧AI的一个重要应用：贡献AI能力和算力。在某种程度上，部署了AI的终端就是一台微型分布式计算终端。这或许能给用户带来经济上的收益。

这样“出售算力”的平台在全球范围内已经出现。比如LoadTeam，这是一个利用用户闲置算力和内存“挖矿”的平台，根据用户终端的运行速度和贡献值分成。另一个海外平台叫Golem，其愿景描述就是“出租您的数字资源，包括闲置计算能力”，“您可以成为去中心化网络生态中的一部分”。

虽然一些应用的细节还在展望，并没有实际走进我们日常生活。但这些变化是可预见的。对于终端用户来说，部署AI成为了一种赋能，而这种赋能不论是转化为用户体验，或者是保障安全性，还是用这种能力换取金钱，用户都将受益。

首个专为生成式AI打造的平台，如何赋能AI体验？

生成式AI浪潮到来之后，高通加速了其产品对AI的支持力度。2023年10月24日，第三代骁龙8移动平台发布。作为高通技术公司首个专为生成式AI打造的平台，第三代骁龙8带来了影像、游戏体验和专业品质的全面提升。

ChatGPT之后，各个手机厂商推出了各自的生成式AI应用，这些基于AI能力开发的产品，需要一款更先进，更具备AI基因的移动平台搭载。第三代骁龙8发布后，已经在全球OEM厂商和智能手机品牌的终端得到广泛采用，这其中包括大家耳熟能详的小米、荣耀、甚至以往的汽车厂商蔚来等品牌。

比如在近期推出的小米14系列手机中，通过引入本地AI大模型，让手机具备了一系列强大功能——AI扩图、AI写真等。AI扩图可以对构图比较拘谨的照片进行新增画面生成扩充，而AI写真可以让用户和指定的背景合影，即便没有去过。这些都仅仅通过端侧AI计算便可实现，无需云端的参与。最新发布的荣耀Magic6系列带来的基于魔法大模型的“任意门”功能同样是终端侧AI应用的一个典型代表。

我们在上文提到，在年初的MWC2023上，高通展示了在第二代骁龙8智能手机上运行StableDiffusion，10亿参数模型，能够在仅15秒内完成20步推理，将文字提示转化为图像。这样的表现已经十分惊人，而现在，在第三代骁龙8上，高通AI引擎的核心HexagonNPU进一步升级了全新的微架构，性能再度提升了98%，能效提升了40%。

依靠强大的HexagonNPU，微切片推理单元，性能有加强的张量/标量/矢量单元，同时所有单元共享2倍带宽的大容量共享内存，此前第二代骁龙8运行的是10亿参数模型，第三代骁龙8发布时已经能够运行高达100亿参数的生成式AI模型，并且以20tokens/s的速度运行大语言模型。

这样的性能提升速度，意味着手机（也包括其它终端）用户很快就能流畅的在手机上体验各项AI应用。

高通一直以来给公众的印象就是“手机芯片”，一定程度上已经成为了手机芯片的代名词。除了芯片，高通实际上是AI的“原生玩家”。2009年，谷歌刚开始秘密研发无人驾驶汽车，2010年，“数据科学家”还是一个新兴职业，而高通在2007年就已经投入研发AI了。

从2007年至今，高通在AI领域的一些突破推动了整个行业的进步。2016年，一款重磅产品横空出世，高通骁龙神经处理引擎工具包（SnapdragonNeuralProcessingEngineSDK）正式发布。这一软件开发工具包（SDK）使得原始设备制造商（OEM）能够在骁龙820设备上，包括智能手机、安全摄像头、汽车和无人机等各种设备上，运行他们自己的神经网络模型，而无需连接到云端。这意味着下游厂商能够个性化地开发场景检测、文本识别、对象跟踪与规避、手势识别、人脸识别以及自然语言处理等功能。

2022年6月AIStack（高通AI软件栈）发布，解决了困扰行业多年的重复开发问题。此前，AI开发人员需要针对同一个功能，不同终端做重复开发，而AIStack的出现真正实现了“一次开发，全平台通用”，把开发人员从重复性劳动中解放了出来，让他们把更多精力投入到创新性活动中。

回看高通在推动AI行业发展中取得的成绩，与其说赋能终端侧AI是战略，不如说是一种必然，它是目前各个子领域发展至今的最优解。

AI时代的到来势不可挡，这是人类社会的发展趋势，我们只能拥抱它，而不能逃避AI。旗舰移动平台第三代骁龙8发布后，高通又在2023年11月推出了第三代骁龙7，将非旗舰移动平台上的卓越使用体验和AI支持带给更广泛的用户群体。由此覆盖了中、高端用户和普惠用户。

科技的发展，应当塑造一个良善的AI行业，每个人都应该被赋能，不能让一人掉队。AI时代需要被每一个人共享。

未经允许不得转载：头条资讯网_今日热点_娱乐才是你关心的时事 » 人人都要上云的时代，AI部署为何要往本地走？