端侧 AI 打响入口争夺战:云端转向终端
36氪深度分析端侧AI趋势:车企、手机与AI PC同步开战,AI竞争主线从云端算力转向终端入口之争。
当行业还在为云端大模型的参数规模与训练算力争论不休时,一场更具决定性的战争已经在离用户最近的终端设备上悄然打响。从车企密集发布搭载端侧大模型的智驾方案,到手机厂商将百亿参数模型塞进旗舰芯片,再到 AI PC 与智能穿戴设备纷纷打出「本地原生智能」的旗号,所有信号都指向同一个结论:AI 的竞争主线,正在从「云端算力竞赛」转向「端侧入口争夺」。
端侧 AI 回应云端三大短板
互联网的发展史,本质就是一部入口更迭史。PC 时代是浏览器与搜索引擎,移动互联网时代是超级 App 与应用商店。AI 时代,智能不再局限于屏幕与点击,而是渗透到驾驶、感知、交互等每一个物理场景,入口定义正在被彻底改写。
云端大模型虽然承担了大量意图理解与任务调度,但在场景落地中暴露出三个无法回避的短板:
- 时延:云端推理依赖网络传输,5G 环境下仍有几十到上百毫秒的时延,自动驾驶等场景对此无法接受。
- 隐私:智能汽车的车载摄像头、手机智能助手持续采集高度敏感数据,频繁上传带来泄露风险与合规压力。
- 成本:终端规模达数亿级时,每一次交互调用云端算力都会产生难以承受的带宽与服务器开支。
所谓端侧 AI,即将轻量化的大模型直接部署在终端本地完成推理,原始数据无需上传。它带来三个云端无法替代的价值:毫秒级低时延、隐私原生、离线可用。也正因如此,端侧 AI 被视为 AI 走向物理世界、融入真实场景的必经之路。
三大赛道同时开打
端侧 AI 的战争已经在智能汽车、消费电子、泛 IoT 三大赛道同时打响。
智能汽车是头号试炼场,端侧大模型已成为智驾系统的核心技术底座。当前主流趋势是「快慢双思考」架构:轻量化端到端模型负责毫秒级紧急制动与车道保持,更大规模的端侧大模型负责复杂路口、无保护左转、施工路段等长尾场景的语义理解与决策推理。
具体落地案例包括:
- 理想汽车发布马赫 Mind-Edge 端侧模型,与云端模型马赫 Mind-Pro 协同,负责实时人车交互与自主控车等本地化任务。
- 蘑菇车联 7B 端侧模型通过 MoE 稀疏激活等优化,将推理延迟控制在百毫秒左右,可在突发事故时完成超视距感知与最优绕行路径规划。
- 随着中央计算平台取代分布式 ECU,端侧大模型开始成为整车智能中枢,对外感知路况、对内理解驾乘意图,调度车内所有服务。
手机与 AI PC 是规模最大的大众战场。苹果 Apple Intelligence 采用 3B 参数设计,可在设备上完成文本摘要、信息提取与跨应用操作;vivo 副总裁周围介绍其 3B 端侧多模态推理大模型仅占用手机 2GB 内存、功耗约 750 毫安,推理能力可媲美 7B 甚至 10B 模型。AI PC 则把端侧入口之争延伸到生产力场景,本地文档总结、代码生成、会议纪要成为标配。
智能手表、智能家居、安防摄像头、工业边缘设备等海量 IoT 终端,则构成端侧 AI 的长尾战场,单台价值不高但聚合起来形成覆盖家庭、工业、城市的庞大入口网络。
门槛远超想象,是全体系攻坚
赛道火热的背后,行业也逐渐形成共识:端侧 AI 不是简单把云端模型压缩一下塞进芯片,而是一场涉及算法、软件、硬件、工程、安全的全体系攻坚战。
首先面临的是算力、功耗、成本三者构成的「不可能三角」。终端设备物理约束严苛:车载芯片要在 -40℃ 到 85℃ 宽温下工作并受限于整车电源与散热;手机芯片散热空间有限;IoT 设备依赖电池供电,功耗预算只有毫瓦级。
应对手段包括 INT4/FP8 低比特量化、结构化剪枝、知识蒸馏、稀疏化、MoE 混合专家等轻量化技术,但过度压缩会导致长尾场景下精度下降。软硬协同优化是拉开差距的关键:大模型算子复杂、访存密集,必须针对芯片架构定制算子、优化内存调度、打通推理框架与底层驱动,这要求算法、编译器、芯片、驱动团队深度耦合。
安全与合规同样不可回避。汽车行业严苛的 ISO 26262 功能安全标准(最高 ASIL-D)与大模型概率性输出、黑盒特性存在天然张力,行业目前的应对思路是「大模型 + 安全冗余」,保留传统规则化算法作为安全兜底。此外,端侧数据本地处理并非绝对安全,仍需配套本地加密、安全启动、权限管控、自动脱敏等机制。
硬件生态的极度碎片化也是一大难题:手机芯片有高通、联发科、苹果、华为等不同平台,汽车有英伟达、高通、地平线、黑芝麻等多个厂商,同一个大模型适配不同平台需重复做量化、算子优化与调度适配。
端云协同是必然,终局是生态权之争
讨论端侧 AI,一个常见误区是认为它会取代云端。事实上两者从来不是替代关系,而是分工协同:端侧负责实时性强、隐私敏感、高频重复的任务;云端负责复杂推理、模型训练、仿真迭代、海量数据处理。云端负责学习与进化,端侧负责执行与响应,共同构成完整的智能闭环。
入口之争的本质已不再是端与云谁取代谁,而是谁来主导端云协同生态。当前赛道上的玩家大致分为三类:
- 硬件终端厂商:优势是离用户最近,掌握设备入口与场景数据;劣势是大模型算法能力参差不齐,底层芯片积累有限。
- 芯片厂商:优势是掌握底层算力底座,最懂硬件架构;劣势是缺乏直接触达用户的场景。
- 大模型与互联网公司:优势是算法能力强、服务生态成熟;劣势是缺乏硬件载体与终端渠道。
没有任何一类玩家能通吃全场,端侧 AI 的终局一定是产业链的深度协作:芯片厂商提供算力底座与软件栈,大模型厂商提供算法与轻量化能力,终端厂商负责场景落地与体验整合。但在协作之上,对生态主导权的争夺仍将持续。
