端侧模型密集上新,能打开更大市场空间吗?
端侧模型迎来一轮密集发布。
9月16日,vivo发布四款蓝心大模型,并透露正在预研30B MoE端侧模型。此前一天,联发科发布天玑9600 Pro,称其可在本地运行最高30B参数的MoE模型。9月初,面壁智能开源2B端侧模型MiniCPM5-2B;端侧AI智能公司元空AI发布自研的原生端侧大模型Boxer系列。
所谓端侧模型,通常是指将模型或部分推理能力部署在手机、个人电脑等本地设备上,在终端侧完成数据处理和任务执行。相比完全依赖云端的模型,本地运行能够减少数据外传、降低网络依赖,并缩短部分任务的响应时间。
伴随AI应用市场的快速发展,端侧模型的需求也随之上扬。可见的是,同在9月16日,搭载豆包手机助手消费者版的努比亚NaviX Ultra正式上市,端到端任务成功率超80%,可通过单一语音指令跨多个App完成操作。据媒体援引官方销售战报,开售1秒销售额突破1亿元。
CIC灼识董事总经理陈一心对澎湃科技(www.thepaper.cn)表示,端侧底层算力和异构芯片架构已经提前铺开,行业正从依靠整机换代的“硬件铺路期”,转向由应用场景和OEM联合方案驱动的“生产力兑现期”。下一步要检验的,不只是终端设备能否装下模型,而是端侧模型能否在本地稳定完成工作。
端侧模型的机会来了
端侧模型的机会,首先来自企业使用通用大模型时面临的现实约束。
元空智能创始人、CEO逄大嵬此前接受包括澎湃科技在内的媒体采访时表示,企业级AI竞争主要取决于数据是否离开设备、成本是否可控以及使用是否稳定。在云端运行,存在数据安全、Token成本和网络稳定性方面面临的问题,这也构成了端侧AI的产业机会。
因此,端侧模型的这轮集体发布,是云端短板、端侧技术成熟、内存成本压力和商用交付拐点叠加的结果。
目前,参与端侧AI的厂商大致可以分为三类。
第一类是模型厂商,代表如面壁智能,其联合OpenBMB开源端侧语言模型MiniCPM5-2B,主打工具调用、深度搜索和代码生成等Agent能力;元空智能则与惠普合作,推进端侧模型在企业电脑中的部署。
第二类是终端和系统厂商。中兴努比亚联合豆包开发系统级智能体;vivo以蓝心小模型承担实时感知和个人记忆等本地任务,同时把部分复杂任务交给云端;苹果的基础模型体系同样覆盖设备端和私有云计算。
第三类是PC和芯片厂商。联想、惠普以及高通、联发科、英伟达、AMD等厂商,用统一内存和专用芯片,把原本属于工作站的算力下放到个人设备或企业一体机。
“智能密度”受到关注
端侧模型市场升温,同时产品特点也在发生变化。
肖面壁智能学术合伙人、大语言模型首席科学家肖朝军表示,今年2B左右的端侧模型明显增多,其中的原因和内存成本上涨密切相关。过去,存储芯片在手机物料成本中只占10%-15%,如今这一比例已攀升至30%-50%,部分中低端机型甚至达到60%。
行业因此开始强调模型单位内存和能耗下能够完成多少任务,也就是“智能密度”。肖朝军说,目前,模型知识密度大约每3.3个月翻一番,同等能力所需的参数和推理成本随之下降。也就是说,参数少一半,能力未必弱一半。
陈一心认为,真正适合端侧部署的需求通常具有三个特征:必须依赖高敏感的本地数据,需要低延迟交互,或者一旦转向云端,就会面临明显的合规和成本压力。
不同规模的模型也在承担不同任务。陈一心表示,2B左右的小模型更适合系统级意图识别、任务路由等工作,60B以上模型则可能通过量化、高配工作站和轻量化算力盒子等方式进入企业,处理需要严谨逻辑的复杂办公任务。
模型大小取决于任务难度、设备条件和成本:2B覆盖高频、低成本任务,数百亿参数模型进入高端电脑和企业一体机,千亿参数模型依靠统一内存和专用芯片进入移动工作站。
端侧模型要想打开需求市场,首先需要跨过硬件门槛。
模型推理不仅需要算力,也受到内存容量、带宽、功耗、散热和电池续航的限制。消费级手机和电脑无法无限增加配置,终端厂商必须在参数规模、响应速度、运行效果和售价之间取舍。
就模型自身能力来说,目前仍有提升空间。肖朝军认为,端侧模型首先要提高泛化能力,使其能够在不同工具和Agent框架中稳定运行;其次要增强长任务处理能力;同时,还要建立端云协同机制。
升温是事实,“大市场”仍只是判断
此外,把模型压缩并装进设备,更多只能证明技术能够运行。真正的难点,是把模型变成稳定的生产工具,因为对于企业来说,最终采购的不是一个模型文件,而是一套能够接入内部数据、调用办公软件、通过安全审计并长期稳定运行的系统。
中国惠普有限公司副总裁、大中华区个人信息产品事业部总经理周信宏把这称为企业AI落地的“最后一公里”。除了模型能力,企业还要解决数据合规、成本控制、业务系统接入、现场部署和售后服务等问题。 本地部署并不自动等于安全,企业仍需处理数据权限、加密、操作日志、模型更新和故障维护等问题。这些环节决定了端侧AI能否从一次演示变成可持续使用的生产系统。
在企业市场,陈一心总结了两种主要付费路径。
一种是将端侧模型、行业Agent与高算力PC或工作站绑定出厂。企业通过固定资产采购,为整机的硬件配置和软件授权付费,从而减少单独采购算法以及二次开发的流程。
另一种是私有化部署。企业以一体机为本地算力底座,接入内部知识库和业务系统,再将通用模型定制为面向具体业务的生产工具。随着AI进入日常工作流程,后续运维和服务等级协议也会成为持续收费的一部分。
负责AI落地的业内人士乔杨(化名)认为,端侧AI目前仍然缺少足够明确的杀手级应用和商业模式,应用生态也尚未成熟。小模型更适合处理不便上传云端的个人敏感数据和相对固定的操作类任务;如果脱离云端,模型能力和知识更新都可能受到限制。
因此,端云协同仍是主流路线,乔杨将二者概括为:本地小模型是“手”,云端大模型是“脑子”。
判断端侧AI能否形成真正的大市场,至少要回答三个问题:消费者是否愿意持续为AI功能支付溢价;终端厂商的需求能否从少量定制项目变成可复制的采购订单;端侧应用能否形成高频使用和持续收费,而不是作为硬件功能免费附送。
从目前释放的技术和市场信号看, 端侧AI正处于一个真实的拐点。但正如乔杨所说,“拐点并不等于爆发”。
AI手机和AI PC的量产会继续拉动端侧模型需求,但端侧AI的真正壁垒,已经不只是再发布一个更小的模型,而是把模型、芯片、系统权限和业务流程整合成可复用、可交付、有人愿意持续付费的产品。
在这些问题得到验证以前,端侧模型需求升温是事实,“大市场”仍只是判断。
澎湃新闻记者 喻琰