GPU利用率不到20%,算力生意不能只靠堆硬件了
在 AI 应用爆发、各地计算中心围绕东数西算八大枢纽加速建设的行业背景下,"算力如何像水电煤一样即取即用、如何实现从基建到价值落地的重构",成为值得深入探讨的话题。
9月11日下午,2026中国算力大会重要分论坛——算力产业创投50人论坛在河北廊坊京津冀大数据创新应用中心举办。行业圆桌环节,在北京广厦环能战略发展部投资总监赵行健的主持下,九章云极、西藏智算、正菱控股、端脑科技、算苗科技5家算力产业链代表企业同台对话,分享各自的实践与行业判断。
九章云极联合创始人兼COO尚明栋率先分享观点。他提出以“度”为单位的算力计量计费模式,把312 TFLOPS FP16算力持续运行1小时对应的浮点运算总量定义为“一度算力”, 按度计费下,学生完成一次 7B 模型微调的成本,只有传统整卡租赁的极小一部分,预判行业将走向"数量+智能化水平"的二元定价,展现了推动算力服务标准化的长期思路。
端脑科技创始人丁烨则从分布式视角给出另一重答案。他以网约车平台聚合分散运力类比分布式算力供给,认为推理任务更具性价比的方式并非全部跑在大机房,端云混合调度可以把主流多模态生成任务的成本降到市场价的十分之一左右,让闲置硬件成为算力供给的毛细血管。
西藏智算合伙人罗杰尔聚焦西部基建,直言"人工智能的尽头是电力"。拉萨机房PUE可做到1.1到1.3,高海拔极端环境还是国产芯片和软件的天然压力测试场。他提出"东推西训"的布局思路,并透露已联合西藏大学发布国内首个藏语大模型。
正菱控股总经理丁晓明从国企产业平台的视角补充了对算力交易模式演进的观察:早期国企直接买服务器给企业用,如今客户已从"采购算力资源"转向"采购模型应用结果",这一变化的本质,是需求驱动下的市场成熟。
算苗科技高级副总裁兼CMO陈蜀杰则将话题引向芯片底层。她指出推理场景60%的能耗消耗在数据搬运上,专用推理芯片TokenPU以3D堆叠突破带宽瓶颈,综合成本可做到国际主流芯片的三分之一,在占AI算力约80%的推理市场,国产芯片有机会实现超越。
展望2027年,五位嘉宾一致认为:算力规模将迎来数量级增长,推理算力占比持续拉大,国产化比例提升,产业将从"能用"走向"好用"。
以下为现场实录:
算力要像水电煤,关键在“按量计费”
赵行健: 各位好,我是北京广厦华能赵行健。刚才论坛上龚帅教授的芯片两相传热技术,正是和我们公司联合开发。我们公司总部在北京,在廊坊建有制造工厂,欢迎大家有机会前往参观指导。
本次圆桌主题是“算力新范式:从算力建设到价值落地”。一方面,AI应用爆发带动算力需求快速增长;另一方面,国内各地计算中心建设如火如荼,围绕东数西算八大算力枢纽,产业变化非常快。今天我们邀请到算力产业链5位代表性企业,覆盖芯片、算力运营、产业园区国企、分布式算力等不同环节,一起来展开探讨。首先请各位嘉宾用一分钟简单介绍企业、核心业务与应用场景。
尚明栋 :九章云极是人工智能基础设施与智算云提供商,在全国布局十余个智算中心。我们核心运营AI训练工厂与推理工厂。训练工厂面向千行百业提供算力服务,支持按时计费、按算量计费两种模式。推理工厂基于主流大模型,结合行业场景输出行业化算力与落地能力。我们的目标是降低单位算力成本、降低单位投入成本,为千行百业提供普惠算力服务。
罗杰尔 :我们是一家由能源电力产业资本与国家超算长沙中心合资成立,定位超智融合计算中心建设方案供应商。今年在西藏拉萨筹建接近5000P算力的计算中心,同时联合西藏大学建设运营国内首个藏语大模型。依托国家东数西算战略,我们首先立足西部高海拔地区建设算力集群建设、租赁、托管和Token生态服务。我们也正在联合国产芯片企业、大模型厂商、Token工厂,在西部打造算力实验池。
丁晓明 :我是珠海市香洲正菱控股丁晓明。作为珠海市主城区的区属国企,核心三件事:投资、引进、培育科技产业。投资板块管理政府引导基金、企业自有资金、社会资本三类资金,已经投资100多个科创项目。同时,我们手握100多万平方米产业载体,搭建产业服务平台、企业出海服务平台。伴随AI产业发展,我们专门设立子平台公司,搭建MaaS平台,提供算法评估、数据服务、项目落地支撑,打造区域AI应用赋能平台。希望和廊坊及各地产业链伙伴开展合作。谢谢。
丁烨 :我们做的端脑云是一个分布式算力平台,主打高性价比的算力供给。一方面,我们提供平价算力硬件,硬件价格不超过3万元,本地就可以跑通主流大模型、完成视频生成等任务;另一方面,我们把用户闲置的硬件算力聚合起来,构建端-云协同的算力网络。以AI视频生成为例,目前云端视频生成的价格相对较高,而用户通过使用我们平台可以把生成视频的成本降到原有官方云端价格一折左右。这也是我们平台的特色:兼顾算力成本和本地数据安全。
陈蜀杰 :算苗科技是云端AI推理芯片设计企业,采用3D堆叠推理架构:一层逻辑芯片堆叠八层存储芯片,全流程采用国产供应链,逻辑、存储、封装全部国产化。第一代产品推理算力对标H200,下一代有望对标B200的推理算力。我们用“空间换时间”,依靠3D堆叠提升云端推理效率,同时大幅压缩成本。在极致追求Token成本的行业趋势下,从芯片底层做降本,同等场景下,综合使用成本可以做到国际主流芯片的二分之一到三分之一。
赵行健 :现在算力基础设施蓬勃发展,但不同芯片、不同模型之间效率差异很大。九章云极一直在推动算力标准化、按算量服务,想请教尚总,面对多样化的芯片硬件,企业级服务如何平衡异构硬件差异,实现标准化算力服务?
尚明栋 :我们推动按算量计费,有一个初心:大家常说AI算力要像水电煤,可水电煤核心特征除了随时取用,更关键是按量计费。传统云服务大多按服务器、按时长收费,行业GPU平均利用率长期偏低,大量算力被浪费,直接推高算力使用成本。所以我们提出按算量计费,即用即算、不用不计费。
怎么去定义算量?人工智能的核心依然是围绕大模型做训练、做推理,底层是在GPU、NPU等芯片上做浮点运算。我们把它抽象为最底层的浮点运算数:将FP16精度下 312PFlops一小时产生的浮点运算数定义为"1度算力",1度算力定价18元。打个比方,学校里的学生买10度算力,只花不到200元,就可以用高端算力完成一次7B模型的微调。
但这里面也有一个问题:不同芯片,不管国内还是国外,做训练或推理时不单纯依赖算力,显存容量、显存带宽同样起作用,是共同服务的结果。这也是为什么同样标称算力,不同芯片单位时间的实际产出差异很大。我们基于大量训练和推理实测,结合显存容量、显存带宽做了建模和求解。对外讲的"312PFlops一小时"只是一个更简单的表述,让大家有一个统一的分成标准来衡量算力,底层会完成异构硬件的差异校正。
所以回到刚才的问题,我们的护城河不在于定义"度"这个单位,而在于能按度计量、按度交付,让不同人群以极低的成本有效使用算力,这会极大提高整个社会算力的平均使用水平,会成为我们长期的竞争力。
这里面还涉及Token计费的问题。Token现在是行业通用的计费口径,天然是按量收费,但它和"度"不太一样。"度"对应最底层的浮点运算数,是比较通用的抽象度量;而Token 是模型输出的字符计数,本身存在黑盒问题:同样百万Token的定价,不同模型的智能化程度参差不齐,有的擅长这个领域、不擅长那个领域;还可以通过降低精度实现降价,但那是以降智为代价;另外很多时候卖出的输出Token可能来自缓存命中,并没有真实算力消耗。这些都是当前推行Token计费过程中不可避免的问题。
从行业发展角度看,一方面我们会继续按百万Token的量级定价;另一方面,长期看行业会走向二元定价:每百万Token的数量定价,叠加智能化水平维度,双重衡量,完善按量收费体系,并进入相关行业的教学体系。
推理算力,不一定要跑在大机房
赵行健 :刚才九章云极讲的是普惠算力;端脑科技主打分布式、端侧算力。请教丁总,端-云混合模式下,哪些场景已经成熟落地?
丁烨: 先说成熟场景,第一是AI代码生成。现在越来越多的代码开始由 AI 辅助生成,但生成代码这件事很多时候还需结合本地环境。因为代码写完之后需要测试和运行,你必须有本地环境才知道写得对不对。既然需要本地环境,就需要一台电脑;既然有电脑,就可以做人机混合的调度能力。我们的调度是本地加云端的混合调度:简单任务本地完成,比如你问"太阳黑子是怎么形成的",本地模型就能搞定,没必要用云端;复杂问题,比如要写一段针对国产芯片的复杂代码,才需要调用云端大模型。写代码是Token消耗大户,用本地硬件加本地调度,再加云端混合,在合适的任务分配下能节约一半以上的成本,这是非常可观的。
第二个成熟场景是AI视频生成。直接在云端生成2K视频成本很高,但大部分创作者前期只需要反复调试提示词,不需要高清输出。可以先在本地生成480P版本用于调试提示词,确认效果之后再生成768P版本,最后再到云端超分成2K高清视频。我们硬件价格27800元,按照目前同等云端生成成本测算,累计生成约8小时的成片内容,硬件投入即可覆盖相应的云端算力成本。当前我们主要客户包括自媒体、短剧OPC公司,也包括部分互联网大厂。
赵行健 :对安全性要求比较高的场景,如何保障性能和安全?
丁烨: 做本地硬件的最大好处就在安全。一些大型机构会做一个妥协:如果你愿意贡献聊天记录,可以给你打两折——人家是大机构,相对良性,会征求你同意后才拿数据做训练,但不是所有机构都这么做。比如集中式的IDC机房,你问的每一个问题、生成的每一行代码、创造的每一个作品,都需要经过云端或者远端的基础设施。至于他会不会留存这个数据,不好说。考验人性是非常不合理的事。
合理的做法是:本地硬件配合我们做"安全围栏",把敏感信息拦截在本地,尽量由本地模型完成;只有通用的、非敏感的信息,才调用云端大模型。这样一方面省钱,另一方面特别安全。
赵行健 :最后一个快速问题,除了现在算力交易的商业模式,未来还有哪些可探索的商业化场景?
丁烨 :现在行业大部分推理算力由云端提供,这在训练阶段是合理的,训练离不开大算力中心。但推理这件事不一定都要上云端。就像当年世界上只有出租车的时候,大家觉得出租车没问题,还给出租车发牌照、设高门槛、收牌照费。后来出现了网约车平台,任何人只要投入很少的钱就可以成为运力供应方,通过平台的统一调度,照样把这个运力网络管理得很好。
算力,尤其是推理算力,未必全部要靠集中式机房——机房不会消失,但未来更多的算力供应,应该由大量边缘小硬件构建的共享算力网络来支撑。尤其是偏C端的场景:在家里处理图像视频、短剧和自媒体创作、小创业公司做代码撰写和运营策略生成,这些场景都会逐渐变成端-云混合的配置方式。
人工智能的尽头是电力
赵行健 :我们把视角向上游移动到算力基建。西藏智算有高原自然冷却、绿电的优势,同时东数西算背景下,国企参与算力建设,怎么平衡公共科研属性与市场化盈利诉求?
罗杰尔 :首先,国家对算力的公共属性已有清晰划分:保障重大战略、普惠高校科研、承接商业算力需求三类场景边界明确相互隔离且优先次序情绪。今天大家一直在探讨算力的经济性和效率,现阶段我们的核心能力还是在于实现整套算力系统的统筹调度,特别是去兼容和聚合异构算力、协同区域间的算力资源等。当前如何建设集约高效、全域协同的算力基座是我们和行业都要面对的核心课题。
第二,关于社会化和盈利性。国家超算会承接大量公益科研任务,我们会把商业化场景中的社会化工程——柔性组网调度、运营管理——做成社会化项目的收入,反哺整个国家超算平台的影响力,这里面是相互赋能。产业链上不同企业各做各的优势:有做本地部署的,有做高性价比算力的,有做算力中间层的。我们更多的职能是不断在市场部作战。
赵行健 :在西藏建设运营算力中心,面临跟中西部不同的条件,比如高海拔、人员部署等。我看贵司过去几年也做了很多应用场景创新,具体做了哪些差异化举措?
罗杰尔 :首先,我们的团队构成里有深耕电力行业的产业方,结合国家超算中心,在耗能端有了更丰富的理解和经验。我们第一步选择西部西藏,是因为拉萨有温度的天然优势——拉萨机房的 PUE可以做到1.1-1.3,这对高性能算力硬件是很友好和优势突出。加上产业股东有供电方案的经验,我们能从绿电和天然冷源两方面做出正确的选择。
第二,西部低气压、大温差、强紫外线的相对极端环境,是国产芯片、服务器、液冷设备包括软件适配团队的天然“压力测试场”。高原风光水电资源富集,自然风冷时间长,制冷能耗显著低于东部机房,因此我们在绿电的执行方案上也进行了创新。
第三,提到“东数西算”,我们更多想理解为“东推西训”。各厂商对推理需求越来越旺盛,东部负责低延迟推理服务,西部承载重负荷训练任务。同时算力也可参与源荷互动,算力负荷随风光等产出柔性调度,帮助电网消纳富余绿电。
赵行健 :接下来请教丁总,作为珠海有代表性的国企,正菱控股旗下还有投资公司和产业园区运营公司,过去几年引入了不少AI应用企业,也自己参与建设了一些计算中心。作为国企参与到算力基建中,如何定义自己的业务边界?
丁晓明 :前面介绍了,我们核心有投资、园区和AI三块。AI这一块我们专门成立了子平台公司,最早就定位为"赋能区域AI公司落地"的平台。AI项目落地需要算力、数据资源和商业对接等多重资源,创业公司自身很难全部配齐,这就是我们国企的核心定位和价值。
我们会提供项目上的支持、数据上的支持——数据层面我们是有优势的,可以对接省、市各级政府和集团公司的数据资源。算力基础这块,业务边界我们想得很清晰:需求会自动做选择,有的场景选云端,有的场景选本地,我们自己也是这样的部署——商业上会在云上采购一部分算力,同时建设本地集中算力,把区域内零散算力汇集起来做集中调度。因为我们承接政府的企业服务,包括创新券的模块,可以给到企业很多优惠。
我的定位很清晰:一个融合的空间、一个生态的定位。把各方面很好的资源形成集合,最终赋能所有的模型公司。
赵行健 :其实大家一直在讲算力交易模式的变化,正菱控股有时也是需求方和组织方,你们怎么理解算力交易模式的演进?
丁晓明 :我们投资和托管的算力中心这些年也在兴起,所以前几年的形态我们很清楚,算力交易模式从有算力、到有低价算力、再到现在的Token计费,这样的变化肯定是需求驱动的,我们全过程都经历过。
最早期我们投了很多模型公司,那时候模型很多没有跑出来,初创公司又很难买到算力,特别是大模型公司出来创业,有很清晰的商业诉求。
现在完全不同了:各家供给、包括C端供给都成熟了,市场供不应求。客户也不再是单纯要算力,更多是要结果——要Token的应用。所以我们的做法也随之变化:一方面转售、整合第三方算力资源;另一方面把零散算力收集起来,由我们自己的技术人员或联合合作伙伴部署模型,围绕实际需求输出服务。不盲目做全链条自研,都是围绕需求、围绕自己的核心能力,通过生态服务整个产业链。
60%的能耗,消耗在数据搬运上
赵行健 :最后一个问题抛给算苗科技陈总。算苗做的是最底层的3D推理芯片。专用推理芯片路线相对通用GPU有哪些优势?大模型迭代速度很快,芯片行业很容易出现"投产即落后",算苗如何应对?
陈蜀杰 :GPU是随着AI计算应运而生的,本身做的是图像处理,做AI属于跨界。算苗的3D芯片最早曾用于挖矿芯片——挖矿本身就追求极致产出和极致带宽。很多时候算力没有被很好地用出来,不是逻辑算力不够,而是推理场景下逻辑单元和存储之间的数据搬运被卡住了。打个比方,某款芯片的逻辑单元就像加工厂,可能只用到30%的产能,但运输材料的过程成了最大瓶颈——不仅降低整体算力输出,能耗的大头也在这里:推理场景下约60%的能耗花在数据搬运上。
算苗的突破点就是把带宽做到非常大。2.5D架构的带宽会受限于芯片边长,逻辑和存储芯片在同一平面平铺布线;3D相当于盖楼,把平面连接变成垂直连接,带宽就会放大数倍——我们的带宽指标已达到国际主流芯片的 3-4 倍。在此过程中还需要很多创新技术,需要与合作伙伴共同突破,比如刚才上海交大教授讲到的两相传热技术——3D堆叠我们用1层逻辑叠8层存储,层间不做传统buffer die,直接用铜和硅通孔(TSV)连接,大大提升整体运算效率和良率。
这就回应您刚才的问题:其实就是一个"从堆算力到算总账"的逻辑——最终算的是 Token产出的总账。所以我们的芯片不叫CPU,也不叫GPU,我们叫TokenPU——就是为极致的Token产出而做的。所谓"专用",并不是专用于某一款大模型、被某款模型绑定:现在模型虽然在收敛,但不管大模型如何演变,底层都是对Token序列的处理,只要这个底层逻辑不变,硬件就可以持续适配,不存在"投产即落后"。
英伟达真正的壁垒是CUDA生态——CUDA生态是直接长在英伟达硬件上的。训练领域 CUDA生态的壁垒还非常厚,但在推理方面,国内有很多优势条件:比如新的编译工具让很多算法更容易适配到国产芯片上,AI算子的自动生成和自动优化,也在很大程度上让我们可以对CUDA生态做创新和结构重构,不需要再做非常复杂的全兼容。推理需求现在占整个AI算力市场的80%左右,在这个领域我们应该会有很好的进展和超越——同样模型、同样能耗条件下,我们的综合成本可以做到原有方案的1/3。
赵行健 :第二个问题:CUDA生态和你们TokenPU的路线,未来两个生态是什么关系?并存还是替代?有没有联合其他企业做一些生态动作?
陈蜀杰 :CUDA生态有着深厚积累,未来还是会很有优势,但我们对国产化这条新路径充满信心,基于刚才讲的一系列技术创新,这件事变得很有希望。不管从硬件层面还是软件层面,我们都在逐渐摆脱对英伟达CUDA生态上下游的依赖,软硬件协同非常重要。我们也看到很多软件功能类公司,可以大大帮助我们把芯片算力更快变成更高效的Token输出。
2027,中国算力产业会怎样?
赵行健 :圆桌最后环节,请每位嘉宾简短展望,预判2027年中国算力产业会发生哪些关键变化。
尚明栋 :主要是两方面。一是量的变化:作为智算云提供商,我们看到未来几年算力规模一定会出现数量级的增长。二是结构的变化:从去年到今年,推理算力占总算力的比例已经逐步超过训练,未来这个差距会拉得越来越大。我们将见证中国人工智能走进千行百业、逐步下沉的完整过程。
罗杰尔 : 罗杰尔 :人工智能的尽头是电力。能源是算力发展的底层支撑,绿电、传统电力的价值将持续凸显。可能你日常出门路过最不起眼的变电站,已成为算力产业最底层、最基础的保障底座。没有实时的电力输入,就没有实时的智能输出。
丁晓明 :我们生活在一个非常伟大的时代,AI会大幅提升全球生产力。AI的发展是一个波段,上半场高速发展,也需要休息片刻。我相信2027、2028、2029 年,AI应用会从工业端到金融端再到C端,实现大幅度的提升,这是可以预见的未来。作为区属国企产业平台,我们要把这个平台做扎实,真正实现AI赋能千行百业,这是我们最大的价值。
丁烨 :我特别认同尚总说的方向,这两年智能体和视频应用的Token 消耗会急速增长。视频领域的供给效率变化非常大,Token消耗量会急剧增加。当一个东西量变的时候,很快会有质变——也许到了明年,大家会真正考虑:是不是所有算力供给都应该放在云端?数据安全是不是同样重要?以及这东西到底多少钱?这些问题会引起行业真正的注意。
陈蜀杰 :第一,国产化的AI芯片比例增加会是一个大趋势;第二,产业链上已经有非常多优秀企业和基础设施建设,未来会有一个全国性的系统级优化过程,资源更好地整合;第三,从“能用”到“好用”,从算力堆积到真正的Token产出效率,这个演变过程在 2027 年会更加明显。
赵行健 :谢谢陈总,也希望大家多多关注国产芯片,支持算力生态建设。我们今天这个环节的圆桌讨论就到这里结束,掌声再次送给台上各位嘉宾!