天数智芯“秀”高质量算力,国产GPU“硬刚”海外巨头,云端、端侧都不输
天数智芯“秀”高质量算力,国产GPU“硬刚”海外巨头,云端、端侧都不输
2026年10月31日 19:5

现场随机选人提问,比如“一只老虎把月亮踢飞”,让国产GPU和 英伟达 主力高端推理卡H200作答,结果国产GPU用时95.6秒,而 英伟达 H200耗时为112秒。
这块跑赢H200的GPU叫作天垓300。在近日由“上海GPU四小龙”之一的 天数智芯 举办的“从模型到世界”媒体开放日活动上,天垓300首次面向媒体开放实机演示。今年7月,第三方权威机构完成的第三方实测显示,在典型PD分离部署下,天垓300折算单卡整体端到端吞吐达到 英伟达 主力高端推理卡H200的1.05倍。
基于天垓300的AFD分离方案、IXL144超节点方案,以及天数智算软件栈、彤央端侧算力终端同台亮相,并预告标称算力达600T的下一代端侧产品。 天数智芯 将这条路概括为云端生产智能,软件加速适配与优化,端侧让智能进入更多现场,形成让高质量算力持续生长的增强回路。
实测对标H200:走向复杂AI任务的性能门槛
第三方权威机构今年7月针对四大主流模型、三类场景开展测试,在大模型典型的PD分离部署下,天垓300折算单卡整体端到端吞吐达到H200的1.05倍。这里比较的不是理论峰值,而是在特定模型和部署条件下,整条推理链路的实际输出能力。
天数智芯 性能实验室的实测进一步覆盖典型业务场景:在64K长上下文下,天垓300的Attention性能为H200的1.05倍;GLM-5.3模型64K规模下,保障同等用户体验的同时,MoE吞吐为H200的1.15倍;8K至128K长上下文场景下Agent首字延迟较H200降低约10%-30%;多模态生成推理吞吐相较H200提升约2%—5%;在搜广推等在线业务中,推荐推理吞吐提升21%、轻量计算时延降低26%。活动现场开放天垓300实机演示,接受与H200在GLM5.3等大语言模型、文生图、文生视频场景的对比测试。
这些指标各自对应着用户能够感知的体验。长上下文处理关系到长文档分析和复杂Agent能否高效运行;MoE吞吐影响同等服务要求下系统承接请求的能力;首字延迟则直接关系到用户发出请求后的等待时间。此次对标说明天垓300已在多类关键负载上进入与国际主流高水平GPU直接比较的区间。
训练方面,在基于Qwen3-32B模型的8卡整机FP8精度训练演示中,天垓300每卡有效吞吐达到H100的1.33倍。目前,强化学习已成为OpenAI、Google、Meta、xAI以及DeepSeek、Qwen、Minimax、Kimi等国内外主力模型公开采用的核心后训练路线。天垓300同样胜任强化学习训练,据条件性工程估算,以1024张卡对已有预训练基座开展一次强化学习,在40B激活参数的中心情景下,约26天可完成约1T总参数MoE模型的500亿生成Token强化学习任务。
随着日均Token调用量较2024年初增长上千倍,Token工厂正成为算力规模化落地的热门形态,也是高质量算力三要素的集中检验场。各项表现显示,天垓300高度满足Token工厂对算力的各项实际要求。
首先是高效率。 电力 、机房和固定运维等支出难以随意压缩,单位Token成本很大程度上取决于设备投入和有效吞吐。在前述第三方测试条件下,天垓300折算单卡端到端吞吐达到H200的1.05倍,为单位时间内生产更多有效Token提供了性能基础。
其次是可预期。Token工厂不能只在短时测试中跑得快,还要在长时间满负荷运行时保持稳定。天垓300满负荷运行的步时波动为0.43%,低于对比Hopper方案的0.76%,长时间高负载不掉链子,直接保障利用率与可用率。
最后是可持续。天垓300通用架构原生支持CUDA语义,主流框架均已适配,并提供从加速卡、服务器到超节点的不同部署形态,面向多种模型与业务需求。
天垓300同时提供开放、可组合的异构计算平台解决方案。以通用GPU为底座,支持混合训练、PD分离与AFD分离等多种部署形态,可与其他厂商的加速卡、专用芯片协同。以AFD分离为例,天垓300承担Prefill全流程计算与解码阶段的Attention,合作厂商的XPU承担FFN专家网络,两类芯片在统一调度下异构协同,实测Decoding推理延迟可降低60%,该方案已实际跑通,是国内第一个基于GPU+XPU的异构部署AFD分离方案。
从“能不能用”,到比拼实际产出、运行效率和经济价值
“未来的AI算力系统,不一定由一种芯片包打天下。”天数智芯AI与加速计算负责人单天逸表示,“关键是如何把它们高效组织起来,让整个系统发挥更大的价值。我们希望通过开放的异构计算能力,让客户充分利用已有算力资产,以更灵活的方式构建适合自身业务的计算系统。”
高质量算力的价值,由此不只是测试成绩,而是能够持续投入实际生产的能力。天数智芯更将通用算力延伸至科学智算与物理AI等前沿领域,加速科学发现和产业应用。天垓300全面支持Boltz-2、OpenFold3、Protenix等模型及Newton、Warp、ALCHEMI等框架,覆盖生命科学、物理AI、化学与材料四大领域近百个典型场景,涵盖蛋白结构预测、药物筛选、 机器人 仿真、分子动力学、材料结构优化等关键任务。
物理AI尤其体现出通用计算的新价值。 机器人 要进入真实世界,往往需要先在遵循物理规律的仿真环境里反复试错,学习动作并验证策略。天垓300的云端仿真和计算能力,让这种学习和验证更充分。
在规模化交付侧,天垓300已形成从加速卡、一机8卡服务器到超节点的完整系统方案。天垓300 IXL144超节点在单个标准机柜内集成144颗GPU、聚合约10.1TB显存,是目前业界密度最高的单机柜GPU超节点,据测算,其每百万有效Token成本较国际主流方案可降低约40%。其新一代P2P互联引擎面向Scale-up和Scale-out,目标是将域内单次传输延迟由3—5微秒降至1微秒;支持统一内存语义编程;同时支持大EP,将专家权重分散到更多核心。该方案已在工博会公开亮相,面向不同算力规模与机房条件的其他超节点方案也将陆续推出。
彤央TY1200实测超Thor T5000:云端能力下沉端侧
开放日当日,在现场软件栈展示“用AI开发AI”的新路径时,彤央TY1200在实测中超越 英特尔 Thor T5000,英伟达的一款非常能打的高性能端侧计算平台。在现场随机挑人提问的演示中,彤央TY1200的回答速度明显跑赢了Thor T5000。
彤央TY1200端侧算力终端标称300 TOPS稠密算力,而非行业惯用的稀疏峰值;在Qwen3.8-27B、Qwen3.6-35B-A3B等LLM模型实测中,TY1200性能达到Thor T5000的1.2倍。以实测稠密算力超越标称算力更高的芯片,端侧的有效产出同样不被标称算力定义。
“云端GPU厂商做端侧,不是把芯片做小,而是把能力下沉。”天数智芯彤央产品市场负责人宋远盈表示。天数智芯在云侧大规模训练与推理中积累的模型压缩、量化、蒸馏和软硬协同能力,连同通用GPU架构、编译器、算子库和性能工具,被一起带到边端。模型因此可以“生在云、长在边”:云端训练、边端部署,需要时再由云端复判,模型能力与精度保持衔接。在客户现场积累的高负载交付经验,也为工业应用、具身智能等高度要求稳定性的场景交付提供能力基础。
彤央以一套生态、两种形态、五款产品覆盖从客户自主集成到即用型部署的需求;端云接续的技术路线,“把云的能力折叠进方寸之间”,也让客户的边端投入具备长期延续性。
TY1200此前已获2026工博会CIIF国芯展创新成果奖。活动现场,天数智芯还预告下一代端侧产品彤央TY2000,标称算力将达600T,把云端能力下沉的边界再向前推进一步。
(文章来源:上观新闻)