腾讯发布混元Hy 3极致量化版本：单卡就能跑！总参数295 B
快科技7月14日消息，腾讯混元官方宣布推出混元Hy3极致量化版本，单张高端显卡即可本地运行超大规模MoE大模型。
Hy3是腾讯自研混合专家架构旗舰模型，总参数295B，原生推理仅激活21B参数，支持256K超长上下文， 在代码生成、智能体调度、长文档理解等任务表现比肩更大规模海外旗舰模型，但原生BF16权重文件达598GB，硬件部署门槛极高。
为降低开发者使用成本，团队完成梯度量化压缩，推出三版适配不同场景的量化方案：
-极限轻量化IQ1_M（1bit）版本权重仅85.5GiB，压缩幅度达6.7倍，单张96GB推理显卡即可完整承载，适合硬件资源有限的本地离线使用；
-Q4_K_M（4bit）量化包体积169.9GiB，双显卡可稳定运行，模型输出精度无限贴近原生满血版本；
-GPTQ Int4版本原生适配vLLM推理框架，依托高并发、低延迟特性，面向企业线上API服务场景。
实测数据显示，本次量化方案在大幅压缩显存占用的同时，模型核心能力衰减控制在极低水平。
4bit版本输出概率分布、Top-K选择与BF16原版基本保持一致，多语言代码、工具调用、长文解读、Agent任务评测成绩几乎无明显下滑。
即便极致压缩的1bit版本，长文本理解能力近乎无损，代码、智能体任务仅小幅回落， 完全可以满足日常问答、文档处理、编程辅助等通用需求，打破“低比特量化必然大幅降智”的行业痛点。
为进一步优化本地交互流畅度，腾讯针对性开发llama.cpp专属补丁，补齐框架对Hy3原生MTP多令牌投机解码机制的适配。
开启MTP加速后，令牌接受率稳定维持60%左右，1bit量化版本解码速度提升约50%，4bit版本提速接近60%，大幅缓解本地大模型生成卡顿问题。
【本文结束】如需转载请务必注明出处：
新浪科技公众号
“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）
OpenAI抢后台，马斯克抢前台
陌陌母公司挚文季报图解：营收24亿净利降19% 唐岩刚获派息超8000万
风口上的AI短剧人，如履薄冰
女子睡觉时被虫咬断一大把头发 专业人士科普揭秘“凶手”身份
OpenAI 多名员工公开声援 CEO 奥尔特曼，证实其乐于听取不同意见
抢跑豆包手机？阶跃发布STEPX终端品牌，全球首款大模型原生智能体手机登场
人均日通话降至8.7分钟：为何国人不爱接电话了 背后原因揭开
涨价、降配、偷工减料？买车最好的机会可能过去了！
长鑫科技超6000员工获股份 千万富翁或批量诞生
Windows彻底出局！央采笔记本100%国产系统：联想成最大赢家
中国或还将遭遇2至3个台风！关于台风天的几个误区要知道
业界最大规模超节点重磅首秀！华为昇腾Atlas 950 SuperPoD将亮相WAIC
AI 5秒挖出潜伏15年的漏洞！Google重奖61万元
诺基亚时代经典产品线命名回归：HMD Asha 305 入门手机完整规格及海报曝光
抢跑豆包手机？阶跃发布STEPX终端品牌，全球首款大模型原生智能体手机登场
小鹏客服回应X9高温下趴窝：空气悬架多次调节触发了热保护
数据显示新能源车主 3 至 5 年就要换车
宝马集团 2026 年第二季度全球交付约 59.10 万辆汽车，同比下降 4.9%
小米汽车：新一代SU7少量现车开售 最快2小时可提车
特斯拉官方宣传汽车寿命：一年两万公里可行驶 15 年以上
俞敏洪回应孙东旭石明天权合伙做电商：原始创业者是我 我有包容心
格局够大！俞敏洪公开回应孙东旭明明天权合伙创业
不买中国稀土改拼代码！印度一公司甩出“赛博电机”专利：仅用电力和软件来手搓磁场