月之暗面开源Kimi K 3模型,2.8万亿参数
IT之家 7 月 27 日消息,月之暗面官方今晚正式开源 Kimi K3 模型。官方发布了 Kimi K3 的模型权重、技术报告,并开源支撑 Kimi K3 模型训练的关键 Infra 技术:MoonEP、FlashKDA 和 AgentEnv。
Kimi K3 是一个 2.8 万亿参数模型 ,基于 KDA 混合线性注意力机制(Kimi Delta Attention)和注意力残差(Attention Residuals)技术构建,原生支持视觉理解,并拥有 100 万 token 上下文窗口 。
官方表示,Kimi K3 是首个达到 2.8 万亿参数规模的开源模型,在过去 12 个月中的 9 个月里,Kimi 模型都保持着开源模型的规模上限。
Kimi 还进一步扩大了 Mixture of Experts(MoE)的稀疏度:结合 Stable LatentMoE 框架后,模型可以在 896 个专家中高效激活 16 个。再加上训练方法和数据配方的优化,这些结构性改进让 Kimi K3 相比 K2 的整体扩展效率提升约 2.5 倍,能更有效地把算力转化为能力。
据介绍,Kimi K3 具备很强的长程编码能力。在极少人工监督的情况下,它可以持续完成长时间工程任务,理解和处理大型代码库,并协调使用终端工具;Kimi K3 也擅长结合软件工程与视觉推理的任务。它能够利用截图和视觉反馈,优化游戏开发、前端和 CAD 等场景。
官方表示,虽然 Kimi K3 的整体表现仍落后于最强的闭源模型 Claude Fable 5 和 GPT-5.6 Sol,但在整套评测中展现出前沿水平的能力,并稳定超过了其他所有模型。




新浪科技公众号
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

OpenAI抢后台,马斯克抢前台
陌陌母公司挚文季报图解:营收24亿净利降19% 唐岩刚获派息超8000万
风口上的AI短剧人,如履薄冰
Kimi K3 48小时跑通芯片设计!中国AI距离美国只差两三月 硅谷坐不住了
长鑫科技员工:上市和我们没啥关系 更关心未来薪资、待遇
长鑫科技周边酒店一房难求:上下游客户众多 差旅往来频繁
OpenAI失控AI内幕揭晓:越狱一周才被发现!存重大安全隐患
截胡苹果 谷歌Pixel 11拿下台积电2nm工艺首发权:高管坦言新机要涨价了
微软承认 Win11 系统原生应用内存占用过高,承诺重写开始菜单前提升 WinUI 性能
华为超轻薄本“梦露”下周发布:仅重700g!轻盈度远超苹果MacBook Air
科创板史上最大IPO!长鑫科技今日正式挂牌交易
月之暗面Kimi K3夜店庆功画面曝光 现场喊口号“冲上月球”
赶乘政策与高温红利 美的格力燃起“换新热”
高速上4辆吉普车并行占道引吐槽 官方回应:正调查处理
长鑫科技半日成交1221亿,暴涨531%登顶A股“新一哥”,市值超越英特尔
市场监管总局宣布罚没携程 51.79 亿元后,携程内部全员信曝光
贾跃亭称聚焦 EAI 机器人战略后,法拉第未来经营基本面进入历史上最好时期
长鑫科技半天涨超530%!7名高管身家超10亿 员工:最关心的工资涨不涨
宇树机器狗50斤身躯能扛300斤货物!网友评论:乱七八糟又四平八稳
中国AI大模型包揽全球前五,小米MiMo-V2.5周调用量破10.5万亿强势登顶
长鑫科技开盘时有人成功卖出4签:获利丰厚
首日股价暴涨465%!蔚来李斌现身长鑫科技上市答谢晚宴:赚大发了
豆瓣评分7.5!国产科幻电影《群星闪耀时》仅上映2天宣布撤档