登录

微软升级Win 11的AI框架,实验性支持GGUF与ONNX原生本地推理


速读:cpp和GGUF开源社区合作,在Windows11系统上升级WindowsML,实验性原生支持GGUF与ONNX格式模型推理,并推出WindowsMLRuntimeAPI。
2026年10月09日 10:21

IT之家 10 月 9 日消息,科技媒体 NeoWin 昨日(10 月 8 日)发布博文,报道称微软正与 llama.cpp 和 GGUF 开源社区合作,在 Windows 11 系统上升级 Windows ML, 实验性原生支持 GGUF 与 ONNX 格式模型推理,并推出 Windows ML Runtime API。

在 Windows 与 Surface 十月活动中,微软介绍了 Windows ML 的最新进展。Windows ML 是微软面向 Windows 11 的本地 AI 推理框架,开发者可在设备端运行 AI 模型,构建文本生成、语音识别等应用,并减少对特定硬件优化的依赖。

微软表示通过社区合作,开发者现可通过 llama.cpp 的实验性集成,从 Hugging Face 导入 GGUF 模型并直接在本地运行。在性能方面,微软还携手英伟达公司,向 llama.cpp 及相关性能优化贡献代码。

Windows ML 新增实验性 Windows 原生推理路径,可运行 ONNX 与 GGUF 两类模型。该路径正式名称为 Windows ML Runtime API,微软称其具备更高性能、更深的系统集成及更细粒度的控制能力。

IT之家注:GGUF 是一种常用于本地运行大语言模型的模型文件格式。开发者可从 Hugging Face 等平台获取 GGUF 模型,并通过 llama.cpp 等工具在个人电脑上加载与推理。

而 ONNX 是开放神经网络交换格式,用于在不同框架和硬件间迁移 AI 模型。ONNX Runtime 是其常用运行环境,可支持模型在 Windows 设备上的推理部署。

在 Windows ML Runtime API 支持下,微软同时推出 Text Generation API 与 Speech Recognition API,开发者可使用这两组接口构建文本生成与语音识别功能。

微软表示,ONNX Runtime API 仍获完整支持;未来针对 Windows 的优化将优先投向 Windows ML Runtime API。两种运行时均已包含在当前版本中,开发者可按熟悉程度选择迁移时机。

新浪众测

新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

A社“AI末日”资本黑手被揪出,炒作焦虑为IPO圈钱!难怪仇视DeepSeek开源

中银基金换帅:风控“守门”,难破“偏科”

除了腾讯,还有谁愿意为燧原科技买单?

霸道!苹果强制开发者适配iPhone Duo:不然不给更新

刚刚,诺贝尔化学奖揭晓!95岁的他等了25年

国庆档票房超10亿 “电影+”释放市场活力

最后的探戈:梅西用1球2助攻告别阿根廷国家队!

过了个国庆 新能源成“传家宝”了?

OpenAI 发布又一批 AI 数学研究成果,攻破数百个悬而未决难题

德国支持特斯拉 FSD 落地欧洲,前提是更名为 TAD、超速上限设为 10%

昔日女神形象大变!梅根·福克斯完全卡戴珊化

第一批返程车辆失算了!网友:高速上堵成腊肠

必须氪金!《永恒之塔2》Steam评价褒贬不一

伯特利制动董事长谈尊界刹车被踩断:个别媒体牺牲中国品牌口碑博流量

有博主直播狂踩刹车踏板:近万人围观 还有网友主动刷礼物

尊界汽车发布声明:将进一步优化制动踏板 为已交付用户提供免费升级选择

配激光雷达!上汽大众ID.ERA 5X内饰谍照流出:预计11月上市

懂车帝回应尊界V800刹车断裂:暴力测试是谣言!百公里刹车实验并非极端工况

能跟阿迪耐克掰手腕的PUMA 被安踏豪掷113亿元收购了

马斯克疑公开呛声印度首富 惊动印度政府发声明驳斥

俄鼠疫研究所工作人员死亡疑云:症状似鼠疫但存差异,感染源和致病因子仍未知

中国进口威胁巴西就业!国产车卖爆巴西:欧洲车企坐不住了

7万人排队掏钱!小米公布澎程上市首月战报:30天锁单超70000台

主题:微软|开发者可|实验性