微软升级Win 11的AI框架,实验性支持GGUF与ONNX原生本地推理
IT之家 10 月 9 日消息,科技媒体 NeoWin 昨日(10 月 8 日)发布博文,报道称微软正与 llama.cpp 和 GGUF 开源社区合作,在 Windows 11 系统上升级 Windows ML, 实验性原生支持 GGUF 与 ONNX 格式模型推理,并推出 Windows ML Runtime API。
在 Windows 与 Surface 十月活动中,微软介绍了 Windows ML 的最新进展。Windows ML 是微软面向 Windows 11 的本地 AI 推理框架,开发者可在设备端运行 AI 模型,构建文本生成、语音识别等应用,并减少对特定硬件优化的依赖。
微软表示通过社区合作,开发者现可通过 llama.cpp 的实验性集成,从 Hugging Face 导入 GGUF 模型并直接在本地运行。在性能方面,微软还携手英伟达公司,向 llama.cpp 及相关性能优化贡献代码。
Windows ML 新增实验性 Windows 原生推理路径,可运行 ONNX 与 GGUF 两类模型。该路径正式名称为 Windows ML Runtime API,微软称其具备更高性能、更深的系统集成及更细粒度的控制能力。
IT之家注:GGUF 是一种常用于本地运行大语言模型的模型文件格式。开发者可从 Hugging Face 等平台获取 GGUF 模型,并通过 llama.cpp 等工具在个人电脑上加载与推理。
而 ONNX 是开放神经网络交换格式,用于在不同框架和硬件间迁移 AI 模型。ONNX Runtime 是其常用运行环境,可支持模型在 Windows 设备上的推理部署。
在 Windows ML Runtime API 支持下,微软同时推出 Text Generation API 与 Speech Recognition API,开发者可使用这两组接口构建文本生成与语音识别功能。
微软表示,ONNX Runtime API 仍获完整支持;未来针对 Windows 的优化将优先投向 Windows ML Runtime API。两种运行时均已包含在当前版本中,开发者可按熟悉程度选择迁移时机。



新浪科技公众号
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

A社“AI末日”资本黑手被揪出,炒作焦虑为IPO圈钱!难怪仇视DeepSeek开源
中银基金换帅:风控“守门”,难破“偏科”
除了腾讯,还有谁愿意为燧原科技买单?
霸道!苹果强制开发者适配iPhone Duo:不然不给更新
刚刚,诺贝尔化学奖揭晓!95岁的他等了25年
国庆档票房超10亿 “电影+”释放市场活力
最后的探戈:梅西用1球2助攻告别阿根廷国家队!
过了个国庆 新能源成“传家宝”了?
OpenAI 发布又一批 AI 数学研究成果,攻破数百个悬而未决难题
德国支持特斯拉 FSD 落地欧洲,前提是更名为 TAD、超速上限设为 10%
昔日女神形象大变!梅根·福克斯完全卡戴珊化
第一批返程车辆失算了!网友:高速上堵成腊肠
必须氪金!《永恒之塔2》Steam评价褒贬不一
伯特利制动董事长谈尊界刹车被踩断:个别媒体牺牲中国品牌口碑博流量
有博主直播狂踩刹车踏板:近万人围观 还有网友主动刷礼物
尊界汽车发布声明:将进一步优化制动踏板 为已交付用户提供免费升级选择
配激光雷达!上汽大众ID.ERA 5X内饰谍照流出:预计11月上市
懂车帝回应尊界V800刹车断裂:暴力测试是谣言!百公里刹车实验并非极端工况
能跟阿迪耐克掰手腕的PUMA 被安踏豪掷113亿元收购了
马斯克疑公开呛声印度首富 惊动印度政府发声明驳斥
俄鼠疫研究所工作人员死亡疑云:症状似鼠疫但存差异,感染源和致病因子仍未知
中国进口威胁巴西就业!国产车卖爆巴西:欧洲车企坐不住了
7万人排队掏钱!小米公布澎程上市首月战报:30天锁单超70000台