阿里发布Qwen-UI-Agent:让模型会用每一块屏幕!手机电脑全覆盖

快科技8月20日消息,阿里千问大模型正式发布Qwen-UI-Agent,这是一款面向真实设备的GUI图形界面智能体基座模型,覆盖移动端、PC桌面端、网页以及深度搜索环境。
最大的亮点是让AI可以直接看懂屏幕界面、模拟人类操作App与软件,充当数字设备通用执行器。
性能评测上该模型多项基准达到业界顶尖水平,移动端MobileWorld得分82.1%,真机基准MobileWorld-Real达到92.2%,AndroidDaily高达97.5%。
电脑端OSWorld?Verified取得79.5%,浏览器WebArena拿到73.6%。
ScreenSpot-Pro界面定位81.5%,多项榜单刷新SOTA,综合表现对标并超越GPT-5.6 Sol、Claude Opus 4.8、Gemini 3.1 Pro等海外旗舰模型,同时保留基座模型原本通用与Agent能力。
模型基于大规模真机环境训练,搭建超100台真实手机、150余款应用的测试集群,打通从仿真模拟到真实设备落地。
安全机制贯穿全流程,高风险请求直接拒绝,支付、删除数据、权限授权等敏感操作需要用户确认才继续执行。
支持GUI图形操作+CLI命令行混合动作,支持批量动作输出,电脑任务中接近半数可调用命令行,有效减少执行步骤,提升任务效率。
模型支持超100步超长轨迹在线强化学习,上万并发环境用于训练迭代,搭载AutoResearch式AI驱动数据飞轮,实现任务闭环迭代。
依托Harness框架,具备主动服务能力,支持手机、电脑跨设备任务接力,还可以和DeepSearch深度搜索联动,把网页检索和界面操作结合。
Qwen-UI-Agent目标是解决大量没有开放API的传统软件应用,不需要改造程序,AI依靠看懂屏幕就完成操作,拓展智能体落地边界。
【本文结束】如需转载请务必注明出处:
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
索尼游戏,进退两难 OpenAI抢后台,马斯克抢前台 陌陌母公司挚文季报图解:营收24亿净利降19% 唐岩刚获派息超8000万
小米的高光时刻!玄戒O3蓄势待发:登上国产自研芯片的最高峰 4400亿元的宇树 造富了多少人? 网红猪油渣别当零食吃:加重心血管负担 胡伟武回忆汉芯之痛:差点浇灭中国自主CPU火苗!龙芯2E只能背水一战 特斯拉车机换上“中国大脑”!豆包大模型上线:不再是一问一答对讲机了 存储涨价对行业伤害大!卢伟冰:以后8+128的手机定价都是2千+去了 摩根大通给出175美元目标价,多家机构维持百度“买入”评级 西宁外卖小哥绕后撞翻持刀男子 网友点赞国服孙策现世 美团奖5000元 安卓首款阔比例直板旗舰!OPPO Find系列新品蓄势待发 许家印等案一审宣判:许家印被判处无期徒刑 恒大集团被罚88.2亿元
财产给弟弟不给妻儿?一纸遗嘱,引爆叔嫂旷日持久的房产争夺战 弟弟举报哥哥“冒名顶替上大学”案庭审至深夜 哥哥指控弟弟“涉嫌行贿” 弟弟:这是侮辱和攻击 《黑神话:钟馗》全新 15 分钟游戏实机演示公布,首次展示主角战斗与部分剧情片段 宇树发布“超人”机器人,行业震动 晶圆代工企业成都海威华芯宣布印章被抢:海特高新组织百余人强闯公司 旺旺官宣“听劝版”新品将上线:主打低糖、低脂、高钙等 年薪77万上市公司高管接私活 6年赚1036万外快 被发现后全捐公司 小米澎程远光最远照射距离可达624米 为什么要照射这么远 重磅调整!诺基亚拟关闭中国研发中心 裁员1600人 内存厂忙着造HBM DDR4没人管了!三季度还要再涨50%
主题: