新「豆包手机」首发体验,智能手机正在变成「行动终端」
九月的手机圈成了全年最激烈的战场,今年 AI 手机悄悄站上了 C 位。有人把 Agent 做进操作系统,有人试图将小程序和服务封装成可调用的能力,也有人干脆从硬件开始,为 Agent 重新设计入口。
刚刚结束的苹果发布会上,新任 CEO 特努斯给 iPhone 提出了一个新的定位: 智能个人中枢(Intelligent Personal Hub)。
在他的设想里,理想的 AI 设备要随时陪伴用户,理解日程、人际关系和日常习惯,能看见、听见周围的世界,也能与其他设备、App 和服务协同。
过去十多年,手机把越来越多的工具装进口袋,却把组织这些工具的工作留给了人。 现在 AI 手机正在尝试接手这部分工作。
今天,豆包手机助手消费者版也正式发布了。
我们之前评测豆包手机技术预览版的时候,认为它把我的手机「变薄」了。
那会儿最让我惊喜,是它真能替我横跨不同应用操作,能钻进一个几百条消息的群里,把文件挨个下载、分类、打包,再发给同事。那种感觉,像是手机第一次自己长出了手。
这次的豆包手机助手消费者版,「操作手机」能力继续以 Beta 版保留,并存在一定能力限制。同时新增了一枚独立 AI 键,可以更快调用各种操作。
另一项重要升级是个人 Context 和记忆能力。豆包手机可以在获得授权后获得手机更多的信息,你也可以通过语音、按键、手势和截图,随时把觉得有用的信息保存到记忆,这些上下文最终会让 Agent 在行动前更懂你。
如果说,技术预览版展示了 AI 操作手机的想象空间,消费者版本要回答的,则是普通人是否愿意每天使用它。
所以这次爱范儿拿到豆包手机助手消费者版,并没急着去挑战它能做多难的任务,我更想知道的,它到底能不能真的每天帮我把事办成?
AI 键不新鲜,但按下之后不一样了
先说侧面新增的那颗 AI 键。
长按 AI 键可以直接唤起豆包助手,双击则进入实时视频对话;即使手机停留在锁屏界面,用户也可以直接向豆包询问天气等通用信息。涉及敏感操作时,这颗按键还可以结合指纹验证,确认手机是否获得了继续执行的授权。
为 AI 增加实体按键,本身已经不是什么新鲜设计。过去几年,不少手机都将电源键、侧边键或独立按键与 AI 功能绑定。它们通常负责打开语音助手、启动识屏、进入相机,或者唤起一个集合了各种 AI 功能的页面。
但这台手机并不是又为 AI 腾出了一个物理位置,它按键背后连接的对象变了。
你可以按下它问一个问题,也可以交代一项需要继续执行的任务,豆包手机助手可以调用日历、文件、录音和已接入的第三方服务,并在后台继续工作,不打扰你当前使用手机处理其他事情。
也就是说,这个 AI 键不只是打开豆包的快捷键,它试图启动一次行动, 并承担着 Agent 与用户之间的权力交接:按下时,用户交出目标,并决定手机可以替自己走到哪一步。
传统语音助手经常要求用户重新描述屏幕内容,或者先截图,再上传给 AI。
豆包手机助手的 AI 键省掉了这些步骤。按下之后,当前屏幕会直接成为模型理解问题的上下文。
我在在社交媒体刷到一只狗,直接问:
这是什么狗,适合新手养吗?
豆包会识别犬种,并结合运动量、性格、掉毛情况和饲养难度给出建议,全程不用退出应用。
打开《Attention Is All You Need》后,我又让它总结论文。豆包手机助手可以识别当前屏幕中的论文内容,并结合屏幕信息提炼 Transformer、自注意力机制等核心概念,无需手动复制文字或切换应用。
面对唐国强饰演的诸葛亮,我问它演员和角色信息。豆包不仅识别出唐国强和诸葛亮,还找到了「秋风五丈原」这一具体场景。
相比简单识图,更有价值的能力是理解完整语境,将演员、角色、作品和剧情联系起来。用户看到什么,就可以直接围绕什么提问。
屏幕信息也可以直接变成任务输入。
比如我展示浴室墙面后询问:「我想装一个免打孔的洗漱用品置物架,这面墙大概有 30 厘米空隙,有没有防锈、极简的商品推荐?」
豆包会结合墙面环境、空间尺寸和材质要求筛选商品。过去需要测量、搜索和反复查看详情的过程,现在可以从眼前的真实环境直接开始,它也能直接给出一些商品购买链接。
这颗 AI 键想做的,其实是让发起任务的起点更低,一切都是为下面这些体验做准备。
手机自己干活,不只看能调用多少 App
操作手机 Beta 版依然是豆包手机助手最有辨识度的能力。
爱范儿实测后,发现日常的生活和飞书等办公场景的应用基本都能满足,涉及支付、隐私和不可逆操作也会要求用户接管确认。
这次豆包手机助手对于第三方应用的操作,有了明确的规范,他们发布了面向第三方应用接入的屏幕自动化操作声明协议 SAEP(Screen Automation Execution Protocol),并同步启动为期 30 天的规则公示。
按照这套协议,第三方应用可以自主声明 AI 在应用内的操作边界,明确允许或拒绝 AI 助手进行屏幕自动化操作。豆包手机助手方面表示,会尊重开发者的选择,对于明确拒绝相关操作的第三方应用,不会进行自动化操作。
某种程度上,这也给「操作手机」补上了另一层权限关系。用户决定 AI 能替自己做到哪一步,开发者则决定 AI 能不能进入自己的应用、能够操作到什么程度。
AI 调用 App 到今天其实已经不是技术问题,豆包手机助手的意图理解能力经过半年多的升级,我发现它对需求理解比之前的技术预览版更准确,执行的成功率也有了明显提升。
比如我甚至可以一次给把几个任务同时抛给它,提示词如下:
把手机调成静音模式,然后设一个 3 点的闹钟提醒我开会。另外,帮我查一下未来 3 天的天气,然后在每天早上 7 点钟出门前给我一个提示。
主题:AI键|豆包手机助手消费者版