做出来容易上线难：搞定企业级Agent要先学会“评估”？
DoNews
撰文 | 李信马 题图 | AI生图
《在数十亿个Agent运行之前，亚马逊先让Agent学会了管库存和招人》一文中，亚马逊云科技（以下简称“AWS”）CEO Matt Garman曾预测未来会有数十亿Agents在各行各业广泛运行，这样的前景固然让人欣喜，但有些冷水也不得不泼。
去年7月，MIT Project NANDA发布的一份报告，基于对300多个AI项目、52家组织的访谈和153位高管的调查发现：尽管企业对生成式AI（GenAI）投入了300-400亿美元，但仅有5%的组织成功实现了规模化部署并获得了显著财务回报。这种现象被称为 “GenAI鸿沟”（The GenAI Divide），绝大多数组织被困在“高采用率、低转化率”的试点阶段。
细分到Agent领域，也存在这样的鸿沟，Demo效果很好，接入真实场景就失效，未来假如出现了几十亿个Agent，其中多少好用能用，其实也不好说。但问题的根源可能不在于模型不够强，因为Agent需要深入具体的业务场景，工程问题可能比模型的能力问题更重要。AWS刚刚发布的《企业生产级智能体开发部署指南》（下文简称“指南”）中提到，传统软件工程方法对Agent失效，源于传统软件和Agent间的三个本质差异：
非确定性。传统软件的运行逻辑是确定性的，有一套明确的对错标准。Agent基于大模型运行，输出具有概率性——同样输入不一定产生相同输出，昨天测试通过，不意味着今天依然稳定。目前没有任何主流模型提供商承诺完全确定性的输出。
Prompt即源代码。在传统软件里，改代码会留痕，有版本控制，有静态分析工具，但Prompt不会。自然语言提示词哪怕只是微调一个词，都可能引发Agent行为的剧烈波动，而当前行业没有成熟的工具来评估这种改动的影响范围。
隐式依赖。Agent对底层大模型存在隐式依赖——模型提供商在后台悄悄升级，代码一行没动，Agent的服务质量可能已经变了。
三个差异叠加导致传统软件的评估测试体系对Agent全面失效，进而导致企业Agent在进入生产环节上陷入停滞。那对想要靠Agent降本增效的企业来说，具体该怎么办？
01、从SDLC到ADLC：评估是核心
亚马逊全球副总裁储瑞松曾提过一个观点，企业在构建AI Agent时，底层技术平台可以通过采购获得，但评估标准必须由企业自主掌控， 企业的核心竞争壁垒在于其自有的黄金数据集和评估标准 。这一说法有些反常识，模型、基础设施、开发工具都可以靠买（对绝大多数企业来说自研的确也不现实），为什么评估标准这样重要？
回顾下历史，上世纪60年代计算机科学快速发展，催生了最终演变为SDLC（软件开发生命周期）的生产框架的雏形，SDLC的核心是将开发工作划分为需求分析、设计、编码、测试、部署和维护等多个阶段，而随着AI智能体承担大量开发工作，ADLC（Agent Development Lifecycle，Agent开发生命周期）方法论随之出现，和SDLC最大的区别是： ADLC是一个飞轮，不是一条流水线。
ADLC不是走一遍就结束，而是不断旋转、持续迭代，六个环节——定标准、开发实现、效果评估、灰度上线、持续监控、改进循环——会从最后一个回流到第一个环节，更新评估标准和基准数据集，如果说传统软件是“开发→测试→上线”，Agent就是“定标准→开发→评估→上线→监控→挖失败→更新标准→再开发”，评估是起点，也是终点。