文心大模型日均调用量超7亿，百度竭力为其寻找落地机会|界面新闻·科技
大模型工具的性能提升固然重要，但对于百度来说，模型落地的成果更具有现实意义。
崔鹏CP · 来源：界面新闻
图片来源：官方
界面新闻记者 | 崔鹏
界面新闻编辑 | 宋佳楠
9 月 2 5 日 上午 ， 百度在 云智 大会上 推出 百舸 A I 异构计算 平台 4 . 0 和 千帆大模型 平台 3 . 0 等 A I 基础设施产品 ， 并公布 了 多项 A I 相关业务 的 最新 数据 。 其中， 文心 大模型 日均 调用 量 已经 超过 7 亿 ， 距离 百度 上次 公布 的 6 亿 数据 有 进一步 提升 。
在 刚结束的 阿里 云栖大会 上 ， 阿里巴巴 C E O 吴永铭 曾 表示 ， 阿里云 的 单网络 集群 已经 拓展至 1 0 万 卡 级别， 而 百度也 不甘于 落后 。 百度集团执行副总裁、百度智能云事业群总裁沈抖 特别 强调 ， 百舸 4 . 0 将 不仅仅 是 万卡 集群 ， 而是 具备了 成熟的 1 0 万 卡 集群 部署 和 管理能力 。
百度 今年 一直在 强调 大模型 的 落地 应用 。百度CEO李彦宏在最近一次内部讲话 中表示 ， 具备 应用场景 、 能够 持续迭代 升级 的 大模型 ，与 其它 模型 产品的差距会 越来越大。
基于此， 百度 找来了 长安汽车 和 三星 等 大量 客户为其站台 ，以 展示 百度大模型在各行各业的落地应用成果。
沈抖 表示 ， 过去一年， 百度 感受到 客户 的 模型 需求 猛增 ， 需要的集群规模越来越大， 企业 对 模型 推理成本 下降 的 预期 也 越来越高 。
训练大模型的 前提是 创建 集群 ，这并非简单地买来GPU组装即可， 通常 需要 几个月的时间 进行 设备 配置 和 调试 。
此前有 云厂商 提到，组建集群 可以 压缩 到 1 天 ，而 沈抖 称 ， 百舸 4 . 0 能够做到 最快 1 小时完成 组建 ，主要 采用 将 业界流行训练 工具 和 框架 进行 内置的方式。
一旦 进入到 大规模训练 阶段 ， 最重要的 就是 稳定性 。 大模型领域一直遵循著名的Scaling Law（尺度定律），认为模型性能会随着参数、算力和数据集的规模增加而提高 。
根据沈抖的说法，G P U 集群需要耗费 巨额 的 建设 和运营成本 ，通常建设 一个 万卡 集群 ， 单 是 G P U 的 采购 成本 就 高达 几十亿 元。 如果 是 1 0 万 卡 集群 ， 服务器 一天 消耗 的 电量 大约 是 3 0 0 万 千瓦时 ， 相当于 北京 东城区 一天 的 居民用电量 。
在 这种 大规模 的 集群上 ， 硬件 不可避免 会 出现 故障 ， 规模越大 ， 出故障的 概率 越高 。 在 这些 故障中 ， 绝大多数 是 由 G P U 引起的 ， 因为 G P U 是 非常敏感的 硬件 ， 对 温度 、 湿度 等 环境 波动 反应灵敏 。
沈抖提到 ， Meta训练Llama3模型时，用了1.6万张GPU卡的集群，平均每3小时就会出一次故障。
大模型的 训练 是 庞大的 单一任务 ， 一个 节点 出错 ， 整个 集群 就需要 停下， 并 回滚 到 上一个 记忆点 。 考虑到 G P U 集群 的 成本 非常 昂贵 ， 每 多 停 一分钟 就会 白白烧钱 ， “ 有效训练 时长 ”便成为 非常 重要的指标 。
针对 大模型 训练 过程中 故障频发 的 问题 ， 百舸 4 . 0 对 故障检测 手段 和 自动容错机制 进行 了 升级 ， 目前 万卡 集群 上 的 有效训练时长 达到 9 9 . 5 % ， 沈抖 称 这高于 同行 对手 的 数据 表现 。此外， 百舸 4 . 0 将 主流的 长文本 推理效率 提升 了 1 倍 以上 ， 同时 降低了 推理成本 。
在百度最新的财报电话会上， 李彦宏 曾 透露，二季度百度智能云AI贡献的收入占比进一步提升至9%，而上一季度为6.9%。
大模型 工具 的 性能 提升 固然 重要 ， 但对于 百度 来说 ， 模型落地 的 成果 更具有现实意义 。
除升级 百舸 平台外，百度还着重介绍了 最新的 千帆 3 . 0 平台。根据沈抖公布的数据， 在千帆大模型平台上，文心大模型日均调用量超过7亿次，累计帮助用户精调了3万个大模型，开发出70多万个企业级应用。 千帆3.0可 调用包括文心系列大模型在内的近百个国内外大模型，也支持调用语音、视觉等各种传统的小模型。
目前， 大模型 落地 的 三大 主要需求 分别是 应用开发 、 模型 推理 和 模型 开发 。
在 应用开发层 ， 企业级 R A G （ 将 企业 和 行业数据 做成 外挂 知识库 给 大模型 ） 和 A gent 智能体 是 两大 常见 的 大模型 落地 场景 。
其中，智能体接到任务后，会进行自主思考、任务拆解、方案规划，并调用工具，全程自主进行 ， 能够 完成过往 需要 3到 4 个 A P P 才能 完成的 任务 。
沈抖 表示 ， 百度 内部 为 千帆 平台 提供 了 百度搜 索 和 百度地图 等 超过 8 0 个 官方组件 ， 用来 提升 智能体 在 特定任务上的 能力 。
而在 李彦宏看来，智能体是大模型 发展的 下一个 重要方向。 “有很多人看好智能体这个发展方向，但是到今天为止，智能体还不是共识，像百度这样把智能体作为大模型最重要的战略、最重要的发展方向的公司并不多。”
百度在今年的Create大会上曾发布过三款产品，分别是AgentBuilder、AppBuilder和ModelBuilder。其中，AgentBuilder和AppBuilder都与智能体相关，一个门槛更低，另一个更强调功能性。
根据百度最新透露的数据，智能体在百度生态的分发量大幅增加，7月日均分发次数超800万次，为5月数据的两倍。
百度旗下 数字人 平台 和 智能客服产品也有了 最新进展 。 其中曦灵数字人平台4.0，支持根据文字快速生成不同妆造、不同行业特色的3D数字人形象和视频，并将3D超写实数字人的价格从万元降至199元。
智能客服产品“客悦”则在用户意图理解、多模态信息交流等方面进行了优化，提升了处理复杂问题的能力。
按照百度的说法，目前业内 “问题自主解决率” 的 平均水平是80%，升级后“客悦”将这一指标提升至92%。该产品已累计帮助企业客户服务超过1.5亿人次，交互超5亿次。
主题：