训练

目前，为了满足人工智能训练和运行的需求，世界各国正在建设大量数据中心、服务器集群、输电设施和发电项目，许多地区正在围绕人工智能布局电力供应、芯片制造和网络基础设施，这些举措固然可以极大地推动人工智能的发展，是新事物发展过程中的必然需求。

过去几年的发展中，大模型不断被训练得让用户体感越来越好，在RLHF（基于人类反馈的强化学习）训练框架下，人类偏好往往会成为重要优化信号，模型会被鼓励表现得礼貌、有帮助、有回应感，智能体的训练同样如此。

面对模型训练的严苛需求，数据采集技术本身必须进行一场深刻的范式转移。

高精度层面，模型训练需要数据在时间和空间上高度对齐。

“核心根源来自模型训练与交互机制设计”，天使投资人、资深人工智能专家郭涛也对记者分析，大模型过度讨好人类、智能体静默失败等，都是AI适配人类体验产生的负面偏差。

“讨好型人格”的背后是模型训练机制的系统性问题。

孙博文介绍，从数据清洗、训练数据的构造再到模型训练的过程，模型学到一些捷径——给出一个肯定用户、明确的成功答案会比反复表达不确定性，更容易取悦用户。

孙博文分析，模型训练样本需要减少“用户喜欢什么给什么”的内容清洗逻辑，增加主动承认失败及证据不足时不下结论的样本，提高模型的“诚实度”。

此外，郭涛提到，除了模型训练对齐体系的调整、智能体技术机制的完善，行业标准与测评监管维度的优化同样重要，行业需要建立统一规范，将过度讨好、虚假反馈、静默失败等纳入模型合规测评体系。

这意味着，解决大模型和智能体的“讨好”问题，可以从模型训练、Agent系统乃至架构方面多重推进。

依托这些海量真实物理实验数据训练的AI模型，其研判能力正在持续超越传统人类专家。

在训练基础设施方面，月之暗面开源了支撑KimiK3训练的三项关键Infra技术：MoonEP、FlashKDA和AgentEnv。

据瑞银证券统计，中国头部模型的训练成本约为海外龙头的1/10；

”同时，熊玮提醒国产模型训练和推理还存在明显的算力瓶颈。

二是想要达到相同性能，模型训练成本、训练计算量（FLOPs）直接减半。

月之暗面企业业务负责人黄震昕此前在接受媒体群访时介绍，围绕tokenefficiency，团队自研了MoonClip新型二阶优化器，Kimi团队在全球首次将其落地到大模型训练中。

华为升腾同步实现Day0全链路适配，依托Atlas系列算力硬件、MindSpeedMM训练套件、vLLMAscend与SGLang推理引擎，完整覆盖模型训练复现与线上推理部署。

MoonshotAI宣布，发布KimiK3的模型权重、技术报告，并开源支撑KimiK3模型训练的关键Infra技术：MoonEP、FlashKDA和AgentEnv。

传统大模型的训练数据以文本、图片和视频为主，具身智能则额外纳入第一人称视频、深度信息、点云、关节位置、动作轨迹，以及触觉与力觉等数据，这些异构数据还必须按统一时间戳严格对齐，才能完整还原机器人在某一时刻看到了什么、做了什么，以及结果如何。

对腾讯云等云厂商而言，这意味着服务范围也在延伸，过去主要向具身智能公司提供GPU和存储资源，未来则要进一步覆盖从数据准备、模型训练到部署运维的完整流程。

灵巧操作企业灵初智能成立初期，采集数据量有限，可直接保存在本地，随着数据采集体系逐步搭建，海量第一人称视频、机器人动作与关节数据需要被存储、筛选和加工，再投入模型训练。

以此来看，算力被切分为不同层次：底层运控与快速反应留在端侧，大模型训练、复杂推理和长期记忆更多放在云端，中间再通过网络与调度系统连接。

AttentionResiduals，提升深层模型的训练稳定性；

英伟达作为全球AI算力芯片核心供应商，长期深度布局大模型训练与推理算力供给，开放模型生态越繁荣，全球开发者训练、微调、部署大模型产生的GPU算力需求也会持续扩张。

同时，提醒国产模型训练和推理还存在明显的算力瓶颈。

据统计，中国头部模型的训练成本约为海外龙头的1/10，推理成本方面，中国模型API定价约为海外对标模型平均定价的10%至20%，且仍能保持20%至40%的毛利水平，略低于美国同行，但是仍然是一个非常健康的水平。

瑞银：中国头部模型训练成本约为海外龙头1/10

所谓开放权重模型，是指模型训练完成后，其部分核心参数向公众开放，开发者可以下载、修改并进行部署。

他还声称，尽管英伟达GB300服务器已禁止向中国实体销售，但月之暗面仍获得了配备GB300芯片的服务器用于模型训练。

罗国昭举例道，英伟达推出GB200NVL72，将72张BlackwellGPU连接在同一NVLink域内，配备13.4TBHBM3E显存，面向万亿参数模型训练和实时推理；

根据协议，科捷将开放全国仓储、分拣、运输等真实业务场景，并提供OMS、WMS、TMS等系统接口，作为大咖机器人训练、测试与部署的优先场景载体。

月之暗面详细介绍了支撑KimiK3训练的三项Infra技术：MoonEP、FlashKDA和AgentEnv，覆盖从高性能通信、高性能算子到分布式RL环境的关键链路，是支撑KimiK3训练效率与稳定性的关键。

在顾舒航看来，成都所在的四川省，工业门类齐全，拥有丰富的可供人工智能训练和验证的产业场景，不过高端人才的绝对密度和资本市场的活跃度仍有提升空间。

【点评】目前来看，黄震昕的表态暂时厘清了外界的疑问，他指出K3的竞争力来自三项原创技术：KimiDeltaAttention（KDA）混合线性注意力机制、AttentionResiduals（AttnRes）注意力残差技术，以及首次应用于大模型训练的MoonClip二阶优化器。

GLM-5.2训练结束、参数冻结、进入部署后

LongStraw，它跑在MinT的训练侧，解决的问题是：长上下文推理早就跨过了百万token，但强化学习训练还没有。

MindForge，一个面向智能体强化学习的训练框架。

它能把已具备生产就绪能力的Harness直接引入强化学习闭环，用同样的路由工具、记忆布局、工具调用方式和Harness结构，确保模型训练时的条件与它最终运行时一致。

仅在动作对齐层面，其世界动作模型（WorldActionModel，简称WAM）就能以约十分之一的实验数据量，达到全量数据训练的能力水平。

光靠数据训练实现不了真正的智能。

但业界深知，从“跑通一个社区”到“自主适应千万家庭”，中间这道鸿沟并不窄，或许需要两条腿同时向前迈进：一边用海量数据训练出泛化能力更强的模型，一边在底层理论上寻求对物理世界表征的根本性突破。

CodeHarness团队成员要参与DeepSeek桌面端Agent产品研发，还要和模型研究团队协作，把真实任务里的反馈带回模型训练。

操作人员佩戴动捕设备和数据手套，直接采集人体动作、手部触觉以及环境和物体位置信息，再将数据用于机器人训练。

ISBNdb在网站上公开营销：“为大模型训练需求定制印刷书籍采购服务，以AI所需的规模交付。

此前，Anthropic联合创始人本·曼恩（BenMann）在2021年个人下载了数百万本来自影子图书馆LibGen和Books3的盗版书籍，用于早期模型训练。

围绕世界模型训练推演，探索构建数字环境交互数据和仿真生成数据体系，充分发挥行业龙头企业、科研机构和公共数据资源作用，形成多主体参与的数据供给格局。

其中，用于人工智能训练和推理的数据总量达到199.48艾字节（EB），同比增长42.86%；

需适配大模型、具身智能等人工智能训练的高标准数据需求，顺应数据标注从劳动密集型向知识密集型、技术密集型转型趋势，大力发展大模型驱动的人机协同数据加工模式，推广智能标注、自动质检、辅助审核等新技术，提升数据处理效率与质量。

据测算，支撑通用大模型实现能力跃升的训练语料规模达万亿词元量级，而全球可用于具身智能训练的高质量真机交互数据集，普遍处于百万级轨迹规模层级，二者在数据体量、样本丰富度上存在好几个数量级的差距。

推理数据量首次超过训练数据量，反映出人工智能应用正从模型训练阶段加速迈向规模化落地阶段。

模型训练重心的变化要求更加聚焦动态交互行为。

然而，随着模型训练的重心从通用预训练向强化学习变迁，单纯的静态化语料已无法满足智能体自主决策、闭环执行等的高阶需求，模型训练数据的需求结构将随之发生重大转变。

今年3月，英伟达通过向美国证券交易委员会提交备案文件披露，计划在未来五年累计投入260亿美元专项用于开放权重AI大模型的研发与生态体系建设，相关投入将分阶段拨付，资金用途涵盖自研开放权重模型训练、算力基础设施搭建、研发团队扩充、配套软件工具链开发以及开源生态运营等多个方面。

第一是多模态的训练和算力，不同于语言模型训练，多模态领域很大比例还投在理解和生成上，未来会有大量端到端的语音交互、端到端的视频生成，对算力的要求、对云厂商本身基建的投入都很大。

第一，多模态的训练和算力。

“不同于语言模型训练，多模态领域很大比例还投在多模态的理解和生成上。

陈德里谈AI短板时说，AI还不具备像人类一样稳定的智能，模型训练完后参数固定，无法像人一样在真实世界中自我迭代。

机器人集中进入基地训练，并不等于规模化商业化已经到来。

生物学正在从“数据稀缺的湿实验学科”，变成更适合模型训练和自动化闭环的领域。

模型训练完成后，NIM可以将AlphaFold2、DiffDock等模型封装成带有标准接口的推理服务。

药物可能失败，每一个失败的项目依然需要模型训练、分子筛选、模拟和实验分析。

谁的软件负责处理这些数据，谁就更容易获得下一轮模型训练和推理需求。

回到陈德里在去年乌镇世界互联网大会上的讲话，他在谈AI稳定性时说，模型训练完后参数固定，不能像人一样在真实世界中自我迭代。

按照项目供应商的说法，这一计划的规模是六个月内处理50万到200万本，整个项目仅花费数千万美元，放在模型训练的总开销中算是微不足道。

人工智能的训练并不是简单地把信息“装入”模型，而是通过海量数据和反复计算，让模型逐渐学习语言、事实、概念之间的关系。

而且，考虑到人工智能训练需要输入全学科的通用知识，其参数总量比单个人脑的神经元数量适当增加，肯定是必要的。

在优化层面，统计力学中的自由能、相对熵与变分原理，以及动力学与最优控制理论，为理解多类人工智能训练与优化问题提供了统一的理论视角。

机器学习目标可以从能量、熵与信息之间的权衡加以理解，从而为人工智能的训练动力学与优化机制提供具有物理意义的解释框架。

此外，统计物理中的重整化群、平均场理论、相变与对称性破缺等思想，也为理解大模型训练中的多尺度表征形成、集体行为涌现、动力学转变及标度律提供了重要启发。

不久前，MenloVentures合伙人Deedy在X上发布了一张AI训练数据公司全景图。

仅从收入规模看，训练数据可能已经成为继AI算力和大模型之后，AI产业第三大的细分赛道。

它原本是一家经营了12年的大学生招聘平台，直到2025年初才切入AI训练数据业务。

短短一年时间，AI训练数据不仅长出了一个近百亿美元的市场，还迅速诞生了数家十亿美元收入规模的公司。

它构建了一张覆盖全球的专家网络：招募博士、律师、银行从业者、科学家和程序员制作专业训练数据，每天向3万名外包人员支付的报酬超过400万美元。

三个因素叠加，训练数据的总需求量被推高了一个数量级。

业内把训练数据分为两类：人工设计任务、由专家完成的，是Type2；

这才是AI训练数据公司开始集体“印钞”的真正原因。

人工智能虽然目前来看应该不会出现类似生物学意义上的精神痛苦或精神分裂症式的现象，但训练数据中的“知识污染”会以纯粹的算力消耗形式展现其破坏性。

其二，训练数据既要输入正确且非常有把握的知识，也必须有系统地输入纠错型信息与具有启发性的反面典型案例，并且要明确揭示具体是什么错误、错误的根源又在哪里。

因此，笔者认为，要解决上述这些问题，除了要采取方法直接有效地解决上述数据污染、知识污染的问题以外（比如可以考虑对现有海量数据集全部重新标注，包括用人工智能进行自动标注，或是人机结合地进行二次标注等），在训练方法和训练数据层面还应至少关注以下三个方面的问题。

因此，越是基础性、通用性的训练数据出现错误，越可能造成大范围的偏差，并会愈发增加模型后续训练和推理的成本。

如果训练数据中存在大量错误知识、似是而非的观点、相互矛盾的描述、重复内容，或者存在标注错误、分类失误和语境缺失等等，那么模型就很难直接形成清晰、稳定的认知结构。

大量高频但信息增量极低的，表面不重复但实质上重复的样本，容易导致训练效率下降或过度拟合，模型表面在训练集上表现优异，实则陷入死记硬背，反而牺牲了宝贵的泛化能力，并可能会在推理时被迫调用大量冗余的存储式记忆回路，持续产生不必要的能耗。

32B模型用r=8的LoRA，可训练参数只剩0.07B，增益达到20.61%。

7B模型用r=64的LoRA，可训练参数降到0.16B，增益反而升到11.31%；

更值得看的是另一组对比：在相近的RL预算下，1.5B模型做全参数RL，可训练参数1.5B，AIME2025上的归一化增益为8.33%；

道尔说，训练内容包括展示约100张脸孔——一半真实、一半AI生成——并要求他们针对六项整体特征评分：独特性、可记忆性、表情丰富度、对称性、比例协调性与吸引力。

为此，他们让训练的代理模型分别预测不同参数下的磁化强度，接着用来判断相变点。

他们先用量子计算机跑了一些数据，以此训练代理模型。