推理

可以说，推理是持续性消耗，成本敏感度远高于训练，“性价比”从边缘话题变成核心命题。

Mod42战略副总裁ValerieCrafton：“推理是唯一能‘跟着电走’的算力，这正是微型数据中心兴起的原因。

这项工作也不是在声称解决了所有流式推理问题。

SxSInterleavedReasoning让大模型在推理过程中学会“边想边说”：只有当答案片段已经被当前推理前缀支持时，才把它作为用户可见内容披露出来；

这说明SxS的收益不是单纯“把答案提前挪到前面”，而是改变了推理过程中的披露节奏：用户能更早、更频繁地看到有任务意义的内容，同时最终答案质量并没有被牺牲。

DeepSeek的做法不是简单让模型看更高分辨率的图片，而是让模型在推理过程中使用点、框、路径坐标这些“视觉基元”，把每一步判断都落到图像中的具体位置上。

尤其在一张复杂图片里，如果有很多相似的人、物体或区域，“左边那个”“旁边那个”很容易变得模糊，模型也可能在推理过程中把对象搞混。

比如“灰色金属物体”“旁边那个小物体”“同样大小的紫色橡胶物体”，这些说法如果不落到具体图像区域上，模型在推理过程中很容易把对象搞混。

在视觉理解层面，DeepSeek给出的答案是，让图像不再只是输入材料，而是成为模型推理过程的一部分。

简单来说，就是让模型在看图推理时，不再只依赖自然语言描述，而是把图像中的点、边界框、路径坐标等空间标记，也作为推理过程的一部分。

交易完成后，EigenAI全套算法、优化框架将全面并入Nebius的Token工厂，从底层重构模型推理调度、量化压缩、长上下文处理能力，直接提升平台Token产出效率、降低生产成本。

英伟达+EPRI的分布式推理试点：2026年底前开工，预计仅0.1%时间需要迁移算力。

张小猫作为横跨小说、影视、综艺及线下实景娱乐的创作者与经营者，他本人之于国内悬疑推理行业的参与方式与身份归属非常多元。

换句话说，其经历本身便折射出中国悬疑推理行业生态的丰富性与复杂性。

从Best-of-N、Self-Consistency到更复杂的搜索与验证框架，Test-TimeScaling已经成为提升大模型复杂推理能力的重要范式。

它和其他模型给语言模型底座增加多模态功能不同，更像是一个单独的模型，且不是以附庸形式定位，而是有某种原生的思考和推理能力。

对DeepSeek来说，视觉能力是让它的推理能力从文本世界延伸到真实世界的关键一步。

报告中提到，DeepSeek并不是简单依赖大量视觉token来弥补视觉能力，而是通过更高效的视觉token压缩架构，让模型在较低图像token消耗下仍然保持较强的推理能力。

“相比起写推理小说，推理综艺是一个复杂得多的系统性工程，编剧团队、导演、布景、演员、摄影、灯光、道具、音效等等，各个环节必须都配合得很好，节目效果才能最终呈现出来。

更通过参与《明星大侦探》的编剧工作，深度介入到推理综艺这一新兴娱乐形式的塑造之中；

与此同时，低置信token则可能对应不确定的推理细节、实现方式或局部表达。

从这个角度看，PRISM不只是一个更省算力的Best-of-N替代方案，而是离散扩散语言模型迈向高效推理系统的一块关键拼图。

但从生成式AI进入代理式AI，各类智能体应用爆发，推理算力的需求增速大幅超过训练算力。

推理过程中，每个用户的每一次调用，都将耗费推理算力。

当谷歌的TPU8i试图通过优化SRAM解决推理瓶颈时，英伟达的RubinGPU已经带上了HBM4和高达50PFlops的推理算力。

2026｜让大模型边想边说：这篇文章把「何时开口」变成可学习策略2026年05月18日14:31机器之心Pro导语：推理模型的「沉默税」该怎么解？

根据Semianalysis数据，如今模型需要处理超过100万亿个token，推理模型的token数量是之前的20倍，计算量是之前的150倍。

为了解决上述问题，本文提出了Heima，一个面向多模态大模型的CoT压缩与隐式推理框架。

近期，来自浙江大学、AdobeResearch、杜克大学等机构的研究团队提出了一种面向多模态大模型的高效推理框架——Heima。

但此次，行业惯例开始被打破，DeepSeek-V4未向英伟达和AMD提供早期访问权限，反而将之优先开放给华为升腾芯片，从而获得数周时间进行底层适配，包括指令集、算子库及推理框架的优化，双方从设计阶段即开始了芯模紧密协同。

SxS的设计很直接：模型仍然是标准自回归生成，不需要第二个模型、第二套隐藏状态或专门的推理架构；

这意味着谷歌云可以用同样的一张电费账单，支撑起近乎两倍的推理服务。

然而，这种“显式思考”也带来了一个越来越突出的效率问题：模型往往需要生成大量的中间推理文本，导致推理token数显著增加，从而带来更高的推理延迟、显存占用和计算成本。

传统CoT方法会让模型显式生成完整的中间推理文本。

只要这些表示能够保留对最终答案有用的信息，模型就不一定需要完整输出所有的推理文本。

这背后其实有一个很有意思的判断：人类写出来的推理文本，未必是模型内部“思考”的唯一形式。

在当下文化消费日益注重沉浸式与交互性的新一轮发展浪潮中，悬疑推理文化也正经历着从传统文本阅读、影像观看向多元体验形态的行业转型。

张小猫曾出资主办过“第一届中国原创推理星火奖征文比赛”，加上同一时期中国推理小说研究者华斯比出资的“华斯比推理小说奖”，以及面向中国长篇推理小说新人的“QED推理小说奖”等民间推理文学奖项的陆续创办，其奖金额或许并不高，资金和奖项在连续性方面也难以称得上稳定，但其共同目的都在于保护和培养中国悬疑推理文化的创作与发展源头。

传统Best-of-N太贵，PRISM重新设计dLLM的推理搜索

对于自回归模型，推理搜索通常围绕「前缀」展开；

机器人会提前开始下一段动作的推理。

但VLA面对着一个现实问题：模型推理速度往往跟不上机器人控制频率。

本文的一个关键洞见是：反应时间并不是一个简单等于模型推理延迟的常数，而应该被建模为一个随机变量。

智能Agent需要为客户承接高复杂度的推理任务，这直接带动市场对模型推理的需求持续大幅攀升。

徐强教授认为，AI对EDA的价值不应停留在“外挂式辅助”或“局部效率提升”层面，而应进一步深入到电路表示、验证推理、状态空间探索和设计反馈闭环等核心问题中。

这样一来，模型的推理就不再悬浮在文字里，而是被锚定到图像中的具体位置。

03DeepSeek怎么做视觉推理

不过，使用视觉基元进行思考，并不意味着视觉推理问题已经被彻底解决。

传统的思维链（CoT）主要停留在语言空间里，但视觉推理需要更多能力。

它最大的优势，是让模型的视觉推理变得更稳定，也更容易被验证。

通过把点和框作为认知锚点，我们的模型弥合了“指代鸿沟”(ReferenceGap)，模拟了人类在视觉推理中常用的“指向—推理”协同机制。

8B级别的模型规模并不算大，但它在图像生成、图像编辑、复杂信息图、视觉推理等任务中，能够接近甚至追上部分大型商业模型。

视觉推理是AI最容易「翻车」的地方，因为它要求模型不仅要看懂图像，还要进行复杂的逻辑推理。

本次测试依托工信部重点实验室与AISHPerf基准体系开展，覆盖芯片、服务器、一体机、集群、开发工具链、智算平台等全栈AI软硬件产品，聚焦DeepSeekV4全系列模型的推理、微调流程。

深入技术层面，招商银行始终瞄准全球最前沿方向，如大模型推理的核心瓶颈在于显存与算力消耗，招商银行通过改造注意力算法降低显存消耗放大上下文长度、KVCache缓存复用点积结果降低算力开销、算力卡细颗粒度虚拟化提高算力利用率、跨服务器卡间直接通讯降低网络延迟等等。

硅基流动成立于2023年8月，初衷是为了解决大模型推理和部署成本过高的行业痛点。

客观性是诉讼的第一道门槛，也是逻辑推理的前提。

技术再牛，模型再聪明，如果跑一次推理的成本高到客户掏不起钱，那就是一场空中楼阁。

这笔交易核心指向Nebius旗下平台——Token工厂，其旨在吸收EigenAI在推理性能优化方面的优势，让该平台从通用托管推理平台，跃升为全球生产级AI推理的标杆，助力Nebius在全球AI基建竞争中抢占制高点。

作为欧洲头部AI云厂商，Nebius背靠顶级资本，2026年3月获英伟达20亿美元战略投资，双方计划到2030年共建超5吉瓦算力中心，该公司同时得到ISL等机构加持，并于2024年10月登陆纳斯达克，市值一度突破340亿美元，核心业务为全球AI算力交付与企业级托管推理平台Token工厂。

欧洲AI新锐6亿美元收购20人公司剑指全球顶级推理平台

欧洲AI新锐6亿美元收购20人公司剑指全球顶级推理平台_东方财富网

欧洲AI新锐6亿美元收购20人公司剑指全球顶级推理平台加码Token工厂！

该方法将冗长的文本CoT压缩为少量抽象的“thinkingtokens”，让模型在隐空间中完成高效推理，在大幅减少生成token数量的同时，尽可能保留CoT推理带来的能力提升。

刚才说的“时间循环”这个设定和悬疑小说可以说天然相配，但我自己是写推理小说出道的，还是想要在小说中加入一些比较本格的、推理的元素。

对于推理小说、影视剧、综艺节目乃至剧本杀而言，源源不断的创作者、优质的作品和高水平的创意始终是行业持续发展的核心动力。

speak（披露动作）：用于披露用户可见内容，这些内容必须被当前推理前缀支持。

作者从标准的prompt、reasoning、response三元组出发，把推理和答案都切分成片段，再判断某个答案前缀是否已经被当前推理前缀支持。

在拓扑推理任务上，DeepSeek主要使用的是点。

在空间推理任务上，DeepSeek也是先让模型用视觉基元锚定对象，再进行关系判断。

过去，DeepSeek最被外界熟知的是它在文本、代码和推理任务上的能力。

小米已将XiaomiOneVL的模型权重和训练、推理代码全面开源，IT之家汇总链接如下：

Token工厂作为Nebius核心引擎，是Nebius倾力打造的专业Token生成与大模型推理工厂平台，是行业“Token工厂”概念的标杆级产品——它以大规模、高性能、低成本的Token生成能力为核心，为企业和开发者提供从模型部署、优化到量产推理的一站式解决方案。

该平台是行业“Token工厂”概念的标杆级产品——它以大规模、高性能、低成本的Token生成能力为核心，为企业和开发者提供从模型部署、优化到量产推理的一站式解决方案，是NebiusAI云业务的核心引擎。

主实验覆盖数学推理AIME25和跨域科学问答GPQA-Diamond。

DeepSeekV4包含V4-Pro（旗舰版）与V4-Flash（轻量版）双版本，两大版本均原生支持100万Token超长上下文（约75万字），采用自研DSA稀疏注意力机制，百万上下文推理成本降低70%，显存占用减少40%。

然而，这种“显式思考”也带来了一个越来越突出的效率问题：模型往往需要生成大量的中间推理文本，导致推理token数显著增加，从而带来更高的推理延迟、显存占用和计算成本。

刚才说的“时间循环”这个设定和悬疑小说可以说天然相配，但我自己是写推理小说出道的，还是想要在小说中加入一些比较本格的、推理的元素。