请求

不过，从已经放出的代码中，可以看到DeepSeek如何安排大规模推理中的计算、通信和请求调度。

DeepInfer通过Flush机制处理这些在途结果，确保最后一批计算完成后，请求状态能够正常收尾。

传统推理引擎的Decode通常按照固定顺序运行：CPU选择请求、组织Batch和KVCache元数据，GPU执行Forward与Sampling，随后CPU读取结果、更新生成长度和请求状态，再启动下一轮计算。

它解决的问题很具体：GPU明明已经完成计算，却要停下来等CPU整理上一轮生成结果、更新请求状态，再安排下一轮工作。

假设一条请求已经缓存了1000个Token，当前轮可能接受3个候选。

容量预留之后，还要解决连续两轮Batch中请求位置不一致的问题。