登录

已读文章名词现象观点问题政要

预填充

描述

预填充是大语言模型接收用户输入后、开始逐Token生成输出前的全量编码过程，其速率直接决定长文本输入场景下的首ToKen延迟。

文章