登录
已读文章 名词 现象 观点 问题 政要

推理


分类

模型

对于当前最先进的推理模型，这个数字往往是几百到几千。
文章

过去一年，AI推理模型的使用成本让不少开发者叫苦。
文章

成本

近期，有一些新技术确实让人们看到了压低推理成本的可能性。
文章

延迟

但无论架构如何优化，只要思维链（Chain-of-Thought，CoT）的中间步骤仍然以token形式逐个生成，推理延迟就有着根本性的下限。
文章

对于LLM，这个差别直接体现在推理延迟和token消耗上。
文章

其它

对于当前最先进的推理模型，这个数字往往是几百到几千。
文章