登录
已读文章 名词 现象 观点 问题 政要

token消耗


分类

问题

首先是token消耗问题。
文章

更多

对于不同任务来说，论文根据平均token消耗的数量进行分组，并统计每组任务的准确率，结果发现token消耗更多的任务往往准确率较低。
文章

token消耗

从图中可以发现，最贵的任务可能比最便宜的任务多消耗约700万token，并且越贵的任务token消耗的标准差也越大。
文章

效果

二是更加经济，通过减少不必要的模型调用、优化任务拆解逻辑，甚至结合本地小模型与云端大模型的混合架构，从而显著降低token消耗。
文章