登录

缓存读取


描述

缓存读取是指模型读取已经处理并存储过的输入内容时的计费项,在实际的智能体任务和长对话场景中,大量重复读取缓存是常态,因此这一降价对实际使用成本的影响远超表面数字。
文章