8分钟说清楚KVCache与Prompt Cache KV Cache 是什么？为什么没有它，大模型会越来越慢？Prompt Cache 又是什么？为什么缓存命中率一高，成本就能砍到脚踝？DeepSeek 为什么被称为"赛博善人"？某些 Token 中间商又是怎么靠缓存差价割韭菜的？Claude Code 源码里密密麻麻写着的"缓存"，到底藏着什么省钱秘籍？

2868
65
2344
413
举报
发布时间：2026-05-17 22:53
全部评论
大家都在搜：
oblivions
...
感觉有点像动态规划[赞]不知道两者之间有没有关联
1周前·广东

0

分享
回复
王心雨
...
manus 早期的那个博文说的很清楚了
1月前·北京

1

分享
回复
司雨𝑺𝒆𝒆𝒚
...
其实是孙没开缓存，anthropic的缓存要主动开启的，而且写入缓存是1.25，命中缓存才是0.1。
1月前·广东

0

分享
回复
老板来杯香芋奶茶
...
也就是说是优化了当前用户调用模型输出的效率，并不是把其他用户以前问过的问题缓存了这个意思吗
1月前·北京

0

分享
回复
安之若命
...
@抖音求真 提取视频文字内容
2周前·广东

0

分享
回复
1Hang✈️
...
跟agent的对话 假如间隔很久我再继续对话 还会有提示词缓存吗
2月前·云南

0

分享
回复
费曼学徒冬瓜
作者
...
少则几分钟， 多则几小时几天，毕竟缓存也是要成本的
2月前·福建

0

分享
回复
悟空没有筋斗云
...
[赞][赞]
2月前·上海

0

分享
回复
偃芒
...
缓存多久呢
2月前·北京

0

分享
回复
Wayne丶
...
大部分是5分钟 缓存读一般都是一折，缓存5分钟写入1.25倍 1小时写入 1.5倍
2月前·上海

0

分享
回复
小茜的大灰灰
...
[赞]
2月前·贵州

0

分享
回复
花含雪
...
后面生成新的token前面的key不需要更新吗
2月前·安徽

0

分享
回复
费曼学徒冬瓜
作者
...
你说的是前面的 KV 吧 ，不需要更新。掩码机制下，每个 token 的 kv 只和他之前的 token 有关，后来token 不会影响
2月前·福建

1

分享
回复
费曼学徒冬瓜
费曼学徒冬瓜

粉丝6689获赞3.8万

相关视频

猜你喜欢

最新视频

热榜推荐

热门视频