AI 产品经理实战篇之上下文窗口是什么 为什么 AI 会自己打脸?背后是一个被 90% PM 忽略的概念——上下文窗口。 真相一:上下文窗口是什么 大模型一次能"看见"的最大字数。所有内容——system prompt、历史对话、用户问题、RAG 资料——全部要塞进去。超出了,模型就看不到。 主流模型差别悬殊:GPT-4 是 128K token、Claude 是 200K、Gemini 1.5 Pro 是 100 万。换算成中文——128K 约等于一本《活着》,100 万约等于一部《红楼梦》。 真相二:窗口越大效果越好?错 这是 AI PM 圈最重要的反认知。 斯坦福 + UC Berkeley 2023 年发表的研究叫 Lost in the Middle——大模型对上下文的开头结尾注意力最高,中间部分严重衰减。 实验数据: 关键信息放开头 → 准确率 85% 关键信息放中间 → 准确率暴跌到 45% 关键信息放结尾 → 准确率 78% 你把 20 段资料塞进 prompt,中间 12 段基本被模型忽略。这就是 AI 总忘事的真正原因。 真相三:4 招解决 核心思路——别硬塞,要智能管理。 第 1 招:滑动窗口——只保留最近 N 轮对话,max_turns=5。聊天场景必备。 第 2 招:摘要压缩——每 N 轮用 AI 把历史压成摘要。20 轮 4000 token → 摘要 800 token,节省 80%。 第 3 招:向量检索召回——历史对话存向量库,按相关度召回。多 Agent 系统标配。 第 4 招:分段处理——超长文档切段处理再汇总。比硬塞 1M 快 5 倍,准确率高 30%。 高手心法:关键信息"放头放尾" 知道 Lost in the Middle 之后,prompt 工程的核心技巧: · 最关键的指令放开头(角色、规则) · 用户问题放结尾(模型看到的最后一句) · 参考资料放中间但要按相关度排序 #AIPM
00:00 / 04:15
连播
清屏
智能
倍速
点赞16
00:00 / 12:00
连播
清屏
智能
倍速
点赞15
00:00 / 07:14
连播
清屏
智能
倍速
点赞30
00:00 / 00:37
连播
清屏
智能
倍速
点赞40
00:00 / 05:34
连播
清屏
智能
倍速
点赞21
00:00 / 10:26
连播
清屏
智能
倍速
点赞10
00:00 / 00:16
连播
清屏
智能
倍速
点赞262
00:00 / 07:31
连播
清屏
智能
倍速
点赞8386
00:00 / 01:07
连播
清屏
智能
倍速
点赞0