RAG 出错时,我后来只先看这一件事 做Agent、做 RAG 一段时间后,我后来判断问题时有一个习惯基本不改了:先别急着调 prompt,也别马上怀疑模型。我第一反应只看一件事——正确答案,到底有没有被搜出来。 我印象特别深的一次,客服那边一直反馈 AI 回答政策问题不稳定,有时候对,有时候错。一开始大家的直觉都一样:是不是 prompt 不够稳?要不要加免责声明?是不是模型太敢答了?但后来拉日志一看才发现,有些 case 里,正确的政策文档其实已经被召回出来了。就在检索结果里。只是模型把“视情况”说成了“一定”。这种情况我后来就不太纠结检索了。东西都已经给它看了,它还能说错,那问题基本就在生成这一步。 但也有另一种情况,刚好相反。看起来像模型在胡说,但你一翻检索结果,发现它压根没拿到那条最新政策,要么是旧版本,要么只搜到一半。这种时候再怎么调生成都没用,模型也只能基于错误资料去答。这类我们后来直接认定是检索问题。优先补召回,而不是在 prompt 上死磕。 还有一种最容易翻车的情况:资料本身不完整,但模型特别敢答。后来才意识到,这种 case 只修检索或只修生成,后面都会再出事。 所以现在我判断 RAG 出错的顺序非常固定:先确认答案有没有被找出来;找出来还错,重点改生成;找不出来,先补检索。方向一旦错了,后面改得再勤,也很难稳。 你在项目里遇到 RAG 出错,第一反应是先动检索,还是先动生成 / prompt? #llm #大模型 #ai #互联网大厂 #面试题
00:00 / 02:17
连播
清屏
智能
倍速
点赞181
00:00 / 01:03
连播
清屏
智能
倍速
点赞1743
00:00 / 01:19
连播
清屏
智能
倍速
点赞6
00:00 / 01:36
连播
清屏
智能
倍速
点赞2
00:00 / 07:43
连播
清屏
智能
倍速
点赞0
00:00 / 01:41
连播
清屏
智能
倍速
点赞60
00:00 / 01:35
连播
清屏
智能
倍速
点赞1267
00:00 / 02:02
连播
清屏
智能
倍速
点赞3