00:00 / 01:50
连播
清屏
智能
倍速
点赞736
一分钟带你了解RAG(检索增强生成) #人工智能 #大模型 #RAG #学习 什么是RAG RAG是一种方法,在将提示词(prompt)发送给LLM之前,先从数据中找到并注入相关信息片段。这样,LLM能够获得预期的相关信息,并据此进行回复,从而减少幻觉的可能性。 LLM应用的局限性 1.幻觉 幻觉是指LLM输出与实际事实不符或没有来源的错误信息。 2.上下文长度限制 在处理超长上下文时,Transformer模型难以保持对所有相关部分的记忆,导致分析和输出内容可能出现不完整或错误的情况 3.知识限制 LLM的知识来源于预训练数据,数据存在滞后性和时效性 RAG的基本模型 在RAG中,首先利用检索系统从文档集合中找到与用户查询相关的资料或信息,这通常依赖于一个能快速找到相关文档的索引机制。随后,将检索到的相关资料作为上下文输入LLM的生成模型,该模型则基于这些上下文生成回复或完成任务。 RAG的优势 减少LLM幻觉。RAG能够通过提供准确、基于事实的外部知识来源,减少LLM生成不实或误导信息的可能性。 突破上下文长度限制。借助RAG,LLM可以克服自身上下文长度的限制,通过分块和向量化处理,实现更高效的信息检索和处理。 获取最新知识。由于LLM存在知识更新的截止日期,RAG允许从外部资源检索最新相关信息,确保模型响应的时效性和准确性。 提高可追溯性:使用RAG时,聊天内容的来源更加透明,有助于用户验证生成的内容,并优化LLM的表现。 RAG的应用场景 领域驱动的知识库系统 智能客服平台 智能推荐系统 数据分析平台
00:00 / 00:17
连播
清屏
智能
倍速
点赞19
RAG 出错时,我后来只先看这一件事 做Agent、做 RAG 一段时间后,我后来判断问题时有一个习惯基本不改了:先别急着调 prompt,也别马上怀疑模型。我第一反应只看一件事——正确答案,到底有没有被搜出来。 我印象特别深的一次,客服那边一直反馈 AI 回答政策问题不稳定,有时候对,有时候错。一开始大家的直觉都一样:是不是 prompt 不够稳?要不要加免责声明?是不是模型太敢答了?但后来拉日志一看才发现,有些 case 里,正确的政策文档其实已经被召回出来了。就在检索结果里。只是模型把“视情况”说成了“一定”。这种情况我后来就不太纠结检索了。东西都已经给它看了,它还能说错,那问题基本就在生成这一步。 但也有另一种情况,刚好相反。看起来像模型在胡说,但你一翻检索结果,发现它压根没拿到那条最新政策,要么是旧版本,要么只搜到一半。这种时候再怎么调生成都没用,模型也只能基于错误资料去答。这类我们后来直接认定是检索问题。优先补召回,而不是在 prompt 上死磕。 还有一种最容易翻车的情况:资料本身不完整,但模型特别敢答。后来才意识到,这种 case 只修检索或只修生成,后面都会再出事。 所以现在我判断 RAG 出错的顺序非常固定:先确认答案有没有被找出来;找出来还错,重点改生成;找不出来,先补检索。方向一旦错了,后面改得再勤,也很难稳。 你在项目里遇到 RAG 出错,第一反应是先动检索,还是先动生成 / prompt? #llm #大模型 #ai #互联网大厂 #面试题
00:00 / 02:17
连播
清屏
智能
倍速
点赞448
00:00 / 02:19
连播
清屏
智能
倍速
点赞24
00:00 / 05:03
连播
清屏
智能
倍速
点赞722
00:00 / 08:38
连播
清屏
智能
倍速
点赞114