RAGFlow二次开发教程

今天给大家带来的是利用 logfloor 加上我们的千万大模型来构建一个本地的智能助手。在这一期的视频里面，我将带你用二十分钟手把手去完成咱们的一个千万三加 logfloor 的 一个本地部署与个人知识库的一个搭建。那首先我们要提出一个问题， 在当前有这么多通用的大模型的情况上面，我们为什么不直接使用别人的产品？比如说我们可以使用 tipsick， 对 吧？也可以使用千问切 gpt， 那 是因为我们 企业以及个人的这种私有的资料，我们在线的模型是无法直接访问的，即便我们可以通过这样的一个文件的附件上传，但是你也不能做一个本地词汇的保存。一旦模型在我们提问的时候不知道答案，他可能就会胡编乱造，产生这样一个幻觉问题。 我们在企业内部或者说我个人想去使用这样的一个知识库，我们是希望什么？希望这个企业，希望这个大模型它对于这些知识的回答，它是稳定的、可控的，并且我们本地可以做一个定化的、个性的制定一化的一些这样的一些设置，所以我们可以采用这样的一个本地部署，这样的一个 log 来达到我们这样的一个需求。好，那 这个是我们去布置本地 rap 的 一个前提，大家也可以根据自己的需要去做一个选择。那在当前我们去解决大模型它关于幻觉的这样的一个缺陷，我们有什么样的手段？第一个我们可以采用微调， 那微调它也可以解决大模型这样的一个幻觉的问题，但是它的成本可能要比我们的 rap 要高很多。第一个我们需要在特定的领域数据上面去做一个模型再训练，那意思就是比如说我们可以下载这样的一个开源的 app， 或者是拉玛这样的一些大模型，再去准备 大量的标注的样本数据，那这个数据就比如说我们做电商可能有一些关于这种电商客服他的一些回答的一些数据，那我们通常会去采用到什么？采用到这样的一个问答的形式，那做问答形式我们要去收集清洗数据， 那训练的成本它实际上是非常高昂的，那我们 select 就 相当于什么。我们给模型配置了一本参考书，那这个模型按照我这个参考书来做一个解锁回答，他的优势回答他是会贴近原文，并且支持这个实时更新，无需训练， 那并且可以提供把他回答答案是参照原文的哪一个章节，那这样我们也有据可依，并且我们部署的成本以及学习成本还是这样的一个硬件成本都是非常低昂的。所以的是我们当前做垂直领域，做茄子是库，或者说一些智能助手，他是一个非常直观并且也是高效的这样一种方案。 好，那我们如果要去部署这样一个 log， 那 我们首先得清楚我们要做的事情有哪些，那么总共会分成三个步骤， 那一个就是知识库，第二个就是向导画 in bing， 第三个就是我们的解锁与生成。那我们在做这样的一套操作之前，我们先要去看一下我们需要部署一些什么样的软件与环境，那首先第一个我们要去做的就是软这个多克的一个安装，这个多克是 windows 的， 我们要下载是 windows， 当然这个大家可以根据自己的一个操作系统的版本， 那我们可以进到多克点 com 这样的一个官网，你可以去下载自己对应的一个版本，一个是 上面这个是苹果的 m 芯片的，下个是下面的这个是苹果的英特尔芯片的。那包括 windows 系统，它也有两个版本，一个是 md 的 这个架构，还有一个是 arma 架构的，包括我们的 windows， 这个大家根据自己的需要去下载即可。但是我们在 windows 系统，因为可能大家用的 windows 用的比较多，在在装这个 多克的时候经常会碰到一个问题，就是安装的时候会失败，那这个失败的最主要的原因就是我们没有去启动 windows 它的一个虚拟机，那这个失败的最主要的原因就是我们没有去启动 windows 它的一个虚拟机。那这个地方呢？我们点击什么呢？点击这个 搜索，点击这个 windows 的 搜索键，你在这个地方会看到一个起用，如果没有你就搜索一下就是起用或关闭 windows 的 功能，那我们打开它以后，你会发现在这个下面它会有这样的一个适用于 linux 的 windows 指系统，这个我们一定要勾选上，包括虚拟机平台， 我们要把这两个勾选上，那我们勾选上这个以后， windows 的 系统它自己会去做一个这种组建的插件的这样的一个更新，那更新完成以后，那成功的没有问题了，我们就点击确定， 那如果大家在更新这个版本还会出现问题，那大家可以去来到我们这个电脑来这个设置里面大家可以去做一个什么样的操作呢？为大家展示，基本上我们通过这两步是可以解决所有的问题。在这个 windows 更新里面， 那我们在这个地方它会有个什么？有个高级选项，那高级选项在这个里面我们有个恢复，你可以去使用 windows 更新修复。问题， 那这个会给我们修复当前 windows 的 一些更新的一些组建他的一些主设，或者说被占一些更新的这样的一些进程被占据的这样的一些情况。这是很多同学在安装使用 windows 安装多克会出现问题，那我们再点击这个地方，立即重新安装，让他自己去安装完成以后我们再去下载多克，那多克的安装我们会得到这样的一个 下载了 excel 的 这样一个包，那这个包你直接双击右键不断去安装它就可以了，那这个是一个傻瓜式的。安装完成以后，那接下来我们要做事情是我们要去下载这样的一个它的源码啊，就是我们这个 多克的 excel 的 一个源码，那同时我们在安装的时候也要注意还有一个地方，我们有没有去配置 wsl， 那 这个 wsl 如果大家没有配置可以打开什么的，我们去输入一下它这个安装我们就可以看得到，甚至我们可以输入一下， 如果你没有安装，你输一下 wsl 干版本，那这个版本我们就能看得到，你安装完成以后就会出现，如果没有安装，那你就输入这个命令，干这个 instore 去安装它就可以了。 好，安装完成，输入这个版本，我们就能够看到对应的这个信息，这个是必须的。好，那现在我们这一步做完以后，我们就要去到哪里了，我们就要去到获取这个 redfly 的 原码， 那这个 log 福乐源码，我们可以打开这个 get hop 这个地方，我们去获取它的源码会有两种方式，一种方式呢我们可以通过 get， 那 如果大家有这个基础，我们就通过这个 get 去做一个它的拉取就可以了。那，那如果没这方面基础，同学我们就使用这个 download 的 直接把这个源码下载到本地，当我们点击这个以后，它就会对于整个的源码做一个下载， 下载完成以后我们会得到一个安装包，这个安装包我给大家看一下，那一般会在默认的下载这个路径里面，在这里我现在把它拉到哪里来了？我把它拉到了我这个 d 盘，这个 d 盘以后，在这个上面我把它解压，它就会生成在那个文件夹，生成这样的一个文件夹以后，我们可以点 进去，进去我们就会看到很多的这样的一些信息，在这个里面，这个地方我们要去看的是什么？要的是要去看的是多客的这个文件夹，这个多客文件夹里面，我们等一下要去进入这样的一个路径，我们首先看到他的这个点烟微 烟味是它的一个环境配置的一个文件，这个文件我们可以右键打开它，那这个地方我们稍微有注意到的一个点，就是，呃，在这个端口的一个修改，那我这个地方它默认是八零端口，大家一定要记住，默认是八零端口， 默认是八零端口，那我们等一下去访问的时候，我们去访问这个 log floor， 我 们输入的地址多少啊？ local host， 那 如果你不去修改它默认八零端口，你输入的就是访问的就是 local host。 当然如果你跟你的电脑上面其他的一些软件发生了冲突，比如说我们的这个 def， 或者说一些其他软件发生冲突，那你就可以在这个地方把它这个端口做一个修改，比如说你改成啊八八八八，或者说其他的一个端口号， 那改完以后保存完成以后，我们接下来要做事情是什么呢？我们打开我们家那个文件夹，打开这个文件夹以后，我们进到哪里呢？进入这个多克的命令以后，我们右键输入什么，在终端打开以后，我们就会直接跳到终端这个命令，它会进入到多克这个文件夹下面。 那我们接下来可以去做一个什么事情，我们就可以通过他的一个命令，这个命令大家可以看一下叫什么，就是这样的一个命令去启动我们所有的服务，因为我们去安装这个 log file， 你 不仅仅是去装到这个 log file， 你 还要装到他的一些依赖，他的依赖比如说有这个 linux， 有 这个 es， 有 mico、 mio， 那 这几个都是要去下载的。 好，那这样我们把这个命令复制过来，复制过来以后我们在这个地方右键回车，因为我这个地方已经装好了，所以大家按照我这个步骤去操作就行了，那你操作的时候大家注意他可能第一次大概要花到十到二十分钟左右，这个看大家自己电脑配置。 那我们输入这个命令以后，这个时候你等到他把所有的依赖拉完以后，我们再打开我们这个桌面的多克， 那我们就会在这个容器，你注意要点到这里不是镜像，镜像不是这个的，每到这个容器里面，我们就会在下面去发现它，把我们所需要的这样的一些依赖的，包括 log4 的 这样的一些容器都已经启动了，你看这个是 log4 的， magisk 的， linux 的、 emo 的、 es 的。 好，它启动以后，我们如果你不清楚它是否启动，我们还可以通过什么呢？还可以通过一个命令叫做呃， log， ps 啊，这个 ps 我 们就可以看到当前正在运行的所有的容器，那包括它的对应的一些端口号，我们都可以在这个地方看得到。好，那这样我们整个的安装就已经完成了啊，安装完成以后，我们接下来要做的事情是什么？我们接下来要做的事情就是去配置我们的软件。 好，这个地方我们在浏览器输入 local host， 我 们就会进入到这样的一个界面，那当然在第一次进入它是需要登录的，登录很简单，你输入这个账号密码就可以了。进来以后我们就会看到有知识库、聊天搜索、智能体记忆、文件管理， 那这个时候我们没有创建任何的一些数据跟聊天，但是我们首先要做的第一个事情是什么呢？我们要做的事情就是去做到一个模型提供商的一个集成，这个时候我们会发现他在右边会有很多这样的一些模型提供商，比如说有奥拉玛， 那我们首先如果做一个本地的集成，我们肯定要做的是什么？下载一个奥拉玛，我们也可以去到他的一个官网，那他的官网就叫做奥拉玛，奥拉玛点控就是这样的一个地址，把它 copy 我放到这个地方来，这个就是我们这个欧拉玛的一个官网的地址，这个文档大家如果有兴趣的话，或许可以去领取到。好，那现在我们进入到这样的一个欧拉玛的官网以后呢？你在这个右上方大家可以看到有个 download 的， 对吧？那 download 的 把这个欧拉玛的这个安装包下载下来以后呢，你就一直下一步去安装就可以了。 我们在可以在这个上面官网可以看到它会有很多的模型，比如说有 deepseek 的， deepseek 的， 有这个千问的，有这个拉玛的，这个我们都可以找到。好，那现在呢？我们装完以后，那我们如果说要去通过这个奥拉玛去下载一些模型，怎么下呢？ 来我给大家演示一下。现在我打开这个命令行 cmd， 我 通过运行一个命令叫做奥拉玛论，为什么呢？ 我先看一下我下载的哪些模型历史的，那这个就是我下载过的这些模型，这个大家可以根据自己的这个电脑上面的这个显卡去做一个选择。比如说我们下这个 bg， bg 它是一个切入模型，这个我们待会会讲到，那切问，切问 dipstick， 这些都是切聊天的模型，这下面也是一个这种关于切入模型， 那我们比如说要去下载一个切问的模型，那我下载一个切问三，那我们回车搜一下，那我们可以点进去，大家注意看，我要下切问三这个聊天模型，就可以点进去， 在这个里面呢，我们就会有对吧？他对应的一个参数的版本啊，这个大家可以根据显卡做一个选择，那如果大家这个显卡不是特别大的话，那你下载一个零点六 b， 零点六 b 大家自己做一个 demo， 那 包括一点七 b， 如果你的显卡还算可以，你就可以根据自己不同的需求去下载八 b 的 或者十四 b 的， 那我们怎么下呢？就是通过这样的一个命令，大家可以看到去 论去运行，但是我们这个运行大家要注意他这样的，我们现在再次进入到这个命令行，但我在这个地方大家注意看，你要下载对应的版本，在后面是要串上去的，比如说他是一点七 b 的 这个参数的，这个对应的这个，对吧？这样的一个版本，那我们回车， 但现在呢，因为我已经下好了，所以我直接会进入到模型的一个对话的界面，那如果大家是第一次的话，他就会做一个拉取，就会把这个模型呢从这个服务器拉取下来， 那你等待他拉取完成以后，你再输入这个命令，他就会进入这样一个对话的界面。比如说我现在可以向他问一句，你好，因为消费商他是一个带推理的，所以我们可以看到，是吧？他就会有一这样的一个推理过程，包括他这样的一个回答，那我们去下载这样的一些线路模型，也是同样的一个道理，可以根据这样的一些方式把它下进来。 好，那上完以后呢，我们接着要做事情是什么呢？我们就要来到我们这个 d 范去集成我们这样的一个模型，比如说我们要去添加一个欧拉玛，我们添加进来以后，大家可以看到这上面模型呢有两个 不同的类型，一个是 embedding， 一个是这个 cheat， 包括 rerun， rerun 是 从排序的，包括还有一个这个图片转文本的。那我们这个地方呢，我就先给大家来演示一下如何去集成这样的一个聊天模型。 聊天模型我们同样的再次打开我们的这个 cmd， 打开 cmd 以后，我们去运行这个 oalanist， 我 们就看到所有的模型，那你要集成哪个模型，我们就把这个模型的它的名字 ctrl c、 ctrl v 复制过来。 好，接下来是一个 url 的 地址，在这个地址的配置上面呢，大家还会碰到一个问题，就可能大家以前自己配置总是不成功，为什么呢？因为你的 define， 甚至包括 flow， 你 是装到什么？装到这样的一个多克的，多克的这个容器里面去启动的话，它是不能直接访问的，那我们访问的路径，那有 些教程他可能会跟你这样去讲，他说什么呢？比如说啊，那你去输入一个 ip config， 他， 你去把这个，把这个你自己这个网关上面这个 ip 位置，这个地址上面就把这个 ip 位置复制上去，但这样是不行的， 为什么不行呢？就是因为它的一个容器的问题，所以我们在这个地方应该要配置的这个路径是哪个路径呢？应该是这样的一个路径，你要复制我这个 post 多克，包括它的这个连接好，我们 ctrl c、 ctrl v 把它复制过来以后呢？后面创上的端口号是幺幺四三四，幺幺四三四，然后最大这个 token 数呢？这个地方我们设置一个八八八八八，或者说八零八零都可以， 那我们点击确定好，这样的话呢，我们这个模型就已经更新集成过来了，那这样这种方式呢？我们是通过欧拉玛去集成一个本地的模型，那我再接下来给大家去集成一个什么？集成一个我们你背的模型，你背的模型呢？我们再次来看到这样的一个 他的一个列表，比如我们要去下载这样的一个 bg 了，那我就复制他一个模型的名字，然后呢再将我们这个地址给他复制过来，再将我们这个地址 感觉 c， 然后这里这个拖克数呢，你要设置成八八八都可以点击确定幺幺四三幺，我们看一下他这个地方呢，看一下他这个报错名字是什么呢？他说不能添加，就这个版本有问题，那我们就换一下，因为这个历史可能他是不能复制上去的，我们 换一下，把他的前面这个去掉，我们来试一下。那这个大家有时候碰到也可以去解决在那个问题，就是他说不能添加，可能就是因为我们这个模型，他这个历史的这个，这个这个是什么意思呢？ 这个不是就是一个模型最新的版本的意思啊，那这个呢？我们是不需要的，那如果是你是对应的，对应的这个这样的一个版本型号，那是可以的。那这个这个就不行，这个你就把它去掉，好吧？我们刚才去掉，大家可以看到就添加成功了。 好，这个我们是去集成，集成这样的一个最新的这样的一个模型的版本，那这个都是集成本地的，那我们可不可以添加线上的呢？当然可以，比如说我们可以去集成一个硅基流动，硅基流动的它的一个提供商，我们点击添加 这个添加非常简单，他就有要求我们去提供一个什么呢？提供这样的一个 q， 那 这个 q 呢，我们就可以登录到轨迹流动的一个官网，这个官网呢我也可以复制给大家看一下 啊，这是轨迹流动的一个官网，我们把它放在这里，那这个网站呢，我们进去以后你就注册就可以，注册完成以后这些都是免费的。然后我们就可以点到这个 api 的 密钥，在这个密钥这个地方你就可以给他复制， 复制成功以后我们再回回过头来做一个粘贴，粘贴之后做一个保存，保存以后我们就可以看到已经将这个轨迹流动它集成进来，它这个里面的模型你就不需要去管了，因为这些都是提供一个线上调用的版本， 那他有千万 d p c， 但这个都是免费的，每天都会有一定的这个次数提供到给你。好，现在呢，我们把这个模型的这个提供商已经集成完成以后，我们再次来到首页，再次来到首页呢，我们就可以去创建一个知识库，这个知识库它的作用是什么呢？这个地方我们就取个名字，我们就叫做员工助手。那我们选择这个切入模型呢？ 你可以选择 b、 g、 e 的， 那这个是本地的，那如果我们是可以希望快一点的，那我们也可以选择这个规则流动提供在线上的，然后内置风快的。这个办法大家可以看它有很多类型，对吧？有论文的、有表格的，有书籍的，对吧？ 包括那问答形式的，那我们这个地方选择一个问答，那选择完成以后，我们点击保存，保存完成以后，但这个时候呢，它是没有任何的，没有任何的数据，那这个数据呢？就是 我们要去怎么样去集成呢？我们就是要从本地去做一个上，做一个上传，对吧？那么就点击这个新增文件，我们就做到一个上传，那你可以把文件直接拖进来，也可以点到这个地方呢，去选择我们的这个路径，比如说我在这个地方呢，我就去到我桌面， 像这个员工的一个行为管理制度，对吧？我就把它打开上传上来，上传之后保存，保存之后大家注意我们还要对这个文件做一个什么？做一个解析， 解析就是做一个切片，做一个 embed， 做一个嵌好，现在我们点击这个启动，让它做一个解析，那这个解析的意思是什么？我们所谓的 embed， 对 吧？我们所谓的 embed， 所谓的这个嵌入，它整个这个过程是什么？就是我们要将文本， 大家记住我们要将文本转成什么？转成这样的一个数字来做个表示，这个地方我给大家举个例子，比如说因为我们我们所有的文本自然语言，它都是什么？都是，不管是汉语、英语、西班牙语这些都是什么？都是自然语言。自然语言它会有一个非常大的特征，就是它传递的信息是非常复杂、多维的。 比如说我给大家举个例子，苹果，对吧？苹果这个词语它包含了哪些维度的信息呢？我举个例子，比如说它会包含到水分， 对吧？它这个水分含量包含它，它这个甜度，对吧？它这个糖分含量。好，那这个地方我们把它转成数字，怎么怎么样去转呢？我们就画一个直角坐标，对吧？这是个二维的，因为我们只表示了两个维度嘛，那 x 轴表示的是它的水分， y 轴表示的是它甜度。 我们从原点到这个两个水分的这个坐标形成一条线，假如说水分是三，这个是四，那这个地方形成这个坐标呢？就是这条线从原点到这个坐标的这个距离，就称为什么？称为向量，那我们称为向量， 那实际上就是把这些信息转变成什么？转变成数字的表达。当然我们每个词语，每一句话，它不仅仅是两个维度，它可能会有更多，对吧？现在主流的这个切入模型呢？它生成的这个维度有五百一十二维呢？有七百六十八维的， 所以呢我们把它转变成维度，那这个维度它会有什么一个特征呢？就是词语相近的，这个词语相近，它所切入的这个坐标它会变得相似。我举个例子，比如说我们现在有一个这个地方，我们生成假如说这个地方是一个猫，一个 kate kate， 他 会嵌住在这个地方，那如果说我们把狗做一个嵌住，把 dog 做一个嵌住，你会发现它们而者之间的这个坐标呢就会变得非常的相近。 那如果说我现在再嵌入一个什么，我再嵌入一个房子，那你会发现他的这个坐标就会跟这个动物隔的非常远。为什么？我们来想一下房子这个这个坐标，因为他是非生命体，对吧？他是死的，而狗跟猫他们都是，那为什么狗跟猫他会隔的比较近呢？因为狗跟猫他们有一些维度的信息是非常相似的， 比如说他们都具备宠物的这样的一个维度信息，对吧？他们都非常可爱，对人类友好，所以这两个词语的词性，我们的这个切入呢就是要去捕捉到这些词语的一个含义，所以呢他们的坐标就会变得非常上镜。好，现在回过头来，我们回到 lab four， 我 们可以看到现在解析完成以后，这个地方就会有个小绿点， 那我们现在就可以来做一个什么，做一个测试，做一个剪辑的测试，来看一下我们这个文档的效果。好在这里呢我们就提个问题，我就说员工如何请假？ 我们来看一下他这个测试的就是能够解锁到对应的这个文档，我们可以看到，对吧？他他的这个解锁回来这个文档快，他就是跟什么，就是跟我们 这个请假是相关的，对吧？请假与缺勤的管理，应该什么怎么申请什么什么的，那这就表示我们这个文档没什么问题，对吧？就如果说我们在做这个知识库的构建之前，我们可以通过运行在那个测试来看一看这个文档的切入是否合理，你的这个检测这个结果通过向量化去做个相似度的解锁，是否能够达到我们的这个需求？ 好，现在我们这个地方没有问题以后我们再回到首页，回到首页我们接下来可以做一个什么样的事情呢？我们就创建一个聊天的应用，这个地方我就创建一个员工聊天员工制管理智能助手。好， 我们现在保存完成以后，那我们点进去这个地方呢？我们可以在这个地方去选择配置，比如说这个地方我们可以看到它会生成一个自动化提示词，那这里呢？你可以把它改成你是一个员工 智能助手。那总结知识库的内容，那知识库呢？我们怎么选呢？在这个地方选择我们刚才做欠入的这样的一个员工助手的这样的一个知识库，把它欠入，把它选择上去，选上去以后呢？我们接下来下面这个地方，大家注意，我们往下拉这个地方，你有个模型的选择， 对吧？你可以选择这个千问三一点七 b 的， 你也可以根据这个需求，比如说我选择一个线上的这个这种 excel 阿万的。好，那现在呢？你选择以后记得要做一个什么事情，点击一个保存，保存完成以后，比如说我现在就来提出一个问题，员工 如何请假？我们来看一下它这个整个的一个解锁的效果，这个时候我们因为这个 excel 阿万它是一个推力的吧，对吧？ 好，我们可以看到这个时候呢，他的解锁的推力的这样的一个内容，稍等，这时候你会发现他已经解锁到日库，对吧？他每一个文档块他会有个对应的这个 id， 他 说这个这个文档第一个文档块里面有一些什么什么内容，其他的文档里面有一些什么样的内容， 然后呢他在依据这个文档块的内容给我们做出对的回答，那这样的话呢，我们得到答案呢，他就是真实可靠，有所依据的，对不对？有据可依的嘛？好，我们来看一下他这个推理完成以后，那他会说到，他说到，对吧？这个时候他有一个这个大家可以看，这是一个对应的这个文档块的一个标志，对吧？方便我们去验证。 好，这就是我们能够拿到的什么？能够拿到这样的一个关于请假的一个回答，对吧？他的这个一，他的由来也是参照我们前面上传的这个员工行为管理制度的一个文档， 他是有据可依的，对不对？那比如说我们要使用千问的也可以，对吧？你在这个地方去更换自己的一个模型也行，那比如说你也可以去选择这种线上的不同的，当然我们处处于什么，处于这样的一个自己私有的这个数据的隐私性的保护的话，我们通常你这个这个整个项目的业务需求， 好吧？好，那这样，这样，这样以后呢，我们整个的这个这个智能助手我们就已经完成了，我们就已经完成了，你可以在这个右上方去选择什么的，选择他那一个托管之后呢？把它切入到我们这个网站里面去， 看到我们这个网站里面去，那接下来呢，我们对于整个的这个流程，我们来做一个回顾，对吧？做一个回顾，包括我们前面的通过奥拉玛来部署本地模型，这个地方的这个 ip 地址设置，包括我们通过多克去部署迪拜，或者是来个 floor， 这个都是没问题的。 后端呢？他默认，对吧？我们如果不去更改，前面有讲到默认监听的端口是八零端口，那通过这个浏览器输入 lockout 就 可以访问我们的这个首页。好，实操流程，那刚才我们第一步是创建知识库，然后接着上传解析，把它做一个相当于一百米的切入。而第三个呢集成我们 聊天的智能默述，其实我们这个聊天的大模型去做成在那个智能助手，好，那刚才这个效果我们已经能够看得到的，对吧？就是我们的回答呢，是严格依照数据库的内容，它会自动标注原文的出这个出处，那让我们的消除幻觉，有据可查， 所以这个是我们整个的 log 的 生成的一个流程图，我们文档文档会做一个切片，对吧？切片完成以后，他通过这个 excel 的 模型呢嵌入到我们这个向量数据库里面， 这样的在你的上限空间，那然后呢再通过什么通过我们问题的切入做一个三十度的解锁，最终呢把这个答案返回的文档块由这个大模型做一个规划，整理生成这样的一个资源返回给用户， 这是我们整个的一个流程。在这个两个模型的选择呢，大家可以看一下这个他们二者之间的一个优势跟劣势。如果说我们选择在线模型的 api， 就是 刚才这样的一个选择轨迹流动，那比如说你本店这个显卡不是特别高， 我们想去用到更复杂、更聪明一点的大模型，那我们可以使用这个线上的一片，但他的劣势呢？他会有，对吧？我们这个数据会经过第三方服务器成本呢，对吧？他是收费的，当然你像国际流动他免费的，这个次数呢？一天也是有限度的，对吧？他不是无限的。 那如果我们属于本地部署呢？这个数据是绝对隐私的，他是不会流传到什么，不会流传到外网的。这个如果说我们对于这个数据的安全性、隐私性有要求的话，我们可以采用这种方式，但是呢他的缺点就是什么呢？你的硬件配置，对吧？你要自己去买一个比较好的显卡， 那好吧，那我们在公司或者说我们业务的需求，我们通常会选择第二种方案，那如果说我们自己做一些项目去玩的话，我们是可以选择第一种方案，这个这个是比较方便的，那没什么太多的这个区别。 朋友们整个的这个部分呢，就是第一个我们要去理解 log 与微调的区别，那就是 log 呢，是我们当前去搭建在那个知识库场景呢，是一个绝对的优势。 那第二个呢就是 embedded， 它对于我们自然语言的一个向量化的一个原理以及过程。那第三个呢，我们就是去部署本地化容器，最终呢搭建我们属于这样的一个自己的一个智能知识库，好，这就是我们本次集成千万山以及我们的 log flow 去做到这样的一个智能助手的全流程。

大家好，我们继续来学习蓝圈一点零最新版的入门编程，今天我们继续来讲使用 lan graph 去开发 red 一 柱智能体。那么上个视频我们把大部分的这个节点都讲了，那今天我们就继续来讲剩下的两个节点，第一个是这个查询 h s 这个节点，还有这个人机交互的节点， 那我们先看一下这个查询 s i s 这个节点，这里定义了一个医院信息查询的节点，去模拟通过啊 h i s 去查询这个医医院的这个数据啊，用去回答， 那么返回的就是对于这个状态的这个更新，那么首先这里会去先啊获取到原始问题的一个意图啊，那么去根据，因为我们之前有说，如果说去 啊跟医院相关的信息系统，可能会包括这个费用查询啊，还有比如说电子病历查看，或者说结算单的这个结算等等三个这样，那 对正常来说，我们这不同的这个功能都是有不同的这个接口，所以说我们需要去获取到意图，然后再去根据判断。那当然我们在这个教学当中，我们不可能说去真正接入这个 h i s， 只有在正式运行部署的时候，才会去把这个啊 h s 的 这个接口给配置上，所以说我们在这里啊，在这个文件夹模拟了三个这样子的一个结构化数据，如果是附用查询相关的啊，我们这里模拟一些结构化数据，包括比如说对某个人啊，然后他的一个啊，之前的这个 看病时间，然后啊在哪一个科室看病时间所花费的这个费用啊等等做了一个记录啊，那么他可能有多条这样子的一个费用记录啊，那比如说去查看他的电子病历呢？那我们也可以在这个里面去啊去查看了，比如说对于张某来说，他，呃，他在某一次某一个时间里面， 呃去看了某个医生，然后啊他的这个症状是什么，以及当时所开的这个药是什么啊？这里也有多条这样的肌肉。当然还有比如说结算单，比如说当前啊，比如说对于啊如果今天去门诊看病了，那么对于这个人 他在哪一个科室即将啊发挥了多少钱，然后待支付的这个状态啊，什么也模拟了一个，这样啊，那这种数据很容易可以用大模型去给它生成出来， 那么接着我们可以根据这个他的这个原始问题的意图，去把这个啊我模拟出来的这个文件给读具出来，然后去根据这个指定的用户去筛选啊，随机筛选一个用户啊，当然这次场景啊，我们可以通过之前我们状态里面有个 user id 啊，然后去做指定的这个 啊筛选。那再往下我们就啊看到啊继续说下这个深层的节点，因为深层节点我们上次啊到差不多说到这个这个环节啊， 就是啊，如果说没有做啊，所谓人机协调的这个模式，那么他直接去啊深层最终的恢复给我们。但是如果啊有 有，比如说跟刚才的结算类有关的啊，因为结算类的话，到底我们这次看病花费了多少钱，那么需要我们做一次确认，那么再进行结算啊，不然如中途中有一些疑问，或者说我的药想退，我我的某些检查想退，那么就可以在这个地方做一些相应的这个操作啊。 当然来说我们正常啊，去医院看病，在这个在这个机器上通过插入卡或者这个扫码，这个我们的这个电子医保卡等等做这个动作。那么呃，大家可能会疑问， 那这这种地方有实际的应用场景吗？当然我们随着技术的发展，我们的应用场景以后也会慢慢的改变个智能体，他本身就绑定了我们的所有的这个信息，所以说我们只要跟这个 整体进行对话，就可以快速的帮我们去做结算啊，可不需要去通过，比如说啊现场，然后插卡，或者说扫扫扫我们电子医保啊等等啊，这些东西在将来的不久应该可以通过啊这种技术手段去解决所谓的包括安全方面问题啊。那我们假设在这里 就是说到如果有涉及到结算类的要用户去确认的话，我们就留到了这个所谓的人机协调的这个节点，人机协调节点同样我们先做了一个啊意图的分类，如果这里再判断一下非结算类的，我们就给它 pass 掉啊。接下来到这里是一关关键的环节，这里有个这个 interrupter， 这个就是中断的仪式。 那么在继续往下讲的这个之前啊，我们先来解释一下什么是中断。对于这个 long graph 来说中断功能啊，允许我们的这个啊这个节点去暂停整个智能体的执行啊，或者工作流的执行，并在继续之前啊， 并在继续前可以无限期的等待我们的这个外部的一些速度，比如说我们后面要去进行确认的啊，那么这样就实现了这种人机协调的模式啊，那么中断可以通过刚才这个函数来实现，那么这个函数的参数是可以接收啊，这个可以续接成序列化的值。 比如说在这里我们是就是一个剑指队的这个字典啊，说白了我们要把这一段啊这个返回给我们的外部，所以说啊这里是一个字典，当然这个也可以是对象，也可以诉阻啊等等很多方式，只要是可这个决策四裂化值都可以投放在这里， 那我们在这里演示的是一个字典啊，字典就是一个戒指这样子字典，那么到这里运行到这里之后，他会有个就是接下来这一个就不会执行了，就会中断到这里了啊，中断在这里，那么把控制权就交给了 调用这个智能体的那一个模块啊，那我们可以直接啊往下到这个地方，假设我那个地方已经中断了啊，中断之后，那我们实际看一下，其实我们真正调用这个智能体，就是我们每次对它进行 input 的 这个，这个就是调用者，那调用者返回回来的这个东西就会 到那个地方，中断之后他会把啊，我们在这里会判断，如果执行了中断，他的整个响应里面就包含了有这样子的一个字段出来，那么我们呃可以对这个啊， 对，对这个里面的这个字段啊，去取里面的这个值，因为我们是一个键子队，所以说我们可以直接取到他的 x 这个键，那么他的值就是刚才的所谓的确定要现在进行结算，结算的这个这几个字样啊，那么我们在这里就可以作为 我们的人际交互，就是在这里我们可以比如说做一个动作，就是我们接收一个输入，这个输入是输入 y 或者 n 的 这样子的一个字母， y 就 代表说啊，我可以结算，确认没问题了啊，那我就结算 no， 可能就是因为我，我有疑问啊，我可能这个对，要啊，我可能 啊，或者对于某个检查我不需要，我就我准备再去找医生呢啊，再去那个，所以说这个地方做了一个啊，我们来选择的一个地方，那选择完，如果是啊这个外化，那我们就返回一个也是一样的这个字典的这个情况啊， 确认，然后 y 或者确认 n 的 这样的一个返回值，那一旦运行到这里，这里也会暂停啊，这里就会暂停，暂停完了我们再回过之前的这个函数 到这里，那么它就会往下执行了，因为中断被恢复了啊，被回被这个恢复了，那么这里就有值，这里的值就也同样可以通过 get 去取到它的这个 confirm 这样子的一个啊键，然后如果是这个 yes， 那 么我们就打印你结算成功，如果是取消，那就是你取消结算，可以下次继续结算等等这样子的字样，把这个字样当成一个 ai 语句啊，仿 添加到整个状态的一个 message 这样子的一个输入啊，那么本质上其实就是啊再次送给大模型，大模型根据这样几个字样去做比较自然语言的恢复就是了啊， 那么啊，到这里我们基本上把整个的这个节点的代码啊都已经给给讲了。那我们下一个视频我们就来啊，去把这些节点给它连起来啊，连接起来啊，然后再进行一个翻译啊，我们后面就可以直接调用啊。