langchain本地部署配置

水友们好，前段时间给自己的电脑布了一套 chat g l m， 用起来效果不是很理想，有朋友推荐我试一下 lan chain， 可以根据自己的本地知识库实现问答， 所以我就翻了下 github， 果然找到了一个 land chain， 结合 check glm 的基于本地知识库的 ai 聊天机器人的开源项目。 刚在自己的电脑上也部署了一套详细的本地部署过程，我做了一个记录部署过程遇到的一些问题，也分享给大家，看看能否帮助水友们避坑吧。 项目的原理大家看这个图就明白了，我是觉得这个 in bedding 这部分可以好好学习下，回头可以考虑下怎么用在自己的项目里。废话少说，开始项目的本地部署。首先把项目克隆到你的 电脑里，这里我用的 github 客户端拉取的代码。 这个项目虽然说是用的 chat glm， 但我看他的项目介绍里还支持其他大语言模型，可以根据自己的需求和硬件情况选择。我之前已经部署过 chat glm 了，所以就直接用 chat glm 杠六 b 杠 in 四的量化版本。 硬件要求方面，用 ins 的版本的话，我八 g 现存的卡勉强可用吧。接下来看看项目的安装指南吧， 根据安装指南的指引，用 comda 创建虚拟环境运行项目就是了。这里我遇到了第一个问题，因为电脑安装的 python 版本是三点一一，在后面安装 requirement 的时候报错了。 从文档里看，这个项目实测过 python 三点八到三点一零，所以我在 condy 重新创建虚拟环境，并且设置 python 版本是三点一零，这样后面就不报错了。 激活新建的虚拟环境，并且切换到项目所在目录，输入 pip install our requirements， 点 txt 指令安装依赖的包，等待安装完成。 安装完成之后，翻阅一下项目文档，我们可以使用 webui 点 py 运行项目文档。这里提到运行前需要先设置一下配置脚本， 在项目目录下 找到 config 文件夹下的 model config， 点 p y 文件，使用代码编辑器打开。 根据注视，我们把调用的模型名称修改为 chat glm 杠六 b 杠 in 四，并且把 no remote model 参数改为 true。 本地模型需要放在 model 文件夹下， 这个项目目录下并没有 model 文件夹，所以我新建了一个 model 文件夹，把下载好的 chat glm 杠六 b 杠 in 四版本的模型复制到同名文件夹下，这样就完成了本地模型的配置了。 现在我尝试运行了项目，这里是我遇到的第二个问题，我没能正确的运行这个项目，项目报错了。通过 查看报文，我发现原因是使用的 torch 不是 gpu 版本所导致的，所以我只好上 torch 官网去找 gpu 版本了。 检查了下 torch 的版本号，反正选择一样的版本就是了，因为前面安装了拍葬，三点时看好版本号，选择合适的版本，再安装了一次支持 gpu 的版本。 这里我又遇到了第三个问题，忘记在 webui 点 py 脚本里修改项目启动的地址了， 所以再打开脚本文件，直接拖到脚本最后几行，我这里就把地址修改为 local host。 再次 运行项目。这回终于可以在浏览器里浏览查看这个项目效果，项目包含几种使用模式，可以使用基本的 ai 模型对话功能，和 chat glm 没有什么区别。 知识库问答模式里，我们可以创建自己的知识库，并且上传知识库文档或文件夹，支持的文件包括 text、 word 文档以及 pdf 文档等格式。 我实测了一下上传本地知识库的方式，丢了一个 word 文档上去，看上去效果是可以的，可以从我的文档里提取知识，并且给我回复。不过我才玩了两轮显存就爆了， 看来还是我机器性能的问题，玩 ai 模型果然是烧硬件啊。 上面的内容就是我手动部署过程和之间遇到的问题，水友们要是觉得对大家有帮助的话，还希望不要吝啬你的一件三联啊。好了，今天这个视频就给大家分享到这里，再见！

他这边博客主要还是讲他们这个 faster chat 那个目前跟 open ai 的 api 是是完全兼容的，所以我们现在很多的应用都是围绕着 open ai 的 api 进行开发，它可以非常无缝的可以转换到开源的这些项目上面来。 所以呢，他就给了一个例子啊，他就给了一个例子，主要是讲就是通过 mecuna 和这个模型， 他用了 lanchen， 我也用了 fast chat 这样的一个开发的框架。他主要是做两件事情啊，第一个应用是基于这个 document， 基于文档，然后来回答一些问题，他等于是这样，他给了一个例子，这个也是比较简单的，之前我也是讲过的，我们可以把那些通过 项量数据库来管理，结合 l l m 的这些大模型，我做这样一件事情，那么它这个呢，是用比库纳来实现的，它不是用 chat g p t 来实现。那第二个例子的话呢，它主要是做， 做了一个，他主要是做了一个代码理解的这样一个项，他也是通过狼狼倩这样的一个开发框架来实现。所以的话呢，他发丝的、恰的，他的，他都是可以。呃，原来可以把原来的这个 opanai 的各种各样的这种应用的话呢，都完全是迁移到，迁移到无缝的迁移到这种基于开源的这些 lm 的大模型上面。他的 这篇文章，他介介绍完这个两个应用场景之后，他也就给我们讲了一下为什么要用本地的这个 a p i 的这种 server， 他是为什么要用。他主要讲了三点。第一点还是为了这个数据的隐私性，因为你你不可能把所有 的一些数据发给 obanai， 在公开的这个互联网上发的，他等于是这样。那么如果你用那个发射 chat 的话呢？你这个数据的话呢，都可以集集中在你自己公司的局域网，或者在 i d c 里面，你减少泄露的这样一个风险。第二个他也是讲了，主要是那个降低成本，呃，因为 为我们用那个欧奔 ai 的 api 的话呢，它其实是要要花钱的。当然我们搭建本地的 local 的这个 api server 的话呢，本质上你要买服期啊，贷款什么，你也要一些费用的，但是 这相对来讲， l l m 的大模型相对还是会节约一些成本，还是会节约一些成本，当然就是前提是你的那个有一定的规模的量，如果你只是少少量的用用欧本 ai 的 api， 可能还是 成本会更低一点。第三个也是主要的，主要你有一些个性化的一些应用，你要有一些你的这个模型啊，有些特殊的要求，你的模型要进行一些个性化的调整， 你要有一些特殊的一些需求，那这个是在 ai 的 api 的话呢，或者动 open ai 的模型的话，可能性不是太大，但是画的这个需求是你搭建这个 local 的这样的 l l m 是这样，那么它的整个架构上自我也是介绍过。那么也有网友在问，那个 long chain 和 fast 它的区别到底在哪里啊？它的区别到底在哪里？那么郎倩的话呢，一般相当于是我们应用的一个客户端， fast chat 相当于是我们的一个端的一个中间键，那背后它都是各种各样的大模型，它是跑在那个 model worker 上面， fast chat 它作为一个中建一个 api server 啊，它能够连接我们的一些应用，智能的一些应用和我们这个模型之间，它做了一个非常好的一个桥梁。 那么它这些 a p i 的话呢，它主要是兼容这个 open ai 的 a p i 的这些协议，所以的话呢，这个啷嵌的各种各样的应用可以无缝的切换到这个上面来， 他是等于是这样的，所以这个我也是回答了郎欠的这些应用跟 fast chart api server 之间的差异，他这张图上也比较好的能够反映出来。最后呢，他这个博客里面他也是详细介绍了前面两个应用场景的，通过 document 去回答一些问题。私有化部署的维库纳跟 chat gpg 三点五支持 之间的这个差异，他会发现就是说用比比比库纳来部署，相对来讲他的这个准确度和性能还是比较好的。他在六个这个问题当中，他答对了五个，他等于时间还是非常不错的。最后他也讲了另外一个基于 给叉不上面的一个应用啊，我，我自己稍微简单的看了一下，他主要是做一个 sales 的这个 a 就是 sales 的 g p t 的这样的一个应用，那他们原来呢，也是基于呃 chat g p t 上面 oba ai 的 a a p i 进行开发的，那么他现在无缝的可以切换到这个 fast chat a p i 上面之后的话呢，他们也做了一些对比， 他就会发现就是维库纳私有化独立部署的这种模型的话，他的那个回答的准确率会更高吧？他三十个问题里面我答对了二十八个，那么恰的 g p t 三点五，那就三十个问题，答对了二十六个。所以这他这篇文章里面的最终他的结论是什么？是做一些很复杂的一些问， 或者一些很复杂的一些人工智能的一些 ai 的应用。呃，对我们企业级来讲，那么需要独立化部署的，用它的这个 fast chart 的这样的一个 a p i server 是非常好的，而且用它的这个 requa 的这个一个模型， 准确率和性能也是也是不错的，他并不比点五差，他等于是这样。好吧，所以今天今天这篇文章就跟大家就聊到这。

今天给大家分享乐凯和 chat glm 搭建本地知识库项目，该项目是由清华大学发起并已开园，这是我配置好的整合包。先给大家演示一下效果，点击脚本启动微博语， 启动完成就能看到使用界面，页面右边可以切换对话模式，选择知识库模式，可以在这里新建知识库，也可以选择之前建立的知识库，随便选择一个之前创建好的知识库， 可以在这里随时加载保存文件，只需要把文件拖进去就可以了。 这是我下载的关于 transformer 的 pdf， 一共十七 m b 两百八十四页，拖进去保存一下， 加载完成了。然后我们问一个 pdf 里的问题，测试一下回答质量， 回答的好像还可以，并且给出了出处， 出处也是比较准确。 接下来讲解一下该项目的基本原理和流程。该项目整体使用 lancan 作为应用框架， lancan 支持自定义链式调用， 可以将自定义工具和各种模型结合起来，开发出不同应用。该本地知识库项目是将向量数据库和 chat g m m 模型结合起来。首先就是加载文档并读取文本， 然后对读取的文本进行分割处理，得到一段一段的文本数据，接着将这些文本进行商量化处理，并存入本地史量数据库中， 此时我们的文档数据都已保存在数据库里了，这些数据将会在问答过程中被楞看调用，并经过大语言模型生成生成最终回复。接下来我们一起看一下问答过程的基本流程。首先会将用户的提问信息进行向量 画，得到向量化文本。接着进行数据库查询，得到相似度最高的前几条数据。 最后将匹配出的文本作为上下文和问题一起添加到 prof 中，并提交给 l l m 生成回答。这样我们就得到想要的答案了。我们的模型可以是 track g l m， 当然也可以是 lama 或者自己训练好的。其他模型都可以 通过来看进行集成，做出各种各样的应用。本期视频到这里结束了，大家有什么问题可以在评论区留言，我都会一一解答，再见！

大家好，今天来分享一下恰克 g l m 三杠六 b 开元大模型和浪琴结合来搭建基于本地系统认为知识库的智能问答。那么首先我们看一下我们准备的这个知识库， 准备的这个本地的知识库呢，一共是有五个问题，包括怎么 g l a 系统啊，其实用明密码错误啊，查报道公文呐，置身热线呐，这些其实都是在做系统运维 过程当中比较常见的一些要支撑的一些问题，那么也是常用的一种知识库，那么我们就将这个知识库啊 接入到大模型里面，然后看大模型能不能够很精准的对这种问题进行一个回复啊，我们来看具体的效果，现在开始提问， 比如我们问第一个问题，怎么进入 r a 系统， 好，我们来看一下这个，呃，具体的一个效果和我们回复的 效果相比会怎么样？他首先会将我们的问题结合起来，他进行了一步的推理，其实正常情况下来讲，怎么进进 o a 系统？如果我们只是做一个检索的话，你就到输入网址之后用零密码进到 o a 系统就可以了。那么在这里呢，他将这所有的问题结合起来了 啊，他会进行了一个推理，就说我们首先进 l a 系统能正常进去， ok 就没问题，如果进不去，比如提示用户名密码错误，那么应该怎么去处理啊？如果还有其他问题应该怎么 处理？可以去继续拨打热线电话。所以这个打模型还是比较聪明的啊，将用户想要的问题或者常规需要遇到哪些，碰到哪些问题啊，都可以一定来进行一个答复，这个效果还是挺还是挺好的。 你比如说我们再问单独去问 o a 热线电话 啊，这个很精准的把我们 o a 热线电话恢复出来了，我们可以看看啊，是不是这个电话号码，这个电电话号码是我自己编的啊，在这里瞎编的一个号码，所以它还是能够很精准的能去找到 这个机器的。这个哎，这个电话号码是多少？按 b， 比如说查不到公文， 那么这里的话他也是将这个答案进行的一个 呃，总结和归归类啊，他列出了一二三，列出了一二三啊，比如我们找到了首先去检查，检查之后如果还有问题怎么办啊？这个大模型给我们的整个的一个答复还是 比较专业，而且还是比较聪明嘛，他能够具备这个很强的一个推理能力，及通过我的整个的一个知识库来对这个问题进行进一步的深入的一个挖掘和回复，这个就是大模型和 和常规的这种问题检索的一个区别，它具备记忆和推理的一个能力。好，今天就分享到这里。

大家好，欢迎来到悟空 ai 工具箱，悟空 ai 工具箱可以帮助您实现 ai 工具的快速一键部署。工具箱目前包括 chat glm， stable diffusion、 visual glm 和 long chain 四款强大的工具， 通过一键部署上述工具，可以让您快速便捷地在本地使用这些 ai 软件。 今天我们来介绍 long chain。 由于数字模型的知识之后，我们有时候需要建立一个本地的知识库， 那么这时候 launcher 就派上了用场，我们已经做好了 launcher 和 chat g l m 的整合包，这个工具的使用同样非常简单，下面我们来具体看一下使用方法。 首先我们打开悟空软件的官网，三 w 点五 k c r m 点 com， 然后在官网上我们点击 ai 工具箱，那么进入 ai 工具箱以后，我们点击 long chain， 这个页面就是 long chan 的介绍页面，那么这里展示了 long chan 的产品信息，特点还有安装方法。如果您有任何问题，也可以通过微信扫码进入我们的社群。 我们的 long chance 是和 chat g l m 已经做了完整的整合，那么 整合的一键部署安装包的使用方法非常简单，首先我们记录提取码，然后点击我们百度云的下载链接，这里我们已经打开了网盘的下载链接，点击提取文件， 那么就可以看到郎欠的一键部署包，我们可以将这个一键部署包的文件保存到我们的网盘当中，或者直接下载，那么这里已经有一个完整的安装包，我们将它下载到本地， 目前在本地的话，我们已经下载好了所有文件安装包，那么把 long chain chat grm 这个压缩包进行解压，解压以后，我们打开解压后的文件包， 找到文件包下面的 run 点 b a t 文件双击它， 那么同样的我们可以选择我们的显存配置，无显卡的情况下，您需要包含 三十二 g 以上的内存才可以使用。 好等待当安装完成后，我们就可以开始正式的使用他的软件了。 好，我们看到他已经安装完成了。 安装完成后，我们可以看到人工智能助手给我们提示了一个信息，让我们直接在本地 执行一个网址就可以访问到他，那么这个网址就是幺二七点零点，零点一端口号是七八六零，那么我们已经打开了这个网址。刷新后就可以 看到 long chain chat g l m 的一个界面， 由于郎欠的使用是和 cheat glm 结合的，所以啊他们的界面基本上是相似的，我们可以在这里输入提问的内容，按回车就可以回答问题了，这一部分我就不再演示了，大家可以去看一下 cheat glm 的演示视频， 那么这里我重点说一下 long chan 的本地知识库的建立，需要建立本地知识库的话，我们可以先点击这里的新建知识库，然后我们给知识库命一个名字， 然后添加至知识库选项。那么为了要建立本地知识库，我们首先需要在本地建立一个知识库的文档， 我们看一下，我们在本地新建了一个文本文件，这个文本文件里面记录了相关的知识的内容， 那么我们将这个文件拖入到我们的知识库里面，然后并且点击上传并加载到知识库，我们看到 这个本地知识库已经加载了，我们可以把刚才的问题复制过来，然后看一下是否有回答，悟空软件是做什么的？ 我们可以看到目前这个回答就是我们本地知识库来提供的一个回答，那么我们可以在本地建立和我们相关的一些重要的知识库，这样的话就可以将我们需要的问题来提供给人工智能来帮 帮助我们来回答问题。当然除了使用默认的知识库问答，我们也可以选择其他的使用模式，在这里我们也可以对知识库的测试贝塔进行一些设置， 也可以对模型进行配置，欢迎大家一起来共同研究，然后并且和我们一起讨论。 那么关于 long chan 的简单部署和使用方法就介绍完了。如果您觉得悟空 ai 工具箱很有用，欢迎转发这个视频，谢谢大家。

今天的话跟大家演示一下一个项目叫 flowwise， 这个项目的话呢，跟我之前讲过叫 lan lan flow 有点接近，它也是基于 lan chen 的这样的一个可视化的低代码的这样一个平台。 今天的话我会跟大家演示一下怎么结合昨天讲的香港中文大学的这样的一个凤凰的这样的一个大型的预处理模型，再加上这样的一个可视化的低代码平台， 他就会很简单，主要是拖拖拽拽，他就可以生成一些很智能的 ai 的一些应用。我先给大家演示一下他到底是怎么来使用的，给大家演示一下。 我这个演示主要还是做一个比较简单的，我我我经常看英文的一些网站，我可以把这些英文网站直接翻成中文，那你只要把这个题词词输入进去，他自动的就可以把它翻成中文给你返回出来。他主要是做这样的一个 功能，这功能就对我来讲就是会比较好用一点，他等于是这样，那么他把这篇文章就自动的给翻译好了。他等于他们提出了一个什么叫 vq 店的这样的一个设计，做 stable diffusion 的这个修补的一些工作，他主要是做这样的一个东西。那么我解释一下他到底是怎么实现的？首先的话呢，就是你还要起 这个本地的这远程的兼容于 ai 的这个 api， 因为我起的是那个凤凰，香港中文大学凤凰的这个 instruct chart 七 b 的这个模型， 你，呃我下来下载，下来之后我跑了一下，它的性能应该跟 l m 呃，我觉得也是比较接近，翻译出来的效果也是不错的，它的中英文的多元的处理能力还是蛮强的。 那你记起来之后，那么我们在这里面就要去定义，在定这个里面要去定义，定义，它核心主要是要用到这个 l l m 的 model， 或者是叫这个 chat model， 它这个两 两个有点类似，这个两个是其实就是大型浴训练的模型，当然你也可以直接用 ai 的，那我用的呢，是一个本地部署的 oba ai 兼容的一个版本啊，他等于是这样用这个，然后你要把你的 baseuil 跟你的模型相关参数，你这边都把设置好就可以了。 然后呢，我这边呢用了一个叫 l l m 的那个 land chain， 那他就只要连接一个，这个就是 language model 和一个提示。提示的话我就很简单，就主要是有一个输入 啊，就是有一个输入进去 input， input 就是把上述内容翻成中文 alterport 输出，输出就输出给他就好了。一个比较简单，这个是一个输入的一个动作，这个经过这个到这这再把这个结果给到他，他等于是这样， 他主要是做这样一件事情，所以这个还是比较简单的，对我来讲他就会比较，我就不需要每次都要把这个字给打上去，他只要看到有些英文，我主要是 输入一下他这个就可以了。好，这个 bluewise 的话呢，他他如果要起起来的话呢？他是要在本地起的，他一般的话是要在本地起的 bluewise 我是起的是三千端口啊，在本地啊，用 n p x flow y s star 起起来就可以了，然后你就可以开始跑了， 然后 local host 三千端口跑起来就可以了。它这个里面呢，它有各种各样的模板。我用的就是这个模板啊，它会比较简单，它这个里面有各种各样的应用啊，就有基于 web browser 的，有基于这种 secret database 的，基于那个，它这个有各种各样的一些模板，然后你只要把它复制过来就可以用，跟大家就交流到这儿。

有没有办法构建本地轻量级的销量数据库？当然有，而且特别简单，之前视频讲的比较多的拍 com 销量库，主要面向企业提供服务， 对于个人用户来说确实有一点重。并且再将手里的知识数据传到云上这件事上始终存在部分场景是不允许的。今天分享南欠的本地项链数据库使用方法， 话不多说，直接上干货。这几天评测了蓝田集成的 victor 模块中几个本地项链数据库，大家可以试试这两个。一个叫做 face， 是 facebook ai 开发的一个库，用于高效的进行密集项链的相似性搜索和区内。 一个叫 chroma， 是一个用于构建 ai 应用程序的项目数据库，特别适用于嵌入式应用。 chroma 同样可以进行语义及相似度搜索，是一个可以处理和查询大量项目 数据的系统。我用 face 来演示，先用在他命令安装对应的依赖库，然后上产业，还是用拍摄脚本代码来讲解。为了和之前的演示能够衔接，便于大家理解，我把之前当前方外片中用到的询问拍杠的囊前知识库脚本改造成用 face 进行本地 当前知识库问答的搅拌。忘了之前内容的，自己去翻一下代码中的这一部分，会根据设定的存储路径加载本地的 face 向量功，如果发现向量库中没有内容，会引导添加知识库文件。因为目前 face 没有提供是否正常加载的回字，所以用了一个异常补货的处理。 呃，是不是讲的有点太技术了？另外， numberin 将所有的 victor store 都封装了相似度查询的方法只需要这一行代码就行，我还是采取匹配前十的那种来运行。脚本看一下，输入 openin ipik， 这是好 face 的数据存放文件加路径。我用之前的 开发文档作为知识库原文件传给限量库后完成 m n d 转换，可以在 face 的本地文件夹内看到对应格式的限量数据文件。依然还是进行当欠相关的提问，比如请给出 face 的简单数据存储单码。我打开了调试开关，会显示从数据库中切入的内容， 可以看到和之前拍 com 查询的内容基本一致，然后 gpt 模型做出了回答，实际结果与预期一致。整个的过程其实非常简单， prama 整个的逻辑和 face 几乎一致，就是把 face 的加载和查询换成 prama 即可，时间有限就不追溯了。希望这期视频对解决小伙伴知识库不能上云的问题有所帮助。欢迎评论区留言提问，有用的话记得点赞收藏。

大家好，我是小木头，又到了学习技术的时间，最近我一直在学习 lanchen js 版本，发现了一些在 python 版本中所不具备的功能，非常的有趣。 今天就来分享一下 gs 版本中如何利用 cluff layer 作为 l l m 也就是大语言模型的缓存。 大家应该知道，在 lanching 中提供了 cashing 的机制，帮助我们来缓存大约模型的响应。 如果我们频繁的使用同样的 completion 来与模型交互，那么缓存可以帮助我们减少 a p i 调的次数，从而提高响应的速度，也降低 a p i 的开销。那么在这个缓存的机制中，特别是在 g s 版本的完全框架下， 提供了一系列支持。那在最后这里文档中也介绍了利用 club flare k v 来做缓存。在 文档中，当然了，已经提供了一个相对完整的代码，实现了一个最基本的与墨性的交互，并利用 cluffle k v 实现了缓存。那我们究竟在端到端该如何完成代码编写，部署和测试呢？ 让我们今天的视频来一起完成这最后一公里的工作， clove layer worker 的实现以及步数，并成功的测试一个端到端的 a p i 调用，也就是完成一次端到端的大圆模型的问语答，首先呢，我们需要注册一个 clove layer 账号，在这里呢，我已经完成了注册， 大家只需要来到 dash dot club layer dot com 就可以完成注册与登录。在注册完成以后，我们需要来到 club layer 后台，在这里呢，首先创建一个 k v 存储，这会作为缓存的 数据存储。 k v 存储呢，在 workers and pages 这个模块底下，但大家第一次如果进来点击 k v 呢，可能没有效果。 经过我的测试，我发现在这里首先需要创建个 worker， 也就是我们需要至少有一个有效的 worker 才能进行下一步就 k v 的创建。那我们在这里随便创建个 worker， 这 worker 呢是通过图形界面在网页上来创建，当然这个我们不需要去改名字，因为在后续的 代码开发部署测试中，我们会用到命令行接口。因此呢，这个 worker 只是确保我们可以创建个 k v， 直接点击 deploy， 这就完成了一个 worker 的创建。接下来就可以点击这个 k b， 那我们现在来到了这个 k b 的创建界面，点击 create a name space， 创建一个名字空间，我们可以给 他任意取名。我也不知道为啥，最近我挺喜欢用这个名字，那就叫 amazing j o， 点击 add， 这样呢，就完成了一个 k v 的创建。好了，现在我们完成了 cloudflare 账号的创建，也完成了 k v 存储的创建。 在我们完成了 k b 的创建后，我们先回到 launcher 的文档，来看一下他简要的介绍在这里呢，他介绍到我们使用 cluffle k v， 仅仅适合于一个基于 launcher 框架的 cluffler worker 项目才可以使用。 好了，那我们首先就了解了这个背景情况。接下来呢，回到我们的 cluffler 后台， 我们可以来到这个 workers and pages 这里的 overview。 如果我们进入刚才创建的随 机创建这个项目，然后来到 quick edit， 在这里呢会看到有一个右边，在这里有个 deploy with wrangler zeri， 我们点击它可以看到怎么去安装 wrangler 命令号接口， 并如何实现登录以及项目的管理。首先呢，来安装 wrangler cri 命令呢，很简单， npm install dash g wrangler， 我们来到命令行来执行一下这个命令进行安装。完成安装以后，大家可能需要重启一下这个控制台绘画来让这个 regular 生效。我其实在之前已经安装过了，所以这里呢已经直接就可以使用了，可以看到这个 regular meaning， 我们回到文档，回到文档可以看到这里在安装以后需要做 instantication， 也就是登录 logging， 那大家如果在浏览器中已经完成了注册， 可以登录。那接下来这个登录操作呢，也很简单，在命令行中我们就使用 wrangler logging， 他会拉起一个浏览器中页面完成登录，我们只需要做必要的授权， 这样我们就完成了授权。回到命令行接口，可以看到已经完成登录，那接下来我们就可以做后续的步骤， 后续的步骤在刚才的文档中也同样的为我们介绍了。我们回到这里，通过 wrangler in it 来初始化一个新的项目，再通过 wrangler publish 来实现部署。那我们首先初始化一个 worker 项目， 我们比如取名叫拆 g b t cash， 这样我们就完成了一个项目的创建。完成项目创建以后呢，可以进入这个文件夹加 gbt cash， 我们可以看一下这个项目的目录结构，在这个目录当中，除了常见的一个 notice 应用的文件加结构呢，还有几个文件我们可以注意的，首先是 regular dot tommo， 这个文件是 regular 配置文件，我们的环境变量啊， k v， 名字，空间绑定等等都会在这个配置文件当中去指定。另一个呢就是在这个 source 里面的 index t s， 这个是 modern worker 的执行文件，这个文件呢也是在我们如果通过 regular tom 来查看， 可以看到这里面也指定了这个 index t s 是它的主文件。接下来做的 事情是将刚才我们所看到的文档当中的代码和依赖进行安装和编写。我们回到文档来看看刚才这个完全的文档里为我们介绍了一些什么步骤。首先需要安装一个 cloth layer 的 type script 类型类型包， 那我们来安装一下。完成安装以后，第二步就是代码的编写，那代码编写很简单了，我们只需要将它复制过来就好。那么为了方便我们的编写呢，我们可以到这里 在我们的集成开发环境当中来进行这部分操作。那 source index ts 这个就是我们需要编写代码的地方，我们将刚才代码贴进来，这就完成了代码的迁移以及依赖的安装。 接下来呢需要做一些配置工作，配置工作主要在 regular toma 当中，在这里面我们需要配置几个东西。首先我们来回顾一下原代码，在这代码里面大家会看到 这个 e n v， 这个 e n v 呢是 worker 的环境设置，这个环境呢一个是 open net api key， 一个是 kv name space 这两块东西。第一个 openaiepik， 这是一个变量，这个变量呢我们定义在这里，我们可以看到在这个脱模当中已经有了一些视力，这视力当中呢，第一部分就是变量的绑定，这变量绑定我们将这个注视去掉。 open a i a p i k 这就是我们指定变量的位置，这个变量呢，当完成了发布或部署以后，就会出 出现在 worker 的环境变量设置当中，我们一会会看到这部分内容，好了，我取了一个 api key 粘贴到这里，这就是一个 open a 的 api key。 接下来是 kv name space 的绑定， 大家可以看到这里第二部分注视里面，第二部分就是一个 kv name space 绑定这个呢的配置，我们该怎么做呢？我们首先将这个 绑绑定这部分的注视去掉啊，首先是一个 bending name 绑定的名字，我们需要来到代码这里 可以看到这个绑定的名字，怎么读取呢？是 e n v 点 k v name space 表示是从环境当中去取到这个 k v name space， 这个绑定，这个名字或者这个变量名就是我们要在 regular tomal 当中配置的，因此这个 这个 kv 的 space 就设置为这个绑定这个绑定。那这个 id 是什么呢？ id 就是刚才我们在后台创建的这个 kv 的 id， 我们如果来到刚才创建这个 kv， 可以看到这里有个 id， 这个 id 我们复制一下，回到代码当中将它粘贴进来， 这样就完成了 k v 的一个绑定。那这一块我们后续会在这个应用的设置当中看到有专门的 k v name space 这一块的绑定的配置，我们会看到这一块是如何将对应的这个 k v 存储绑定到这个 worker 上， 那完成的这部分配置就可以做我们刚才在文档中看到的发布，我们就用 angler publish。 在这里我们忘了做一件事情，就是 m p m install launcher， 我们没有安装 launch 依赖，这也是为什么这里会失败。 ph 我们用的是 p m 片，大家如果使用的 m 片或者用的是一二呢？也可以选对应的管理工具来安装，我们来装一下蓝圈。 接下来我们再次发布，在这里可以看到这个命令行输出当中呢，对于这个 worker 的绑定做了如下的声明，一个是 kv name space， 一个是变量，我朋友也 api key。 接下来呢，我们先不点击这个链接，我们先回到 cluffler 后台来看看这个 overview 一共有两个 worker， 那我们点击这， 这就是刚才我们发布的，点击这个 settings 这里。接下来你在 variables 会看到一系列我们刚才做的配置， vrs vars 配置的其实就被放进了 environ variable 环境变量，环境变量的访问呢，正是我们代码当中刚才看到的 e m v 点 open a i a p i key 这种形式来访问。那在 k v 名字空间绑定这里呢，会看到这个变量 k v name space 被绑定到刚才创建的这个 k v 存储， amazing j o 那这样看起来一切就已经如我们所期望完成了 b r 的配置了。最后一步就是点击这个链接，就可以直接访问这个 worker， 那这 这个 worker 究竟做的是什么吗？我们最后回顾一下这个代码非常简单，当我们点击 url 一个请求发送给这个 worker， worker 会触调用这个或触放这个 fetch 函数的执行。这里面呢，他首先会去初始化一个 cloudflare 的 k v cash， 基于的是我们刚才创建的这个 k v 的内名字空间 name space。 那这个 open ai 使用了这个开始，同时呢模型使用的是 gpt 三点五 table instruct， 这也是最新版本 open ai 的 api key 呢，来自于环境中的 open ai api key， 这个变量与魔性之间的交互呢。提问是 how are you today？ 这是 in 编码，在这个 worker 当中呢， 那通过提问来做应答，模型会给到我们一个 response， 那这个 response 就会以 jason 的数据格式的形式返回， 这就是 workers 所做的工作。那现在就来点一下这个链接，可以看到非常非常的简单， 那这就是我们这个 worker 所做的事情。那完成了这次访问以后呢，如果我们来到后台，再来看一下刚才这个 k b， 我们点击 view 会看到这里面就会有一条简直对，这是刚才我们的提问了。那如果我们再次访问，如果我们打开这个嗯 network 看看这个响应的情况呢？ 这次非常的快，一百二十八毫秒就已经完成了这次调用了，他应该来自于缓存，也就是来自这个响应就来自于这个 k b 存储，如果我们刷新一下，应该不会看到有新的记录在这个 存储当中，还是刚才那一条，那我们如果小小的对这个题文做一些调整， show me today 做一些改动，那我们再来做一次 publish， 嗯， publish， 我们再来刷新一下这个请求，他告诉我他是一个 ai， 他没有实时的信息的访问渠道，我不要紧，我们现在回到后台来刷新一下这个 k v 存储，这里 应该会看到两条记录，那这就是我们如何使用 claw flare 的 k b 存储来做 launcher 应用的一个大圆模型的缓存。要注意的是，再次强调这个方案呢，仅仅适合于 claw flare worker， 那有兴趣同 也可以来尝试一下这部分的实现以及部署。这里要提示一下，在目前这个 clove worker 的实现和部署场景中，我们没有对域名做任何保护，因此呢，是过可以公开访问的，换句话说，所有的访问都会记账在这个环境 中变量 open ai p i key 的配置上，那这一点是需要大家特别注意的。好吧，那今天的分享就到这里，感兴趣的同学赶紧来尝试一下 club fear flare 上面还有非常强大的一些云端的服务可供我们来构建 大元模型应用。后续呢，希望我们也能够分享更多这方面的知识给大家，那咱们就下次视频再见啊！对了，在结束之前也欢迎大家继续关注我们频道，感兴趣的同学呢，请给我们来一波三连，那咱们就下次再见，同学们拜拜！

本地知识库就是从向量数据库里面获取这个外部的知识，跟大木星结合的时候啊，他的这个外部的这个 sos， 这个数据员怎么跟使量数据库的数据员进行同步的这样的一个技术问题，有一个解决方案跟大家一起来聊一下啊。 当前里面的话呢，目前已经整合了这样一个创建质量数据库所引，并且跟外部数据人做一些同步的这样的一个 a p i 啊，我们一起来看一下他这个是怎么来实现。我们在做质量数据库的时候，我们会发现这个 外部的文档有很多，我们把大量的文档同步到史量数据库的时候，因为光有史量数据库是不够的，那你有可能的话，你还要做一些关系型数据库啊， 要做一些啊，有一些文档要放在关系性数据库里面，因为，呃，因为你每次做文档如果你都是全量的话，那它的效率是非常低的啊。而且如果你要通过 chat g p t 做一些适量化 inbiting 的 这样一个操作的话，那么他要消耗大量的这个 token， 他要花费费用啊。那么有没有一种方案，就是说，呃，我们只是把我们这个外部的数据员，呃， 不是有变化的时候，我们才在这个时量数据库里面去更新，或者我不需要的时候就把它给删除掉，我有新增的时候，我再插入到这个时量数据库里面，就相当于做一个增量啊，这样的一个操作啊。目前的话，郎欠的话，他提供了这样一个解决方案啊，他他提供的这个叫 indexing hi 啊，大家可以看一下它这个官方文档上面啊，它已经把它给放出来。嗯，那我们来解释一下它到底目前是怎么来实现的啊？它怎么来实现啊？ 本质上来讲需要把这个每个文档他会产生一一个哈士，一个哈士的一个编码啊，这个编码的话呢，就是代表这个文档，当你这个文档发生变化的时候呢，他这个哈士值就不一样了，他会把这个哈士值和这个文档的唯一的编号放在关系 数据库里面啊，他有个叫 sos id， 他会被把每一个文档都有一个唯一的编号，然后把这个哈序值和 sos id 进行关联，他就去判断啊，你这个时时量数据库里面的这样的文档他到底是不是有变化，或者你这个时量数据库里面的这个 sos id 是不是已经有了，有了的话呢？那么他就 不会重复的去插入。如果这个文档的哈确实跟原来的不一样的话，那么他这个文档发生变化，那么他在矢量数据库里做一个修改的这样一个动作啊，如果这个文档没有了的话，他就作为一个删除的这样一个操作啊， 它的主要是这样来实现的啊，原来我们在做这个外部本地知识库的时候，我们这些代码都要自己去写啊，现在他就提供了一个类啊，叫 record manage 啊，他这样一个类啊，专门把这一些的功能都实现出来了啊，而且呢他也有三个 model 啊，他这个 record 的有，他这个叫 clean up more， 他有三种啊，一个叫 non， non 的话呢，他是他会，他不会去处理删除的这个操作，他只会去判断你这个文档是否是是重复，如果是重复的话呢，他就不会 重复的去往你的食量数据库里面去插啊，但是如果他发现你这个食量数据库里面这个文档已经没有的话，他不会从食量数据库里面做一些删除的这些动作啊，他等于是这样。第二种模式的话，他叫增量模式啊，增量模式的话大家可以想象得到啊，那么他不是全量的去 做这个更新的啊，增量的话呢，它就是呃，把对比啊，你现在的这个 eatsos 跟你的矢量数据库做一些对比，如果发生有变化的时候，如果有新增的，那么就他就插入，有删除的他就删除， 修改的他就更新啊，他主要是做这样一个事情啊，所以还有一种的话呢，他就是全亮，全亮的话呢，他就不会刮了啊，他把你的这个锁隐全部删除掉啊，删， 删除掉之后呢重新再插啊，当然他也会，如果你这个文档在但是重复，他也不会重复的在这个实量数据库里面去创建，他有这样的一个好处啊，那么他这个 h i 的话呢，目前在这个 郎欠的这个版本里面已经发布出来了，已经发布出来了，他这个就是我前面讲的，我们一起来再来看一看啊，他到底是怎么来用的啊？他怎么来用的？他这个里面举了一个例子啊，他举了一个他的时量数据库是用 elastic 设置的啊，作为一个时量数据库的啊，我们小工以以的那个 本地知识库的话，也是用 elastic 社区的啊，用 elastic 社区的话呢，它也有一些好处啊，比用 fas， 呃，会，呃，如果数据量大的话，它的性能会更好啊。 fas 的话呢，它主要是把所有的这个 质量数据库都放在内存里面，这样会导致如果你的文档很大的话，他需要要非常多的这个内存啊。我们曾经测试过将近有七十亿的这样的一个啊，七十 gb 的这样 的一个适量数据库，如果你把它转化成 elastic 社区的话，它它的内存大概只需要七个 g 啊，它就够了啊。而且随着你的文档再增加它， elastic 社区里面也不会增加太多的内存，因为它会把磁盘和内存就结合起来啊，作为一些适量的这些数据库，它 catch 需要的时候呢，它才会装载到这个内存里面。 同时 elastic 社区它也是个分布式的架构啊，所以做是量数据库的话，相对来讲性能也会非常不错啊。那这个是。嗯，所以他举的这个例子也是用 elastic 社区的，因为只有 elastic 社区他这种创建的文档非常需要非常多的时候，他，呃，用这个 index， 你 call the manager， 他才会有真正的价值。呃，否则的话，如果你本档量少少的话，你每次都重重新建一次就可以了。他这个里面这是标准的用法啊。这个是，呃，他用了一个 invading， invading， invading 的话呢，是用 oba ai 的 invading 的这样的一个操作，当然我们也可以用本地的啊，据哈根 face 的 这样的一个项目大模型也是可以的啊。这个是 elastic 设置的这个一个服务服务的这个 url 啊，这个是锁引的这个名称啊，它这里面名叫 test index， 下滑线 index。 好，那么它这个 record cycle record manager 的话呢？它是把这个相关的一些数据要存在 cycle 数据库里面的，它用的是一个 cycle light 啊，是一个轻量级的一个内置的这样一个数据库啊，它放在这个 数据库里面，我一般是用 micro 的这个数据库啊，你只要 d， b， u， i， l 这个地方改一改就可以了，然后它在 record manager 里面就创建这个 c 个码。嗯，创建完了之后的话呢，那么它就要开始 这个就是标准的这个文档的拆分，这个就要开始了创建，所以创建，所以他这个里面定义了一个如何处理这个文档，这个他定义了这个 record manager， 就是前面定义的这个 index， 然后这个就是 victor， 就是矢量数据库，然后这个就是他的 model clean up the model 它有三种，它目前是做一个全量的。然后这个是 source id 的这个 key 啊，你在 circle 这个表结构里面，跟你的这个食量数据库的 elastic 社区里面的所有里面，它有个 menadata， 它这个 source 它要指定一下你这个 source id 的这个 menadata 的这个 type 一个 name 是什么？好，这样他就可以创建了，用起来还是会比较简单，用起来会比较简单啊，那么他这个所以创建完了之后，那么他就可以开始引用，引用 创建的这个锁引进行结合这个用户问的这些问题再进行。呃，到下面数据库里面去检索，再结合大模型去回答这个问题，他是这么来做的， 这个是个基础的用法啊，如果有详细，大家还是可以看看他的这个官方的这个 document 啊，官方的这个文档啊，他这个里面讲的会更清楚啊，因为他，他这个，他这篇博客里面只讲了一个模模式 啊，只讲了一个负的模式啊，全量的一个模式。他这个文档里面他会介绍三种模式，一个 not， 一个增量，还有一个是全量啊，他这个三种 clean up 的模式他都介绍。这个就是前面讲的那个 south 啊，他在 mental data 有个 attribute， 它包含一个扫词啊，就在这个地方，它是确保你这个数据的唯一性啊，它是怎么来确保的啊？这个可以用一个 document 的 id 啊，来确保这个关系型数据库。 c 口里面的这个 document 的 id， 跟你的食量数据库里面的这个文档的这个 id 进行一一的对应啊，这个是可以好 使用的话，也是比较简单的啊，所以连线他是不断的会添加一些新的功能放在放在整个框架里面的，让我们的开发变得越来越容易啊。原来我们要做这样的一个本地数据本本地知识库，他的开发量是非常大的，现在他创建 类似的这些类啊，那么我们开发起来会更加简单。这个是他原来没有加锁引的时候，他是这样的，如果加了锁引的话，他就会变成这样的一张图，就在这 他做了一个 record manage， 他这个地方要建一个关系型的一个数据库啊，要连两个，让你的关系型数据库跟你的矢量数据库里面的文档进行关联啊，他只要实现的是这个事情，你的文档做一些增量变化的时候，他不需要重新建所有的锁， 所以他需要的时候他才会剪啊，这个就是今天介绍的这样的一个解决方案，好吧？啊？好啊，今天的话就跟大家就聊到这。

今天我们再来介绍一个郎欠团队开发的一个开源的框架叫 long server 啊，给大家介绍一下这个项目的一个呃，一个一个价值吧，或或者说一个用途吧，他跟郎欠到底怎么样这样来配套的使用啊？目前的话呢是 呃，如果我们开发一些 llm 大模型的浪倩他的这个应用框架啊，他已经是成为业界的一个标准啊，是最流行的这样的一个框架，一般大家如果要开发一些基于大模型的应用的话，一般都会用这个浪倩这样的一个开发框架去开发的啊， 那么个框架的话目前也非常流行哎，我们小工艺也一直用这个框架去开发的，但开发完之后的，当你这个应用做完之后的你这个一般我们是用拍审来写的啊，写完之后的他的他可能要暴露一些接口啊，那些接口的可能要提供给一些什么小程序啊， h 五页面啊， 前端进行调用啊，或者加码的一些应用程序去调用。那个时候呢，我们一般会在郎欠做完之后的话，还会再写一些呃， bust api 啊，然后把一些接口通过 http 的这个形式把它给暴露出去啊，他等于是这样来写的啊，有很多代码其实是都是勇于的，因为每个项目他都要写这么多代 代码，所以呢，郎欠他整个团队的他们就开发了这个叫郎 server 的这样一个框架啊啊，只要你的应用是用郎欠开发的，就很快的可以通过一些简单的一些 拍摄的一些代码，然后非常快速的可以把狼倩的这样的一些接口暴露给客户端，让他们提供调用啊，我们一起来看一看，我们先看看代码，这个项目目前在 gitab 上面，呃，刚刚发布出来啊， 差不多是在两天前，目前是零点零点八版本啊，目前星星不是太多，一百六十七个，我们看看啊，这个他是怎么来定义的？ longstone， 它是帮助跟这个开发者部署这个郎欠的这样的一个可运行的这样的一个 rest for 的这样一个 a p i 的这样一个应用啊，它主要是做这样的，它的底层呢，它是整合了 fast a p i 还有一个呃基于这个 python 的这样的一个数据 呃，就是呃数据矫验的这样一个三方内裤啊，它主要是整合了这个两个内裤啊来做的。当 他也是非常容易跟一些因为他基于 restful 的 api， 所以他也是非常方便啊，通过话语言的去调用啊，甚至像朗倩还有一个朗倩 js 啊，他也可以通过他的假话 script 的一个 client 非常方便的进行调用啊，我们一起来看看啊，他大概是怎么来用的啊？他这边举了一个例子，帐篷啊，他的帐篷 那么一般的话呢，我们都会调一些，就是说它这个里面就就定义了这样一个 server 啊，这个 server 它首先定义了一个 fast h 加一个 application 啊，他把这个，把这个接口把它给暴露出去啊，他这个的话呢是 open ai 的一个 api 啊，他把它给暴露出去啊，这个这个的话呢，是另外一个叫 also repick 这样的一个 api 啊，他这个里面的话是一个欠的一个应用啊， 那么他就挺简单的啊，主要是根据某一个 topic 啊，去讲一个笑话啊，他只有一个提示模板啊，去调用你的啊，通过这个两个参数啊，通过这个两个参数去去扣这个东西啊，他等于是这样啊，然后就可以呃，他这个项目的话，就可以通过 呃，这样的一个框架，能够让他基于这个 http 的协议能够把它给跑起来啊，他等于啊，所以他会写的非常简洁啊，他的一个应用的话会非常快速的能够把它做完啊，那么这个发布出来之后的我们可以看看他 到底是怎么来调用的啊？他怎么来调用的？他这段也是一个 python 的这个 s d k 进行调用的，他这个地方啊，那么这个呢？就是他的调用的 u i l， 你可以看到这个就是这边定义的一些 u i l， 这个就是调 oppo ai 的一个 chat 的这个 api， 对吧？这个是调另外一个模型的 api， 这个是调这个两个， 呃，讲一个笑话的这样的一个应用啊，他主要是这样，那么他调 epi 的话呢？他主要是庭检，他只要是调这样一个 in work 就可以了，他主要是调这样一个命令就可以了。 orbic 就是这个啊，他就定义了一个 topic， 他就你可以就等，等待他把这个东西给给弄回来，他这个应用就会讲完了啊， 当然你可以批量的掉，它这个是批量的嵌进，它是 bench， 它啊，它掉了两个，嗯，假拉 script 它也是可以掉的啊，它这个，它这个地方也是讲了一下，如果是用呃安嵌结实的话，它 它也是直接可以调用，它有一个叫 remote rain rainbow 啊，这样的一个类啊，定义一下，只要调用就可以了，当然你这个地方呢，如果你不用它的类，你直接用一些 rest for 的 api， 直接可以也是可以用的啊，像它这个调的就会比较简洁啊，它就是一个 request post 这样的一个加一省的一个东西，然后他就可以得到最终的一个，当然甚至你可以用命令。行啊，他也直接可以调用，所以他会比较简单，比较容易用啊，他这个这个地方的话是讲了一下，如果，如果你这样定义了一个路径的话，他自动的都会帮你把这个 api 都可以生成。好啊，他这啊，这个是你自定义的一个路径啊，你这个应用的一个自定义的个 pass， 那么这个就是单个的调用啊，这个是批量的调用啊，那个的话给流逝的这样的一个输入输出啊，这个也是可以的啊，这个定义是定他， 呃，只是制定他的有一些 config 的一些东西啊，包括一些输入输入和输出的一些参数啊，他都可以通过这个来进行定义啊，这个是他的一个日志啊，用这个框架的话还有一个非常大的好处是什么呢？就你只要呃， 用这个框架之后的他也是可以跟我们之前介绍过的叫 lan smith， 他是内置在里面的，他是可选的，你可以去追踪啊，用 lan smith 这样的一个应用可视化的，你就可以去看他的整个一个应用，这个之前我也是介绍过的，如果大家有兴趣的话呢，也可以去看一下啊， 也可以去看一下，我之前是介绍过 lens miss， 这个也是他们整个一个团队开发的，所以你做一些应用的话，他就会非常方便啊，你既可以做一些，那这个就是我之前做的一个，这个就是我之前给大家演示过的啊，他这个他这个批量的调用啊，他到底是怎么来用的？他是可以 可以可可视化的去看他这个每个到底是怎么来调用的，就会非常方便啊。所以这个工具的话可以加速我们这个连线的这样的一个应用的一个开发，他可以非常快速的那个部部署到我们的那个 server 上面，提供给这个客户端去调用啊，这个项目也是非常方便的啊，我是建议如果大家要做一些， 还有至于拍审的这个蓝倩的这种开发的话，那么你都是可以基于这个框架上面进一步进行开发的，他就可以提高我们的这个开发效率啊。他，对，当然他这个东西也可以部署在 dock 上面啊，它它也有讲了一个例子，它在这个里面有个 lanchan 的 example 啊， ranch launch 的 example， 它这个里面就会可以，你可以把一些应用打包在这个目录里面，然后的话可以通过这个是个模板啊，它可以通过 dock 生成一个 dock 文件，可以通过 dock 扛 pose 把它抛起来啊，他等于是这样的也是非常方便的啊。好啊，今天呢简单的会跟大家再来介绍一下啊，他的这个项目叫 land server and land serve 这样的一个框架，那这个是他的一些 api default api， 他用起来会非常方便。好，这个话题这个项目就跟大家就是介绍到这。

哈喽，大家好，我是老陈李开富大佬说了， ai 已经进入了二点零时刻，所有的应用都会被重写，这是一个不可错过的革命，革命就意味着更多的机会可以赚更多的钱。当然我相信大家肯定不会这么肤浅， 只会一味的想着赚钱，我们一定是为了让我们的老板能够开上玛莎拉蒂，开上保时捷啊而努力，对不对？ 好了，开个玩笑，但我相信这一次 ai 时刻一定是让我们普通人能够跨越阶层最好的机遇， 所有的一切应用都要推倒重来，作为开发员，我们一定要掌握如何去构建 ai 的应用，而烂串框架就是用来帮助开发员使用 ai 大语言模型来构建用 程序，这个框架提供了一系列的工具和组件，它可以帮助你更快捷方便的去创建大型语言模型，各种聊天应用程序。但的话，它不仅仅是聊天应用程序，你所有的应用场景啊，所有的 app 都会被代替掉。 而我们这一次的课程就是详细的给大家讲解如何使用 lantern 框架来进行开发。好的，那么我们现在就开始来了解和学习如何使用 lantern 来开发我们的应用程序。 首先， lanchen 可以管理和调用各种大圆 ai 模型，而且的话它不仅可以用于后端的应用逻辑的开发，也支持前端应用逻辑的开发。因为 lanchen 的话 也有专门的 g s 开发框架， lantern g s， 它可以帮助我们将多个组件，多种逻辑链接在一起，并集成额外的资源。比如说 a p i， 它可以去调用，数据库，它也可以去调用，它还支持各种 文件的加载和解析。所以 lantry 是一个非常强大的开发框架。但是在使用这个开发框架之前，我们首先先要来了解掌握一下大圆模型，它的限制 就是尽管是最厉害的，目前 g p t 四它非常强大，但是呢，它依然存在着非常多的限制，比如说知识更新不及时，例如 check g p t 四的话，它的知识还是截止至二零二一年的，那也就是说二零二一 一年以后的事情他是没有办法知道的。其次呢，就是理解的深度不够，虽然这一类模型呢，他可以生成准确的上下文相关的文本， 但是呢，他没有办法去理解文本里面深层的含义，或者是说他不能通过文本去推导出 一系列的东西出来，也就是说他只能理解一层或推倒一层表面的含义，他没有办法一层推倒出来之后，再跟着这一层再继续往下深入的推倒。还有呢，就是事实的准确性没有办法得到保证， 他经常会幻想一些不存在的事情回答你，如果在训练的时候，我们的数据没有筛选好的话，那么也有可能会因为数据的偏见导致大于模型出现一些偏见，这些偏见还可能会让 ai 生成恶意的内容，让用户感受到被攻击或者被误导或者被欺诈。虽然当前的 ai 依然有那么多的限制，但是你可以把它看作是一个小孩， 通过引导和规范也可以让小孩实现很多复杂的任务。在这里连串框架就是帮助我们 引导规范 ai 完成一系列复杂的应用任务，以及通过工具整合，用来填补和增强我们刚才所说的缺陷。比如说知识不够新，那就接入搜索引擎或者新闻站点获取最新的资讯。 比如说理解的深度不够，那我们就编写思维练，一步一步的引导他完成整个思维过程的推导。事实准确性不够，那我们就接入 知识图谱，知识百科以及专业的知识库，也可以定义和格式化 ai 生成的内容，还可以自动的评估生成的内容和屏蔽恶意的内容。所以 lantry 是一个非常强大的框架，可以帮助我们开发人员 更轻松的使用大型语言模型来构建各种应用程序。所以掌握好 lantern 框架是我们每一个开发人员将要必备的技能。 这一期的课程呢，老陈将会带着大家全面系统的学习 lanchen 的各种开发的知识和开发的技巧，并且呢通过一系列的企业需求的开发应用案例来帮助大家 真正的掌握，结合企业需求开发人工智能应用。好了，我们开始一起学习起来吧！

ai agent 是未来 ai 发展的必经之路，强烈建议小伙伴看完这期演示。上期视频首次介绍了 launching agent， 我发现大家居然不感兴趣，看来还没意识到 aagent 的强大和价值，真的挺意外的。可能是我讲的不好吧， 这周休假带我旅游，我在酒店见访。查真的用狼青的 a 技能拨开做了一个小脚本，用一个研发人员的 a 技能不停挑战另一个产品，建立 a 技能给出的需求，并让其自动迭代改进需求。产品和研发的粉丝小伙伴应该不会陌生这个场景，需求平整， 通过两个 a 镜头的极限拉成，最终能够拿到一个非常详细的功能需求文档。这是脚本代码，信息量有点大，我先直接演示运行脚本以后，我就作为老板给产品经理提了简单的需求，给 app 加一个根据手机和颜色自动改变背景色的功能。产品经理 a 镜头在第一轮给了一个简单 的方案，大概描述了供能实现的细节。这方案要是放现实中肯定过不了，评审果然可以到研发中的 a 请退。以后 a 请的会使用我设定好的工具获取信息，并评估这个需求需要实现的可能。技术细节反馈给产品经理 a 请推。第二轮产品经理和研发中心 a 请推。似乎没有什么内容的迭代， 但是从第三轮开始到第四轮，可以看到产品经理 ajingt 开始进行功能点的罗列了，并对功能进行了概要描述。研发人员 ajt 会继续给予需求评估意见，提出需要产品经理考虑的基础点。 来到第五轮的时候，产品经理 a 警察给出的功能设计方案就已经逻辑清晰，细节满满。包括这个功能三个关键点，背景设、关联的触发方式、更新背景设的交互方式，甚至包含了兼容性的要求。研发人员 a 警察评估以后也认为需求清晰明确同意就能开发，就这个脚本实现了， 我认为都可以解决目前多数初中级产品经理写 prd 功能细节无法考虑周全的问题。这就是 aiag， 强大、无监督，自动且智能。如果我告诉你 ag 还有一个中文名叫做智能体，阁下又应该如何应对呢？ 四轮体在 ai 中的定位是一个可以感知环境并基于这些感知做出动作的实体，通过与环境交互来实现某种目标或任务。 小伙伴还可以去补充一些关于 agi 的知识，如果再配合之前的 ai 知识库，大家可以想象一下在自己所在领域可以延展出多少新的 ai 应用。旅游途中实在时间有限，下一期我再详细讲解这些脚本的代码实现我请大家咨询关注一下，欢迎评论区留言讨论，有用的话记得点赞关注。

花了快一周时间完成了粉丝小伙伴布置的作业，研究郎欠太难为我了，话不多说，直接分享。 啷券是一个用于开发大元模型的应用程序框架，并不是什么却 gpt 的应用工具。啷券有两个核心价值，一个是可以将模型连接到其他数据，比如之前提到的拍看，还有一个是允许模型进行交互，比如可以通过访问互联网获取数据。 根据我这几天的学习，浅浅的认识，郎倩就是一个大淑女。 openei honking face prompt 模板管理、文档分割器、项量存储和搜索都封装在这里面的， 等于我们用上了 nanjing， 就不需要再安装 openingi python 对应的依赖 point。 今天咱们先演示使用 nanchen 进行 openingi gpt 的简单问答。和之前学习 amending pecan 不同， nanching 的框架、 api 等信息 是最近推出的，没办法直接使用 chagbt 来快速学习，特别是因为没有相关数据， chagbt 没法写代码。但是我已经养成了用 chagbt 来学习的习惯了，我可不想再慢慢阅读开发文档，我试着开启 chagbt 外部搜索来解决这个问题。嗯，不行， 他在胡言乱语，还是不敢用。再试试外部 polit 插件，这是我平常后认为比较靠谱的插件，但是好像给了开发者网页 url 以后下 gpd， 还是没法理解啷欠整个 api 的信息。好吧，还是要自己慢慢看文档， 这也是花了这么久的原因。 a few moments later 来上代码，简单说一下反射，对比之前教程加载 opini 的依赖，现在是调用囊券中的 opini 模块完成的问答，并且还可以通过温 布置模型选择进行调试运行代码。同样的问题，我们使用 number two 中转的 opini 的答案和使用 opini playground 得到的答案几乎是没有差别的，说明这个框架只做数钮，不会夹在私货，大家可以放心使用。 这个问答的 demo 还是比较简单的，大家可以手动试一下，记得用这条指令先部署好蓝圈的档库， 未来我还会接着分享拿钱中欠和 a 检测这两个重要模块的撕裂，并且会把我做的一个拍抗的拿钱开发者文档知识库分享给大家，粉丝小伙伴持续关注一下，有用的话记得点赞收藏。

的一篇博客叫 conversation retrieval ins 这样一篇文章啊，这篇文章它主要是还是讲就是目前基于知识库的这样一个啷签的应用啊，啊，增长非常快，但是呢，利用知识库的话，目前要跟聊天，呃，要跟那个一些 memory 的它的那个记忆， 我要根据那个搜索到限量数据库里面去搜索的一些工具要相结合啊，之前他们通过一个叫 conversation 的那个 retrieval 券来实现的，呃，但那个工具呢？他们现在的又把它做了一个升级，呃，通过一个 agent 呃来实现，嗯，他把这个三个功能又合在一起，嗯， 我们来一起看一下他到底能够达到一个什么样的一个作用，再通过那个知识库获取内容，然后结合在大模型里面做一些知识问答啊。在之前的一些应用当中，他每次都要到 知识库里面去问啊，都要去检索他，等于是这样啊，或者有一个很简单的，比如说他可能问候了一句 hello 啊，那他也要到知识库里面去查，所以他可能会造成有些很奇怪的一些笑话。那么用了 ad 成他有个好处是什么呢？他 可以根据这个大模型自己去判断它到底是否需要去调用这个到史亮数据库去搜索的这样的一步操作啊。 如果他发现他不需要搜索，他已经有了这些知识点了之后，那么他就不会到这个史亮数据库里面去搜索，或者说他去判断他的这个内容是否要到史的量数据库去搜索，如果不需要的话，他就不会到 实量数据库里面去搜索相应的一些知识点，所以的话呢，他更加智能啊。另外他也是可以把那个对话跟呃之前对话的那个上下文啊，然后放在那个内存里面，有些内容，有些知识点，他其实在内存里也有了，他 也就不需要到质量数据库里面去去获取了啊。那但是呢，它这个带来的另外一个问题是它的那个 context 就是它的那个 上下纹啊， context window 它要变得更加长啊。那么目前的话呢，那个 chat g l m 二代六 b 的这个模型目前已经支持到了那个三十二 k 的这样的一个上下纹啊，所以的话，我觉得就是说随着这个大模型上下纹越来越长啊，这种应用的话呢，可能 会越来越多，他都是利用上下文多轮对话啊，去解决同一个问题啊，他等于就不一定要求我们的那个 指指令啊，一下子提交给大模型就会非常简啊，会要求他就很明确，或或者你这个指令要很完整啊，他就不需要，他可以通过多人对话去补充，不断的去问这个大模型啊，他是这样，那么他会自动去判断他是否要到适量数据库里面去检查，或者说他这个 a d， 他还会去 控制他是否还可以利用其他的一些工具来支持这样一个回答，他是这样的。好，前面我也讲过了啊，前面的话呢，他们主要是用了这样的一个类啊，叫 conversation retrieval qa 这样的一个类啊，去作为一个呃机器人交互的这样一个类啊，那目前他们就用了一个新的类叫 edent， 我给大家看一下，我把它原码给拿下来，它核心就这个类，我也改了一下啊，用了我自己本地的一些知识库啊，它等于是这样啊，那它原则上的话呢？它主要是， 呃，要初始化一个，我用了两个工具，一个工具，一个工具。呃，财税方面的一些问题啊，他如果不知道，他可以去通过这个工具去搜索返回相应的文档啊。第二个工具的话呢，我定义了一个这个计算器啊，如果要回答一些数学问题，就可以用这个计算器来回答一些，那相对来讲他会比较准一点。好，我们看看啊， 这个的话呢，你要他的 agent， 你要初始化一下啊，要初始化他一个模板，模板这个模板告诉他你是一个财税方面的这样一个智能的一个技能，你要解答财税方面的一些东西啊，他主要是做这样一件事情啊，要初始化一下这个 print， 那它这个里面就是要定一个 agent， 就 open ai 函数的这样一个 agent。 呃，这个 agent 就把那个 l l m 的大模型注入进去，把那个 to 是我前面定义的两个 to 是注入进去，把这个提示注入进去。 他有了这个 ajint 之后的话呢，通过这个 ajint 的 execute 就是执行器，他就可以跑了。这个是个 memory memory， 就是这个 ajint 那个的的，他也可以记录这个人跟系统的这样的一个交互的这样一个过程，包括，呃 ai 跟 trus 交互的这样一个过程，他都可以把它给记录下来，放在这 这个 memory 里面。他掉的话呢，他其实也是比较简单，他主要是掉这个有一个这个东西进去 executor， 然后把 print 和 history 扔进去，然后再把它运行就好了。我给大家看一下他跑出来的效果，我前面已经跑过一些了啊，给大家演示一下， 因为他结合了我本地知识库之后，呃，我里面有八千多条的相应的那个法律法规啊，所以的话，他基本上都解答的都是中国的一些，中国的一些那个税收的一些东西啊。好，我们继续再看啊。他这个里面呢，主要是讲了两点啊，一点他主要是调用了这个欧邦 ai function 的这样一个 agent 啊，然后它 trust 里面，它主要是定义了一个这样的一个一个从，呃，从那个质量数据库里面去调取相应的那个文档的这样一个功能。不，它的 memory， 它不但是记录这个用户跟 ai 之间的交互，它也记录 ai 跟这个工具之间这个相互 调用的这样的一个记啊，交互他都会，他都会记的。那么用这样的一个工具，他也提了两点要求，第一个，他这个 contacts 的 window 啊，他一定要足够的长，要长一些。另外一个的话呢，就是他的这个 language model 啊，他的那个 推理能力要够强啊，如果他的推理能力不强，他基本上是跑，跑不起来的，跑不起来的他等于是这样，他目前呢，也可以，他们目前他是通过叫 long smith 进行 trace trees， 就是进行跟踪他的执行的。嗯，但是我这边呢，因为现在 lan smith 这个工具我也安装了一下，嗯，就会发现他还是有些问题， 目前他还是处于在贝塔板测试啊，他还没公开，所以的话我还不能用啊。他这个虽然我已经注册完了，但是他还不能用，好，我们再看看啊。好啊，这个的话呢，主要就是这篇文章的这 一个改善啊，它的改善的话主要是改善一个集 a r a g 的这样的一个应用啊，本地知识骨结和大模型啊，进行知识问答啊，他们用了一个更新的一个技术啊，我前面介绍的用了一个这个类啊，就 open ai function agent 啊来实现啊，他可以通过这个 a 进程来判断他到底是使用，是否是需要使用工具，然后用什么样的工具。我目前的话呢，我自己是用的那个这个 chat g l m 二代 杠六 b 三十二 k 的这个模型，我用下来感觉还可以的。这个模型还可以，但有些推理能力还是有些问题，我也让他做过一些数学，但是他好像有些做的不是很好， 他好像除法，我觉得他好像有点问题，对，还是对的，但有些时候我我来看一下，我给他做道数学题，一家企业销售收入一千万，英案百分之十三， 要交多少水晶？需要交多少针织，这个地方不对，所以我觉得他有些时候做数学还是有点不对的。对啊，他应该是二十六万，不是五十万，所以他他的这个数学的智商还是比较低的，他这个。

很多人喜欢本地部署 vi， 因为本地服务没有各种限制，可以为所欲为，自给自足，自导自演。那么问题来了，艺术家们需要什么样的显卡才能满足日常的创作需求？用 stepdifusion 绘画，用 animated 做动画，你猜怎么着？哎，这个艺术作品就活了。 王源，算法，显存很重要，算力差点没关系，用时间补足就行。当然性能也不能太差，毕竟高端显卡一小时跑完的活你跑一周也太不像话了。不过显存要是不够了，那直接就是。 所以今天我拿了这张三千出头的 ai 入门款高性价比显卡，十六 g 版本的卫星 rts 零零零 ti one 图师给大家实测一下各种 ai 算法。 tbety fusion 绘画， 一幅跑动图 v i t s 声音模型训练，三个 ai 算法的一键启动包我放到了视频的简介里，有需要的自取。首先， stabilitiation ai 绘画全精度模式下，五幺二乘五幺分别类的图片生成只需要三秒， 五幺二乘以七六八分泌率的图片平均需要六秒，这样简单写点代码，一晚上就能艺术创作，上万张海量资源，最大尺寸二零四八乘二零四八分泌率的图片生成也不在话下。 换上我五年前啊，同样三千出头买的微星八 g b r t s 二零六零 super 魔龙，在同样的模式下，五幺二乘五幺二分辨率的图片， 虽然同样需要三秒，但是每秒能跑的轮次要少半轮。也就说如果把彩样迭代步数拉大，不仅仅是二十，那么两者的差距就会更明显。并且八 g b 的 r t s 二零六零 super 无法跑大图会直接抄显存报错，使用 tonight 控制图像生成，上传一张参考图，使用深度信息。 rts 六零零 ti 显卡生成五幺二乘七六八分别类图片只需要八秒， rts 二零六零 super 显卡则需要九秒。显而易见啊，差距明显。咱就不编十 n 年前的老卡了，最近很流行这种视频创作，这种丝滑的 ai 视频啊，也是可以使用 stepdy pushen 生成的，使用的插件就是 mvdif。 在 c 站找一个自己喜欢的底模，然后 copy 一份正向提示词和负向提示词，选择开启 mvd。 生成帧率呢，填三十二帧和楼思路，选择 r 杠 p， 其他参数默认，然后点击生成。可以看到生成这个三十二帧的五幺二乘五幺二分辨率的视频，用了三分钟啊，效果很丝滑， 我们再试试高级功能 protro， 控制每一针的表情和动作，生成三十二针五幺二乘五幺二分辨率的视频，再加上面部修复，总共用了四分多钟， 虽然慢了点，但效果还是很不错的。声称视频这个功能呢，显存少于十二 g 的就不要轻易尝试了，很慢不说，显存也遭不住。最后呢，再试试 v i t s 声音模型训练，我还是整理了自己的音频数据，克隆了下自己的声音。阿迪四六零零 t i 跑起来非常轻松，我们听一下一小时的训练效果，这是我的原声， 这是人工智能克隆的声音。整体测试下来， r t s 六零 t i 十六 d b 显卡体验非常不错，如果你也想玩 a i r t s 六零 t i 十六 d b 显卡，是一个性价比不错的选择，尤其是适用于预算有限啊但又想体验 ai 的用户。相比动折过万的显卡， 三千出头的 rts 六零零 ti 十六厘米显卡真的很香。好了，今天的内容就是这么多，我是热爱技术费呢 jack， 我们下期见。