天天用在线 ai， 你 是不是总担心工作数据被泄露？想要免费断网可用还完全听你指挥的 ai？ 今天这期本地大模型保姆级教程你必须看完。所谓本地大模型，就是把 ai 直接装进你自己的电脑里， 不用交月租，没有数据审查，断网照样干活。现在主流且最适合新手的工具叫 l m 四 w， 全是图形界面，完全不需要敲代码。去官网下好对应系统的安装包，直接双击。注意啊，他默认装在 c 盘，没法改，但别慌，打开软件后第一件事 点右下角的齿轮换成中文，然后去设置里面，把模型下载路径改到一个空间大的固态硬盘，不然 c 盘就该存储危机了。框架打好了，模型去哪搞呢？ 软件里面能够直接搜，但如果你网络卡，听我的，直接去国内的魔大社去找搜索你想用的模型，认准带 g g u f 后缀的文件，下载，放进刚才设置的文件夹就行了。 重点来了，这么多模型怎么选择？千万别贪大，看你的电脑内存下菜里。如果你是八 g 内存的轻薄本，选两到四 b 的 轻量模型， 十六 g 的 内存是职场人的主流配置，跑七 b 到八 b 的 模型是毫无压力的。这里我强烈的推荐千问山和 g m 四， 一个是中文理解力直接拉满帮你润色邮件写策划，非常懂理，另一个是逻辑和代码大神处理，复查工作简直是把好手。 如果你不懂那些复杂的量化版本，选哪个，直接认准 q 四 k m， 速度和智商平衡的刚刚好。回到软件呢，选中模型，点加载进度条，跑完你就能跟他私密聊天了， 在右侧你还能给他定人设，比如告诉他你现在是个资深的法律顾问，他还能够开启本地的 api， 接近你的代码编辑器或者翻译插件里面直接用。 把 ar 养在自己的电脑里，不仅是省钱，更是为你打造了一个绝对安全的私有生产基地。赶紧看看你的电脑配置，去领养一个你的专属超级助理吧！
粉丝2.2万获赞60.3万
相关视频
03:14查看AI文稿AI文稿啊啊！ 之前有小伙伴问 lm studio 是 否支持小龙虾 open club 以及如何配置，这次就简单做一期视频，教大家如何设置，也是超简单的，如果你还不会的话，跟我一步一步操作即可，这也适合新装小龙虾的配置哦。 首先自然是确保你已经下载了你要用的模型，这里我就用千问三点五三十五币作为例子，大家可以看到我已经加载好了。然后只需要来到小龙虾这里，直接运行 opencloud on board， 这样我们就可以配置新的模型了。 小龙虾还是比较智能的，它会识别到你已经有配置，这里我们只需要改动一下模型，所以我们选 update values。 然后就是熟悉的配置页面了， 我们选 custom provider， 这里默认会出现奥拉玛的本地服务器地址。我们则要来到 lm studio， 点击 server settings 这里我们关闭 require authentication， 并且打开 serve on local network。 此时右侧就可以看到 url 从之前的幺二七点零点零点幺变成了你本机的 ip 地址， 这样部署在非本机的服务也可以调用 lm studio api 了。如果你的小龙虾是部署在本机的，那就不用打开 servelocal network 这个选项，保持幺二七点零点零点幺的 ip 地址即可。由于我的龙虾是在其他设备上部署 的，所以我这里需要把本地的 lm studio api 地址暴露给他们，我们点击这里复制，然后删掉奥拉玛的地址并粘贴上去。这里注意， 我们要加上一个斜杠 v 一 再按回车。然后这里我们就选 paste api。 但是由于我们之前关闭了 require authentication， 即不需要 api， 所以 我们这里随便打个一二三四即可。 这里我们可以选 open ai compatible， 即 open ai 兼容 api， 不 过 i o m studio 也支持了 osraplay 兼容 api， 你 也可以尝试拥有。这里我们就选 open ai 兼容 api 了哈。这里我们输入模型的 id 名字即可。我们回到 i o m studio， 这里就是模型 id 了，我们复制下来，在输入的时候需要加上模型的提供商，由于这个模型是昂尔斯的，所以我们打上昂尔斯斜杠，再粘贴上去。按回车之后，我们就会看到龙虾说 verification successful， 即验证成功， 这里直接回车，然后他会让我们给模型一个别名，我们就不起了，直接回车。 下面我们可以全部按跳过，因为我都配过了。最后重启小龙虾的路由就大功告成了。打开 t u i 后， 此时我们就可以看到 l m studio 已经接到龙虾来的请求了，然后这里也显示正在使用千问三点五三十五 b 的 模型，然后龙虾也回复了内容怎么样，你学会了吗？
532AI踩坑指南
00:43查看AI文稿AI文稿安装完后指令 hermes model 选择模型，检查 lm studio 的 模型上下纹更大一些，然后可以进入 hermeschat 使用，选择伽玛斯模型即可，自然是非常缓慢的。打开 config 检查上下纹配置需要足够大，比如六十四 k。
58弧圆棱角
08:58查看AI文稿AI文稿大家好，今天我们在本地安装 lm studio， 然后部署本地模型伽马四模，模型部署过后呢，我们就把它接入 opencloud， 这里呢我们先进入 l m studio 的 官方网站，然后进入过后在首页点击这个地方 downloading for windows 进行下载，点击它过在这个地方就开始下载了，等到下载结束，我们直接运行好了，这就下载好了，我们直接双击进行安装， 这里选择，我同意这个地方我们可以选择为所有人安装和仅为自己安装，选择为所有人安装了，我们就可以选择盘符了，这样就不用默认安装到 c 盘，我们直接安装到 d 盘，安装成功，我们直接点完成，让它自己运行起来。好了，这里已经运行起来了，我们现在准备开始下载模型， 点击上面的这个位置 select 模型，我们这里直接选择加码四模型，点击下载 这里等待一段时间它就会下载好，这个下载速度很快的。好了，现在模型下载好了，我们直接去选择模型，直接去点击上边选择模型，选择我们刚刚下载的加码四 这地方，等待它加载好， 它这个模型是需要加载的，加载好了过后呢，我们就直接可以在里边准备开始给它对话，那我们给它输入一个，你好看一下， 这里可以看到它很快给了我们回复，那我们下一步接着就要去将这个 im studio 对 接到我们的 openclip 里面去。 在进行 open core 配置之前呢，我们需要我们需要对 i o m studio 进行一些设置，这个地方我们点击左侧这个菜单 developer 这个位置，先开启这个服务器的模式，就是 addin run 这个地方，把它点一下开起来，开起来过后，这个地方如果模型这个地方没有模型的话，我们就要选择加载模型这个地方，就把我们的模型选择一下就好了。 然后比较重要的一个地方就是这个位置，这个地方有个 load 点这个地方，这个地方我们它的默认这个 tokens 长度就是每次我们给它的 tokens 默认只有四零九六个，那么这对我们 open clone 来说是不够的，我们需要将它设置到最大去， 当然你设置合适的长度也可以，但是我这里为了方便就把它直接拉到最大，拉到最大过后还有这个地方我们需要注意一下，这就是外部调用它的一个 api 的 外部调用一个 api， 因为我们 open core 在 对 i o m studio 是 不默认支持的，所以说我们需要用 open i 的 接口，它这里包括支持 open i 的 模式，一个接口在这个地方 好设置好过，我们接下来就要去在 opencloser 上进行设置，我们这里先进入我们的虚拟机 w o s 呃 w s l 好 进，我们先进行安装 openclo n p m i 杠 g openclo 这里等段时间，等它安装好 好了， openclock 已经安装好了，安装好了我们直接进行配置，我们直接先执行命令。 openclock 这里我们选择 yes， 选择快速开始这个地方，让我们选择模型，在这个位置呢，我们就可以直接跳过去，因为我们是要配置 lm studio 是 对接的，是 这个地方我们直接选择跳过， 然后在这个地方又让我们去选择模型，又让我们选选择一个默认的 模型，在这个地方是没法跳过的，我看了一下，没法跳过的话，我们就直接随便选一个，选 open ai 就 直接默认选择 这个地方，选择通讯工具，我们这里也直接选择跳过去， 然后这个是选择搜搜索工具，我们这个地方也直接选择跳过 啊。 scales 我 们也暂时不配置， 这个是 hux， 我 们直接也跳过这里 get away so， 我 们选择 restart， 选择 open the web ui， 好了，这里 open curl 粗实的安装，我们安装好了，我们下一步去说怎么去配置它。 在这里我们先随便打开一个文件夹，然后进入我们的虚拟机目 录我班图 home， 找到我们的用户文件夹，进去过后选择 open curl， 在 这个地方我们找到这个 open curl， 点 json 这个文件 要在编辑文本编辑器里面打开它。这边这边我们在文本编辑器里面打开了 openclip， 点接受它配置文件，我们主要修改是这个位置， 在这边我已经将需要修改内容已经准备好了，我们需要修改的是一个是 models， 还有这 agent， 我 们将它复制过来，然后粘贴粘贴替换 agent 这一段， 然后 ctrl 加 s 保存在这个位置，我们顺便将我们的网关的 token 复制下来， 保存好过后，我们直接运将 open curl 网关运行起来，执行 open， 执行 open curl， get 为 c r t， 然后打开我们浏览器，直接输入幺九二点幺，直接输入幺二七点零点零点幺，然后加端口号幺八七八九旅车， 这个地方粘贴我们的网关，点击给他发个送个消息。你好，你使用的是什么模型？ 你好，你使用的是什么模型？ 这里可以看到过滤会时间，它已经给我们回复了。好了，这样子呢？我们的 element studio， 然后打在本地模型 gm 四，然后接入 open color 就 已经成功了。 这里可以看到，其实我们进入 i m 四六是有点问题的，原因就是说我们给他发送消息后，他并不能第一时间给我们进行一个反馈，就类似于我们用本地模型或者 是啊在线 api 模型一样，给我们一个三个小点点一个反馈状态，可是没有，我们就只能等，也不知道他到底收没收到消息。 好了，就这么多，如果大家在用的过程中有什么问题，欢迎关注私信，然后一起交流。
94何止于静
05:27
04:17查看AI文稿AI文稿大家好，这期我们聊一个在本地跑大语言模型时绕不开的工具， lm studio。 如果你想在电脑上像用 chat gpt 一 样跑开源模型，又不想折腾服务器，它会把你从下载模型到对话再到本地 api 这一整条链路串起来。 接下来我从它是什么讲到安装场景和优缺点。先说定位， lm studio 是 一个桌面端的本地大语言模型运行平台，你也可以把它理解成带图形界面的本地 chat gpt。 它提供模型管理、对话窗口，还能做 prompt 和 agent 实验 核心就一句话，让普通人也能在本地跑模型，而不是只靠云端 api。 那 为什么很多人要本地跑？ 现实里有四条硬需求，第一，数据隐私推理发生在本机，敏感内容不必出镜。第二，零偷看成本，反复试用和跑长文本，不会像按量计费那样心疼。第三，离线可用，没网也能跑，适合内网或封闭环境。 第四，模型自由享用， lama、 mstraw、 mix、 straw 还是 gemma？ 由你选，不被平台绑死。功能上， lm studio 几块最常用，一是内置模型库，类似应用商店，一键下载，省去你自己吧 hugging face。 二是本地推理引擎底层类似 luma cpp， 支持 cpu 和 gpu， 也支持量化显存，不够也能玩小模型。三是 chat 界面多轮对话，上下文 system prompt 都能配。 四是重点， local server 可以 开 openai 兼容的本地端点，地址一般是 local host 一 千二百三十四。五是高级参数， temperature， top key， max tokens 上下文长度，方便你做 prompt 调优和小型 agent 试验， 上手流程很清晰。去了 studio ai 下载，支持 mac os、 windows 或 linux， 打开后在 discover 里搜模型并下载，再到 local models 里 load 选 cpu 或 gpu， 然后进 chat 就 能开聊。 进阶一步是打开 local server 点 start， 这样你就能在代码里把 base url 指到本地，用拍放 lan chain open web ui 去接，相当于把本地模型伪装成 open ai api。 典型场景四条，一是替代云端做日常聊天与写作。二是做模型对比和 prompt 实验的开发测试环境。 三是结合 lanchin、 autogen 或各类 agent 搭一个不出网的助手。四是企业里做私有化试点，数据不出内网，金融、医疗、政务这类场景会特别在意这一点。常被拿来对比的是 alma 粗暴总结， lm studio 的 图形界面和可视化更强，更像给人类用的 id。 alma 更偏命令行与自动化脚本，开发者友好度也很高， 新手想点点鼠标就把事办了，可以优先 lm studio， 如果要把模型服务嵌进流水线容器里，自动化很多人会更顺手用 alma， 两者都能开兼容。 api 选型看团队习惯， 优，缺点也要坦诚。优点是开箱即用， ui 友好，生态模型多，还能本地开 api。 缺点是性能天花板。在你的硬件上，大模型跑不动就是跑不动， gpu 调度和极致推理不一定比专业服务器框架强，它更偏个人与中小团队，不适合超大规模在线生产，认清边界就很好用。 最后收个尾， l m studio 代表的是本地 ai， 这条趋势模型可以下沉到终端，数据可以留 private。 一 句话，它是本地大模型时代非常好用的桌面入口， 想学大模型做应用或搭本地助手都值得从它开始试一下。如果你喜欢这类工具，像长视频，欢迎点赞、收藏、评论区留言，我们下期再见！
20IT面霸！
01:04查看AI文稿AI文稿今天教大家如何下载老版本的显卡驱动，打开网页，进入英伟达官网的驱动下载界面， 然后还是正常的搜索驱动，这里面我就不选了，直接用默认给我选好的， 然后点查找查看 game ready 驱动，接下来注意操作，右键点击下载复制链接地址，原来直接在新的标签页粘贴，然后改版本号就可以下载老版本驱动，但是现在变成四零三了。没关系，我们打开某雷 新建下载任务，刚刚的链接就已经在上面了，我们只需要改动版本号就可以了，比如我想下载之前的五百六十点九四版本，就把这两个版本号都改成五百六十点九四， 然后再下载就可以了。显卡的版本号要自己确定好，如果输入的版本号没有或者不对，是下载不成功的，学会了吗？
04:36查看AI文稿AI文稿hello 啊，大家好，是这样的，就是有一些小伙伴啊，就问一下，一直在私信问这个 cherry studio 啊这个软件，就说我接入了本地这么多种模型啊，然后用的这个工具是什么啊？可以说一下就是叫 cherry studio 啊， cherry studio 啊，然后它的官网的地址呢？就是啊， cherry 杠 i i 点 com 啊，就这个地址，然后具体是怎么接入的 啊？可以大概讲一下，是这样子啊，就首先你下载了这个软件，然后安装以后呢，就是在设置左下角左下角这个设置里面设置里面，然后有看到了就这么多种啊，各各个这个模型的平台，然后你也可以自定义自己去添加啊， 比如啊，比如像我的这个 l m， 呃，那个什么拉玛 c p p， 还有这个这个 v i m， 还有就是这个拉玛斯，呃，这个拉玛斯丢丢，不是啊，就是拉玛 c p p， 还有这个 v i m 是 我自己添加的啊，这是怎么添加的？其实呢就是我们所有接入 ai 的 一个过程呢，都是 呃主要呢就是一个基础的 u l， 然后提供商呢是名字自己起的，比如说你自己起一个什么什么 deep， deepsea， 或者说什么超算互联网啊 等等等等。然后你使用的模型提供商的这个标准的话，基本这现在目前主流的就几种方式嘛，一种就是 这个 astopic 下的啊，或者说呃就 open i 的 这种标准格式啊，但是默认基本情况下都是呃这个 open i 的 这种标准格式啊，你看然后点击确定，然后，然后就添加了这么一个，添加了以后呢，就是一呢就是要添一下那个 base u l 啊，就是访问模型 的一个接口地址啊，接口地址可以看一下拉马 c p p。 我 本地的，那就是啊，默认端口是幺二七点零点零点幺点八零八零，然后 v 一， 然后后面就插这个，它默认会加这个这这个接口的这个地址啊，然后它是一个标准的一个 接口啊接口，其实这个接口就是呃有一些参数啊，就说你用了什么，这用了哪个模型啊？模型的 id 是 什么，然后去给你做输出。 呃，像我们自己如果是本地部署的模型的话，它其实是不需要这个 ipi k 的 啊，不需要 ipi k， 但是如果说你是要使用这个 模型厂商呢？比如说千万呀啊， deepsea 呀，或者说呃豆包呀，或者说呃那个 check gpt 啊等等等等，它就会也有个基础的 ipi k 的 那个密钥啊，就这俩就可以了。然后每次接入接入了以后 啊，这样子的话，就是接入你把这几项基础值填完了以后，就就就就接入了，接入了以后的话，那就是正常的聊天助手里面的 聊天助手，你就添加个助手，有默认的这是什么助手啊？或者说其他的这些就 chris 丢丢里面这已经提供了很多啊，其实就是相当于给了一个系统角色，系统角色他的默认的一个人物背景啊， 然后啊接入我正常添加了这几个。我当时测试的啊，就是本地的模型啊，都用的是自己起的另一个名字啊，拉曼 cpb 啊什么的，比如说拉曼 cpb， 我 用拉曼 cpb 去测试的时候，那我在这里我就可以去选我自己接入的模型，你看我自己接入了拉曼 cpb 啊， airm， studio v i m， 还有欧拉玛啊，还有这个钱瑞艾艾啊，就这几种，这几种，然后呢，你在这就可以去选 这里的话，你就可以选对应的这游戏那个模型厂商，以及他对应的模型等等等等。还有就是 chris 丢丢，他有几个好用的地方，就是他其实在这里是接入了，呃，这儿 叫什么？叫小程序啊，就是小程序这个菜单栏里面，相当于接入了目前主流的这个大部分的这个 ai 的 厂家啊， deepsea 呀，豆包呀，拆 jp 千问啊，就 还有腾讯的元宝等等，他都是就像我们正常的在移动端啊，去接入的那些豆包啊什么的，都是一样的啊，平常的豆包，然后他就接入了啊，然后就这样可以正常的去聊天啊，他其实就相当于接入这个豆包网页版一样啊，像这个啊， deepsea 啊， ok 啊，这不就 deepsea 就 这里可以接入很多很多啊，就是叉 s 九九，就是目前是用起来会比较方便， 这就是啊，这个接入的过程，大家有什么问题的话随时都可以留言，我们随时沟通。
10:27查看AI文稿AI文稿hello， 大家好啊，今天我们来测试一下这个切分三点六二十七 b 的 这个模型，这个重密模型它的性能测试到底就性能到底是什么样子的， 呃，也是从这我们本地去部署的这几个软件，然后来逐步的去测试啊，呃，考虑到对内存的占用啊，就是我们先从这些呃占用内存的这些软件，呃，逐步去测试，从这个先从欧拉玛，然后再从这个 lm studio， 然后这个 lm app， 然后还有这个最后的这个 vlm 啊， 这样的一个测试顺序啊。首先来第一个就是欧拉玛，呃，欧拉玛我自己本地的话也已经下载了，下载了，然后，呃，我们可以看一下这个 看一下啊，千万三点六二七 b 这个模型呢，它只有十七 g 左右的一个大小，嗯，也可以看一下，我自己现在初识内存是零点八 g 啊， ok 啊，这几种模型这几种软件我都通，因为他都支持这个 open i 的 这个标准格式吗？就已经全部到接入到 chris 丢丢里面了啊。然后呢，先从欧拉玛开始啊，欧拉玛开始我这边已经准备好了，就是，呃，三点六二七 b 的 这个模型啊，呃啊，对，忘了说一句啊，就是可以看一下，呃，欧拉玛 啊，他所有的这个就是这几个软件啊，他所有的上下文一定都是保持三十二 k 的 一个上下文啊， ok 啊，来先测试欧拉玛，嗯， 看一下显存占用啊， 十七 g 的 大小，除过我基础是零点八 g 的 显存占用外，相当于占用了将近二十三个 g， 二十三点呃，二 g 的 显存，但模型文件本质上只有十七 g 啊， 二十五个 tiktok 每秒，然后再来测试一下。 思考了挺长时间呢，二十六个逃客每秒啊，几乎就是这个数字， ok， 对， 欧拉曼，我们就先把它的内存呃显存给直接释放掉，把欧拉曼直接给退掉了，退掉，然后看一下， ok， 欧拉曼已经退掉了，看一下我的显存啊，显存已经回到这个零点八零点九，这，这这样子啊， 零点八 g 显存已经只有零点八 g 了，奥拉玛，就这边已经结束掉，大概就是二十五个 token 左右啊，然后来看一下这个，呃， l lms 丢丢啊， lms 丢丢看一下， 嗯，看它显存占用啊，是从零点八 g 到了十七点四，它显存占用就相当于将近十六点六啊，就十六点六 g 的 显存占用 二十八个 token 每秒，再来一下啊， ok， 还是二二十八个透坑每秒， ok 啊，然后再把这个 i m 四六六也退掉。退掉，然后看一下，看一下显存已经释放出来了，又回到了零点八 g 啊， 然后再来看一下这个 i m 四 i m 这个那个什么啊，浪漫 c p p 啊，看一下浪漫 c p p 的 这个显存占用， ok， 也起的是这个二十七 b 这个重密模型啊， ok， 啊，已经启动结束了，看一下它的显存是由零点八 g 啊，直接到了十九点一啊，相信占了是十八点三 g 的 一个显存啊，来看一下啊， 二十八个透刻每秒，嗯， 再来一下，再来一下， ok， 呃，它和这个这个 i m studio 啊，本质上都是一样的啊，其实都是这个二十八颗头克每秒， ok， 那 我们把这个 i m studio 这这个，呃，不是拉萨 c p p 也结束掉，把我们的显存给释放出来， ok， 最后来试一下这个，呃，试一下这个 v i m 啊，这个就只能从这个零零五四子系统里面去试测试了。 ok， 这是，呃， ws 的 这个 linux 系统啊。啊，这边我也准备好命令啊，呃，先要去进一下这个虚拟环境啊，这个是专门起了一个 python 的 一个虚拟环境啊， 然后因为要去把它的默认的这个下载的这个路径啊，要设成这个，呃，摩塔社区啊，要不然的话它会从 happyface 去下载啊，就会非常慢啊，当然这个模型我已经下载了。 然后呢，啊，来，我们起一下这个二七 b 的 啊，这个我起的是这个 a w q 这个格式的这个模型文件稍微就是大一点，是二十一点八八 g 啊。 ok， 在 启动当中啊， 显从已经占用了二十一点一， 还在往过升 二十三点五的显存占用了。用 v i m 的 话，其实它对内存的占用也非常高啊，因为我自己相当于是在这个 w g r s l 的 这个子系统下面，嗯， linux 子系统下面， 所以它是既需要起这个子系统又要起这个啊， v i m 还要运行模型啊，所以它内存占用是非常大占用了我大概现在，呃，试着让它起起一下，让我看一下。 呃，现在已经占了二十五二十六个 g 的 内存了。二十六个 g 的 内存了， 还没有起起来，还在起 啊，启动这个过程都已经把我的显存已经给爆了。 显存爆了，已经占了我的内存啊，已经占了十四点几个 g 了啊， 启动的时候会特别慢啊，启动之后的话，其实只是模型占用的显存来说没有这么大啊，但是相对于其他的，呃，本地部署的方式的话，对显存占用来说的话就已经算很大了。 看一下啊，他只是有这么一段啊，就有有这么一段时间是对显存还有内存占用非常大。 ok 啊，现在已经起起来了，看一下它最终的一个显存占用的是二十九点一啊，是二十九点一 g 的 一个显存。 ok， 那 现在我们来测试一下啊， 二十九个偷克每秒啊，再来一下啊。 ok 啊，二十九个偷克每秒。 ok， 那 今天呢这个测试呢就到这里，之后的话会出就是出一些这个通过啊，使用到这个 turbocom 或者是 deflunch 的 这种 啊，一个是对于啊推理的加速，一个呢是对于啊显存的压缩啊，到时候看一下有没有。
216不夜-AI
08:123旧溟
11:14查看AI文稿AI文稿大家好，这次我们一起来学习一下如何使用语料库和 reg。 这个是豆包做的 ppt， 就是 说现在很多大模型 知识库只能停留在最后训练完的那段时间，特别是本地的大模型，知道的东西很少。另外在我们搞科研的时候，需要给 ai 喂大量的专业知识， 还有一些需要保密的场景，需要我们本地部署大模型，但本地模型知识体系有限，以及要解决 ai 会乱编和幻觉的问题。基于这些原因，我们需要一个语料库来给 ai 投喂大量的论文来满足自己的需求。 github 上有很多专门处理语料库的开源项目， 像 d t、 y 之类的，这里我选择使用 rockfloor， 这个是 ai 生成的 ppt， 大家有兴趣可以了解一下。总的来说就是 rockfloor 可以 处理很多类型的文件， txt， pdf， jason 等等。另外， rockfloor 还使用了 deepdoor c 项目 ocr， 这方面很不错。这个是 rockfloor 做的底层优化，专门针对数据做切片和所以， 然后它还能帮你指出在哪篇文章，哪段话被引用，并且还能像 ctrl y 那 样拉自动化工作流。为了让 reg flow 跑起来，我们需要准备一些工具。 docker 是 一个容器，里面有一个轻量化虚拟机，运行的一个 linux 来跑各种应用。 我们的 reg flow， 还有数据库等等都运行在 docker 中。当然，除了 reg flow 以外，其他的 circle 等一些工具可以部署在物理机上，也方便解偶来分布式部署，降低对单台机器性能的要求。 然后因为我单台电脑性能有限或者操作麻烦的问题，我多准备了欧拉拉玛和 i m s 六六来方便使用，这个是一些推荐的配置，一般来说能流畅跑 win 十和 win 十一的硬件应该没有太大问题。首先我们去 docker 官网下载 docker 桌面版， 这里选择 windows amd 六十四点击下载。然后我们右键以管理员身份运行。 部分情况下会报错，只是因为 docker 做了权限限制原因，这里可以对 c 盘的 program files 文件夹赋予目前登录账号读写执行权限来解决，我直接对全盘赋予权限。 然后我们需要开启 windows 的 虚拟化设置和下载 wsl， 毕竟 docker 中许多项目需要跑在 linux 上， 这里开启虚拟化平台，支持和试用 linux 的 windows 子系统都要打开。 然后使用 wsl install 命令安装 wsl， 如果出现报错，六十秒内点击键盘即可正常下载。 然后在 lm studio 官网下载 lm。 另外在 github 上下载欧拉玛。 lm studio 和欧拉玛的作用是让我们的本地模型能够运行起来，并向 ragfloor 提供 api 接口调用。 现在我们开始部署 rock flow， 这里直接 git clone 下载 rock flow 源码项目。 如果网络原因无法 git clone， 可以 直接在 github 上下载 zip 解压之后进入到 rock flow 跟目录中，再进入 docker 目录执行命令。 这里需要先将我们之前下载好的 docker desktop 打开，挂在 docker 服务在后台， 然后执行 docker compose， 这样按照执行脚本自动下载各种依赖来运行 rack flow。 如果下载失败，建议设置代理来下载。 我们执行 docker compose。 实际上执行这几个脚本， 这个脚本能看到相关的软件版本和配置需求，还有端口号，执行 docker compose 之后， docker 会自动下载相关依赖。另外这个配置文件存在很多预定义的变量，我们可以在同级目录下的 emv 找到， 这里我们可以看到下载的 regular flow 镜像的配置，可以看到此时 regular flow 是 不带 embedding 的。 当然我这里也不需要下载，直接在欧拉玛上部署。这里我手动破了每一个依赖来运行， 不直接使用脚本安装，大家可以参考一下。在部署大模型之前，我们需要理解两个概念，大家可以参考一下 ai 的 回答。总的来说就是 l m 是 用来对话 处理文字上下文，然后输出自然语言。平常我们使用的大模型一般是这种， embedding 是 将输入的文字转换为计算机，方便存储和理解的向量有点像限速，这里我们使用 lm studio 来部署 lm 大 模型，大模型的话我使用 q one 三点五， 然后记得在后台开启服务，让其他程序可以通过 api 来调用。 embedding 的 话，直接在 cmd 使用欧拉玛来破一个模型名字，如图所示。 list 查看下载下来的模型。现在我们豆可阿依赖配置好了， lm 和 embedding 都有了，而 lm 跑在 lm studio 的 进程中， embedding 跑在 lm studio 也行。然后我们回到 redflow 的 根目录中，进入 doc 目录， 重新执行 docker compose 命令来启动 ragflow。 这里需要注册账号，密码可以随便填。 点击右上角为 ragflow 添加本地大模型。 右侧搜索 openai ipi compatible， 我 们需要找到兼容 openai 的 ipi 调用格式，然后输入 i o m studio 的 i o m 模型服务的端口号和 api 接口， 主要模型名字端口号需要与 i o m 服务一致，接口选择与 open ai 兼容。 这里模型类型选择 chat， api key 空或者随便填 token， 可以 根据自己需求来配置， 然后添加 i o m 模型即可。接下来是添加 embedding 模型， 下拉找到欧拉玛，如果 docker 安装了 embedding， 可以 使用这个 url。 这里我没有在 docker 中安装，直接在物理机上使用欧拉玛来运行 embedding。 此时的 reg flow 处于 docker 网段中，我们需要向外寻找容器之外的 物理机上的 ip 地址。 c m d 中输入 ip c o n figure， 找到本地 ip 地址，这里将 u i l 的 ip 地址改成本机在局域网中的 ip 地址，而非容器内部 linux 的 ip。 现在我们 l m 和 embedding 都添加成功了。下面我们尝试使用一下语料库， 然后创建知识库。 这里可以根据自己需求来选择。 这里我上传一个 tst 文本格式的文件来测试一下， 这里记得要点击解析才能被锁影。 然后在右边可以根据自己需求来配置并选择一个知识库。 现在我们输入文案来尝试是否成功。实际上这个项目我也没有用过，不知道怎么去用，刚才试了几次，也不能够提取出知识库的内容， 这次我开了深度思考，不知道是不是成功了。这里两千零二十六好像原文出现过， 然后 m i a 照影，原文好像也有。 最后就是文章所引，能指出内容出处。
