trae怎么调用api使用大模型

我们来下载一个锐的国际版，锐的国际版的下载地址是三 w 点锐点 ai， 它的国内版的下载地址是三 w 点锐点 cn。 ok， 已经下载完成了，下载完成了之后我们来安装一下， 我一般都会用两套吹啊吹的国际版，它是可以付费订阅的，一个月大概是七十多块钱，订阅完成之后呢，它就能用到一些 呃， gbt 了。还有这么类的一些模型，如果说我在用国内版的时候，它的一些问题帮我解决不了，我就会切换到我的 国际版去，但是国际版确实用起来非常香啊，香到什么地步呢？我每个月的用量让我在月初的时候就就用完了。 我们来看一下，打开开始深蓝，我比较喜欢深蓝色调过个人用户， 他会让我让我登录，这会就正在登录当中了。我是用我的谷歌账号登录的，其实之前也听过一个博主，就在现在你如果想用国际版的一些内容的话，注册一个谷账号还是比较方便的。他所有的 可以用谷歌账号登录， github 账号登录，还有什么什么账号登录啊，但如果没有的话，你也可以选择在下面自己去注册一个账号。 ok， 我 点 log in and open tree。 好 的，它这里就就完成了，完成完之后我们来看一下啊。 哦，他应该是我上个月把把那个用量用完了之后啊，我就把自动续费给取了， 这点如果大家有用到的话，一定要注意，默认他是给你开了自动续费的。我之前有一段时间还纳闷，我说我把这个吹的我这个月都用完了， 到了下个月的时候他还是 pro 状态，他还是能让我用。哎，这个时候我就很纳闷，我还以为我占了自洁公司的便宜，后来我才知道，每个月都扣着我的账单着呢，后来我就把那个就取掉。 我们看这是这是它支持的一些模型，我们看看 g p t 的 四点五，还有这么类的，三点一都是比较比较新的一些模型，当然这个 mini max， 二点七和 kimi 的， 还有 dipstick 的， 它就没有什么。 呃，什么值得我们去？嗯，为他付费的点，因为国内版的翠他是免费的，他还不让你充钱，对吧？他就能用到这些模型，我们就必须升级到 pro 之后，他的次数才会多一些。那我可以在这里问一下，他不升级 翠国际版到 pro 账号能用吗？来，我可以问问他 新建项目。我试着打开个文件夹啊，随便打开一个文件夹，悟空的这个吧， 他每次一开始的时候会让你添加信任，他才会帮你在这个文件夹里面去做操作。 他现在找了我说不升级。吹到国际版到 pro 账号能用吗？看他会给我一个什么样的一个回复。 还有这边它不是有个系统提示吗？啊，默认的话，我们 windows 系统的话，它的这个提示是默认开着的，我也建议大家把这个开着，我们在处理任务的时候，它会 在完成之后给你一个声音提醒。哎，有了这个声音提醒的话就比较有意思，因为一般情况下我们给这些编程的底层原理是一样的。 我看啊，根据吹的官方计费，国际版有免费版和 pro， 不 升级到 pro 也可以继续使用账号，免费版不是停用账号，而是功能和额度受限，目前官方免费版的额度大概是一月五五千次， 一个月五千次， ok， ok， 那 也可以，我们就暂时就先不用升级了，先不用升级了，就先放在这， 如果后面有的一些任务它比较难的话，我们切到这个国际版的模型里面，它确实效果会比较好啊，因为我之前用可以说用这种 id 的 编辑是做过深度的开发的，而且我还是一个不懂编程的人，纯自然语言的深度开发完了之后呢， 开发的个成果是什么？就是我自己的这个个人网站三 w 点 开发的成果就是我的这个个人网站，当然呢，我的这个个人网站 在当时在做的时候啊，用到了， cursor 也用到了，主要是用的 cursor 和 tree 啊， tree 也用了国内版和国际版，反正就各种来回切，当时我就感觉到一点，并不是 cursor， 它并不是神的，它也并不是万能的， 有的一些我的一些需求我给他说了很多次，他也他也解决不了，但是用吹一两次就解决了啊，所以我觉得没有好坏吧，只有适不适合解决你那个场景的问题啊。今天这个就是给大家分享，我们可以点开一下看一下这个升级到 pro 它的一个价格啊，一个月的价格，这个一个月的价格是十五美金，算下来可能也得小小小几十块钱，按月的话是， 呃，这么多钱，还有按年的话也就也就也就更贵了是吧？嗯，按年的话看着这个还好一些， 所以根据大家的一个使用情况吧，而我觉得如果说是你也不想折腾什么其他乱七八糟的，你就想，呃，我有一个这个东西可以用， 也不想折腾其他的，我就按一个退就行了，我也不需要按什么其他多的软件，我就把一个软件用透，对吧？我也不想来回切换。那我觉得升级一个国际版还是非常有必要的啊， 至少我觉得这份钱没有白花。你不想现在 oppo 可乐？ oppo 可乐出来之后，好多人也去订阅了什么迷你 max 了，什么 kimi 的 cooling plan 的 计划，一个月花个四五十块钱，但是你想想你在 oppo 可乐到底给你有多少的产出？ 其实从我的理解来讲，他就没有产出，纯成成了大家的一个高级玩具了。你不像我，这个我虽然说也也付费了，我真的有产出呀，我这里有我的一个个人网站，对吧？有个人网站还能给给我的，给我的粉丝们去提供一些一些服务。 好的，这个关于国际版的这个话题呢，就聊到这。当然呢，仁者见仁智者见智，看大家自己啊具体怎么去选择了。

api 是 什么？学会 api 调用又有什么用呢？所有学大模型开发的小伙伴对 api 调用肯定不陌生， api 调用它确确实实是开发中的一项核心技能。简单来说，学会 api 调用技术呢， 就是让你写的代码能够命令远方服务器上的大模行为你工作并拿到它输出的结果。你可以把大模型就想象成是一个超级大脑， 你没办法把它搬回家。但大冒险的创造者会在大脑上开一个小窗口，这个小窗口就是 api， 它的全称就是应用程序编程接口。你的任务呢，就是学会用标准的且它能听得懂的语言 对这个窗口进行喊话。举个例子，就大模型 deepsafe， 它的开发者就开了一个窗口 a p i。 你 要想使唤 deepsafe， 就是 你需要注册 deepsafe 大 模型的服务商，然后获取一串像密码一样的密钥，也不知道是啥，反正就超级保密的那种。有了密码钥匙还不行， 还要有 api 地址，你要有具体喊话的窗口的位置，就是像底下这么一串的这样的一个链接似的。那喊话用什么语言呢？通常是 jason 格式， 你得知道怎么写用户输入了啥，怎么写系统指令。你写完代码，就像 deepsea 的 api 地址喊话，把 api k 和那个指令贴过去 delete 呢，就会把生成的内容通过筛选的格式返回回来，你再从代码里把这个结果提取出来。当然，光是喊话还是不够，你还得学会调教它，让它更好地来为你工作。但这个通常就涉及到修改请求中的参数和提示词等等这样的一些工作了。 那学完之后能做什么呢？就当你学会了 api 调用，本质上就是学会了如何通过代码把大模型的 能力集成到任何软件、任何场景中去，就让 ai 真正成为为你自己的需求服务，你就不再只是大模型的用户，而是成为了 ai 应用的开发者。

哈喽，大家好，我是 paper， 那 今天我们来说一下我们最常用的 token 本地模型和外部的模型该怎么样去使用？就是 token， token 是 什么呢？一方面它是有这个最小计算机处理文本单元， 另一方面它也是其他的，还有很多身份认证啊，指令串密密实都百度的话，你要使用在我们的 ai 大 模型中，你就记录这个最小文本处理单元就可以了。我们再来看这个本地模型去哪里找啊？一般的话，像这个最常见的开源社区 hackin face， 我们在这里面去找本地模型，我们登录进来，然后找到这个 browser two m 加 models， 或者说你直接在搜索栏中搜索对应的名称，像这个主页，它这个首页里已经有这些，比如说像这个 minimax 的 二点一，千万的三点三，还有一些各种各样的 模型， open i 的 gptos 啊，你可以或者说这个 kimi 二点五等等，你可以点击这里去我们要找的像一些文本到图片的模型， 就是 ai 绘画模型，还有像这个文本到视频的模型啊， text to video， 还有像这个文本到文本，也就是我们的语言模型，就像豆包，千文，这些都是语言模型，我们只要去搜一下这个 text generation 文本生成，我们就可以在这里看到有千文，三点五啊，还有各种各样的 emoji 三啊，各种各样的 mini max 等等啊，只要是你所熟悉大厂，那基本他发了都在这里面啊。你看这个 b 嘛， 这个币数越大，比如十七币，八十币，三十二币，一百九，十九币，甚至这个二十八币，或者说这个四币的，这肯定效果没有那么好，是吧？那因为达到六十七币，一二一百二十四币都很大， 这东西像这个 mini max， 二点五，二点二十九币啊，二百二十九币，这个更大，这个你要是下下来，你会发现 你可能你的电脑用不了啊，就是这么简单哈。 ok， 我 们再看这个像一些其他的开放的 a p i 怎么去使用？那这里我以这个 g m 举例啊，我们直接去找到 a p i k， 点一下就进入到这个页面了， 这个页面就是你的 a p i 密匙了，我们在这个项目管理 a p i key 中找到它，像这个已经有的 a p i， 你 用到别的地方可以去，这样子你也可以直接删除，我们再可以添加个新的 a p i， 比如说你这个 a p i， 你 要去用到自己的 call 啊，那么龙虾上我们就点击 call， 然后把它复制过来，然后粘到这个 call 里，你就给它充钱就可以了哈。 你还想还想要再用一个 a p i 去做别的项目，那比如说我这个叫这个 agent agent， 那 这个 a p i 呢？我们给它复制过来，去放到别别的调用的端口里给它充钱就可以了哈。 像这个 open a d b c 的 a p i 啊，页面也差不多哈，你可以在这里点击 create new c c 啊，你也可以在这里点一样的啊，这里 name 我 写 call 啊。这个 project 你 可以放到你的默认 project 里，不过一般只有一个啊，点击 quit 就 可以了哈， 配置完之后呢，一样的，你就给自己的套餐充钱就可以了。那这个 api 呢？它不同于你的和你的传统的大模型，你直接问它那种网页对答模型不一样的啊，因为 api 呢？它 是啊， api 它是实时计费的，就说你要是用的话，你可以用到很多层面上不同，不停去调用这个模型。而你的网页因为问答呢，只要你这个模型啊，只要你这个网页关了，你就用不了了，是吧？你要是想用它，你是不是得二十四小时数在电脑前啊？你在电脑前你才能用它，但 api 不 一样，你可以做成全自动化的东西， 这样子呢，它的费用就会很高了。所以说 a p i 是 单独收费的啊。 ok， 那 今天呢，学完这课，咱们这个玩龙虾啊，或者说玩什么都会更轻松一些哈。咱们就先到这里啊， ai 啊，一定要去关注这些啊，最基础的东西，如果说这些基础东西你都不知道，那你去你就很难玩得转这些东西哈。

api 中转站搭建就是这么简单，一个云服务器域名，一串刀客指令，但是难再从哪拿又拿哪去，这是难点。未来感觉大家都会用某某大模型，怎么样让大家开心的用到我的大模型呢？有谁知道吗？ 这里使用 github 开源项目 new api， 自己可设置内容非常多，渠道管理兑换码管理，用户管理等等多种非常合理非常贴心的设置，拿到手基本不用再干什么了。当然了，我们不是大模型的制作者，我们只是大模型的搬运工。

日常工作当中，我是如何使用翠的？今天用一个写微信公众号文章的全流程，全套的工作流程给大家去演示一下。 我在平时的时候呢，会把我的一些灵感在飞书上记录下来，记录下来之后呢，我如果要去把它写成一公众号文章怎么做？我就直接在左下角这里把我刚才粘贴的文章内容粘过来，粘过来之后它的内容是啥？我给大家读一下啊， c l i 让我想起了一切好像在循环，一开始的电脑都是命令行操作的，后来有了图形界面，到了 ai 的 时代，又开始新时代的命令行了。大家都知道最近 c l i 比较火嘛，用自然语言进行交流呢，我有个观点，后期的关键 或者系统，那软件啊，应该叫软件， 软件或者系统如果没有成熟的对外开放的 api 的 权限，其实这个啊，这我理解，他就他就叫 ci， 很 难在 ai 时代立足， 对吧？呃，这里面就有一个调 get 笔记的数据库和 get c 的 一个搭配使用，就把硬件和软件打通了。之后啊，确实在我使用的过程中非常的方便，我日常一直在用 好的，我就按照这个，然后我给他发指令，请帮我写一篇公众号的文章。 好，我每次其实写文章就这么方便，他写完了之后，文章呢，我也是用翠帮我做的一个一个这样一个叫格式调整的一个工具啊，一个单 html 网页的一个工具。 然后呢，让他去帮我做的，但是我们来看一下他在调什么技能呢？调了技能 market copyright。 不 对，这个技能调的不对啊， get note search 调用技能 get note search 这个也不对啊，我让他写公众号的文章，他应该调我的这个 ai 编辑是 writer， 这里我也给大家说明一下原因。为什么啊？因为这个电脑也算是一个新电脑，我这个文件夹是之前在老电脑上创建的，我这次把它同步过来之后，让它直接打开，它有可能会水土不服，那么如果它水土不服 怎么办？那我就把这个右键再给他说一下，写公众号文章，从这里面去写。他在帮我转写文章啊，但是我现在其实也不确定他到底帮我掉了哪个技能去写 另外一个呢？我之前其实对他写公众号文章是有要求的，他写完的文章必须帮我放在微信公众号文章的这个路径下，而且前面还要把日期加上，这样的话就方便我去查找去查看， ok？ c l a 的 轮回为什么 api 的 软件正在被抛弃？ 我们来看一下，看他给我保存到哪里去了啊？ c c 大 头的，哎，在这呢。 c l i 的 轮回，我看啊，确实是在微信公众号文章里面帮我放的啊。 好， a p i 才真正的红尘和黄金搭档写在最后。差不多啊 差不多。我再问一下他， education write 添加到这，你是调用的这个技能帮我写的公众号 文章吗？我问一下他， 你看啊，我这个里面是有要求的，他刚才已经读到了啊，他说不是的，我调用的是 market write 啊，但我注意你提供的技能可能是这个 editor write 让我用这个重写这篇文章吗？然后呢？他就在重写了， 而且你看我的这个技能里面，他的要求是文件名必须添加日期的前缀，对吧？那么他一会做完了，应该会在这重新生成一个二零二六零四零四的这么一篇文章，原来的我就给他删除掉，确定 你看他这里让你删的时候，还是会非常客气的问一下你啊，这里面就有了，二零二六零四零四，你看他为什么会是这种格式啊？因为一会一会让大家去看的时候你就知道了，有这个格式了，之后用我的工具去排版，非常的方便， 对吧？然后到这里呢，我就可以去更新我的技能，请你记住， 当我以后再，嗯，好像录视频的时候不能用这个语音说，当我以后再让你写公众号文章的时候，请你调用 这个，大家再理解下这个过程。是不是我在训练在教我的这个吹的过程，其实它就是训练龙虾的过程 啊，大家大家可以去去去去理解一下这个过程， ok， 那 上次他犯了这个错误，我这次给他说完了之后，当我下次再写微信公众号文章，他就直接这么去忘掉了，对吧？那我们来再来看一下啊， 看一下他写的这个内容。 get 比的破局，当我看到 get 比眼前一亮，他不仅 api， 还把 api 做成了技能，可以直接被调用， ok， 这个没有问题啊， api 可以 读知识， ok， 这个也没问题。 get c 的 录音卡，哎，这块写的也没问题啊， get 笔记，这个两个结合起来一键录音，所有的录音都会，你看它还读了我下面之前还写的和 get 笔记和 get c 的 相关的内容， ok， 没有问题。 输入端 get c 的 存储端 get 笔记，调音端 ai agent， ok， 也没有问题。写在最后， 好的都没有问题，都没有问题之后，我就需要把它 ctrl 加 a， ctrl 加 c， 一 复制，复制完了之后咋办？ 也很简单，我们来看一下。在我的这个里面，我找到我的文件夹，文件夹里面有一个 呃，工具，手搓 html 的 工具，这个也是我用锤做的一个工具啊，就是他专门来帮我排版，我给你我的要求来看，他在这里就直接帮我把版排好了。 排好了之后呢，我接下来要登录我的微信公众号，我就把它发出去，我们再等待一下。好的，接下来呢，我要打开我的微信公众号， 我比较喜欢用这个心愿浏览器啊，人家的宣传语是大学生最喜欢的浏览器确实也挺挺干净，也没有太多的广告。 ok， 我 的公众号就登录好了，登录好了之后我来看一下啊，我就点内容草稿箱 创建新文章， 创建新文章之后呢，我把内容直接往这一粘，哎，有个问题，粘过来之后它没有格式， 这个难道跟什么有关系吗？这个难道跟这个电脑有关系？ ctrl 加 a， ctrl 加 c， 然后呢？我刚才是打开的这个工具在这里啊，我知道了，我刚才没有没有这样去粘啊，它必须这样滑动去粘它的格式才会粘上。 复制，复制完成之后呢，到我的这个公众号来，我再粘贴一下， ok， 这就没有问题了，对吧？格式都有，然后它的标题是这个 ctrl 加 c， ctrl 加 v， 这个电脑好像没有 ctrl 加 x。 这里完了之后呢，我还要给公众号再配一个图，配图的时候怎么配？我们来看一下我是怎么做的啊？应该是在这里 这个找对的画图的一个用这个 nano banana 去帮我做图啊，做图的时候怎么做呢？我们来看一下。我选 pro 十六比九， ok， 没有问题。那么我还需要把这里面的内容占过来， 把内容粘到这，然后呢，我再把提示词粘过来，内容这里后面这个就不要了啊，后面这个宣传，要不然他也会帮你把这个做上。 还有一个就是我在右边还专门放了一个提示词，是我自己积累下来的提示词，用。 我们来看一下啊，找一下这个题词， ai 声 ppt 应该在这里， nono， 不 n 的 手绘 ppt， 就 这个，把它一复制，复制完了之后再给到这里， 接下来发送，发送完之后就耐心等待 一会。他这里把图生成，完成之后呢，我就把图贴到我这里，贴到这里他就是我的封面图，也是我的内容图，就 ok 了。那么在这个期间呢，我们再去做一些别的工作，是吧？他说是欢迎加入我的社区，那么我再找一下之前文章的内容， 我把我之前文章的内容发表记录给他，直接复制过来就 ok 了。我直接把这后面的内容一复制，复制完成之后呢，直接粘贴，哎，没有复制上 复制粘贴好，这就成了，我现在就只需要等着，等着我的这个手图出来就行， 还是非常快的啊。 ok， 他 已经帮我把这个图片生成了，生成完了之后呢，我只需要把这个原图下载下来， 下载下来之后我把这个图找到，把你给它下载，里面 图可能比较大，图片存储为下载保存。 toyotoolok 已经有了，这个，我把图片拷贝粘贴到我的文章里面。 好的，这样就行了。这样行了之后呢，我在最下面只需要把我的这个图重新选一下，把它选成我的手图，确定 点，确定 ok 它就好了。我把原创一勾 粘上，开启， 再稍微快速的检查一遍，没有问题，没有问题就发表， 确定 好的，他一篇文章就发送出去了。发送出去之后我们可以在公众号这里来看一下啊， 一开始发出去的前几秒钟应该是在审核当中啊，审核当中看我后面的好多的文章都是通过这样的一个思路去写的，也特别推荐大家去把自己的一些想法灵感啊，通过你自己的一个表达的逻辑方式把它积累成文章。 这个文章怎么用公众号的 api， 在 开了之后以后，你就可以在自己的这个文章里面给自己积累一些数数字的资产，也把自己的记录这个这个思想也有一个记录，对吧？大家可能看到说郝老师，那你你写的也太不负责任了，对吧？ 你写的这个公众号的内容，你就直接让 ai 帮你写，那我们还看他干啥？注意他帮我写公众号内容的这个思路和要求和框架也是我给他定好的， 我的公众号内容的想法也是我给他想的， ai 他 只是按照我的框架把他给我丰富了一下，把一个字两个字变成了标准的话而已， 那么它中间表达的这一切都是我自己的思想。我觉得这也是在 ai 时代，我们不是说有了 ai 之后大家就不用动脑子，不用思考，它只是帮你把之前比较费时间的那个过程， 语言组织那个过程，它帮你代替了。但是这个想法，你比如说历史轮回，我能把 c l i 原来一开始到最后不用到现在又火起来， 我能把他和我们历史的轮回去给他联系起来，对吧？你得有这样的一些思考，你把你的思考告诉 ai， 他 才能帮你做出来一些与众不同的内容。还有现在呢？ 很多人在研究什么？研究全自动化的 ai， 比如说就说写微信公众号，他说弄好了之后一键给你发送，那么我想请问一下，你真的就算把那个一键发送做好了，所有人都能用了，那么你写的公众号的文章到底有没有人看？ 这是个问题。我们写文章一个是为了记录自己，另外一个也是为了分享，对吧？也要满足自己的虚荣心。你比如说我自己写这个扣子加盖的笔记，这是我自己的一个实践的总结，有三百多个人都有人看，已经挺不错了。 我重新刷新一下，他应该就发表好了。好，已经发表好了，我也会给我的粉丝们一发啊，从从，把我的一些思想，一些思路、一些思考，也可以通过微信公众号分享给别人去啊。这是今天给大家 演示的我是如何用坠在日常的工作当中，怎么样让他帮我去写一个微信公众号文章的，非常的快啊。 除了这个呢，我还写了我的 a i 的 一个年度总结，之前也是用它写的。还有我们在做一些课程开发的时候，对吧？内容的时候也都是用数据线去帮我搭框架的，因为他理解我，他懂我。

ok， 朋友们，那最近有个新的 agent 叫做 hermes agent， 在 外网非常的火热，他说你的第一个爱马仕，何必是爱马仕，那么他被人叫做小龙虾的进化版本， 那他跟小龙虾有什么区别呢？今天这个视频我就会讲清楚 hermes agent， 并且会手把手的带你从安装到设置，然后再到使用。那么这次我会使用这个谷歌最新的开源大模型 java， 然后我会把它部署在本地，并且会教会你，然后接入到 hermes 来使用，这样就可以实现 fork 自由。 那我们首先先来讲讲 hermeshermes， 它跟小龙虾的第一个区别就是它能够自我进化，自我学习，会自动生成 skill， 就是 不需要我们去手动创建这个工作流，那么只要你用的越久，它就可以越来越懂你，用起来越来越顺手。那么它具体是怎么实现这个自我进化的呢？这里有两个数字，一个是五，一个是十五。那么首先我们来说一下这个五， 那 hermes 在 完成一个复杂的任务，通常指的是它要进行五次以上的工具调用，它就会自动地把整个工作流沉淀成一个 md 技能文件，之后它下次再遇到类似的任务的时候，它就会直接加载这个 skill， 跳过摸索阶段。 那么如果它在执行过程中发现有更好的方法，它也会自动更新 skill 文件，那么上述这个过程是使用一个叫做 skill manager 的 工具来完成的。 那十五次是什么意思？也就是说他每进行十五次的工具调用，系统会自动停下来回顾刚才发生了什么，找出哪里失败了，然后立即更新自己，这个就是他的闭环自省功能，也就是他越用越强的秘密。所以说五次就是他什么时候记，什么时候创建自己的技能，十五次就是他什么时候反思。这两个是不同的处罚机制， 这就跟我们传统的 skill 编写方式是很不一样的，因为我们知道无论是小龙虾，或者说是 cloud code 或者说 code， 他 们的 skill 都是由人工来编写的，或者说从这个 cloud hub 这种 市场上面下载下来的，他们没有自我生成，也没有自我迭代。那很多人使用小龙虾的时候，还有一个问题，就是觉得他特别笨，比如说今天说的事情，明天就忘了，然后他告诉你我一定会记住，结果第二天他又忘了，那原因就是因为小龙虾的记忆系统不够完善，他只是简单的压缩了上下文。所以说我们会看到很多团队也在做 agent memory 这件事情就是想解决持久化记忆的问题，让 agent 能够永远记住你的信息， 比如说密木林，比如说国内盛大网络的 evermind 等等等等。那 hermes 和 openclaw 它的记忆系统之间有什么区别呢？其实最大的区别就是它们在容量管理上面是完全不一样的。那我们来看一下 hermes 的 三层记忆系统。那第一层叫做绘画记忆， 也就是实时的大拇指的上下文窗口，比如说一百二十八 k， 二百五十六 k， 那 它在绘画结束的时候就会消失，跟我们正常在聊天框使用豆包 deepsea 是 一样的。 那第二层叫做持久化记忆，那这层有两个文件，分别是 memory md 和 user md， 顾名思义和小龙虾的作用是一样的， user md 呢，就是用来收集用户的画像和偏好的，那 memory md 则是用来长期记忆和经验沉淀的。 但是在小龙虾里面，这两个文件的容量默认是两万个字符，那么超出之后它就靠上下文压缩，把旧的对话内容给压短。但是问题就是说压缩之后会导致信息丢失或者变形。 而 hermes 的 memory dmd 里面只有两千两百个字母， user dmd 里面只有一千三百七十五个字母，它的容量是小下的十分之一，那它为什么要设计的这么短呢？其实这是一个团队的设计哲学，就说团队他故意把容量做的非常小，迫使这个 agent 主动去提炼，去重合。并 不够用了的话，那就必须先整理旧的才能添加新的，那容量满了的话，不是压缩，而是主动侧展。那 creation 也是刚才说的主动侧展，和我们之前说的压缩 compression 有 什么区别呢？压缩是把所有的东西硬塞进去，然后变短，变紧凑，但是内容它会变形，会丢失，会失帧。而侧展它是主动的去筛选， 判断什么重要，什么不重要，什么可以合并，什么该删除掉。那么 hermes 他 走的就是这条路线，所以说虽然他的记忆非常的小，但是他每一句话都是有用的。那 hermes 的 记忆系统第三层就是全量历史解锁，他会把所有的历史对话放在 s q l lite 数据库里面，如果说他需要查找历史数据的时候，他就会使用关键词查找匹配，然后 找到这个片段之后再使用大模型整理材料，最后返回给我们，而不是说跟小龙虾一样使用向量解锁。那我们先说说关键词查找匹配，那这个就很简单，就类似我们的 ctrl 加 f 搜索什么关键字，它就匹配什么。 那在 hermes 里面，它就会根据关键字去搜索相关的段落，然后让大模型去整体的理解这段话什么意思，理解完之后再返回一段材料给到你。 那我们举个例子，比如说现在我给这个 agent 说，之前上周我们讨论过一个三个月的学习计划，来提高我的这个英语口语和表达能力，你去帮我找找那个计划具体是怎么样的，然后再给我说一下，那他就会执行下面这几个操作。首先他会去搜索关键词学习计划，三个月提升英语表达，然后找到这些文本片段之后，大模型会整体的理解上下文，然后再返回一段摘要给到我们。 那什么是向量解锁呢？向量解锁它就是把文字转换成数字，我们知道计算机它存储的是零一系列，对吧？它是存储不了文字的，所以说在存储的过程中， 它会把文字转换成像量，那向量解锁就是通过比较数字间的距离来找相似的内容。比如说现在有句话叫做猫在沙发上睡觉，转换成像量可能就是零点八二、零点一五、零点三三。 那还有另外一句话，就说一只猫咪握在沙发上转换成向量，可能就变成了零点八一、零点一六、零点三四。虽然说这两句话的字是不一样的，但是它们的语义是非常类似，都是猫在沙发上，对吧？那所以说它们在向量空间上面的距离是十分接近的，那 ai 就 能够理解它们是同一个东西。 向量接收的好处就是能够理解语义，但代价是需要你额外的向向量数据库来存在，向量存储成本会更高，并且还需要一个迭代模型。 那我们还知道养小龙虾呀，是一个非常烧 token 的 事情，因为它真的太耗钱了，那 hermes 就 能很好的解决这个问题。那为什么养小龙虾非常的浪费？这个 token 就是 在于这个系统提示词的加载方式。那首先我们说一下什么是系统提示词， 我们知道当我们和 agent 对 话的时候， agent 收到的并不仅仅是你的问题，而是系统提示词加上记文件，加上当前的对话，就等于 agent 看到的完整上下文。 那系统提示词里面包含了什么呢？比如说 agent 是 谁？他应该怎么工作，记住什么信息，也就是我们理解的 so 点 md， user 点 md， 正题题点 md 这些文件。那对于小龙虾来说，他每次会画会重新加载这些上下文，然后对话开始的时候，他读去所有的记忆文件，然后拼接之后注入上下文。那么 lama 在 处理上下文的时候，他会把之前遇到的内容缓存起来，然后来加速处理这个缓存，命中 token 的 价格是最便宜的，那如果说上下文内容在一直改变，对吧？那我们前面的缓存就会失效， 因为缓存是按照顺序来存取的，你前面如果变了，后面存的再多的缓存都没用了，接下来全部从头来过，它不是增量改变的，而是全部推倒重来。 而且还有个现象就是我们知道现在市面上很多中转站，对吧？那你会看到很多这种垃圾中转站为什么都可以用的这么快？原因之一就是因为它不让你去命中缓存，全部给你用最贵的消耗方式。那我们看 hermes 它是怎么做的？ hermes 它完全不一样，它会在绘画开始的时候执行一个操作，叫做 frozen snapshot 冻结快照，他会把当前所有的记忆文件等等等等上下文全部读起之后锁定，然后注入到上下文里面去。那在绘画进行的过程中呢？如果说这些文件被修改了，他直接不管， 他继续使用锁定的版本，等这次绘画结束之后，他才会把这个修改写入文件，然后在下一个绘画开始的时候，他会读取最新的版本。那这样做有什么好处呢？首先第一点，最显而易见的就是可以保持前缀的缓存命中性能更好，并且更节约前。第二点，他可以避免 a 键在绘画中途修改记忆导致人格飘逸的问题。 那什么是人格漂移问题呢？打个比方，就像现在我们正在写一篇论文，那假如说我们现在写第一章，并且已经把所有的参考论文文献全部找好了，那我们在写的过程中，我们就一边看一边写，对吧？那现在这时候有个人跑过来跟你说，参考文献更新了，你需要加一篇新的，然后再删除一篇旧的， 那你是不是想把这个给红出去？因为你论文写到一半，参考文献给我改了，那这不是捣乱吗？所以说如果说你修改的话，你的逻辑就已经不值价了，这个论证链条就会受到影响。那 herb 的 说法就是你不用管，你就用旧的参考文献来完成第一章的章节，然后在进入第二章之前，你再去拿最新版本的参考文献。这样的好处就是第一章的论证逻辑是稳定一致的，不会因为中途文献的增加修改而改变。 那上面我说的这几点呢？就是 hermes 和小龙虾的最主要的差别。那简单来说，小龙虾就像是一本人工维护的笔记本，你说什么，然后就记什么，满了之后我们就压缩。但是 hermes 呢？它更像是一个自动整理的一个档案系统， 它自己会判断价值不够了，会主动合并，并且会把做过的事情变成一个可以用的技能，这也是它为什么越用越聪明的原因。现在我们就开始安装设置这个 hermes， 然后本地部署 java 这个大模型，并且把两者打通。 那现在我们来安装欧拉玛。欧拉玛是什么东西呢？简单来说，欧拉玛它是一个本地的大圆模型运行器，我们知道所有的大圆模型，它可能参数不同，启动方式不同，那是不是很不方便我们去使用，因为他们没有一个统一的标准。那欧拉玛就做了一件事情，他把常见的这些模型全部包装成了统一的重格，使得我们去很方便的调用切换，所以说它是一个统一的包装层。 那如何安装欧拉曼呢？也非常简单，我们只需要打开他的官网，那么来到他的首页，我们点击 download， ok， 那 可以看到这里，他让我们选择三个系统，我们选择我们的 micros， enix 和 windows， 那 这里我是 micros， 那 我就选择 micros。 那 大家如果是 windows， 我 们就点一下， 然后把这个命令复制终端里面去运行就好了。那，那如果说你发现你在终端运行这个命令是失败的，那我们也可以选择下载它的这个 app 形式，那这里我就选择在终端安装，那我复制这条命令， 打开 terminal， 然后粘贴上去，然后回车。那大家注意，如果说你使用终端安装的话，你最好把你的这个魔法开成 t u n 全剧模式， ok， 那 安装好了之后，它就是这样一个界面，那现在我们来继续安装 java for， 然后把它部署到我们的本地上面。那很简单，我们点击这个 models， 然后这里我们就选择我们的贾玛 four， 然后点进来之后，我们可以看到它这里给了模型的好几个版本，一二币、一四币、二十六币、三十一币和三十一币 cloud。 ok， 那 现在你可能会问，那我怎么知道我该下载哪一个模型呢？那这里给大家推荐一个网站，叫做 what models。 打开这个网站呢，我们只用在这里选择我们的这个 gpu 是 什么， 比如说你是英伟达的，你是 amd 的， 或者你是苹果的，好吧，选择你的 gpu， 这里有五零七零，五零六零，然后比如说你是英伟达的 四零九零，你就可以看到你能跑的很好的模型有哪些，对吧？然后你一直往下拉，基本上可以升了很多模型了，那就是说你跑的有点吃力的啊，这个就是你完全跑不了的， 所以说大家可以根据自己这个显卡的配置去选择，那我们回来安装，那我在这里的话就选择安装这个一四 b 的 版本就好了，然后因为一二 b 确实太蠢了，二十六 b 的 话，我目前这个笔记本是有点吃力，所以说我选择这个一四 b 的 版本就好了。 那安装这个模型非常简单，我们把它的名字复制一下，然后我们打开终端，我们输入欧拉玛库，然后粘贴它的模型名字，然后回车等等，等待它安装就好了。 ok， 那 可以看到现在我们就安装好了，那我们输入欧拉玛 list， 就 会看到我们现在本地安装了哪些模型。 可以看到我们这里本地安装了一个 java 一 四 b 的 版本，然后这个 size 的 话是九点六。那现在我们来测试一下 java 的 多模态信息处理能力，我们可以看到我给了他一张图片和一段文字，可以看到他思考了三十一秒时间， 那现在我们看看他在处理开放问题的时候表现怎么样。现在我给了他一个问题，现在 ai 什么都会做了，那我们普通人应该怎么做？普通人该怎么才能保证自己不会被 ai 淘汰？给我详细分析一下， 可以看到他思考了四十五秒钟时间，然后生成了这么长的回答，并且说的还是挺有道理的。那现在我们来安装一下 hermes agent， 那 安装也非常简单，我们打开它官网，然后复制一下这个命令， 我们打开终端粘贴回车，等待它安装就好了。可以看到他先会看我们一些必要的包有没有，没有的话就给你安装，有的话就直接跳过， ok， 那 现在我们看到他已经把所有的依赖全部安装完成了，然后的话他开始了这个安装向导，然后他检测到了我们已经安装到了 open class 小 龙虾，然后他开始问说你是否想看看有没有什么可以导入的？那我们选择 yes， ok， 那 现在我们看到他在问我们要不要把 open class 的 这个配置牵引过来，然后他给出了一个预览界面， 那如果说你觉得你的这个小龙虾调教的非常好，你可以直接把它牵引过来，那这里我有了演示，我就直接选择 no， 不 牵引过来。 然后现在我们来到了配置界面，那这里我们直接选择快速配置就好，然后这里它就让我们选择你要使用哪个大模型呢？那我们可以看到你可以使用 gemine， 可以 使用 srappik， 可以 使用 openend codex， 可以 使用千万，对吧？可以使用 gitopilot， 也可以使用 hackbase 上面自己下载的这个大模型。 那刚才因为我们已经在本地上面部署了 java for， 所以 说这里我们选择 modividers， 然后进来之后我们可以观察到它多出了更多选项，比如说有智普的，有 kimi 的， 有 mini max 的， 有 kilo， 有 open code 的 等等等等。 那因为我们要选择本地部署大模型，所以说这里我们选择 custom endpoint 就 好，那在这里我们填写我们的 base url， 默认就是这个，大家记住就好，然后复制粘贴，然后这里他们选择填写这个 a j i key， 那 我们直接跳过就好，然后这里他们填写模型的名称，那我们就用填写刚才下载好的模型名称就好了。那这里是加码 four， 那 是 e c b 的 版本，这里他们选择上下文的长度，那我们直接回车默认检测就好。然后现在他们选择是否要进入聊天平台，那我们选择设置就好。 大家可以选择我们要接触聊天平台，比如说飞书，微信， telegraph， discord 都可以，那这里我们选一个菜单，那我们选微信，然后我们回车。先第一步它让我们设置我们的 telegraph， 那 我们只用找到这个 boat father， 创建一个新的 boat， 然后把 token 复制过来就好。 然后这里咱们选择谁能给这个 bug 发消息，那这里大家一定要好好选择，因为说如果你什么都不捡的话，那他就会默认所有人都给他发消息，并且他会回复。那这里我们只用填写我们自己的 user id， 如何获取你的 user id 呢？大家关注这个 bug， 然后给他发一条消息，他就会把你的信息返回过来。这里上我们选择是否要把我们的 user id 作为默认频道，那我们选择 yes， 然后现在他开始让我们选择登录微信了，那我们选择 yes， 把这个链接复制浏览器打开，扫描二维码登录 这里他让我们配置谁可以给这个 boss 发消息就私发消息。那第一个选项就是手动批准，第二个选项就是允许所有的私发消息，第三个选项就是只允许白名单，第四个选项就是谁都不能给我发，那我选择第一个选项就好。 然后这里他让我们配置谁可以建立群聊，然后发消息，他怎么处理群里面的消息？那有三个选项，第一个就是不允许群聊，第二个是允许所有的群聊，第三个就是只允许白名单里面的群聊，那选推荐选项就好， 然后这里他们选择是否要把我们的微信平台作为默认屏，那我们选择 yes， 现在我们已经全部配置好了，然后他问我们是否需要重启网关，那我们选择 yes。 现在配置完成后，他问我们是否需要立即启动，那我们选择 yes， 那 现在我们来接入微信使用，那我们可以看到因为它需要手动授权，所以说那我们在终端运行下这个命令就好。 ok， 那 这里显示已经授权成功了，我们再给他发消息试一下，我们可以看到它这里显示对方正在输入中给出了回复，那我们可以成功使用了。那刚才我们是使用本地部署的模型，那大家如果想切换和云端的话，那也非常简单，我们只用在终端输入这行命令。 hermes model， 然后在这里大家就可以自由切换了。那如果说这里找不到你想要的模型，那大家就可以自由切换了。 那在这里我选择 mini max china， 然后配置一下我们的 api key， 那 接下来配置我们的 base layer， 我 们把它复制过来，然后粘贴。那大家注意一个点，就说如果这里你不是点 com 结尾，而是点 i o 结尾，那就是配置到海外去了，所以说要保证你是点 com 结尾。 然后大家选择自己想要的模型，那我就选择二点七，那现在我们来测试一下。那如果说我们想要启动终端的聊天界面也很简单，我们输入 hermes chat， 我们给他打个招呼， 可以看到我们已经成功替换好的模型。朋友们，那这就是本期视频的全部内容，我是 jerry， 我 们下次再见。

兄弟们，上期教大家怎么在 nas 里面一键部署 openclaw， 以及怎么进入控制中心，以及目前默认使用的大模型是什么？那就有好兄弟要问了，我就不爱用免费的，我就爱用收费的，收费越贵我越开心，怎么办呢？好办，在配置里啊，找到 models， 点击第四个 model providers， 第一行呢，有个 enter， 点它到了下面这里啊，有个 customer 杠一名字，你可以随便改啊。 model provider api adapter 这里啊，选择付费大模型对应兼容的接口协议工具，然后在这里输入你付费大模型的 api key base url 啊，这里输入你的套餐专属连接，然后呢，在这里点击 add。 api， 同样选择付费大模型对应兼容的接口协议工具啊。 id 这里点击 add。 如果你的付费大模型指的是文本和深度思考啊，那就选择 text。 如果这是文本深度思考和视觉啊，那就再点一下 add， 选择 image 名字这里呢，就随便填写一下。然后呢，将 resending 打开，然后回到聊天啊，检查一下模型状态，输入你现在有哪些模型，看它的回复后啊，输入切换到 ok， 你 的收费模型就切换好了。为什么不输入给他，让他自己配着呢？因为这个模型啊，他可能有一点傻，他不一定会按照你的要求去输入你想要配置的模型 id， 可能会自动调用免费的 id， 然后呢，就导致小龙虾直接崩溃。那如果模型设置错了，小龙虾崩溃了怎么办呢？哎，别急，下期告诉你。

说一个颠覆认知的事，其实百分之九十九的 ai 应用都只有五条技术路径。接下来三分钟，我们聊聊这五种技术路径，以及不同业务场景应该怎么选型。五条技术路径其实就像五种交通工具，第一条路是直接调用大模型 api， 就 像打车最方便，随叫随到。第二条路， red 解锁增强，就像开卷考试，先翻书再答题，准确率高。第三条路是工作流，根据确定的路径一步步走。 第四条路 agent， 就 像请一个全能助理，能够自动的规划任务并完成任务。第五条路，小模型的微调加私有部署，就像请私教，专门训练你的强项。记住，技术路径并不是越复杂越好，而是越适合越好。那么五条路应该怎么选呢？有一个超简单的决策方法， 只需要回答两个问题。第一个问题是你的需求有多复杂，如果只是聊天，写文案，总结文档，这是简单需求。如果需要执行任务，自动化流程多，系统联动，这就是复杂需求。 第二个问题是你有多少数据？如果说几乎没有现成的数据，就是无数据状态。如果有大量的文档手册啊资料就是，这就是有文档。如果历史数据积累在一千条以上，这就是有数据集了。然后你就对着这张表来选， 简单需求加无数据，选择第一条路，直接调大模型就可以。第二条路需求简单，有文档就选择第二条 reg， 需求复杂，有固定的执行路径，选择第三条工作流。如果是需求复杂加路径，需要动态规划的，选择第四条 agent， 如果是有数据级的专业场景选择第五条，用模型微调加私有部署。 举个例子，你的公司要做一个员工的制度问答系统，那么怎么选型呢？首先，他的需求简单，就是只有问答。其次呢，有文档，因为制度手册是现成的，那么就选择第二条路 red。 再比如，要做一个工单的自动处理，因为要执行任务， 并且需求是复杂的，且是流程固定。选择第三条，工作流。接下来是大家关心的成本和风险，这里我给一个快速的参考。 整体来讲，前两条路呢，成本比较低，开发比较快。后面两条路相对来讲成本高，开发周期长。工作周期中，核心的原则是先验证再投入，不要一上来就砸大钱，技术是没有过时，只有迭代的。 好了，今天的干货就分享到这里，需要注意的是， ai 落地不是技术问题，而是选择问题。五条路径没有优劣之分，只有适合与不适合，选对了，一切都很简单。最后考考大家，如果是一个传统制造业，需要员工能够准确的回答技术问题，每个员工培训一般是三个月才能上岗，应该选择哪条技术路径呢？ 大家把答案打在评论区吧，下期我们聊聊如何用六个步骤搭建你的第一个 ai 应用，记得点赞关注我们，下期见！

那其实潮生除了呃调研还有 demo 验证这些工作，其实潮生还有一部分主要的工作人员是在做 prompt 与模型优化。那其实聊到大模型时代一个很现实的问题就是 ai 效果的稳定性， 那同样的 prompt 可能每次输出都是不一样的，那你们是怎么每次确保输出的结果是稳定的？有没有一些在实战中总结出来的经验呢？ ok， 其实其实关于这个问题，我觉得其实有很多解读的这个方向，因为其实当大家去 谈论到这个模型的这个稳定性的时候，包括说它输出本身的稳定性的时候，其实第一反应可能是一些超参的设置，比如说像 temperature， 对吧？这样这种采用的这种啊超赞的设置，会啊非常大的程度上影响模型的行为。当然关于这个点，其实啊，一般来说像一些代码任务，可能大家会推荐一个比较低的 temperature， 当然像 model and coding 模式，我们会也会去做一些更多的尝试，因为确实我们会发现在 model and coding 这个场景 啊，如果有一个像代码模式，它其实就是输出比较稳定，但是整体来说不会给人太多惊喜。但是在 modern coding 场景我们发现呢，就是更高的温度，确实它的输出的这个多样化，以及它整体的效果表现会会更优一点。然后 啊，这也是我们在这过程中会逐步探索，逐步去适应说不同的这种业务场景，对我们来说啊，温度，或者说像这种随机性，我们怎么去把控的更好，那么这是这个超三的维度，但其实啊，就从整体的这个 角度来说，其实我更想讨论的是啊，在现在这种模型能力已经非常强的情况下哦，在关注于除了调模型的超三本身之外，我们可能还是要去额外关注一下，比如说我们自身体式词的这个质量，这其实也是会导致模型它的输出 啊，没有那么没有那么稳定的一个来源之一啊。就举个例子啊，像新的模型，他一般来说因为指令遵循能力非常强，那么他对 啊，提示词里的一些矛盾，或者说表达不清楚的地方，他会有更多的这种更容易被误导，然后更容易有不好的这种输出出来。就比如说我可能在提示词里面有个矛盾的地方，前面还在说让他不要干啥干啥，然后后面又说啊，你要干啥干啥，那有的模型可能就会根据这种 啊，根据这个 prompt 的 这个指令的距离去做一些判断，然后有的模型可能就会啊随机随便选一个，那这其实是从观测，从本身模型输出的角度来说，会更容易观测到这样的行为。所以说啊，从 指令的角度，我觉得如果如果觉得自身的这个模型输出不够稳定，或者说行为有一些异常的时候，我觉得其实是一个比较危险的信号，说明我们在提示词上确实写的不够好，确实有点有有点问题了。对， 好的，那接下来其实想帮大家问一个大家都非常感兴趣的问题，就是那不同的模型适合什么任务呢？ ok， 其实其实这个还是有蛮多的， 就是社区讨论以及访间传闻呢，就我们一般来说，呃，这一些反正是就拿海外的模型来说的话 啊，像，像这个 google 的 金面奶，我们会认为它在，特别是在三之后，它本身的这个多肽能力，包括它的啊前端能力，我们一般来说大家会觉得好像还不错，好像都蛮好的。对，而且画出来网页比较精美 啊，这也其实也是 google 自身的这个，呃，这个卖点之一吧。对，然后像在那个 gbt 模型，呃，特别是从 gbt 五之后 啊，大家也会意识到发现感觉它好像去制定一些计划，去制定一些规划或者 plan 的 能力还不错，然后就是可以去发现一些，呃，一些藏得很深的 bug。 然后举个例子，当时有人的一个推荐用法是，呃，我先 gbt 生成一个 plan， 然后让其他模型照着这个 plan 去写，哎，这样叠加出来之后好像确实效果不错 啊。这是可能 gbt 之前大家一个比较用的不错的用法。当然其实现在我们就是各家的这个缩打模型，还是啊不会，其实不会体现出太多的，这种特定任务上的差距就可能会有，但没有大家想象的那么大。 就比如说像国产的模型，包括比如说我们自己的这个 c code， 然后包括像国产的 gim 或者说 mini max， 其实在大部分这个任务上面还是能胜任的不错的。对， 所以说我觉得其实在这个过程中其实也不需要太去纠结说一定是某个模型胜任某个任务啊。退一万步说，其实刚刚说的那些只是特定的几个任务，相信实际的研发场景里面还是有非常多的。这个啊，非常多的场景，非常多的方向，但也不能说 看没看到自己适合的任务，确实可以多去尝试尝试不同的模型，有可能有的模型陷入死胡同了之后，另一个模型可以做一个解决，也有可能某模型啊，这个版本还不行，下个版本又特别牛，那也是有可能的，所以说还是希望大家可以多多尝试，多多试用一下我们的不同模型的这个能力。 好的，那其实在模型的效果测试环节，咱们其实要搭建测试 case 来测试它适应不同的任务嘛，那你们有没有一套自己的方法论，如何来测试这些模型的效果呢？ ok， 其实，呃，关于 solo， 我 们这一次的 solo 项目，其实在我们包括我们分为了两个模式嘛，就是 code 模式跟 modding 两个模式。 那么对于 co 的 模式，其实我们相信在整个，相信大家就是在去的很对内的，这个积累还是还是有一些的。对，特别是在 co 的 场景境内，也有非常多的这种开源的这种评测级或者评测项目， 然后我们自己也积累了很多评测集或者评测 case， 那 么 call 的 场景，我们在这里其实就是 follow 一 些啊，比较常见的这个就比，就是我们过去一直在采用的这样的评测体系，那么保证说我们整体的这个呃代码能力，代码上的这个表现情况都是符合预期的， 那么在 modern coding 场景则会更复杂一点，因为其实啊，这对我们来说也是一个啊，更多是一个新的场景，新的挑战。那么其实哦， modern coding 我 们会面向的是更广泛的这样的通用办公场景，其实在业内包括开源也会有这样的这样的这个 啊，通用办公场景的 benchmark 存在，我们也会对它做一些参考。那么更多的是我们会在前期去啊，设想一些比较关键的这个场景，然后也会基于实际我们内部测试或者政策的情况去啊，动态调整我们在评测级的这个分布情况， 然后再去完成这样的这个评测。就呃，总结一下，其实就是，呃，在效果调过程中，评测一定是非常重要的一环啊，我们也呃，我们，我们也非常依赖这个评测本身这个事，这个事情本身给效果带来的输出，就比如说评测本身是可以去发现各种各样的这个效果问题和效果测试 case。 我举个例子，像在这个啊，我们 solo modern coding 模式开始这个出奇，我们确实调味版效果还不错啊。然后评测给出的结论也是评测呢，评测到最后拿到的结果也不错，效果很好。但是我发现有个非常不好的现象，就是 里面的任务跑的时间实在太长了，就每一次这个效果，每一次任务完成就是模型完成某个任务之后，他可能会去做大量的这个验，大量 verification， 最后任务体感拉的非常长，那这其实也是我们评测需要去关注的事情 啊。那这个例子其实说明了我们在测试，包括就是 agent 或者模型的效果评测，它其实确实是能带来很大的这个 啊，最终效果抵御到用户手里的这样的一个啊，能力上的增益，去帮助我们去发掘问题，去帮助我们评估目前的这个效果水位，那么这是我们去啊对它进行一个效果验证的一个主要方式。 好的，那其实在测试这种效果验证的环节是一套非常完整的测试逻辑和测试的评分标准，那其实用户在实际项目中他可能会用到不同的模型，不同的模型效果差异可能也比较大，你们怎怎么针对这些不同的模型分别做效果调优的？有一些通用的调优策略吗？ 啊，因为其实关于模型调优这个点，其实相信已经是大家的共识，就是不同模型确实需要做不同的适配，然后不同模型有自己的特性 啊，在使用，从 a 键的使用的角度啊，每个模型可能表现都有它的这个区别。就比如说啊，我们自己的情况的话，像一些内部的模，自己的模型，我们可能会和模型团队有更多的这种直接的这个交流以及经验的分享。然后如果是这个像，呃， 嗯，就是国内的一些其他模型，比如说像，像一些我们可能关系还不错的厂商，我们可能跟厂商确实有比较密切的这种合作关系， 我们会有问题及时反馈给厂商，厂商也会给我们一些从 probleming 到接口超三上的这样的一个建议。那么其实像因为我们在海外版也会有很多海外的这种模型，那， 那有的时候我们还是也会去更多的去关注这个啊，各家的模型官方所提供的这样的这个啊，关键的这个 prompting 的 引导，或者说啊一些建议， 那比如说像 opai， 他 自己在官方的文档里面就会有很多这种 prompt 指令和就是 prompt 怎么写的这种啊建议，我觉得这其实都对我们来说是非常宝贵的经验，也都值得我们去参考吸纳并且应用到自己的产品里面去。 而且其实，嗯就就其实直白的说，其实官方的一些引导往往来说会比一些社区的反馈，社区的总结的经验，往往来说我们现场下来还是非常有帮助的，所以说我们会以非常高调的状态去看这样的这个官方的这个指南。 好，然后这是一部分。然后其实关于效果调优这一块，我们最近也在做更多的实践，特别是因为今年主题也是 solo 去嘎啦 solo， 我们在近期，特别是在啊这一版的整体效果工作差不多了之后，我们也会，我们也再去尝试让趣的 ai 去分析自己的这个 charge， 因为其实前面我们也提到像 skill 加 c i 的 方式已经是 agent 呢去访问真实世界的一个重要渠道了。那么有了这样的这种这种理念和思路，我们其实啊在工程团队的专用的 c i， 然后自己内部也有很多基础架构、基础设施的这种 coi， 那 么基于这样的各种 skill 加 coi， 我 们完成了一个事情，就是集成 我们可以让去的 ide 自己就可以去掌控，去把握去 ide 所需要的各项平台基础设施，然后当然他可以看到自己的代码，毫无疑问， 那么他掌握了这些信息之后，他就可以去自发地对自己的这个 prom 的 charge 去做一个归音，去对问题去做一个排查。 在这基础之上，我们从效果团队本身的这个啊效果调油的经验出发，也总结了一些，也正在持续去积累一些啊，遇到问题怎么去排查，然后效果调油怎么去推进了这样的经验库， 把这些去整合成一个大的 skill， 然后再回去啊由趣 id 去完成自身的这样的一个演化。那我们达到效果就是有的时候我们甚至只要给他一个一个 id， 我 们自测发生了一个不正常的 charge， 然后他就可以去自己分析这些问题，然后去完成一个方案的这个 proposal， 然后以及修改的执行。当然阶阶段我们还需要一些人工的步骤，但是随着更多的这种集成的打通，我相信像这样的一套去的 agent 的 能力，自身迭代的这样的这个 场面，我觉得应该也不远了。对，好好的，非常感谢潮生带来的用 solo 参与模型效果调优的一些实践，确实是非常干货满满啊。

免费的头肯随便用，没有任何限制。最近使用了 oppo cola， 头肯是太费了，随便一用一下就用完了。 自己的这个 ai 开发软件，缺氧是免费，可以用各种模型，我就想这里能不能想点办法。然后借鉴了 oppo cola 的 思路，写了一个飞速机器人， 用手记上这个飞书啊，控制这个电脑上的翠。我现在给飞书机器人发一个消息啊，发一段指令。如何计算润年这个 new 呢？表示开启一个新的绘画啊，这里已经有四个绘画了，现在我们来发送， 你看啊。好，来了，产生了第五个新的绘画，现在他正在执行。 咨询完了以后呢，他会给我手机发送一个回复，是不是像 open core 一 样？差不多了， 接下来准备用 open core 去接入这个机器人，这样子有一些重型的写代码的工作就交给这个确认来做好了。这个确认呢，写本地的文件， 稍等片刻，瑞典已经即将完成， 现在马上要发送回来啊。这个呢，比调用 api 肯定是慢，因为这是个图形界面，但反正在手机上使用，不着急的话，我觉得也可以接受。 哇哦，不错呦，好消息来了，已经完成了日历的计算代码在哪里？怎么计算好？

分享下本地通过奥拉玛不去部署大模型的一个经验，他有什么好处呢？就是非常简单，部署下来之后，你所有的模，那个模型无限用，随便用，因为你按在本地了你，因为你用 api 付费是要钱的，是吧？第一是免费用，第二是如果说你想 通过接大模型去调试啊相关的东西的话，那就很方便了，因为你你你不管是用龙虾还是用啥，你你你都是要付费的啊。那他 安装起来也非常简单，但是基本上有个大坑啊。我分享一个经验，首先第一点，他你从官网搜奥拉玛下载之后， 他默认是安装 c 盘的，是没有选项的啊，这是非常坑的一个点啊。所以注意啊，如果你安了，你先把先把如果你安了把卸载，如果你没安取消掉，你先别先别装，用用命令啊，有一个命令啊，就这个，呃，这个命令，好吧，就是安装在 d 盘，那 怎么做呢？我们首先在 d 盘，我们建一个目录，你建什么都可以啊。建了之后呢？在这个把这个你看就把这个文件夹打开啊， 按就是鼠标全选到那个路径上面，按那个 c、 m、 d 打开终端，对吧？打开终端之后呢，对吧？把这个命令输进去，这个命令后面的第一冒号，这个其实就是那个路径，就是你自己建文件夹路径，那个鼠标左键放在那个文件夹上面，它就有 啊，这样的话他就通过这个命令行去安装，他就啊，你看他就在安装了，他就自己安装在这个地盘了啊。那安装完成之后呢？ 这面有，然后你把这个呃文件打开之后，把这奥拉玛打开之后呢？点开那个设置啊，把这个路径改一下啊， 这里面可以切换模型的位置，你就把它改改到 d 盘啊，改到 d 盘，不然这个 c 盘空间太小了。 ok， 然后 就很简单，就这最重要的一步已经搞定了，就是你要把它安装在 d 盘，就别安装 c 盘，对吧？当然你安装在 e 盘也可以，如果电脑有 e 盘的话， 然后右下角可以选模型，对吧？呃，注意啊，你看这个，我一开始我选了一个三十 b 的， 这个 b 是 什么？ b 就是 e 的 意思啊，就是越大他越强，但是对电脑的内存要求更高，我们的笔记本电脑一般 只能选个位数的 b 的， 对吧？我一开始选了三十 b， 直接下下来之后直接用不了啊，那你看我后面后面就发现了，就是内存不够吗？对吧？ 那我后面我就选。选了什么？选了这个千万三四 b 的 啊，我们说个位数的，这种 b 的 都都可以用，一般没问题，我就选了四 b 的， 我有笔记本电脑，对吧？我是就是这个游戏本啊，你就后面就个位数的四 b 之后呢，你跟他对话，你给他发个消息，你好，然后你好之后呢，他就自动开始下了，你看他在当闹的。 呃，你看他这个四 b 的， 他也就两两两两两点多 g 啊，下好之后呢就好了，对吧？他就好了之后我让他帮我写篇文章，他开始他他他开始回答了，他开始思考了，跟那个其实跟那个千门官网的其实基本上很像的 啊，因为你已经装在本地了，装在本地就无限用啊，对吧？以后如果你要做相关的这种需要大模型的能力的东西的话，你直接， 对吧？你直接把这个地址改成你本地的地址就行了，因为你只要把奥特曼启动起来就好了，他启动起来很简单，你就把这个软件打开，打开就直接可以说话，你打开之后他就运行起来了， 对吧？啊？他他就解决这个问题，可以无限用，不然你任何你需要调这种大冒险的接口的话，你其实都要付费的，你不付费谁给你调，对吧？我们在网页中跟豆包什么对话都无限对话，那那个是免费的，但是你要调他一片都要要钱的，因为什么你付钱付的 能用的也少，对吧？你，你花个几十块买个一个月的，你其实用着用着他就用完了，你用这个本地的直接把它打开就好了，装你本地的，反正也不要钱，随便用 啊，很方便。好吧，如果说你呃现在在前端找工作，或者说前端这个面试啊前就这前端简历，对吧？你觉得你也需要加点 ai 东西，对吧？或者说你也不知道该怎么弄啊，你也不知道现在的前端面试在问什么。那你可以找我，我给你辅导配好，我会教我非常多前端。好吧，这也是我慢慢在研究一些东西吧，好吧。

今天跟大家分享一个 openai api 插件，让你不辜负各大平台的免费 token。 首先可以通过 manager 来安装插件，在节点管理中搜索 openai api， 然后点击安装完成后重启即可。现在一起来看一下具体怎么使用。空白处双击搜索 openai api， 找到 chat completion 节点，通过必选输入端口推导出 api client， 节点 重试次数和超时时间。很好理解，我们要搞清楚的实际只有 base ur l 和 api key 两个参数，简单理解就是我们调用的是哪个大模型服务，以及唯一身份标识是什么。接下来我演示两个案例来进一步说明。首先看一下 oproute 平台，我们可以在这里找到很多免费的大模型， 比如我们熟知的 g m l 四点五和 mini max m 二点五，我这里就用 mini max m 二点五来演示吧。点击进入模型详情页，切换到 api 这里，就可以从视利代码中找到 b c u r l。 当然你也可以通过右上角 box 去文档中心获取 复制 b c u r l， 将其填写到节点中，然后继续解决 api key 的 问题。回到刚才的详情界面，视利代码上方一点点有个醒目的 create api key 按钮， 点击之后就来到了 apikey 管理界面。点击右上角的 create 按钮就可以创建 apikey 了，通常只需要取个名字就行了，到这里要注意提示关闭后就看不到了，所以最好备份好， 将生成的 apikey 复制到 comfyui 节点中。最后还需要指定使用的模型 id， 这个可以从搜索列表直接复制过来， 也可以在模型详情页的头部或视力代码中找到。现在就一切准备就绪了，简单填写一下对话内容，添加一个文本展示节点来查看模型回复的内容，直接运行工作流，七秒钟左右响应还是挺快的，无需消耗 g p u 资源也能唱完文本大模型。 更厉害的是，只要是兼容 open n i 规范的服务都可以使用。比如百联平台最近上架的千问三点六， 给每个账号提供了一百万免费 token， 也可以通过该插件直接使用，方法和前面演示的一模一样。从视力代码找到 b、 c、 u、 r、 l 和模型 id， 然后创建百炼平台的 a、 p、 i、 t， 将这些参数分别填入 comf、 u i 节点即可。但需要注意的是，不同服务可能对参数要求不一样，百炼这里就要求 temperature 参数需要为浮点数，这种情况只需要通过 options 端口将参数补上即可， 再次运行就没有问题了。大家还知道哪些提供免费 token 的 平台？欢迎评论互利、点赞关注，下期更精彩！

挑战，每天讲透一个 ai 知识点，今天是该快搭建代码生成工作流，从零到一，来搭建一下整个一个，这个工作流是怎么来实现的啊？呃，首先我来创建一个工作流啊，创建一个空白应用，然后这里面的话咱们选择工作流，这里叫做 api 文档啊，或者叫接口文档吧，根据接口或者什么叫接口文档生成代码工作流。呃，搭建这么一个工作流。呃，那这个工作流首先要做的第一件事情是什么呢？就是要做一个判断啊，这里要加一些参数进去， 这个参数有几个啊？第一个参数的话叫做这个文本，是吧？就是首先是一个文件嘛，单文件，这里我们选择 file 啊，这个叫做接口文档，我们是二选一嘛，是吧？所以说这个不是必填啊，这个不是必填，我们既可以选择这个接口文档，也可以选择那个 api 地址的，是吧？ 这个叫接口文档，本地本地接口文档二选一，这还可以，我们可以选择那个接口地址，是吧？好在这里再选一个，这个叫 api 幺幺幺 叫做 api 文档地址，这个也是二选一， 但这个地址的话，大家可以把这个长度调大一点啊，因为有些地址长那个超长，所以我们再选二五六，如果超过二五六的话，你就选段落啊，因为它这个最大好像就是二五六了，不能再设置大了，好像我记得是最大二五六啊，这个就是地址。 呃，然后的话还要加一个这个字段啊，叫做额外说明。 add， 做一个补充说明啊， 就你生成代码的时候有什么要求可以做一个额外说明，然后额外说明的话，这里我们选的是一个段落啊，因为可能要加很多东西，这里就按一个最大值，比如说叫说一个三万这个值吧。保存一下，然后还需要这么一个字段，编程语言啊，编程语言， 编程语言， 编程语言，这里是一个下拉列表啊，下拉列表，呃，然后这里面叫 language language， 然后这个编程语言选项我们就两种吧，一种是 python 吧，一般在扣子或者 d 翻里面运行的代码，一般就两种类型，一种叫 python， 一 种叫 javascript， 一 般就这两种语言就可以了，其他的其实暂时都用不上。这个也是选填啊，这个可以是 b 填吧， 保存一下好，这几个参数就有了。有了这几个参数之后的话，接下来的话就是要去这个看一下加一个条件了啊，加一个条件分支条件分支这里的话，我们需要去输入一个这个判断啊。 if， 如果这个 api 一 二幺啊，就是我们不是走那个地址的话， 呃，我们要做一个判断，不为空啊，不为空也就是我们填了接口文档地址的话，接下来就是要走这个分支，要走那个爬虫那个分支，因为他要去爬取这里面的接口内容啊，是吧？这个文档里面的内容，然后去帮你去生成代码呀，所以这个肯定要走不同的分支的。 呃，如果说 else else 的 话，就是另外一种情况的话，这里我们就不用讲了啊。首先写第一种情况的，填这个地址的，填地址这里的话，我们得用一个插件啊，就这个爬虫工具叫 jana 啊，这个是一个目前哦非常好用的一个工具啊，然后用 jana 里面有一个叫获取单页面的这个爬虫的插件啊， 这个插件的话大家需要去装一下啊，叫做 jana 看一下啊，在工具里面工具 这个啊，这个是官方内置啊，这个应该不用安装，大家看有一个真的这个是一个爬虫工具啊，它可以做什么事情呢？ 它可以爬取这个页面的内容啊，这是它其中一个功能，还可以去做一个什么切分，将长文本做一个切分，然后还可以联网去搜索，我们主要就是用了它这个获取单页面的这个工具啊，这个工具这里大家首先要做一个授权啊，授权这里的话你要输一个 api 密钥， api 密钥是大家自己要去这个 java 那 个平台去获取的啊，就是一个开发者的一个密钥，没有这个密钥是调不通的啊，就是他按这个密钥去收费的 啊，这里大家自己去获取一下啊，做一个授权，授权完成之后的话，这个插件才能用啊，这是需要注意的，就跟大家用大模型一样，首先你得去配一个 api key， 它才能去调用成功的啊，就是一个这个前置条件啊，然后获取单页面这里的话就很简单了， 直接把我们的那个 api 地址传进去就完了啊，然后最后他会给你一个这个页面的一个内容，我们拿到这个爬虫的这个内容之后的话，接下来干嘛呢？接下来就要做一个变量聚合了啊，变量聚合器，因为等一下还要聚合那个文档的这个输出啊， 这个变量聚合器这里我们去聚合呃，有一个值叫做文档提取器，单页面里面的那个文本啊，提取出来，也就是爬虫爬出来，这个页面的内容要给到他啊，这是第一个聚合的那个内容，聚合完成之后，接下来要用到大模型的这个能力了啊。大模型这个叫干嘛呢？叫做生成代码啊，很简单就是生成代码。 生成代码基于大模型的能力啊，就很简单就是要去生成代码啊。生成代码怎么生成呢？这里面就要用到一个提示词了，来给大家看一下这个提示词怎么写啊？这个提示词的话。

很多人以为用 ai 模型必须充值，其实现在已经有方法可以通过中转接口调用免费的大模型。这套组合就是 open core 加 light l l m， 再配合 klo 的 j w t 密钥。 通过这一套方案，你不仅可以免费调用模型，还可以自动切换不同模型，哪个能用用哪个，非常适合做自动化，比如生成视频、写脚本或者跑任务。 这里最关键的就是 j w t 密钥，它本质上是一个身份认证凭证，你通过注册 kill 平台就可以拿到这个密钥，用它来调用免费的模型接口。 整个流程其实不复杂，总共四步，先注册账号，拿密钥，然后配置 light l l m， 最后让 open cloud 调用模型，就可以实现自动化使用免费大模型。 这一期你只需要搞懂整体逻辑，知道 j w t 是 干嘛的，以及整个流程是怎么走的。下一期我会带你一步一步注册账号并拿到蜜药。 如果你觉得有用，可以点个赞或者关注一下，下一期我会手把手带你操作，注册和获取蜜药，保证你能真正用起来。

上一期视频反响非常好，有很多朋友在一起讨论和分享，这里也欢迎你的加入。搭建非常简单，需要一个云服务器和域名，搭建指令如下，也可以让 ai 来完成吹，有一个远程连接功能，连接之后直接跟他说帮我部署 gethub 上的 new api 项目， 还有 cloud toad 和 id 也可以。提示词大致如下，在各位好友和一位 up 主的帮助下，了解到偷更中转还需要养号池，这里大概率就需要购买邮箱，需要注册机，在我们的服 务器里面还需要一个反弹。这里也是 tiktok 上开源的项目，步骤如下，非常期待大家的加入。

今天研究了全球大模型的调用量数据啊，结果有点颠覆认知，全球大模型调用量 top 六啊，全是中国的公司，而 openai 连前六都没有进。今天我们就用真实的数据和大家聊一聊大模型行业的底层逻辑。 我们先来看一组数据啊，来自全球最大的 ai 大 模型 api 聚合平台 openroot 统计的是开发者真实的大模型调用量，小米的 miimo 二 pro 最后调用量一点四九万亿， talking 直接登顶了前六名，全都是中国的模型，而 openai 的 gpt 五点四排名第七。 那可能会有朋友疑惑啊， oppo ai 是 行业的鼻祖，为什么反而被后来的中国玩家碾压呢？其实答案非常简单，开发者在选用大模型的时候，比我们想象的更理性，根本不会去盲目追大牌。核心就一个关键词，性价比。 大模型的实战内得分 i 得分在一千四百五十分以上的模型，百分之九十的应用场景，比如像客服、文案、 ai 助手， 在这些场景用户根本感觉不到太大的差异。这个时候，价格就成了核心的关键因素。给大家算个账，同样输出一百万 token， 中国 deepsea 模型只要零点二八美元，而 openai 的 gpt 要十五美元，价格高了五十三倍。 这种碾压级别的性价比，让全球开发者都用脚投票，这也是中国模型大榜的核心原因，就是性能还不错，价格便宜。 另外一个更扎心的真相啊，大模型的训练早就没有了不可逾越的技术壁垒， openai 做的最早啊，积累最久，现在的 a 洛评分只排到了第二，而掉用量却被小米这类后发玩家超越，小米入局非常晚啊，而掉用量就冲到了第一， a 洛评分排名第五。为什么呢？ 因为现在大家用的底层技术都差不多啊， transformer 的 范式几十年没有被颠覆，开源底座呢，也是人人都可附用，专利和数据集也都是相对透明的，所谓的技术优势最多也就三年就被抹平了，根本没有办法被长久的拉开差距。 所以真正的关键点就来了，大模型的竞争早就不是技术战，而是应用场景战。那些只靠卖 api 纯做模型底座的公司，他们的商业啊，天生都非常的脆弱，只要有大厂出一款能力次平价格更低的模型，它的掉用量就会断崖式下跌啊。没有什么用户忠诚度的， 而能稳赢的都是有自有场景的玩家啊，小米有手机啊， it 全屋智能模型能够自产自销，阿里有电商啊，办公场景直接能够切入业务，这些自有的业务场景才是其他公司抢不走的护城河。 最后总结啊，我们需要理性的去看待大模型，它已经从高高在上的黑科技变成了够用就好的大众商品，技术不再是护城河啊，性价比决定了 api 的 调用量， 自由的商业场景才能够决定长期的生死未来，没有独立的大模型公司，只有绑死了场景，做好成本控制的玩家才能走得更远。大家对大模型公司之间的竞争怎么看呢？欢迎留言讨论。

普通个人 gpu 两小时从零手搓一个大圆模型，这不是标题党霸榜 get up 的 硬核神作 mini mind， 不 用任何高度封装的裤，纯靠 pad 原声代码，从分词预训练到 r l h f 强化学习，全流程手撸底层逻辑全部透明，参数只有六十四兆单张三零九零甚至四零六零就能跑，没显卡去云平台两小时完整训完怎么玩？ 想白嫖？下载权重，一键开启 web 对 话？想硬核扔进开源数据跑脚本，马上拥有专属模型。这么小的模型没用，格局小了。在工程落地里，他是无敌的专才。做 agent 工具，调用子节点，跑自动化工作流，做极速文本处理，甚至打包进 web， 三百零在浏览器断网跑毫秒即响应，零 api 费用，别再只当 api 调用侠了，去感受造大模型引擎的快乐。

演示一下咱们开始如何去配置一下那个。可以可以，我觉得是没错了。那行，那刚刚上一节课已经有说到在设置的这里面可以获得到咱们的 key， 在 常规，对对对，这个常规，然后可以创建一个 key， 然后点击这个就复制了。 那我们要去用它的话，我们这边也就是使用这边之前的一个实力，这边是一个这个我就假装是从头来。然后也比如说有时候其实大家如果不用 luma factory 或者说有其他的一些需求的时候， 那，那，那我可能会要进行环境管理的话，那我们就从头开始去做这件事情。那我们就是根据我们那个装 lab 的 一个文档，我们先从环境的创建开始。 ok， 他 支持的一个拍摄版本的话，大概也就是三点八到三点一左右，所以我们现在先创建一个环境，比如说是那个 拍摄的三点十，然后这环境名称叫 so lab。 好， 这里就是展示了我们这个创建环境，就是初识的一个基础的 part 三点十的环境，还有一些基础的包在这里，然后我们输入一个 y， 然后回车 它其实对这些嗯 keep 包的安装，然后包括 github 的 一些可能都是有做一些加速的。对，因为发现了经常下不了的库和包，在这个上比较顺滑。对对，好，然后它这边也有激活一下。是对，是 看一下是 ok 啊，可以我们就 activate。 好， 我们现在可以看到前面的这个括号，这里其实是已经激活好了我们所目标的环境， 激活完了之后的话，我们就去安装一下我们的这一个 slimline， 如果大家没有一些什么特别的一些其他的包的需求的话，可以直接用我们的 l f 环境。我们现在是考虑到可能大家去做数据处理，或者是有一些其他的需求， 那我们可能会安装还要再安装。对，安装可能有一些比较特色的包，又或者说是我们对 transformers 这个包的版本有一些其他的需求，那建议大家还是新建一个环境，因为如果 l f 环境 因为你安装了某一个包，导致它其中跟我们拉玛 factory 项目相关的包的版本发生了改变，因为后置的包可能会改写前面的包嘛。对，所以就是说如果发生了这样的改变，会导致我们的实力后续起不起来。 对，这个确实是就是需要大家去注意的。所以说如果如果数据处理中有很多包的需求，建议新建一个。比如说我们现在新建完了，然后我们就 pick in store， 这里其实大部分情况下应该就不需要额外的去用其他的圆了。对，直接就 pick in store 就 好了，速度还是可以接受的，我觉得相当快了，哈哈哈。 ok， 然后然后我再来 接下来这一条命令，就是在终端。对，其实是这样的，就是说他登录有很多种形式。对，我们现在是刚装完这个环境，然后如果是一个私人的实力， 那我就其实是装完这个环境，然后我老给你进去的话，其实就挺好的。但其实在学校来说的话，他有时候学校的一个云服务器，他也不是像我们这边这种， 我再像咱平台这样子去管理实力的，他可能是多个学生，直接我有各种账户， user 给你账号密码，每个人都一套，对，他都放进去了。那实际最后的话，我们的 api 的 key 是 最好，最好是不要通过。哦。 already login in。 sorry， 我 觉得已经 already login in 了。那我现在可能要去做一个。对，就是 login in， 然后演示一下，如果大家没有 login in 的 话，就是可以去那个，他就不会报这个问题了，我们就去到到这里去复制一下我们的这个 key。 对，这一个的因为是 a p i t， 所以 现在就是复制完是看不见的，只要你确认你复制了，我们现在就回车，然后他就你看这边已经 log in successfully， 然后这是后面是我的账号的昵称，对，就已经成功登录进去了。如果说是咱们在一个共享的一个机器上面， 建议是把这个 api 的 key 是 放到我们的，如果是训练的时候启动是用那个校脚本的话，那我们就放在里面将黄金变量，又或者说是咱们可能不用的是那个，比如说框架里支持的，或者是说自己写了一个训练脚本，自己去。呃，初设化的 swanlab 的 话，那可以在 excel 的 时候再把这个 key 作为参数传进去。 对，这样会比较安全，因为好多人共用一个机器确实会有这个泄露风险。是，对，然后也也不一定说是多，那对吧，也不一定说是多，私密别人不给看，但是最后就变成每个人的实验乱七八糟了。好的，对对，然后不是很方便了。是的是的是的， 所以就现在这个情况下，大家就是可以通过终端去配置好咱们的环境，然后可以去正常的常规的去使用了。现在的话就我也是有提前去准备好一个脚本， 我现在我来看一下，应该是这个，应该是 ok， 然后我现在要去确认一下，这个路径下应该是 没有别的文件，因为它这样子吧，我就把这个太琐了写成二就好了。二二二，这样，因为它有时候我们那么 factory 的 话，就是之前有一个重名，重名的一个路径的话，它已经有内容在里头，它就是会失败我们，对，因为我其实出于安全考虑没有设置 override。 对，如果设置了 overwrite 的 话，有时候有一定风险。对，所以现在我也我现在因为侧边被挡住了，我现在不太方便去查看，我们就直接二二二让它绝对是一个新的路径， 那我们就可以去从中端去跑一个。那个现在终端的话，我们先要需要去 conduct activate 我 们的 lf 环境，因为这个 slab 环境只是我刚刚做演示的，做演示的话它其实是不 没有一些我们去做 lemon fountain 训练的包的。我们现在还回到这个对 l f 的 一个环境，我们激活了它以后还回到我们原先环境去做，刚刚主要是演示如何去装这个 smartlab。 是 的，其实 l f 环境已经帮你安好了。对， 就如果没有一些包冲突的话，我们就用 l f 环境，可以的。对，现在看一下大部分其实用 l f 就 已经足够。是的，现在看一下这我现在已经敲好的这一行命令的话，就是就是 lma factory 的 那个终端 command line 的 这一个命令，这开头，然后就表示我要去做的是一个训练，然后后面跟的一个压默文件的路径的话，就是说就是 我，我们如果想要自己去起一个训练，我们不想用前面的任务模式，我们有一些更高级的需求，更细致的需求，咱们能力也 ok 的 话，就可以去自己 自定义的一些 ymail 的 配置，我们现在这一个，这其实就是我们这个 copy pass 出来的这一个 ymail 文件。我们这样子的一个命令就是 labma factory 命令行，我们可以支持的，我们就先按回车，它就可以去根据我们的配置进行模型的训练。可能稍等一会儿，因为 我也不太确定咱们现在这个模型还热不热着，哈哈，可能会需要花点时间去加载一下，应该还好。这个和前面我们有一些区别，其实是前面我们不是展示了好几种吗？那么第一种是图形化的方式去启动这个训练，然后我们现在展示的是通过命令行，然后自定义去配置这些训练的参数，然后像还有像 smart lab， 我 们去启动这个以后呢，我们来看下用命令行的方式怎么去跑一个模型，利用这个 arma fabry 算法的算力资源，看这样是怎么去进行的。 是的，看来我们的模型已经冷掉了，它现在才加载了。第二个事儿，我们就稍微等一等，在这里边再次给大家广告一下，如果说大家想要学习辣妈 factory online， 学习辣妈 factory 微调的这个课程，在这过程中呢，你手头又没有好的算力卡，也没有办法自己去很好捯饬这个环境，如果说你懒得去弄这些环境，大家还想试一试， 欢迎在我们的右上角扫描我们的二维码，加入我们的这个群组。在这个群组里边我有给大家准备好训练模型使用的这个算力卷，也是 lama factory online 友情提供， 这个算理卷足够你训练一个四 d 的 模型。然后大家进入这个群组里边，如果有任何训练相关的这个问题，有参数设置的问题，或者有在使用 lama factory online 的 这些问题，都可以在群里边去说。那么群里边有资深的工程师在里边去跟大家交流，也有像我这样的这个爱好者可以跟大家去分享一些训练过程中的一些问题。 还有呢就是一些使用这些大模型去做创业的这些同行们，看一看大家都用它们去做什么，你会有一个非常好的交流环境。好，刚刚可能遗漏了一个点，就是说咱们这个如果要自己去用 ymail 文件去配置，然后开启训练的话，在这个 ymail 里面的话， library 其实是提供了一些字段，就是去配置，直接配置。对，首先的话一个点是我们要有一个叫 uswanlab， 这个这个必须要设置为 true， 对， 不然用不了。最开头的是等于说层级最高的一个开关，我们要把 swanlab 这个开关给打开， 然后这边的这个 t 的 话，其实我刚刚已经把闪现的我自己的那个 api t 删掉了。这边就是其实是大家从刚刚从自己的账号这里去复制出来的，你也可以自己再粘回去， 对，就是这个，就是咱们就复制在这里就好了。然后这里的 cloud 的 话，其实它对应的还有一个指示 local， 我 们这样的一个双 lab 的 一个监控的平台，它其实是支持本地部署的。 对，尤其对于一些私密性，就是数据安全，包括一些可能要求比较高的一些场场景的话，我们可以去做一个本地的楼的一个部署，这样子的话可以在内网里面。呵呵，是， 然后的话，这边的话就是我们的一个 project 名称，就是我一开始有展示的我们这个 lama factory 这个 project， 大家也可以自定义一些新的 project。 对， 对，然后这里的话 round name 好 了，可以看到下面已经开始跑起来了，那 round name 就是 待会儿我们要去找的这一个实验的名称。对，大家可以看一下这边下面的打出来的日制 是这样的，就是我们模型一开始去加载完全众，然后它可能去做一些那个数据级的 tokenization 加的一些处理，那之后呢，它会展示出来，我们现在这个 training 一 共有五万一千五百五，一千一百五十五个样本，然后可能一些 epop 的 数量，这些基础的一些值。在这里 在这个之后就开始表示我们已经连接到 solo lab 了。对，这里就是它跟 solo lab 连接成功相关的一些信息， 同时包含这个网址。然后下面的话就是我们日常在那个终端看到的 loft 的 信息，我们刚刚已经在那个模式下看日历的时候看过，其实是一个东西，我们按 ctrl， 然后去 open 这一个链接。对，它会直接跳到我们刚刚设置到的这个 solo live， 也就是我们自己本身这次启动的时候，它这个 solo live 的 一个具体的一个项目，对，它这个就直接在这里的。 然后这又可以看一下这边左侧边栏，这个就是我们刚刚命名的这一个 sun test 这一个实验。没错，然后它的信息就在这里，然后大致的情况是这样，这一个的话我们就停掉了，因为毕竟只是看一下，哦，看一下这么这么个形式，对，对，通过这个形式去做，当然就是刚刚那个是链接的跳转，那比如说我们现在的话到我们就是比如说我在 网页这里不方便从那边跳转链接到我的浏览器，对吧？对，那我们这边通过这个页面我们还可以点到 lma factory 项目， 同样的这一个任务也可以看到这个。对，我可以直接点击这个进入到他自己的页面，又或者是刚刚直接点侧边栏，我们可以横向对比，没错，多个向多个角度都是可以进入的。同时对于任务的中指来说的话，他其实在这里也是可以点击停止的。对，是的，然后你看这里时间已终止， 平台上也会对应的中指，这样的话其实还是蛮方便的，是挺方便的，他其实这里的话他就不会去做一个更新了，对，他其实这个就会到时候就卡在这里，所以就大致是可以有这样子的多个角度可以实现同样的一个效果。 ok， 好， 那我们前面基本上已经看到像通过图形化界面进行微调，我们来简单的过一下，就就不特，然后我们本期微调课程我觉得就差不多给大家讲的比较清楚了， 那我们来最后看看 jupiter 上我们应该怎么去做这个微调相关的这个设置以及微调的过程应该是什么？我们尝试启动一个微调的一个项目，我们来看看大概是什么样。 从 jupiter 去启动的话，其实说实话跟咱们去从那个终端那样子启动是一样的。对，没有那么大的区别。对，或者说是你是想说要表达我们是从那个 notebook 里面去启动吗？还是说是 not notebook 里边给大家看一下这个 大概的样子。哦，对，我记得之前之前也没有准备这样子的一个 notebook， 是 因为是这样的，我们可能有一些最佳实践是有一些，对，里边去里边有的，但其实像这个 roleplay 是 我刚刚临时，就是昨天是临时准备的一个项目。 对， ok， 它没有一个预制好的 notebook。 如果是大家感兴趣的话，其实可以上我们的最佳实践来看看，是有的。对，他可能会提前为大家准备好，有一些可能准备是一些任务模式的配置，同时呢可能还有一些的话，就是咱们去呃，从 notebook 里面有一个 他直接，比如说因为 note 库的一个特点就是可以有 markdown 吗？我们可以有些文字的介绍，然后同时再去配上一些 可能是一些 python 的 代码块，又或者说是其实也是内置了一个 terminal 的 一个指令。对，其实其实是类似的，不管我们通过哪种方式，其实最终打成的效果都是把这个模型通过各种各样的方式跑起来，最终得到这样的一个结果。对对对啊，我觉得咱们整个这个微调课程我觉得基本上可以告一段落，然后 整体的这个具体的细节，如果大家还是有疑问的话，欢迎在屏幕的右上角扫描我们的这个社群的二维码，进入社群来和我们的工程师面对面的去交流。同时呢也特别感谢拉玛 factory online 对 于咱们这次微调课程的一个支持和赞助，我们提供了算力卷给大家去免费的进行学习。 如果说大家还对这个微调的过程有各种各样的想法，有疑问又不方便去问的，欢迎去拉玛 factory online 的 最佳实践里边给大家 看一下之前有一些训练的比较好的一些特色的任务，大家找一下哪些适合自己类似的可以去进行学习。那好，那我们今天课程我觉得很充实，也非常好， 非常感谢于同学。那我们给屏幕前的观众说再见，也祝福他们能够非常好的去训练出自己的模型，也祝福他们能够用这些模型应用在自己的工作生活或者自己的业务上。好，那我们再见，拜拜！再见。拜拜。