华为手机鸿蒙七的操作系统相信很多朋友都已经用到了,甚至有些朋友还在在考虑升级不升级成鸿蒙七的操作系统,那今天我就教大家一个特别好用的功能,那就是鸿蒙七里面的端侧大模型,就是咱们手机本地部署的大模型, 就以我这台 mate 九零二 s 为例啊,那我给大家操作一下,跟着我的视频一起走起。好,我们第一步先点到设置,那点到设置以后呢?然后我们点到小 e, 点到小 e 里面以后,他有一个本地大模型,大家看到了吗?那就在这个本地大模型里,他有多模态基础的大模型,我们点开启或者下载,然后底下是多模态增强大模型,最底下是多模态混合专家大模型。那最底下的多模态混合专家大模型呢? 您必须得是 mate 九零或者叉 t 二,还有最新的华为 pure xview 都是有的,那看看它实际使用的效果吧。点一杯咖啡给我。 好,此时他就在处理,自动利用手机上的 app, 然后去直接点菜单,然后他直接出来以后,您就直接去点下单就可以了,尝试一下,让小易给咱们再去挑选一台空调, 帮我打开精,帮我挑选一款两千到三千块钱的空调,然后口碑一定要好的, 大家看了吗?此时他就要自己去操作咱们手机里的 app 了,正在打开,大家看见了吗?他已经打,他在自己搜索空调,看到了吗?他在自己搜索空调, 此时他正在看评论,然后正在自己去看核心的参数,他正在思考,这就是利用到我们本地的大模型,他正在去对比参数,是不是感觉很神奇? 帮你挑好了?好,他已经挑好了五匹新一级能效变频空调,您对于这个自己挑选空调这功能怎么样呢?好,那我们现在去看一下。那小易利用本地大模型去处理办公软件怎么样呢?小,小易, 我在帮我把今天的重要新闻整理一下,然后打开 word 文档的 app, 然后帮我创建一个 word 文档,把新闻摘掉进去。 好,它就已经给咱们把今天的重要的新闻就已经整理好,并且放在 word 文档里,就是您用它去办公等等,都是非常的方便。刚才给您展示的就是部署在本地的 手机的大模型,那您使用起来就更加的方便,更加的快捷,也更加的安全。那我觉得啊,现在的 ai 手机,我觉得华为是真正把它做到全面化,不管您是去点外卖, 还是您让他去给您挑选商品,还是您让他给您去办公,甚至您让他给您去剪辑照片、视频,甚至让他梳理一下文件,他利用本地的 ai 大 模型都是能轻松搞定的。那您对于这项功能感觉怎么样呢?咱们评论区见吧,再见。
粉丝6843获赞17.0万

lex 进入国内大模型,其实步骤也不复杂,首先第一步在浏览器中搜索 cc switch, 搜索到 cc switch 之后,我们打开网页,点击免费下载,这是在检测你的电脑版本,它会匹配到你的电脑, 给你对应的安装包,直接点击下载,下载完成之后安装,下载好了之后点击,打开 之后就是这样的界面,然后选中 codex, 点击路由,点击添加供应商,然后我们选 deepsafe, 这里需要去 deepsafe 官网上面去获取它的 apikey, 这里点击获取 apikey, 跳转到 deepsafe 的 官网,这里首先先看有没有余额,没有余额的需要去充值, 充值一个最小的金额就可以了,或者自定义也行。然后获取 api k, 这里需要去创建一个 api k, 这里随便输入一个名字,然后创建,点击复制,复制这个 api k, 拿到 api k 之后,我们去这里面去复制 api k, 这里把 t 复制进来之后,点击保存,然后选中这个路由,然后点击联通检测,只要显示联通正常之后, 然后我们再去打开下的 gpt, 这里进来之后他有一个配置过程,然后等待个一分钟左右,这里就可以看到 有对应的 deepsea 模型,然后我们可以发送你好,这里就显示已经可以连上了,这样我们 codex 配置 deepsea 就 成功了。

你家小艾是不是也这样问?什么都回答不上来?这个我暂时还回答不上,哎,我要再学习学习。 当我给小艾进入耶大模型后,请问黄金的最新价格?说到正在思考。 节至今日,国际金价约在每克五百六十元至五百七十元人民币之间,具体价格因品牌、成色和购买渠道略有差异。上海黄金交易所 au 九十九点九九标准金报价约为五百六十八元每克, 银行零售金条如中国银行、工商银行等,价格通常在五百七十五元每克左右。我是如何做到的呢?很简单,用的 github 上的开源项目 samsung fold, 它的功能超强大,下载完该软件后,将小爱音箱账号绑定上,再选择好所需的 ai 模型库,小爱就具有了 ai 问答能力。 如果你不会弄,可以全权交给 work buddy, 它会帮你把所有事情都搞定。快去试试吧,全都免费哦!

ok, 哈喽,大家好,我紫嫣啊,本期给大家讲一下咱们的一个 mini max h 三的模型的本地部署啊全教程,兄弟们啊,学会了你也可以一样的啊,跟我一样在本地无限的畅玩 ai 视频。好吧,咱们废废话不多说啊,直接教学开始啊。首先第一步,咱们去官网啊,你的浏览器里面搜索咱们的一个 conui 的 官网, 搜索完了之后呢,点点击咱们的一个下载桌面版啊,下载好了之后安装啊,安装之后你自己去,嗯,我的建议不要大家安到 c 盘,好吧,去安到 d 盘啊,或者一个空白的文件夹啊,那个空白的一个硬盘里面啊,然后新建一个文件夹,咱们的一个康复 u i 的 文件夹,对吧?然后把它下载到这个目录里面来,下载完了之后呢, 打开咱们的一个 comu i, 我 先给大家关了,打开咱们那个 comu i, 然后去登录咱们的一个信息啊,对吧?呃,谷歌浏览器去登录啊,谷歌账号去登录,登录之后呢,点击咱们的一个新创实力,名字随便起,比如说我这里紫嫣紫嫣, 然后下面选稳定版,然后选推荐,然后你是 n 卡就选 n 卡, a 卡就选 a 卡,因为那个英特尔的卡就选英特尔的卡,好吧, cpu 就 选 cpu, cpu 估计很难玩。然后呢,目录的话就是你们刚才安装的目录啊,这个不用管,然后点继续 点安装啊,就 ok 了,好吧,我这里安装过了,就不安装了啊。安装好了之后呢,打开咱们的一个刚才安装的一个 cd, 然后准备好咱们的一个 a 镜头啊, a 镜头豆包工作也好,也能搞这个 a 镜头也好啊,这个 a 镜头是最好的。兄弟们啊,能搞到这个 a 镜头也是最好的,不会搞的话进一下粉丝群好不好?进一下粉丝群我这里肯定就不给大家细说这个东西了,那打开咱们的 a 镜头啊, a 镜头之后呢? 比如说这是咱们的一个康复院的工作界面啊,你刚进来肯定是不会有这些工作流的,什么都没有,就一个空白,有一个纹身视频啊,纹身图,纹身图。然后呢?啊,这是咱的一个长视频工作流啊,这是我的一个长视频工作流,最高可以支持几分钟的视频啊, 这个就那几个小时了,就别听他们瞎扯了好吧啊,一般的配置是跑不了的,我这个基本上就是你八 g 的 显存都能跑的啊,一个工作流他是什么意思啊?给大家讲一下啊。这个比如说我要生成一个三分钟的视频,对吧?三分钟的视频, 然后他会帮我分割为几十,就是比如说十秒的啊,分割为十秒的一段,生成六段,然后生成一分钟的这样子,给我一个,然后我只需要写一段 提示词这些啊,然后他会按照比如说你是上传了首张图片,这个是什么意思?这个就是你参考的这个视频的风格啊,这个参考视频风格就是这样子的一个风格,我直接上这个风格,是我那段时间做了一个视频, 然后这个的话就是我们的手帧图,对吧?手帧图和尾帧图的意思啊,上传了之后,他会根据你第一个生成的,比如说十秒的视频的尾帧来生成第二段,就这个意思,然后循环循环,然后合成一段发给我,就是一个长视频。需要这个工作流的朋友们啊,也可以去咱们的一个粉丝群,我粉丝群里面一定也会发的啊, 然后你把我的工作流拖进来之后啊,比如说举个例子,先把 a 键的放一边啊,比如说这是我的工作流,你把直接拖进来拖进来之后,他会跟你说啊,你旁边确实什么模型,确实这样那样的,你不要管,不要管,兄弟们啊, 把这个打开截张图啊,截完图之后发给咱们的一个 a 键,然后把咱们的一个,一定要把咱们的一个 com 的 文件夹给到他,好吧, 哎,等一下啊,一定要把文件夹也拖给他,然后给他写出输入提示词。什么提示词? 来帮我下载图片中缺失的模型,缺失的模型和节点 点到 c u i 的 文件目录下 啊,文件对应目录下,因为模型啊,这些文本描述器都是不同的目录啊,你给他发这句话,我现在图片中缺失的模型和节点到港服 u i 的 文件对应目录下, 然后发送给他,他就会帮你解决这个问题啊,解决好了之后,咱们这里点一下 r 刷新,这些东西就没有了。我这里缺失的不是模型啊,这里缺失的是图片,我还没上传图片,对吧?啊?你看那个 就没有了,对不对啊?然后呢?嗯,还有一个,哦,对,还有个重点没给大家说,你下载这些东西,下载这些模型什么的,一定非常慢啊,几十个 g, 然后你不搞镜像,那肯定下载很慢的,兄弟们懂了吧?然后先去给豆包说一件事,什么事?来,兄弟啊, 我先打开给大家看, 有个东西叫什么呢?叫这个 a r a a r i a 二 c 这个 a r i a 二 c 啊,帮我下载 一个多线城下载器。什么叫多线城下载器?兄弟们啊,就是说你一条网络去跑下载的很慢,对吧?这这时候咱们就需要一个多线城下载器,我知道你们肯定也在网上看到过那种啊, 要用我的多线城下载器下载,然后你要付米,一个月九十九米啊,只验这里只讲干货。兄弟们啊,就这个东西啊, a r i a 二 c。 帮我下载一个多线下载器,这个啊,然后, 然后以后我下载模型,你就使用 这个多县城下载器,然后你就会发现这个速度直接飙升十倍。兄弟们,可能他跟你说,哎,要六个小时才下载完的模型,三个小时下载完的模型,突然一下子啊变成了二十分钟十几分,就这么简单啊,这个东西就是一个开源的东西 啊,你们不懂,所以说,呃,我现在也给大家讲一下啊,我只是给大家讲了之后呢,大家少走弯路好吧,少走弯路 啊,这个东西呃市面上这些人啊,他就会拿出来卖啊,卖也是卖的一样的,只是说他后置的他制作的一些软件啊, 他制作一些软件的模型还是用的这个东西,懂吧懂了吧?只是做了一个 u i 界面啊,然后你付费去使用,就这么简单,就这个东西,好吧,然后发给他之后,就刚刚我说的把那个文件夹以及截图发给他下载模型,下载好之后点二 刷新就能跑了,懂了吧?然后给大家介绍一下三个模型啊啊,这三个模型自己也可以去粉丝群里面领好吧?啊,有什么需求的兄弟们啊,最好是进一下粉粉丝群啊, 这里面我们都会沟通分享一些东西的。一个叫做大十万 mini max 七三啊,一个是咱们的 fl 开头的这个二 v a, 这个是参考成视频的官方的 mini max 七三的模型, 一个是 mini max h 三的 r e f, 这个啊,这个是咱们一个参考生视频的一个模型啊,给大家讲一下啊,这个这个你如果你是要参考生视频,你必须用这个模型,官方的啊,必须用这个模型,比如说你要参考一段视频上一个照片去生一个视频,你必须用这个模型,如果你是首尾帧的,必须要用这个模型, 纹身视频一样的,懂吧?啊?然后呢,这个大丝袜的这个模型什么意思呢啊?就是说你不需要哎,单独去选什么?到底我该择位针还是参考针,你直接用大丝袜纹身视频,独身视频,参考针视频,只需要一个模型,直接全部搞定好不好?就这个模型对不对?这模型怎么去下啊? 很简单一个道理,比如说我要下载这个大四万的微信啊,你,你给你的那个,给你的 a 键的发过去刚,比如说我们刚才已经给他说了啊,那下载一个多验证下载器对吧?直接给他说用, 用我本地的多县城下载器帮我下载这个下载啊,这个我们就换成那个模型的名称,模型到 comfyi 的对应目录下,一定要给他说在对应目录下不能,到时候你提起什么的我跟你讲这些目录。呃怎么说呢也很简单但是你方便的话你直接给他说啊到对应目录下来发送给他他就会开始下载下载完了之后他会告诉你啊 这个东西啊这个豆瓣的话有个毛病啊我要给他讲一下你让他下载一个东西他下载好了他不告诉你是吧?所以你过一会你要问一句你说下载好了吗你要问他知道吧啊他突然就给你说啊下载好了对不对啊。就这个意思然后 咱们下载好了之后按 ctrl 加 r 对 吧。刷新一下咱们的一个 com 的 界面然后去选择咱们那个大师王的模型 啊你不管什么的啊需要这个工作流的兄弟们直接找我拿就行了。这是一个长视频工作流你生成几分钟视频都没问题知道吧。什么意思啊不说一下让你生成几分钟啊。这个低配置的电脑也可以玩他们那种什么无限时长的。这个你不要给我开玩笑好不好你没点配置你玩的了对吧再说了也没有无限时长啊没有这种说法 这个对吧。现在就是要我要做三分钟视频啊我只需要上传一段提示词然后他会把分为啊几十秒的视频最后把这几十秒视频给我整合到一起比如说分为十秒的视频 啊一分钟的视频就是六个十秒来整合到一起发给我就这个意思对吧。那这模型之后这下面有一些文本编码器啊这样那样的你都直接截图发给 a 就 能让他去给你做 啊搞好了之后你就可以直接运行这个模型了啊懂了吧,官方的怎么去下?一样的道理啊,一样道理,你去搞一个模板,比如说纹身视频的模板,这个餐饮视频他会缺,给你说缺失什么模型,你去下什么模型就行了啊,比如我随便点一个,点一个我没下载的啊,比如说这个万象的, 还有哥说,哦呦,缺失这么多模型,还缺少这个对不对?来,丢给他,截图打开 a 键的丢给他。帮我帮我下载缺失的模型到本地 cdove 对 应文件夹目录里。好, ok, 发送给他啊,下载好了之后他会给你说,说了之后呢啊,一样的,点一下刷新他就没有了,这样保存里面就可以正常玩了 啊,这个意思大家都懂吧。好吧,这样之后基本上你就能正常玩了。然后我给他说一声,说一下我用的图层视频啊,我用的图层视频,我用的本地玩的话,我是用的这个 啊,我一般用的 m g。 m g。 m g 是 什么?你们自己可以搜一下啊。我一般用的 m g, 但是本地玩的话我是用的这个啊,千万的 emoji 二点一啊,兄弟们啊,这个是怎么说呢?我大家都能看到我上面有个什么粤语版啊这些啊,开源的。这样啊,粤语版什么意思?就是说没有限制 对吧?你想什么,什么内容都没有限制,限制,只要你能抢到。啊,懂了,都懂。好吧,兄弟们,懂了,都懂啊 啊,懂的都懂。然后这个的话就是找到一个模型,这些东西我都会发到咱们的一个粉丝群里面,有需要自己去粉丝群里面拿。好吧,我这里就不细说了,兄弟们啊,我们都懂,就是什么你图蹭图片啊,蹭视频都是可以的啊,你只要你想的到,都是能玩的。本地就是玩这些,不然我就玩什么本地对不对,没有限制啊。 那差不多这就是我全部的一些啊,模型以及卡原的免费吗? 自己玩懂了提示自己会写了再去玩一些付费,付费的比较好用的。 cd 十二点五确实好用啊。 cd 十二点五确实比那些插视频模型要好用,对吧,但是他收费收费你肯定要先玩的明白,减少大家一个抽卡次数和成本好吧,本期内容差不多就这些啊,就是一些开源的一个 图片的模型,还有视频模型怎么去部署啊。这些直接交给 a 镜头很简单一个道理,有什么不懂的不懂的,不会的就交给你的 a 镜头啊。但是 a 镜头也要分好坏,有些复杂的人物就被交给他了啊,这个东西说实话有有点气人。复杂东西别交给他,简单东西让他去做就行了,下载个什么东西他还是可以的 好吧,然后你能搞这个就能就搞这个,不会搞粉丝群里面也有啊,怎么跟人家怎么搞这个啊,大家都不要去什么那样那样的是吧。 本期视频差不多就分享到这里,记得点赞收藏加关注,兄弟们啊,然后下期有任何问题可以评论区留言。好吧,下期再出一些教程啊,比如说什么一些付费的节点到底该怎么打 api 啊这些啊,我觉得这东西很简单,我说实话,教程我出了,真的比较少,因为我觉得,嗯, 这东西你自己去搜一下都有的不什么重点,重点是啊,给大家避一些坑啊,少走一些弯路,好吧?啊,本期到这里啊,咱们下期再见,拜拜。

兄弟们,有很多人想知道多模态混合专家,大模型是怎么用的啊?有什么用?我们以华为 mate 九零 pro max 为例啊,这个是只支持在麒麟芯片九零五零 pro 以上的机型,五幺二 gb 版本是有的,不是像网上大家说一 gb 才会有, e t b 才会有的。然后我们现在找图图库啊,现在是断网断流量的,我们点击这个编辑, 然后它这个有个小叶大模型,然后就可以发信息啊,或者说话直接在线修改图片,你看我们稍微等一下,可以个性色卡啊,素描,素描风啊,都可以用,你看 动漫风,他有在线的那个修改图片,你看正在学习这样画面,咱们稍等一下, 我现在是没有开开网的,没有 wifi 没有流量的,都是关掉看一下多久,你看这已经用效果了。

相信大家都听说过一句话,没有五零九零就玩不了本地 ai, 但真的是这样吗?我拿一台三零六零笔记本, 折腾出了一套新玩法,不用高配置电脑,不用在本地下载几十 gb 的 大模型,不用自己租显卡,还能极限压榨成本,图像视频都能做。今天就把这套方案和我自己写的插件分享出来。 其实我自己的三零六零笔记本,六 gb 的 显存,跑 g image tabo, 一 张图大概需要一分钟,比较慢,但也能玩,但做视频就比较费劲了,能不能玩,能 好不好用,说实话挺折磨的,但是现在都快二零二七年了,难道设备不够好,就只能买五零九零或者高配电脑吗?其实还有其他办法,目前比较常见的方案,一个是用 running hip、 hip ai 这样的云端平台,另一个就是注算力,比如先公云,这些方法 确实能解决硬件问题,但是也各有各的问题。云端平台有自己的内容规范和审核机制,不能完全发挥开源模型的优势, 自己租算力,又得考虑模型上传、工作流搭建,还有每个小时最低一元的使用成本。那有没有一种方法,能不需要那么高的配置极限压缩成本,还能发挥开元模型的优势?有,这是我的方案, 直接利用云端现成的模型和工作流,把最吃显卡的部分放在云端本地,只做解码处理。而且我还专门为这个方法写了一套 comfor 插件。整个方案的核心其实就两个词, latent 前空间。可能很多人听过这个词,但不太清楚它具体是什么,简单理解,它不是我们平时看到的普通图片, 而是 ai 模型能理解的图像。比如我们平时在康菲 ui 里做纹身图,最基础的流程就是从一个空内存的开始,经过 k 三 pro 彩样,最后通过 ve 解码,得到我们真正能看到的像素图像。 而我这套方案就是把这个过程拆开,最次算力的裁量工作交给 running hap 云端完成。云端不需要把最终图片解码出来,而是直接输出 latent, 然后通过 api 把这份 latent 传回本地,再利用本地的 v a e 解码成正常图片。这样一来,我们不需要在本地下载几十 g b 的 底膜,也不需要把整个生成过程都放在本地显卡上跑。而且 running hap 本身支持个人工作流的 api 调用, 所以这套方案在技术上是完全可以实现的。但这里有个问题,玩过 runninghub 的 朋友应该知道,云端工作流本身也可以输出 latent, 但通常需要自己下载,再放进 comfyui 的 input 文件夹刷新加载,然后接 ve 解码。 虽然能用,但每次都要手动操作,实在是有点麻烦,所以我干脆自己做了一套节点,把这些步骤自动化了。先来看 comfy ui 插件,目前主要有两个版本,一个是极简版,一个是专业版。极简版非常简单, 只需要填入你的 api key 和工作流 id 就 可以了。 api key 需要自己去 running hub 申请工作流 id 就是 打开云端工作流之后,网址里的这串数字。云端工作流有一个地方需要注意,把原本最后保存图片的节点换成 comfyui 自带的 save latent, 让工作流最终输出 latent, 如果你使用专业版,还可以直接在本地修改正面提示词、负面提示词和种子云端提示词。节点预先设置好对应的站位符,插件就可以自动替换,不用每次都手动去云端修改。 下面这个参数映设就是给需要进一步调整工作流的人准备的,因为每一条工作流的节点 id 和参数字段都不一样,比如 k 三伏了的步数 c、 f、 g 或者其他节点的尺寸参数,都需要对应到实际的节点。这里不需要全部设置,只需要填写你想在本地控制的参数就行了。 格式也不复杂,就是节点 id 参数名称和对应的参数值。如果不知道节点 id, 也不用一个个找插件里面还有一个工作流参数探查节点,可以直接读取云端工作流里能够修改的参数,并生成可以参考的印刷模板,印刷验证建议打开 写错了也能及时检查出来。剩下的参数基本不用动,选好对应的 v、 a、 e, 把 laten 接到解码节点,点击运行就可以了。 现在整个流程就自动完成了。提交任务,等待云端采样。下载 latent 解析,然后在本地解码。原来需要自己下载文件,刷新目录,手动加载的那些步骤现在都不用管了。 而且这里还有一个缓存功能,相同参数再次生成。如果命中本地缓存,就可以直接附用之前的 latent, 不需要重新调用云端,也就不需要再次消耗云端算力额度。缓存的 latent 也不用担心,我设置了五百 mb 自动清理。如果你不想在本地画布里设置这些东西,插件里还提供了一个极简版的桌面出图器,第一次使用先运行安装脚本, 之后直接双击启动程序就可以了,不需要再打开 com ui 的 操作界面。这里可以设置 api key、 输出目录、工作流 id、 提示词、参数、映设种子,还有对应的 ve。 你使用过的工作流 id 也会留下记录,后面不用再反复复制。图片模式和视频模式也都做好了,基本上就是填好参数点击生成。不过要说明一下,它不是一个完全独立的 ai 推理引擎,而是附用了 comforion 的 python 环境和解码代码, 所以不需要打开 comui 界面。但本机依然需要有对应的 comui 环境和 ve。 这样做的好处是不用重复占用一大堆模型空间,也不需要再维护一套完整的推理环境。第一次启动可能需要加载 ve, 所以 会稍微慢一点, 加载完成以后本地解码就很快了。当然,整张图实际需要多久,还要看云端采样速度和有没有排队。拿我自己的 any 码工作流来说,云端完成采样以后,本地解码基本就是几秒钟的事情。 视频也支持普通的视频, latent 同样可以从云端拿回来,只不过视频和图片不一样,它需要使用对应的视频 v a e, 最后还要进行分块解码,再把输出的帧合成。视频 显存比较小的话,可以使用 v a e d code tile 的 适当降低空间和时间。分块参数具体设置可以参考仓库里的视频视力。至于 minimax、 h 三这种同时包含视频和音频的模型,它的 latent 不是 普通的单一张量, 而是视频和音频的复合数据,所以不能直接照搬普通视频的 save latent 流程,但也仅仅只需要在云端将 save latent 更换成 minimax h 三 save ev latent 这个节点就可以了。至于图声视频的功能,目前还在开发,暂时没有完整集成。再来看实际效果, 我用官方工作流做了一个五秒左右的动漫人偶动画,按照我目前的配置,整个过程大概八分钟。当然这只是我自己的测试结果, 不同模型、工作流和云端排队情况都会影响最终时间。不过有一点是可以确定的,对于显存不高的机器来说,把彩样交给云端,本地只承担 v a e 解码,确实能降低不少硬件门槛。当然这套方案也不是完全没有缺点,首先它不是免费方案, 云端运行工作流依然会消耗额度,具体费用取决于使用的机型和工作流,高峰期也可能遇到排队。其次,本地还是需要匹配的 ve, 如果 ve 型号不对应,轻则画面异常,重则直接解码失败。显存太小的情况下, 视频解码也需要调整分块参数。还有一点需要强调,这套方案改变的是解码的位置并不代表绕过平台规则。所以某种图像在云端是不能经过图像处理节点的, 比如图像缩放那样的话肯定会触发 pawn。 如果不带 pawn, 其实也可以直接使用 running hub, 也就不用折腾这套插件了。当然,云端调用还是有成本的,只不过成本很低, running hub 的 积分自己弄一点就可以用很久,而且获取 r h b 其实也不止它官网这一个渠道, 至于还有哪能获取,你们自己想吧。这套方案也还有一些其他的优点。首先,第一,不需要自己在本地下载底模 lower, 也不用折腾一大堆模型环境。 runninghub 本身就有比较丰富的模型和工作流资源,可以直接使用现成的工作流环境也不会冲突,只需要把最后的保存图像更换成 saveahead 即可。第二,出图后,我可以继续使用 comfyui 本地的节点对图像进行二次处理, 比如做个放大什么的。目前这套插件已经上传到 github 了,代码安装方法和市力工作流都放在里面了,感兴趣的朋友可以自己下载试试,地址在这里。

现在小易本地大模型又有重大升级了,你们的手机是不是还只有基础大模型? 哎?目前更大更强的多模态混合专家大模型已经在陆续推送了。打开你们手机,小易本地大模型已经有一个多模态混合专家大模型的十五 gb 左右。 多模态混合专家大模型它的离线处理能力和快 app 执行能力更强。我们简单来做个对比。首先没有下载啊,我把网络关掉, 帮我找出海的图片。现在混合专家大模型我已经下载好了啊,同样是离线状态,把相关有海的照片筛选出来, 不需要联网就可以了。其实不止这个了,离线状态下,它可以帮你一键美颜,生成卡通图片等等。

余承东的牛皮终于吹爆了!华为云十月一号宣布 open 盘股二点零, flash 和 pro 两个版本的模型服务啊,十一月六号停售,十一月三十号启动下线,正式下线后,已接入的用户也无法继续的抖友。 华为官方给出的歉意建议是, flash 版用户转到 deeptech 新款模型, pro 版用户转到智普 g l m。 五点三,我滴乖乖,这个消息一出,那还得了啊,小可爱们立刻原地高潮, 哎,于成东不是吹牛逼说要干到世界第一吗?字典里没有第二,怎么才发布几个月就嘎了?哈哈哈,对,怎么就嘎了呢?这也不是华为和于成东的办事风格呀, 难道这个世界真的就是一个巨大的草台班子?当然不是因为小可爱们只看标题后面的内容啊,一个字都不愿意看, 你怎么对得起你的小学语文老师啊,还有很多的博主啊,那个节奏带的啊,洋洋洒洒的写了几千字的文章,貌似一本正经的分析,实则一窍不通。 为什么要下线?原因非常的简单,写的很清楚,就是后面要出新版本啦!小一沃克已经率先上线了 open 盘股二点一 pro 模型主打红门任务增强。华为官方目前暂未公布新模型的具体能力,参数量、激活量、上下文、训练数据等都没有公布 说明。二点一 pro 是 非常新且尚未对外公开发布的模型型号,目前仅在小 e word 中提前测试, 而且开源权重训练代码哎,不受任何影响。 oppo 盘股二点零,模型权重预训练 s f t r l 代码已经在深腾社区,开源,开发者依然可以自己下载在本地自己的深腾集训步数跑。所以啊,二点零的下架退市 是阶段性版本更替,不是盘股,整个项目彻底的关停,只是先让用户迁移到平台上的其他模型过度。

逼自己一周练完 deepsea harnesses, 你 的办公效率直接起飞!挑战一个视频,让你完全精通 deepsea harness, 警告,本视频耗时三个月制作,制作时长三百分钟,陪你系统学习 deepsea harnesses, 这应该是目前抖音最良心的系统流程教程了,哪怕你是零基础,也能轻松学会。哈喽,各位同学们大家好, 上节课呢,我们讲了 deep stack harness 是 什么,核心价值在哪里?那这节课呢,我们就开始来安装 deep stack harness。 deep stack harness 安装在 windows、 mac 和 linux 上面都是可以的,但是它是要先装一个依赖。其实 不管是 deep stack harness 还是 codex 还是克劳德啊,都要装这个依赖,这个依赖就是 node js, 你给认为它是个脚手架,像建房子一样的一个脚手架,那脚手架就是这个 load gs。 咱们先来装一下这个 load gs, 当然,我这里其实电脑上是装过 load gs, 因为我之前录了 codex 以及克劳德的系列的课程啊,但是很多同学可能没有装过,我这里就演示一下怎么来安装 load gs。 打开 load gs 的 网站, 你直接到百度上面搜 word g s, 哎,如果你确实比较难搜索到的话呢?拿到这个资料之后,这里有一个绿色的文字, word g s o r g 你 就点这个链接,它就会弹进来。好,在首页这里点击获取 word g s, 跳转到这个地方来,它有一些设置项, 这个地方是适用的系统,这个不需要你去设置。你如果是 mac 电脑打开的,他就选择 mac。 windows 电脑打开的是 windows, 我 这里是 windows 电脑打开,所以选择 windows 这些也不需要去改 版本,这里要特别说明一下,一个是最好选择二十版本以上的,就这个版本以上的,然后最好选择这个蓝色的 lts 的 这种。我们这里呢可以选择二十四 lts 底下这里它也会自动地选择你所使用的系统这 windows, 然后叉六四八六的这种呢,现在其实也比较少了,很少见到谁用八六三十二位的电脑了啊, 也不需要你去选,自己就给你设置好了。它有两个文件,一个 zipp, zipp 需要解压,还有一个是 msi, 这个 msi 文件下下来直接双击就可以使用啊,咱们点这个 msi, 把它下下来,等一下速度还比较快的那个二十秒, ok, 下下来了, 那我在这个地方把它打开,会弹出这么个窗口来。接下来我们选择 linux 的 继续继续继续就可以了。 你可以选择装在 d 盘或者 c 盘,如果 c 盘空间比较少,就装 d 盘就可以了。一直往下面点 next, 我 就不点,因为我这个 note 七 s 不 仅装了这个 huns, 还装了其他的一些东西。版本如果发生变化,可能会导致一些东西需要调整,我就不去装了。大家一直点 next 就 可以了, 没有任何的技术含量,就是点下一步,直到完成啊,我这里就点关闭。装上之后,我怎么知道我有没有装成功,能不能用这个东西呢?因为他又不像其他软件,我装上了桌面上会有个图标,他这也没图标。所以呢,我们得把这个终端打开, 那就这个东西,它叫 poser, 你 在这里面搜 poser, 点这个命令。行,这个工具啊,打开就可以了,如果是 mac 电脑的话呢,那就是 mac 电脑的终端打开这个命令行窗口啊,我们给它输入点东西验证一下。 在这个地方有一张代码啊,就是 node 杠 v, 这两个东西呢,它其实是一个硬币的两面,我们先复制这个 node 杠 v, 然后来到这里输进去,回车看一下有没有个版本,就是有个二十四点一四的版本就这样装的啊,其实版本也是接近我们刚才下的一个版本了啊,还有一个是什么呢?是 npm 杠 v。 哎,你看十一点一七零 这两角处,是一个硬币的两面,但是他们是有些区别的,这个东西负责去安装各种包, 去做设置,这个东西负责跑,也就他负责干嘛,他负责当管家,他负责去执行,去当业务员,他们是这么一种关系,好就是说明我们已经装上了,能够打印出这个版本号,就说明安装成功了。呃,如果你执行 npm 杠一报错怎么办?那你就点开这一条, 里边有一个,说明他会报这种错误啊,你就按这个来去进行调整就可以了,以管理员身份去运行执行这一段 大部分同学不会出现这个问题啊,少部分同学有这种问题,你可以按这个来操作好了。那现在呢?我们已经把这个 npm 装上去了,就有的一个脚手架了,可以开始来调用 dips 这个 hardens。 那这里有两种安装方式,一种是临时安装,我不给他装任何东西,也不去设置到我的电脑的某个盘里边啊,直接在这里用 npm 去拉它,调用它。那这种的好处呢?它就是不占你电脑的太多空间啊, 它的缺点就是每次你都要按照它程序去临时调用它还有一种分区安装方式呢,那就是装到你电脑上面, 把这个包拉下来,你下次你就不需要去整套的操作一遍了啊,你只需要简单的输入就可以调用,这是这两种不同的安装方式。我们先来讲第一种临时安装,我复制它点这个按钮就可以复制,要来到另一行窗口,把这段输入进去,复制 好,然后回车等他一下,然后他这里有个提示说 dumps 一 点七,这版本 ok, 如果可以你就按 y 键回车,他就去装了。等到他装完 这里呢,会自动的跳出一个幺二七点零点零幺点一个端口号,后面一个 token 这段东西的啊,就 token 这一段呢,每个电脑不一样啊, 有些同学直接会像我的一样会弹出这个页面来,你看他就直接弹出来了,这就是在我本地运行的网页。那有些同学不会弹出来了,你就按住 ctrl 键点一下这个链接,它就弹出来了,或者你就把它复制, 打开浏览器,把这个链接粘进去,回车它也能打开啊,这是呃,这个 dsp 的 第一种安装,临时安装,注意 你不能把这个窗口插掉,只要插掉这个就失效了,因为它是服务端,就是客户端,你把服务器关了,它就没响应了呀。那现在是不是我就可以开始使用 deep sql 事务了? 呃,确实是可以去使用了,但是呢还不能干活,还要做一些配置,比如说我要配置模型,还要做一些设置,没有这些事情的话,他这个机器还没被激活啊,还没开封。那我现在点开,他要输入密钥了,要我就稍后再配置好。如果我现在把这个东西给关掉, 我刷新一下看看啊,打不开了。那除了直接关掉这个命令行窗口,还有一种办法的终止这个哈德斯的服务呢,就是按住 ctrl 键加 c 啊,也可以退出。好,第一种安装方法呢, 它的缺点也很明显,就是我每次去使用它呀,都要再这样安装一遍,比较耗时间啊,也比较麻烦。那我有没有一种办法更简洁呢?有 这种办法呢,就是全局安装,我就把它一包给它 install, 装到电脑上面来。那我把这一段复制来做一下全局安装,还是打开 c m d 命令行窗口 n b m install 杠 g 对 不对? ai 杠 d s h 啊。呃,你怕打错字,你就直接拿我这个资料,然后到这里复制,回车等它一下,安装时间相对长一点点 好,现在他已经装完了,但是不像之前那个临时安装一样的会弹出一个页面来啊,他没弹出来,他就这样静止在这里结束了。 所以呢,我要知道他到底是装上还是没装上,我得验证一下啊,怎么来验证在这个地方呢?得验证安装的一段啊,这个代码 d s h 杠威信, 复制它,然后打开,你去验证它的版本号,回车看有没有这个版本号。我的是零点一点七杠 r c r。 那 就是装上了啊,装上之后我怎么来启动它呢?就在这里输入 d s h, 这个就 d s h。 那接下来我要怎么使用它?使用它就在这个地方输入 dshv 吧,然后回车等它一下啊,你看是不是它在这里就弹开了个幺二七点幺点三,呃,三零八零,你也可以按 ctrl 键点它一下,它也会弹出来,你看 就弹出来了。 ok 啊,就是在本地已经完全装上它了,它跟之前那种装的方法不一样的是它只需要拉取一次,之前的方法呢,你每次去使用都相当于重新 把它临时装到你电脑上面来。 ok, 那 升级和卸载了,你要升级,你就用这个 update 的 这一段复制它,放到 这里边去升级就可以了,如果要卸载就是 ask 的 这一段就卸载掉了,就很简单的啊。好,这是关于这个 deepsea harness 如何安装的一个简单的演示,一点都不复杂啊,你可以拿这个文档哦,先装 npm, 装的时候注意这个版本号二十以上,然后最好是 lts 的, 然后还有就是临时运行和全驱安装的方法都可以试一下,操作一下。 关于如何去配置它的 api t 以及呢里边的相关的一些模型之类的,就留到我们下节课来讲啊,感谢大家,如果你觉得这节课的内容对你有价值的话,就请一键三连吧。

当你的华为手机接入盘古大模型以后,就会一下多出好多新的功能,大家发现了吗?很多朋友说根本就没有什么变化呀,是因为你们还没有发现这些实用的功能,这里呢,我总结了三大变化,和大家一一来分享一下。第一个,智能识别, 平时呢,我们看了些好看的花哎,挺漂亮的,这是什么品种啊?就可以直接对着手机说,小艺小艺,我来了。图片中是什么花? 这是长寿花,你们看这只小狗挺漂亮的吧,这个是什么品种呢?也可以对着手艺说,小艺,小艺,怎么了?图片中是什么狗?我觉得这个市场里是王小利犬哦。看到了一件喜欢的衣服,想了解一下,网上没有同款的,也可以对着手艺说,小艺小艺来喽,找一下图片中的同款衣服, 你们看就可以找到很多同款的衣服了。第二个,生活助手,在进入了盘古大明星以后,小易呢不仅更智能,也更聪明了,无论是生活中还是工作中,遇到不懂的问题直接来问他就可以了。比如说呢,有一道菜我不会做了,我就可以直接来问他, 小艺小艺,土豆炖牛肉怎么做好吃啊?你们看呢?他可以给我们推荐一些啊,关于做菜的方法有好几种,我随便点开一个,这里呢就可以查看更为详细的做菜步骤了,每一步就写的很清楚。小艺小艺来喽!衣服上的油渍如何去除?要去除衣服上的顽固油渍, 可以尝试以下几种方法。电脑蓝屏呢?应该如何解决?电脑蓝屏可能是由多种原因引起的,这种生活中一些常见的问题呢,小易都可以给出我们解决方法,在工作中如果遇到问题呢,小易也可以帮我们解决, 比如说啊,领导让写一份关于西安三日游的旅游攻略,还得把它做成 ppt, 并且下班前提交,时间紧,任务重,如何做呀?这时候呢,不妨问一下小易。小易小易我来了,帮我写一份关于西安三日游的旅游攻略,西安作为中国历史文化名城之一, 你们看小易呢,就可以帮我们写出一份旅游攻略了,第一天,上午去哪玩,然后中午在哪吃饭,下午去哪, 晚上在哪,然后第二天啊,第三天,写的非常的详细,长按选择复制。然后呢,在微信的右上角这里搜索 ppt 制作呀,选择第一个,点击这里的长文本生成 ppt, 把刚才的旅游攻略呢,我们粘贴在这里,点击确定生成,这里挑选一个自己喜欢的旅游模板,比如说这个,然后点击生成 ppt, 这样呢,一份西安三日游旅游攻略的 ppt 就 这样做出来了,你们看每页做的很精美,很漂亮吧, 没有问题呢,可以点击下方的保存,然后选择 ppt 下载就可以了。第三个,总结摘药,平时呢,我们阅读文件的时候,你们看呢,像这样内容非常的长 啊,从头往下划,划了好几页,还没有划完,实在是太多了,如果想节省时间,你可以直接对着手机说,小易,小易怎么啦?把这里汇总总结一下,这篇文章主要介绍了鸿蒙原声版, 你们看小易呢,就可以对这里进行归类总结了,这样一篇很长的文章,就可以把这里的重点内容给加以出来,方便我们阅读和理解。 以上这几个功能我是用的华为 mate 七十鸿蒙四点三版本,为大家演示的鸿蒙四点三,不是说纯血版的五点零,因此的话呢,这个老手机也是可以使用的,大家可以试一下,看你的手机有没有这几个功能,欢迎在评论区分享一下。

这节课我们简单介绍一下康复 ui 是 如何使用的,在我们下载解压完康复 ui 之后呢,会得到这样的一些文件,我们找到其中这个文件,打开它, 打开后呢初次界面是这样的,它会有一个默认的工作流,并且现在弹出了两个错误,我们查看详情, 这里提示需要设置啊,是什么问题呢?缺失模型,第一个是一个文本编码的一个模型, 默认使用的是千万千万三的一个一个编码模型,然后呢下面是 the image turbo, 这是一个图像生成的一个模型,我们可以看到在下面显示有十一个 g b, 上面这个是七点四九 gb, 那 么对于显存不足的,比如说像我的显存只有八个 gb 的 情况下呢,使用这个 十四点四六 gb 的 这个大模型无法运行,它就会提示显存错误,报显存。那么我们八 gb 怎么使用呢?我们可以复制一下这个下载模型的一个地址,点击复制链接, 我们连接这个地址,但是不要直接前往,我们前往的是这个大模型的一个界面,就是它的一个主菜单界面,那么我们删掉后面的多余的后缀, 删到这个 turbo 这里为止,然后进入这个时候我们会进入到 hackface 的 一个开源的一个模型的一个界面,这是它的一个界面介绍, 包括他这个大模型存放的一个路径,在哪里这里都有提示。之后我们会用到,我们点击这个 files and versions, 找到大模型的存放路径,点击第一个, 点击第一个 diffusion models, 这个是我们这次用的大模型的一个下载地址,这里有三个文件分别对应的不同的显存, 第一个是我们刚才看到的十二 gb 的 显存,这个我们八 gb 目前用不了,我们选择下下面这个六点二 gb 的 点击下载, 会弹出一个窗口,我们需要存放在我们大模型的路径内,我们找到 comui, comui 的 models, reflection models, 然后点击保存这里,因为我之前下载了,我就点击取消, 回到我们上一个路径,找到第三个文件夹,这个是文本编码的大模型,同样的第一个要八 gb 比较大,我们选择下载这个小一点的三点四八 gb 的 点击下载,下载存放的位置呢? 在这个文件夹中打开,点击保存 具体的路径存放,我们可以回到刚才这个界面,这个界面这里有详细介绍了我们大模型的存放位置, 比如第一个 diffusion models 存放在我们刚才下载的这个大模型,它这里有三个,三个呢我们只需要下载其中一个就可以了,我们刚下载的是这个这个版本,然后呢 这个文本的大模型呢?我们下载的是 f p 四这个版本,也只需要下载这一个就可以。当然还有个 ve 的 大模型需要下载, 我们也可以找到 ve 的 这个下载的位置,同样点击下载,存放在 ve 的 路径内,由于我之前已经下载了,这里就不做提示。下载完毕之后,我们回到我们康复 ui 的 工作界面, 由于下载完的模型它不能第一时间加载,我们需要刷新一下这个界面。 刷新完之后呢,我们提示还有二个错误,是因为我们没有加载我们刚才刚才下载的模型,点击查看详情,然后找到缺失的模型, 点击它,它就会放大这个缺失模型的这个节点,这个时候我们点击这个模型,选择我们刚才已经下载的这个文本的模型, 我们下载的是千万三四 b 这个版本,选择它,同理选择缺失的模型,点击它,然后选择我们的大模型。你在 imagine turbo, 我 们下载的是 这个版本,点击它,这个时候错误都消失了,我们把这个侧边栏给它收回去,缩小画布,检查我们的工作流啊,目前没有红色框框的错误信息,我们尝试着跑一下看看,点击运行, 那么这个时候就成功生成了一张图片,这个是它默认的一个提示词,我们可以进行一个修改, 这个是上面的这个提示词呢是正向提示词,下面这个是负向提示词,我们先清空正向提示词,清空负面提示词,然后在正向提示词中我们输入一个我们想要生成的图片,比如说一只小狗。 负面提示词呢,我们可以输入一些不需要的,需要避免的啊一些提示,比如说我们输入劣质、模糊, 像这两个关键词呢,它就会在这个画面中不出现,只会出现我们的正向提示词,我们跑一下看看。 那么这时候我们就看到一只小狗的一张图片生成完毕啊,我们也可以在左侧的这个资产栏中找到生成的这张图片,然后双击它可以查看大图。

哥们,别再纠结哪个 ai 更强了,天天看排行榜争第一,不如让他们组队干活。这期就讲清楚什么是多一阵的协作,为什么要协作,什么时候该协作,以及常见的坑有哪些,最后用实操带你上手,目前最成熟的多一阵的协作开源工具。欢迎来到桌子的频道。 我这里说的多 a 阵的邪作,不是多开几个子 a 阵的,我指的是多个 a 阵的分别使用不同的模型,负责各自擅长的工作,相互沟通配合来完成任务。关键在不同的模型, 那为什么要邪作呢?核心原因是现在还没有一个能力能全面碾压的模型。就比如说 opus 五点五,最近很火,都说很牛,但是 opus 五点五也只是强在规划编排,强在前端,后端之王依旧是 esk 这个具体任务。比如写文章,公认的还是 jimmy 比较说人话,你要去 x 上搜索内容,那老马自家的 grog 最得心应手。 斜坐的话就能各取所长,做到一加一大于二。当然也不是什么时候都需要斜坐的,比如给网页加个按钮,一个 a 键的就够了。但是做一个复杂网站,既要交互设计,又要把功能做出来,就适合让擅长方案的模型和擅长代码的模型配合。 再比如通过文案做一个 ppt, 一个 a 卷的也够了。但如果这是一个非常重要的 ppt 数据,需要网上去做调研,就适合用多 a 卷的,一个负责找数据,另一个负责审数据。 总结下来就是小修小补材料,现成的单 a 卷的干到底,跨公众接力的大项目,或者绝不能出假数据的关键大事,多 a 卷的最终成果更扎实。 其实用命令行版本 agent 呢,可以很方便的相互调用协助,但是这里有两个坑,一是容易产生过多的无意义托管消耗,只是用命令行相互调用, ai 之间交接重复加载系统提示词,会消耗大量托管。二是容易陷入死循环, 规矩没有立好, ai 容易相互没完没了的找茬。在论坛就看到有人让一个 ai 负责写,另一个 ai 负责审,结果两 ai 在 绘画里疯狂挑刺,拉扯了整整二十轮。 现在成熟好用的多 a j 的 写作方案就是 ocar 这个开源工具,咱们也不用去重复造轮子,现在阶段直接用这个就好了。接下来我们就从安装到上手,进入实操,首先找到这个开源仓库,下载对应系统版本,实在是懒,可以随便开个 a j 的 时候帮我下载 ocar, 下次安装完成我们双击打开,第一次进入会提示选择默认智能体,它会检测你系统里有哪些智能体,你选择哪个,以后打开欧卡就会直接开启哪个。前面也说了,现在 opus 五点五规划能力和编排能力很强,目前我就选择 cloud code 做默认, 下次打开 o 卡就会直接开启卡拉扣的 opus 五点五作为我多 a 阵协助的主控, o 卡底层还是通过命令行做协助,所以需要智能体的命令行版本,你如果一直使用的是桌面端的话, o 卡检测不到相关的智能体,你需要提前安装命令行版本,也很简单,直接让你现在用的 a 阵的安装对应命令行版本就行了。 然后依次继续这里选择哪个命令行,直接默认就行了,你不用担心用不习惯。命令行进去之后,再设置实验性打开叉的 ui, 就 能看到最熟悉的 ui 界面了。 基础的设置完成之后,第一步我们先点击设置编排,把编排技能安装好。这个 skill 是 给 a 正的看的操作说明, 告诉他怎么通过欧卡派任务传消息收汇,结果装好之后就可以直接开始使用了。与桌面端的使用习惯是一样的,新建项目新建对话,只不过新建对话会让你选择使用哪个智能体,新建也就是用哪个来当大脑做总指挥。 新建对话后,你可以直接打字说谁负责什么谁负责什么,也可以直接让主控给一个分工方案,看过没问题了就直接按分工方案进行。拿我之前做调研的任务举例子,在欧卡这套编排协调下,其他 a 证的执行不到位或者编造内容,主控都会检查打回重做, 待着的做任务的准确率会高很多。你如果想固定分工,也可以写进项目规则,但我个人更在意主控选的怎么样,他的有能力也别太死板。具体分工可以先让主控安排, 你如果不是每天都冲浪 ai, 其实更了解其他 ai 的 能力,能做出合适的分工。还有就是咱们大多数人用 ai 肯定还是订阅为主,还得考虑额度任务需要的工具和能力,先保证有几家都能干的通用任务,就可以优先派给额度充足的那个。 虽然在成熟工具的加持下,多 a 证的协调更全面更严谨,但是这里我得说一下,不管怎样优化,怎样合理编排,多 a 证协助的托管消耗和时间消耗肯定是要增加的, 所以简单任务就不用多 a 证协助了。复杂任务、长任务,我们就以更多的托管消耗和更长的时间消耗来换取更少的人工内耗、更少的文件踩踏,以及一份真正靠谱、经得起检查的结果。

给大家普及下三个月转型 ai 大 模型要达到的强度,首先不要被网上碎片化的教程牵着鼻子走。说句实话,只要你不是三分钟热度,能沉下心学习转行为 ai 领域高手并不难,这条学习路线顺着走就行。第一个月,别号高无远, 先把提示词用顺手发穿 former, 核心思路摸个大概,能调通 api 就 算过关,一点点往前推。第二个月,踏踏实实啃透 r i g, 搞清楚数据怎么清洗,像那样数据库怎么弄, 顺带摸清 agent 和知识图谱,后面走起来会轻松不少。第三个月,镇静做个简单 agent, 把 react 机制跑通,让 ai 自己能调用外部工具,再试着让多个 agent 互相配合。 这条线走完,搞个聊天机器人或给公司整一个 ai 落地方案,基本不会卡壳。如果你还不知道从何开始,这里整理了大模型,将 agent 系统学习路线、配套视频教程和实战项目,回个七七七暴走。 在 ai 大 模型领域,最伟大的发明可能不是更复杂的算法,而是像 k v kash 这种极简的工程思维。他用了一点点显存空间,就把原本会炸掉的计算量 直接做了一个降维打击。对于我们开发者来说,理解它意味着你掌握了大模型推理优化的第一把钥匙。今天我们不讲复杂的数学公式,就用我们都听得懂的逻辑,把这个 ai 提速的底层逻辑彻底讲通。我会分四个部分把 k v k 讲清楚。首先我们要看一眼大模型推理遇到的一个算力陷阱,搞清楚为什么如果不优化, 说话会变得非常卡顿。接下来是核心环节,我们会拆解 q、 kv 这三张数名片,这一部分我们一定要听懂,因为它是所有优化的地基,理解了它,我们就能明白为什么 kv cache 只存 kv, 不 去存这个 q。 然后呢,我们会把整个推理的过程分成域填充和解码两个部分,我会带你们一起看一遍数据是怎么存进,显存,又是怎么被精准的取出来的。最后呢,我们会顺带提一下现在最前沿的 page attention 和 和 flash 参数,看看工程师们是怎么在有限的硬件资源里把存储效率压榨到极致的。好话不多说,我们直接开始。我们平时用大模型,不知道大家有没有注意到一个非常明显的现象,就是如果我们扔给他一个特别长的文档,或者是问一个特别长的问题,他往往会先愣一下,那个加载的小圈圈要转好一会,但是呢, 只要他憋出了第一个字,后面的输出速度就非常的快,而且基本上是匀速的,一个字一个字往外蹦,为什么会这样呢?其实这触及到了大模型推理的一个核心瓶颈,就是我们常说的自回归生成的算力陷阱。自回归这个词 听起来好像有点学术,其实说白了就是模型说话是接龙模式的,他每生成一个新词,都得回头看一看之前说过的所有的话。你看现在如果我们没有任何的一个缓存机制,模型会怎么办呢?比如说我们让他接这句诗, 床前明月光。为了算出这个月字,模型得先处理前面的床前明,好,这个月字算出来了,下一步要算光字的时候, 然后我们没有做任何优化模型,又得把前面的床前明,连带着刚才那个月字全部重新读一遍,再重新算一遍。 就像我们写文章,每写一个新字,都要强迫自己从开头第一行重新默读一遍全书,才能动笔写下一个字。你想想看,如果这只是五个字的小短句还好说,但如果我们对话处理的是几万字的文档,每写一个字都要重读几万字,这个重复计算的量啊, 真的是呈指数级上涨。到最后,模型可能每蹦一个字都要卡到怀疑人生。所以呢,如果我们想让模型推理的更快,就必须解决这个重复计算的问题。那怎么解决呢?既然有些东西之前已经算过了,我们能不能把它存起来,下次直接用?这就是我们今天的主角 k v cash。 那 它到底存的是什么?又是怎么存的? 我们先来看一下 transformer 这种架构在底层到底是怎么做矩阵运算的。其实在模型处理每一个字,也就是说,呃,每个 toson 的 时候啊,它会通过不同的映射把它拆解成三个不同的向量,也就是我们经常听到的 q、 k、 v。 为了把这三个词讲透, 我们可以把注意力机制的计算过程看作是一个高效的信息解锁系统。首先是 q query, 它好比是一个搜索请求,代表当前这个词,它想去前面的话里寻找哪些相关的信息,这指向的是未来的预测需求。然 然后是 k t, 它呢?就好比是每个词给自己贴的一个缩印标签,它代表这个词能提供什么信息,作为被解锁的一个供给侧。最后是 v value, 这才是真正的内容实体,它存储的是这个词最核心的信息。 模型在工作的时候,其实就是拿着当前新词生成的 q 去跟前面所有词的 k 进行匹配,算出一个权重,最后把对应的 v 加权求和拿过来。那么说到这里, 我们就发现了一个非常关键的逻辑,你看,在生成一串话的一个过程中啊,前面的词既然已经说完了,它们对应的 k 缩影 和 v 内容其实就已经固定下来了,只要模型参数不变,这些历史词的 k 和 v 不 管计算多少遍,结果都是一模一样的。那既然如此, 我们为什么还要每次浪费算力去重新算它们呢?所以啊,这个 k v 开始的核心机制就出来了,其实就是给模型搞了一个短期的记忆笔记,当计算到新的词的时候, 我们把过去已经算好的 k 和 v 向量直接存进显存的一个专属区域,等下一次我们要预测新词的时候,就不再需要去重读整篇文章了。计算单元只负责计算最新的这个词 q k v, 然后直接从缓存里把历史的 k 和 v 给调出来,往后一拼。这 其实就是典型的空间换时间,虽然我们多占了一点点显存空间,但是换来的是推理速度的质变。好了解了核心机制之后,我们再来看看在实际的推理过程,这一套系统到底是怎么跑起来的?其实它主要是分成了两个阶段,我们来拆解一下。第一个阶段叫做 prefill, 也就是预填充,这就是我们刚才说的,当你点下发送键之后, 模型那个愣住的几秒钟,它其实就是在干这个活。你看,当我们把提示词 prompt, 比如床前明发给模型的时候,模型会一次性对这几个字做矩阵生成。这时候重点来了,模 模型会把算出来的 k 向量和 v 向量规规矩矩地存进显存的缓存区里面,作为未来的缩影和内容。但是这里有个细节,就是 q 向量它是不存的,为什么呢?因为 q 代表的是当下的一个搜索需求,对于已经处理过的床前名来说,他们已经不再需要去找 过去的一个信息了,所以 q 存了也没有用,反而占地方好。接下来第二个阶段,就是我们看到的那个匀速泵字的一个过程。比如我们要预测月后面的那个字。这个时候模型非常聪明,它 不再去重新算床前名这三个字了,它只对最新生成的这个月字算出一组新的 q、 k、 v。 然后呢,它会去缓存里把刚才存好的床前名的 k、 v 给拿出来,和月的新的 k、 v 做一个拼接。 这就很像我们平时整理那种活跃文件夹,我们不需要每次都重新写整本的手册,每当有一个新的进展,我们只需要写一张新的活跃纸,往文件夹最后面一贴, 我们手册就更新了。最后模型只需要拿月这个字的 q 向量去跟这个拼好的完整的 k 矩阵做一次计算。你看,这样以来,全程模型只对这个新出的词做了一个全套运算,所有的历史信息都是直接从显存里给提取出来的,那就解释了为什么模型 在一个字一个字蹦的时候啊,能保持那么匀速那么快。其实我们可以通过这组效能对比,更直观的感受一下这项技术到底有多重要。你看左边红色的区域,如果我们不用 k v cash, 那 个计算量简直是一场灾难。用数学语言来说,它的复杂度是 o n 的 平方,说白了就是每增加一个词, 模型都要把过去所有的词重新拉出来列一遍,你算第十个词,你得重复前面九个,算第一万个词,就得重复前面九千九百九十九个。这种翻倍式的计算压力,在处理长文档或者是长对话的时候,基本上是跑不动的,算力全浪费在重复劳动上了。但如果我们起用了 carry catch, 就是 右边这个绿色部分, 情况就完全不一样了,它的复杂度被降到了 o n, 这在工程上其实是一个非常了不起的降维打击。因为不管前面的对话内容有多长,模型现在处理每个词的成本基本上是固定的,我们只需要增加处理这一个新 token 的 极微量成本就行了。对于我们来说,这意味着呢,长文本的秒级响应和匀速推理就变成了事实。如果没有这个技术, 模型可能还停留在实验室阶段,根本就没法像现代一样好用。不过,虽然计算效率上去了,但这种空间换时间的做法也带来了新的麻烦。我们想要这种秒回的体验,代价就是付出大量的显存空间。我们可以看一下这个显存占用的比例, 一般来说,显存里最大的一块肯定是模型本身的参数吗?这就像是房间里的大件家具,基本上是动不了的。在剩下的这一部分里面,很大头的就是这个不断膨胀的 k v cash。 而 而且它有一个特别麻烦的地方,就是它会随着我们聊天的内容变长,像滚雪球一样越滚越大。如果我们用的是那种七十倍的超大模型,或者我们需要模型去读一整本书 去处理超长的上下文,显存很快就会被撑爆,一旦超过了这个红色区域的临界点,模型就会直接罢工,也就是我们常说的,嗯,显存一出 崩溃了。所以呢,为了保住这个短期记忆笔记,又不让显存炸掉,现在行业里有很多的优化方案,比如说这个配置 attention, 它的灵感其实是借鉴了操作系统里那种内存分页的机制,简单来说就是模型以前存 k v 缓存的时候,非得要一块连续的大空地,这其实挺浪费的,那现在的做法就是把缓存切成一小块一小块的叶, 哪里有空位就塞哪里,这样就大大减少了显存碎片的浪费,能存下更多的对话内容了。还有一个很出名的就是 flashton, 这个更底层一点,它是直接在 gpu 硬件读写的逻辑上下功夫, 它通过减少数据在显存和计算单元之间搬来搬去的次数,让存取的效率变高了,速度自然也就上去了。其实说到底啊,对于我们开发者或者是用户来说, have a case! 眼镜 意味着我们能在更小的显存上跑更长的对话。我们现在能用大模型读万字长文,做长文本分析,背后其实全是在跟这些显存瓶颈作斗争。最后呢,我们来简单复盘一下今天聊的这些核心要点。其实把 k v cash 拆解来看,主要就是这四件事。第一是它的本质定义,其实就是给 ai 准备了一个短期记忆笔记,它是一个动态增长的数据结构,最核心的作用就是帮模型改掉那种每说一个新词都要重新读一遍全书,习惯好。那关于存储机制, 我们要记住,我们只缓存 k 和 v, 绝对不缓存 q, 因为逻辑上过去已经说出来的词,他们已经完成了搜索任务,不再需要去寻找新信息了,他们只需要安安静静的躺在缓存里,等着被后来的新词解锁就行了。第三, 我们这么做最大的好处就是实现了真正的按需计算。通过这一套缓存机制,我们把生成新词式的一个推理时间复杂度从 o n 的 平方彻底地降到了 o n, 这也是常文本对话里能跑得通的前提。最后一点呢,也是非常现实的一点, happy cash 虽然好用,但是它是典型的空间换时间,极其消耗显存, 它是致约场文本对话的核心瓶颈,也是为什么现在像配置的 temperature 这种优化方案会成为行业焦点的原因。说白了,理解了 carry catch, 其实你就理解了大模型是如何在算力和速度之间寻找平衡的。好,那今天关于 carry catch 的 内容我们就全部讲完了,我们下期再见!

ai 行业正在发生一个很明显的变化,以前是用 ai 提高效率,现在是让 ai 自己干活,写代码、查资料、做报表,越来越多任务都能交给 a 站的执行。尤其是 ai 编程工具的爆发,也让普通人开发 ai 应用的门槛越来越低。想入局 agent 究竟该学什么? 记住这四步,第一步,学 prompt 和 api 调用,让大模型真正接入程序。第二步,掌握 agent 的 核心技术,包括 r a g 知识库 to calling 工具调用和 i like 推理模式,让 ai 能查资料、调工具执行任务。第三步,熟悉 cursor、 cloud code e i a e 等 ai 编程工具,尝试用自然语言开发应用。第四步,完成一个真实项目,比如智能客服知识部问答,或者自动化办公助手,把任务规划、工具调用和业务流程真正跑通。现在企业需要的正是能把 ai 落地,解决实际问题的人。 想转型 ai 应用或 ai 站的岗位,手里有一个能运行的项目,会比只看教程更有说服力。我已经把 ai 站的学习路线、 ai 编程教程和实战项目整理好了,留下学习直接带走。

小艺小艺嗯,发送微信给斗猪说吃饭了没有? 请先帮我找到两个微信,打开第几个呢?第二个 第二个确认发送吗?可以和我说确认或取消确认已发送。