粉丝36.5万获赞32.7万

挑战,每天教会你一个 ai 大 模型知识点,今天是老马三模型微调后进行量化,接下来我们要再做一件事,就是这个格式啊,它是推理,不是不太适合的。我估计大家都知道我们要我们要做的这个东西啊,接下来我们肯定要做一个部署, 部署完之后你才能用其他的一些应用去调用。因为我我要做的并并不是说通过一个程序,然后做一些问答,我肯定要把它部署到一些场景,部署到 agent 当中,部署到我的接口当中啊,就肯定要去做一个服务吧。 那做服务怎么做呢?嗯,这块我给大家推荐有两种啊,就是我觉得现在用起来比较好的方法,一会给大家推荐,我们推荐之前还要再做一件事,我我我说快了,不煮,不煮,一会就说不煮,一会就说太差,等会量化,什么叫量化?就现在这个模型太大,是不是? 一番来说是太大了,另一番来说他推理速度肯定会比较慢。另一番大家想一想,就是我说训练,我训练,拿我个二十四 g 显存的机器训练行, 但是我部署,我部署,我可能部署到一些比较破烂的机器上,我部署要破烂机器上,他没有我这个配置怎么办?大家说你这二十四 g 还要高配吗?我说我这不要高配啊,但是我想部署到更破烂的地方上,那怎么办?那是要咱们做一个量化啊,量化当中一般情况下,就是啊,咱们 自己选这个比特,你这个巴比特和这个斯比特一般来说都行,但是肯定来说效果,我估计能猜出来,效果肯定是越来越打折扣,是不是这个斯比特呢?肯定会,不能说打挺多折扣,会打一些折扣的,但是接下来我们用这个斯比特给大家举个例子,因为你斯比特虽然说你的位数少了很多, 但是其实我觉得心里心里话来说啊,就是他的影响其实不算特别大啊,就是我觉得还能忍受的,但是他能带来推理的一个速度的提升,和你那个显存占有的一个提升会比较少。 就比如说你想想人家 open i, open i 还有什么技术肯定比较牛,人家量化技术肯定会比较牛的,这么全世界这么多人都在去用的,如果说他那个计算量特别大,他计他那个计算资源消耗特别多,那我估计好像大家都用不起了。 那其实现在大家都干什么?都要把价格打下来,怎么把价格打下来?量化技术也很关键,我们反正咱解决不了科研的东西,但是我们可以去用现成的。我们来说一说量化上相关的东西啊,怎么用现成的 量化啊?呃,反正估计现在啊都用这个东西吧,应该是比较通用了。这个是也是一个大神级别人物,就是拉马点 c p p 这东西吧,这这东西反正大家你们我估计大家也就是去用吧,你想去理解这个底层的东西,你理解不了,因为你一看到啥点 c p p。 嗯,这东西有点欠退了,我当我就是去年的时候,因为这个东西去年非常火,我也想看一看他底层怎么玩。的确确确实是整不了这个东西,这个难度有点太大了,咱们就用就行了,这是可以说是民间大神人家的一个作品吧,我们点开看一看, 首先呢我们先来看这里边啊,点去,然后我教大家怎么去用啊,反正工具都是现成的,他是个开源项目。然后大家看这个名字就是现在这个行业费的当中,我为大家都看到 有很多叫 g g u f 的 格式,有很多兄弟们纳闷,这个 g g u f, 这个 g g 是 谁呢? g g 啊,就是这个大哥,这个大哥他名字怎么怎么读,我可能也不会读,就是他前两个字母啊, g g, 所以 说是以他的名字命名的一个格式,成为了现在大模型量化通用的一个格式,以及大模型推理通用的一个格式。 这个民间大神你看他 guitar 打数多少?五十八 k 啊,太猛了这个哥们。好了,我跟大家说怎么用,哎,为大家可能说为什么你要选这个东西呢啊,因为它 windows 也是可以用的 啊,我们我给大家试了好多乱麻七糟的东西,反正 windows 不 能用的吧,我就都给大家去选,今天还让大家就不花太多的成本也能把这个东西跑起来啊。来,我们来说怎么用 怎么用的过程当中其实非常简单,但是第一步需要大家装这个 cmake, 为啥装 cmake? 这个点 cpp 你 是不得先翻译一下子,所以说第一步来大家装 cmake, 我 给大家打开哦,这里边 这里边,反正今天咱讲的东西吧,都不是难事,都是大家需要流程上自己玩一遍的啊,去理解一遍。这里边当乐当中我们来选,你根据你自己的版本呗,就是比如说, 比如说你别别别拿第一个装了,拿第二个装来,第二个这个 msi 直接可安装程序,你大家如果说是 windows, 你 windows 你 别下载压缩包,你就下载这 msi, 他 就是下一步,下一步下一步安装就是傻瓜式安装教程,你直接点这个,然后下载完之后你啥也不用管,夸夸下一步安装就完事了,这个一定要装啊,第一步我们先装好这个 cmake, 第二步呢?第二步就是比较方便了,这命令我给大家准备好了,来我们实际执行一下, 直接直接我也,我选一个盘吧,我选一个盘,然后我看,我找我找,我,找个空白地吧,找个空白地给大家实际捋一遍,比如说我在这吧,我自己新建文件夹, 新建一个啊,哎,我看我真好像新建过。我来这里边,这里边把这个删掉,我把这个删掉,然后我们重新建一个,来我 c 调这里边 来,自己找一个文件夹,然后咱们进去在这个文件当中啊,到时候大家你们就啊来跟着我这个命令执行就行。第一步就是我们下载这个包啊,你没配这个 get, 你 就手动下载,在这里边你就是扣的,然后当漏的解压就行啊,手动下载一样的,然后来我这边直接执行,我们去下载一下,这个挺快的。来,我们稍等一下, 咱们一步演示演示啊,然后到时候大家跟着我们去用,然后也能把这个包用起来,因为这个包啊,他现在是量化里边用的,我觉着非常多的,也是挺方便的,做的工艺都是现成的。哎呦,我都不确定我现在网能不能下的下来,往下不下来没关系,往下也不下来, 你们就那啥吧,你们就自己自己手动下载啊,完了我,我手欠了,我给删掉了,能不能回来啊?我先给他还原吧,我该下好的,我现在网不行,来我给他还原一下,在我垃圾箱里边把它找回来吧。来,你先还原回去,你先还原回去吧,我感觉我这个网好像网不行,网不行,待会大家你们自己解决网的事吧, 来,比如这里边,这里边我现在还原了,就我下载好的,下载好之后,接下来你现在不是这块已经下载好这个东西了,然后 cd 进去, 数字印进去了,来我这边都编辑好了,我这边编辑好了,我就不给大家演示了,这都是我该编辑好的东西。第一步大家需要先去装这个配置文件,就是不是配置的一些工具包,它这里边给你写好了,我给大家看它这一块是 requirements 当中有 requirements 当中有它,这个叫 哦,看是哪一个来着? requirements 当中就是这个东西,我们要去把它转换,主要是用这个 g g u f 的 一个东西,主要转换 g u f, 我 们来找啊, h f 就是 因为我们刚才是 hunk and face 格式 hunk and face 格式图 g u f 点 t i d 这个, 大家你们把这个 t i t 下载下来,下一下,不用下一下,它默认下载好了,你需要去装,就是这里边他说需要配置一个环境, 我估计大家你们都有这个环境了,有这个环境你就不用去管了,你这个环境就不用去不用去配了啊,但是反正我们就为了方便吧,你就 p i p star 杠 r 去装一下人要的环要求的环境,反正你你自己先新建一个抗打环境啊,别给你之前用的抗打环境配乱了 自己新建的环境,然后编一首歌就行,然后下个比较常见的操作就是 cmake, 然后 build 一下,然后 cmake, 然后这个 config release 一下,这样就相当于你做完之后这个我不加执行了啊,因为我这块已经已经编辑完了,已经编辑完了东西, windows 确实是可以的。编辑完之后,接来 接下来咱在咱们任务当中咱们要再做这样一件事,就是来我给大家看一眼,这个整完之后啊,它这块有一个叫 build 文件夹,就是这个就是你编,你不是出翻译吗?编完之后这有 build 文件夹, build 文件夹当中我们关关键这个这个 build 文件夹,来,我们点开这个 build 文件夹, build 文件夹当中有有有个 release 文件夹,就是你记住这个路径, 在这个路径当中咱再去做啊,就是我们接下来事了,来我给我给大家复制一下吧,我怕大家找不着 来,到时候就是呃,来在项目里找到我们要转转换的工具,就这一步,这一步是在第三步,第三步这写一写啊,就是来进入到啊,来进入到这个路径 这个路径当中,我把后面这些给大家框起来啊,这个就是到时候前缀是是你自己的,后面这个东西是我的啊,你进入到这个路径当中,然后一会最后我们电话是用这个路径啊,然后接下来,来,接下来, 接下来我们来去先看第二个,第二个我们先格式转换,因为它是这样的,就这个拉瓦 c v p 啊,它在转格式的时候, 你们现在在微调之后的格式,我们简单观察一下,我们现在微调完的一个格式是这个格式默制完之后,它是一个 safe tens 的 格式,是吧?但这个格式啊,不好意思,它嗯是不能那啥,不能直接去 转那啥的,不能直接去,就是做这个量化,我们一般是间接的为大家,为大家简单写一写吧,你就这么去理解,这个是 hang on face 的 格式, 我们需要,因为你要用拉玛点 c p p 这个包啊,这这个包当中啊,人家要用的是那个,人家那个 g g g g 那 个格式, 那我们要干什么呢?我要做个转换,把它转换成 g g 的 格式, g u f 的 格式,然后接下来我们才能再去做这个量化啊,咱们是有还有中间的一步,然后这样我们先来去执行我们中间这一步啊,我们先执行中间这一步, 来中间这一步当中,我给大家说在哪啊?就是你先装好这个包,是不是装好完这个包之后,我给大家看一下,就是这个编辑好这个包拉八点 cpb 之后 找一下,这这里找这里编下来之后往下往下找来,有这有这个东西,就这个文件,有这个就是 convert 啊,就转换 h f 我 们该说的 how you fit 格式 to g g u f 的 格式,我们先需要把它转成 g g f 的 格式,这一块我给大家说一下,就是你用它这个工具的时候,我们还是需要去 呃,指定几个参数吧,其实就是输入,输入参数我给大家来看,这我写好的,就是当里面执行咋执行就拍帧一下呗,就是个拍帧脚本调这个脚本。然后咱们有两个参数啊,三个参数,我看几个 啊啊啊,多多个参数来,主要就这几个。第一个就是你的输入路径,你的那个 lara 没指完之后, 大家注意啊,这块是墨迹完之后的一个路径,你可别别,没墨迹了,你就直接转,没墨迹的东西屁用没有啊。好,然后接下来还有什么?还有一个输出路径,你再把你这个输出路径改好就行,其他的都不用管。 输入路径格式你注意啊,就是它是一个 g、 g、 u、 f 的 尾缀,你自己起个名字,这个名字是我自己起的,当你们大家就 diy 你 们自己起个名字,然后尾缀一定是 g、 g、 u、 f 尾缀的一个格式就行了,反正它就是一块生成的一个文件,现在是没有的,你就自己找个文件夹,你想给它生成到哪我们就要生成到哪。好,我们来演示一遍。

我们先给大家展示一下我们 cloudboard 的 一个部署的一个结果,我们看一下左侧,我们在左侧进行远程的 app 端进行一个发送问题, 然后我们看一下电脑端的一个结果,我们使用的是本地的欧拉玛运行千问三三十 b 的 一个模型,对于这个模型来说,它一定是不知道 cloudboard, 所以 说我们展示的是它的一个网络调用的 skill 的 能力, 然后接着我们看一下它作为一个 disco 的 远程调用的展示,然后我们来到这个 codeboard 的 主界面看一下,这是我们的一个聊天框,我们本地部署完之后,这就是它的一个最终的一个交互界面,然后我们进行提问, 我本地使用的是欧拉玛运行的千万三十币,使用的是两张显卡,我们看一下后台的一个信息, 我们可以看到一张显卡的话大概是十 g 显存,我们提问一个内容是 codeboard 是 可以做哪些工作?我们看一下 这个是它的一个后台,我们看一下,然后这是它的一个规划。来到我们的思维导图,我们首先看一下 可唠叨报的是什么,它是一个开源的可托管的本地的 ai 智能体,可以二十四小时进行一个服务,可以部署在我们的云端,或者说把顺利部署到我们电脑上,使用一个 f r p 进行一个内网穿透,作为一个工具的调用,这样的话可以进行解决本地部署的一个私密性的问题。 我们本次视频演示的是使用欧拉玛本地部署,当然 vrm 也是可以的,然后接着我们演示一下网络调用的 skills, 然后远程调用 disco 的 进行展示,现在来到我们的 get up 的 仓库, 这里是我们的视频配到的一个 bug down, 我 们首先进行一个演示如何在本地运行欧拉玛或者说 vrm, 我 们首先把这个已经运行好的终端给结束掉, 不般炉系统的话,我们直接打开终端,如果说是温系统的话,我们可以在这个路径下面输入 cmd, 然后一起一样的, 然后我们继续首先克隆一下这个本地的一个库,我们可以看一下这是他们的一个演示的一个案例。 然后我们接着开始进行一个快速的部署,在我录视频的这个版本内,他是不支持欧拉玛的,所以说我们这里的话会有一些代码的一个修改,当然的话是比较少的。然后我们接着 看一下我们的仓库,这里的话要求的是 note 需要二十二,我们进行安装,打开终端,然后进行一个个的部署调用。第一个是安装它的一个环境, 由于我已经安装完了,所以说这个是比较快的,然后接下来加载一下, 然后是安装, 然后是验证一下这是我们一个基础的环境,必须是。然后我们克隆一下他的一个仓库, 然后在对应的位置下,他会下载,我们看一下这个文件夹内,然后我们进行下一步 切换到这个路径下面,然后进行一个安装,依赖输入我们的命令, 我们看一下现在它的安装已经结束,我们进行下一步,我们构建一下外部 ui, 然后是构建我们的项目,按照这个顺序执行就好了, 然后接着我们运行一下它的一个出式化的向导,然后我们运行这个命令, codeboard on both, 我们把这放在中间,我们看一下, 我们现在进入了这个 cloudboard 的 一个终端,我们看一下是这个样子的,然后接下来我们需要同意一下这个风险, 我们点击方向键选择 yes, 然后是一个快速的一个开始,我们可以看到这个我们已经进行了一个运行,现在的话是这个界面,然后我们更换一下, 重新设置。首先我们进行测试一个像咱们国内的一个 api, 我 们使用智谱, 我们选择智普的 api, 在 此的话,我们先测试一下这个程序是否能够跑通。然后我们现在找一下智普的一个 api, 我 们复制一下这个 api 在 big model 里面,然后进行粘贴, 然后我们选择使用的模型,这里的话咱们使用一个最新的四点七。 这里的话由于我刚才已经部署了 disco, 我 们现在先暂时不设置,选择下 skip for now, 我 们点击跳过, 然后点 no no, 这里是可以使用 nano banana pro, 或者说这些,咱们在此测试,先暂时不要这些, 我们现在已经服务启动,然后我们待会运行一下,看一下, 我们选择 later, 然后现在已经启动, 我们在运行这个启动的过程中,它其实已经启动了,然后我们使用这个命令进行检查一下,然后我们看一下它的一个前端,我们进行提问一下, 这是一个调用 api 的 一个速度, 我们以欧拉玛为例,比如说像 linux, 我 们直接运行这个命令就可以了,然后无问题等的话需要访问下载安装包,然后我们看一下我本地运行的是 千万三三十二笔,我们看一下左面是它的一个显存的一个消耗,然后右侧的话是它的一个加载模型呢?我们看一下现在运行成功,然后我们进行下一步, 我们进行最重要的这个本地部署的一个设置,就是如何让本地运行这个 cloud port。 然后我们看一下在我录视频的这个时间段里,这个模型是不支持欧拉玛的,然后我们只能通过手动的更改一下它的 pr ai 的 库, 进行一个注册的模型。我们看一下,首先说这里是一个我们已经部署的一个 skills, 咱们可以直接把这个放给 ai, 然后进行一步一步查询。我这里的话,以 linux 为例,我们看一下,先来到我们安装的这个路径下,每天查找 源代码部署的这个路径下面,然后进行查询这个命令, 这个就是 cloudboard 的 里面的一个注册的信息,然后我们查询一下, 复制在里面,查询到这里面,然后修改一下, 我们对比看一下在 p i a i d s 的 model g s 是 这个文件。我们看一下 这是一个完整的注册表单,也就是我们在开始的引导的时候,它显示的模型,比如说我们选择任何一个,比如说像这个 osdrop, 它会显示这几个模型,这是已经它注册没举好的,所以说这里是没有拉玛,因此我们可以进行手动的一个 支持。我们找到我的 skills, 然后看到这里,由于我本地使用的是拉玛,所以说我们的配置是这样子的, 复制这个我们可以参考下这个配置,如果说我们使用本地的千万二点五的话,按照这个改一下,一二三,其他的东西不动,这个 api 的 请求格式是不动的,然后接下来我们进行 看一下,我们进行加入这里的话,我加入了两个,一个是千万三十比,另一个是最新出的 g i l 是 不变的,然后 这个 api 的 请求它是不变的,其他东西我们随着自己的模型,然后更改一下,我们保存,然后我们进行下一个修改, 这个是我们的一个完整的文件结构,看一下, 然后接着我们进行打开一下它的这个文件,这个是 cloudboard 的 一个运行的文件,我们看一下这里以乌班图系统为例,然后我们打开一下, 看见这里就是我们之前的一个配置,我们选择的是智普的四点七,因此在里面的话是我们的一个设置,这就是一开始我们快速启动的一个引导项,我们需要把这个改为我们的欧拉玛, 我们看一下这是我们的一个视力看一下, 我们按照这个视例进行填入就可以了。然后修改完之后,我们还有一个拉玛的一个环境变量的映设。这里的话我们以 linux 为例, 我们首先看一下原始的一个位置看一下,然后接着我们需要进行用 set 替换一下它的一个拉玛, 然后由于我已经替换了,我们在这里验证一下,看一下我们这里是成功的,在这个文件里进行一个手动的映,是我们修改后的,然后我们进行一个重新的构建, 然后成功之后我们进行一个运行,这个命令我们看一下, 也就是总结一下,我们一共修改一个注册文件,还有一个配置文件,还有一个我们的一个环境变量的欧, 一个环境变量的欧拉玛的 k, 我 们看一下他正在运行,上面已经显示了我们使用欧拉玛的一个三十 b, 看一下现在已经运行成功。然后我们打开这个网址,我们进行一个提问,没有使用 api 的 情况下提问一下,看他是否知道,然后我们看一下右侧的一个现存的调研,本地有拉玛的, 当然的话如果说我们使用 vrm 的 话,我们可以把刚才的三个进行一个设置一下,也是可以的,我们可以看到它进行一个调映,它是没有这个 open i 的 api 的。 然后接下来我们进行一个 网络调用的 skill 的 一个部署,我们首先打开我的这个 skills, 我 们首先到这个原始的目录里面,然后进行一个激活,然后进行运行它的一个官方的命令, 然后找到我们刚才的一个 api, 我 们在这里选择 local, 选择 yes, 我 们这里输入这个 api, 然后点击 yes, 然后结束关于这个 disco 的, 然后我们按照这个配置一个一个点一下就可以了,然后最后的话它会出现一个这个界面获取授权,然后我们就可以进行测试,在此省略了一下, 然后我们我们使用这个命令进行连接一下,我们先关闭在这里的话,使用这个官方的命令进行连接下这个 disco, 然后使用我们刚才获取的那个密钥放入就可以了,带大家走一下, 当然的话这对我们最重要的是,比如说我们可以部署在服务器,然后进行这样运行, 这个就是我们一个完整的一个流程。

就今天给大家讲讲这个拉玛 c p p 它的内存啊,是如何优化的?呃,我定挑简单的和精炼的方式去讲。首先第一 我们现在主要用的都是 m o e 模型,对吧?尤其现在新出的这个千问三点六啊。千问三点六出来之后呢,有一个有量化叫 apex a p e x, 大家去搜一搜,就是这个量化,说是比拉玛的,比那个 onslos 的 更好, 说是 q 四的量化,能达到 q 六或者超越 q 八的水准啊,非常适合用来在本地跑。 那么喇叭 cpb 当中呢?它是用显存加内存啊,这是显存,这是内存,它俩合起来去运行这个模型哈。这个那么你首先如果你想保证速度的话,你就至少两者的容量,你要超越模型的大小,加上下文的大小,这个能理解,对吧? 但是怎么去把它用起来?最初的时候啊?这个如果你没有做特别调整的话,首先就显存这个所有的模型全部装在显存这里边,对吧?就显存八 g, 明显你装不下二十多 g, 那 怎么办? 就是喇叭 c p p 有 一个参数叫 n c m o e, 你 们去他的文档搜一下,叫 n c m o e 这个参数,这个参数特别有意思,就是他把模型中的 m o e 的 那部分拆出来放到内存当中去跑啊,这个参数是设置这个的,就你可以设置, 比如说你是四十四十层的模型啊,其中第一个参数叫 ngl, 这 ngl 是 有多少层的模型放在显存当中?嗯,比方说我们以这个千米三点六为例,它有四十层,那么你设个场设四十的话,它会把模型所有的四十层全部放到显存当中, 这时候你会问我二十多个 g, 我 四十多层,四十多层都塞进来,显存放不下,对吧?好,没有关系。还有这时候就是那个 ncmo e 那 个参数出场的时候了, 你把这个 n、 c、 m、 o e, 你 设成四十,你也设成四十,这意味着什么呢?意味着他把这四十层中的每层的 m、 o e 的 数据都拉到内存当中,由 cpu 去运行, 这个概念你懂了吗?就是如果你设三十五层的话,他就会把三十五层的层中的 m、 o e 的 数据拉到内存当中,剩下的五层依然保留在 g p u 的 现存当中啊,显卡的现存当中, 懂吗?所以非常简单粗暴方法就是你这个是四十啊, n g r 是 四十,你的 n、 c、 m、 o e 你 也是四十,那么你就可以跑起来了,其实速度也不慢,你像我的幺零七零钛,加个啊 d r 五的这个多少兆内存啊?内存 能跑到二十多 tps 啊?如果想看显卡再好的或十六 g 的, 可能像四五十甚至六十这样的,这是个非常非常棒的方法,甚至你可能能跑起大的,两百多币,一百多币的都可能跑起来,懂了吗?
