粉丝3.9万获赞36.9万

家人们谁懂啊, cloud code 居然能完美接入 deep secret 四 pro, 这简直是程序员的省钱天花板,终于不用再写代码的时候,一边用 ai 一 边心疼 toker 了。建议大家先关注点赞收藏,详细的配置教程也给大家整理好了,可以跟着咱们的步骤来。 首先安装 cloud code, 安装完成后输入 cloud version 检查版本。接着第二步,使用 c c c 去图形化工具配置大模型。首先我们打开 github, 搜索 c c c 位置, 找到第一个这个用 rest 写的, 然后点击路由设置,然后点击详情往下面滑动,这里有不同版本的,根据自己电脑下载安装, windows 直接可以下载 mc 下载安装, 我们这里已经提前下载安装完成,安装完成后就是这样的界面,可以对不同的大模型配置,我们这里选择 d p k, 然后这里最关键的就是输入 api k, 接着我们打开 d p k 官网,如果没有账号,先提前注册,找到左边的 api k, 然后创建一个 k, 然后回到 c c 杠 switch, 输入我们刚刚创建的 k, 这里配置下主模型统一都是 d p c k 杠 v 四 pro, 四个都可以填写一样的,填写完成后可以点击测速下看,看到这里 c c c 去的就配置完成了,接着我们就可以点击启动使用 d p c 了,输入 call 检验,看看是否切换成功。到这里我们在 call 的 里面配置 d p c 就 算完成了, 然后有粉丝兄弟问我如何在 call 的 里面配置 d p c 就 算完成了。然后有粉丝兄弟问我如何在 call 的 推荐可以使用 c c g u i, 安装完成后就是这个小图标,正常我们用 c c switch 配置好 idea 里面的插件就会自动识别并切换,可以看到响应速度还是挺快的。好了,本期的视频就先分享到这里,有什么问题都可以粉丝群一块讨论。

今天呢我们来讲一下一个接收文件搞定 ctrl 插件版接入任意大模型的问题。我们常用的三个 ai 编程软件,就是去 vs code 和 ctrl 三个 ai 编程软件,我们用一套配置就可以搞定它的任意的大模型的一个接入。 我首先给大家拆解一下它的全剧变量,它是怎么一个配置的,我们打开它那个全剧变量它的文件夹,我们可以看一下,你装好那个插件板以后,就可以看到它里面有个 settings, 将剩的这个配置文件在你的电脑 c 盘的下面的点可到的全剧列表下面,我们打开可以看一下, 你就可以看到了它真正的配置的具体的细节,包括 apk, 包括模型,包括你的环境变量,包括你配轻量版的模型和 pro 版的模型。 再一个它里面的配置和那个 c c switch 里面的配置是一样的,我们可以打开 c c switch 可以 看一下,我们打开以后点击一下这个配置, 可以看到我目前也是接入了这个这个 c 这个大模型配置好以后,你看到下面的具体的接收文件,就是在这个地方,刚刚刚我们看到第四本文件的内容是一样的,我们可以做一个简单的实操实验,比方说我这里修改一下,我这里加个一二三,我就这里加个一二三,它这个文件我们不动它,等会看这里会不会升成一二三,我们先保存一下, 保存提交以后,这个文件就被修改掉了,你看有一二三,这是什么原因?因为这是他网络切换器的一个核心的用法,他就是通过修改环境变量,节省文件的方式来匹配给它的扣子,这个大模型的一个接入,你搞清楚这个逻辑以后,你的思路就应该非常清晰了, 我原来也曾经走过这个弯路。三个 ai 编辑软件的一个配音键经常出各种问题,改了 a 忘了 b, 改了 d 忘了 c。 如果说你这三个 ai 编辑软件配置监视文件都配好以后,非常精简,非常高效。这个可乐扣的这个配置分两层的一个全剧变量,就是我们刚刚看到的七十八打开那个文件,还有一个是编辑器专属的一个文件, 它那两个文件是同名的,但是呢,它们起作用是不一样的。这个是全局的一个配置文件,这个是针对于 ai 编程软件本身的一个配置文件,你不要把这两个概念搞混了,虽然说同名,也区分一下你包括其他的 get 也是分这个全局的项目的,包括 npm 也是分全局的项目的本身这种啊,全局和专属的这种呢?分层管理就是我们常规行业的一个使用的一个惯例, 这个是刚刚你看的全局的配置,就是为什么打开文件里面要使用的时候,你的 ipk 把这个地址换掉就可以了, 其他你就不用动。如果说你用 mini 系统去,当然你用 mini max 也是一样的用法,这个架子是不变的。你改好以后呢,三个 ai 编程软件,它自动去取这个全剧变量,你改以后,它三个是同时生效的。 我们介绍这个全剧的配置,我们来看下一个。还有一个配置,可能大家没注意到这一个专属配置呢,我前面介绍过,它是针对于这个 ai 编程软件本身的一个配置,它是和那个同名的,但是起的作用它是不一样的,实际上就两行,这个都是通用的,你设置好一次以后,基本上你后面就不用改它了, 上面是固定的文件保存,我们后面如果说要修改其他大冒险,只需要改那个全剧变量,这里是不用动的,它就两行,非常简单,一个是对于很多的扣的登录的提示框把它关闭,另外一个就是面板位置,看一下它专属文件的路径,大家可以看一下,你看这个是全局的 路径,下面就是三个不同的编程软件,它的专属文件这个设定点将接收看一下,这两个跟我这个皮皮星里面的是一模一样的,我把它放在这个地方了,所以说我们通过刚刚的一个讲解,大家可以看得到, 我们要认清楚它的那个结构了,了解它的结构我们才知道怎么去灵活的去使用它。像我们刚刚放到那个全篇编的里面基本上就搞定了,我不用设置为题,也没有任何关系,我每次直接把那个文件我仿用,我已经修改配置就 ok 了,不像那个设置为题容易受受各种的干扰,包括端口,包括本本题路由代理,这个说实话非常不稳定,还是那句 话,如果我们认清楚以后,后面就非常灵活的可以进行使用。好,基本上我今天就给大家实操拆解了这个地方,有什么问题可以评论区留言。

简单三步,用上 cloud 桌面端,并接入最新的 deep sec v 四 pro 模型。桌面端操作简洁,还不用担心网页端载高、响应慢以及账号封禁。接入 deep sec 最新大模型的优势是中文表现好,成本相对低,适合写文案、写代码和做内容分析。接下来跟着我的步骤走三步就能用上。 第一步,下载安装 cloud 桌面端,进入 cloud code 官方网站,根据自己的电脑系统选择 mac 或 windows 版本下载安装。 安装完成后直接打开 cloud desktop。 第二步,更改 cloud 桌面端设置,打开 cloud desktop, 在 顶部菜单栏依次选择 help, 帮助 troubleshooting 故障排除。 enable developer mode 启用开发者模式, 开启后,软件会自动重启。重启完成后,顶部菜单栏会出现一个新的选项,点击 developer 开发者 configure third party inference, 这时会弹出第三方 a p i 配置面板,然后进入 debug 平台,配置 a p i key。 没有账号的先注册账号, 然后点击控制台令牌管理,添加令牌,创建 api key 并复制保存。回到 cloud desktop 的 三方 api 配置面板,把刚才复制的 api key 填进去,选择 xapkey, 填入平台上支持 antropic 协议的模型 id, 例如选择或填写 deepsafe v 四 pro 模型,然后保存配置。 配置完成后重启 cloud 桌面端,重启后可以直接测试,比如输入调用 deep sec v 四 pro, 帮我写一段视频脚本,如果能正常返回内容,就说明接入成功。大家也可以像我一样询问是什么模型来测试。注意,如果你切换了 v 四模型, 但它还是会回答自己是 opus 四点七,不必担心,因为这是软件内置的提示词。如果实在不放心,也可以在平台的使用网址里查询实际的使用模型以及自己的用量。

城南 换一首情歌凉满 月凉快人生的 啊。人生 一首情歌了难。

大家都说 cloud code 是 目前最好用的智能体,但国内的小伙伴在安装和使用时总会遇到各种小脾气,今天这期视频我就手把手带你彻底搞定安装,并成功接入国产大模型。 正好最近 deepseek v 四震撼发布, pro 版还有折扣,性价比直接拉满。话不多说,咱们直接上实操。 第一步,环境准备。首先咱们得把基础打好,你需要安装两个工具, node js 和 git, 这两个软件直接去官网下载就好。安装过程非常简单,闭着眼点下一步就能完成。 装好之后,右键点击电脑左下角的开始图标,打开 power shell, 先输入 node v, 看到版本号显示出来,说明 node 已经就绪, 接着输入 mpv, 这时候很多人会遇到报错,别慌,这只是因为 power shell 默认的执行策略比较严格,限制了脚本运行,我们只需要输入下面这条命令,回车后选 y 确认,现在你再试一下 mpv 是 不是就能正常运行了。 第二步,安装 cloud code 环境配置好接下来就是重头戏,在命令行里输入安装命令,直接参考 deepsea 官方文档的那一行,稍等片刻,进度条走完就安装成功了。 第三步,配置 c c switch 与 api 为了在国内丝滑使用,我们需要用到 c c switch 这个利器同样是一路。下一步,安装好,跳过验证,打开软件,在设置页面先勾选跳过 cloud code 的 登录验证配置模型,回到主页,新建模型厂商,选 deepsea, 填入密钥,去 deepsea 官网申请一个 api key 复制并粘贴进来。由于 cc switch 的 默认列表可能还没更新到最新的 v 四版本,我们需要手动微调一下, 将主模型手动修改为 deepsea v 四 pro, 将嗨酷模型修改为 deepsea v 四。 flash 改好后点击保存, 最后回到 cloud code 界面,输入 model 命令,现在你就可以自由切换模型了。日常简单的代码任务选 flash 感响应飞快, 遇到复杂的逻辑难题,果断上 pro 版精准解决!好了,现在你的最强智能题已经完全体就绪,赶紧去试试它的威力吧!

本地模型要配多好配置的电脑?又是一个电脑硬件配置的问题,你们平时要看你自己做什么,做一个玩这个玩饿了吗?我一直在反复强调,其实就是个玩具,你们现在要看问你自己要干什么?写代码,选写代码抢的模型, 做客服就选择这个便宜的模型,做图片做视频就选择多模态强的模型,做本地的,低成本的就选择能跑得动的本地模型就这么简单。

哈喽,大家好,我是郭勋忠啊,今天呢,是帮一位学友装一台用来跑仿真,后边做一下深度学习的电脑,我们还是先来看一下配置啊, cpu 呢,用的是一颗 amd 的 ec 的 九 g 幺四,经常用了,主板呢,用的是通泰一的 t r s e p。 内存呢,用的是四根儿哈迪仕的四八零零十六 g, 一 共六十四 g, 常见啊,因为内存涨价以来,很多学友都压缩了很多内存,因为确实没有办法啊,后面陆续的加吧。固态呢,用了两块儿红旗的 g m 七 e t, 在一个盘上装 windows, 在 一个盘上装五版图,机械呢是一个细节四 t, 显卡呢,是一个明轩的五零零胎十六 g, 电源是长城的 n 二零两千瓦,以后可以换五零九零 pro 六千三十 g 呢,用的是利民的 s p 五的三幺零水冷机箱依然用的是追风者的叉 t 五二三。那么下面我们就开始装吧。 现在呢,这个群友的电脑就已经装好了,我们来看一下,是一颗 amd 的 ipc 的 九十幺四六十四 g 内存,这边是他所有的框框,还有一张五零零台十六 g 的 卡,因为他要跑一些小模型用。 那么这个群友呢,他想让我帮他装双系统,就是一会还需要帮他在另一个固态上装一个五班图,然后就完成了。现在呢,这个群友的五班图的系统就已经装好了,然后在另一个硬盘里装了五班图。 这个球友呢,主要是用来跑一些仿真,然后再额外去跑一些小模型,这这个配置呢,也是这个球友反复确定的,嗯,可能也是因为九折幺四确实比较有性价比吧,然后他的单核心性能又比七零三要强一些。嗯,如果预算足够的话,当然还是可以用的。 主要就是内存太伤了。预算不足的话,呃,通道太少对大部分仿真其实是有影响的。嗯,内存当然是越多越好。呃,最好的插板。当然这个也是结合个人预算呃,可以自己后续慢慢加。那么这期视频就这样吧。我是王品主,再见。

今天很多朋友们更新可浪的客户端到最新版后呢,大家都报这个错了, dipc 或者其他任何第三方模型在模型列表中也不显示了。其实呢,用一个很闲的方法可以解决,但是我有种不祥的预感,不知道下个版本直接是不是会这个办法也用不了了, 所以朋友们要用第三方模型,新版本出来后呢,不要着急更新啊,如果你已经更新了,也出现了上面的这种问题,那 现在呢,跟着我的视频往下走,很简单就能解决。我们点击这个 developer 按钮,然后呢,点击这个 configure third party 按钮,定位到模型列表这里,无论我们是什么模型 id, 我 们呢全部改成 astropic 的 这种形态,其他地方呢,不做任何修改,当然你也可以填四杠七,这都没问题,只要是 astropic 了,显示的是 solid 和 opus, 现在我们执行任务就正常了。

我有一台电脑,型号是联想 y 四五零。这台笔记本电脑是我当年考上大学之后主动找爸爸要的,并不是他主动送给我的大学礼物。二零零九年,我考上了山东的大学,读机械相关的专业。 对于从没出过县城的我来说,来到青岛这样的大城市,第一感受就是无比新鲜,眼睛到处看都看不过来,校园那么大,感觉比我们整个村子都要宽敞。爸爸和我一起坐客车来到学校。报道结束后,我们在学校南门的小摊上吃了包子,喝了粥, 他还在我宿舍的板床上住了一晚,第二天就回了老家。大学的生活太过丰富多彩,脱离了十二年的山东应试教育,我觉得大学里的一切事物都充满吸引力,彻底放飞了自我。大学的专业课有二维图纸 c、 a、 d 和三维建模 u g 的 课程。 学校有危机事可以刷学生卡使用,正常的课程学习都在这里进行,课后也会留作业让我们自己练习。可学校的电脑太过老旧,特别不好用。也是到了大学,我才知道,原来电脑上有这么多好玩的游戏,能做很多除了写作业之外的事。 最开始我也只是在危机室做作业,没课的时候就和舍友去网吧上网,但看着身边不少同学都买了自己的电脑,我也无比渴望拥有一台属于自己的电脑。于是我给爸爸打去电话。时隔这么多年,我依旧记得当时的场景。我对爸爸说, 爸,我要买一台电脑。爸爸问我买电脑干什么用?我回答,上课学习需要用。电话那头沉默了一会,爸爸轻声问,不买不行吗?我执意说,老师布置了作业,没电脑根本没法做。 爸爸只好说我想想办法。挂了电话之后,我开心了好久,满心想着自己终于要有一台私人电脑了,还特意跑去周边的电子城实地了解各种电脑的款式和配置。过了几天,爸爸打来电话, 说他找了当地的一个朋友,打算给我组装一台台式机,让我放假回家的时候拿回去。我已经不记得当时具体的缘由,只知道自己不想要台式机,一心想要笔记本电脑。 大概是看到同学手里精致的笔记本,心底的虚荣心在作祟,我在电话里和爸爸不停争执,态度无比固执,说什么都不要台式机就要笔记本。那时候的我像是钻了牛角尖一样,丝毫不让步。 最后,爸爸终究是扭不过我,同意了我的要求,给我打来了五千块钱。可在二零零九年,五千块钱根本买不到一台好的游戏本。后来机缘巧合,我联系上了高年级的学长,入手了一台联想 y 四五零的展示机,搭载 g t 二四零读写 就是我手里这台。这台电脑的运行速度比学校危机式的电脑快太多,玩游戏格外顺畅,我甚至有时候会逃课,躲在宿舍里打游戏。他陪着我度过了快乐又肆意的四年大学生活,帮我完成了论文和毕业设计, 即便后来参加工作,我也一直带着它。以前我从没想过一台电脑能用多久,按照摩尔定律,电子产品使用五年基本就会性能跟不上,无法再正常使用。可这台中途只更换过一次硬盘,直到现在依旧很耐用, 开机只要十九秒,我还能用它打游戏。当年靠着一句学习用的谎言,从爸爸手里换来的电脑,竟陪着我走过了远超三个五年的时光。我从前始终不理解,买电脑的时候不过是差两千块钱, 爸爸为什么会因为我执意要笔记本,不要台式机,和我争执那么久?直到我参加工作这么多年来,从没给自己买过超过五千块钱的电子产品,才终于明白, 那五千块钱从来不是一笔小数目。那或许是爸爸在地里辛苦劳作一整年卖粮食换来的全部收入,或许是他在工地上没日没夜干活,不吃不喝三四个月才能攒下的工钱。没结婚之前,我也始终不懂爸爸, 不懂他为什么每个月只给我五百块生活费,不懂他为什么把钱管的那么紧,不懂他为什么总是精打细算省吃俭用过日子。直到后来我订婚结婚,自己也当了爸爸, 开始扛起赚钱养家的重担,才慢慢读懂了他的不容易。爸爸在我工作四年后被确诊为尿毒症,在我结婚七周年纪念日当天永远离开了我。我总忍不住想,爸爸是不是怪我工作后一直在外奔波,回家看望他的次数太少,才特意选了这样一个特殊的日子离开? 是不是怕我以后会忘记他?可我怎么可能忘记他人的一生不过短短三万多天,爸爸的爱陪伴了我五千多天。都说父爱如山,深沉厚重, 可细细算来,这份爱好像也没有那么重,折算到每一天不过零点八零五八元。

最近不少朋友在问,想用 openclaw, hammers agent 这类本地的 ai 框架,本地跑大模型,自己搭建 ai 服务器,无成本的养虾,到底该选用什么样的显卡,配多大的内存才够用? 大家好,我是根五,今天一次性给大家讲清楚,主流的开源大模型分别需要什么样的显卡和显存,搭配多大的电脑内存,新手也能照着直接配。本视频仅提供硬件的选型参考,不构成任何构期的建议。我用三个最主流的模型,一个是 deepsea, 一个是千万三点六,还有一个是 j m 四, 这满四档,然后六六个精度档位,一个计算公式,争取一次性把本地极限大模型的显卡该怎么配讲清楚,本地部署模型的优势也就不言而喻了。一个是一次性投入,永永远不需要花钱啊。第二块就是这个数据的隐私可以得到保证,第三的话,呃,更低的延时响应,因为他无需网络啊。 那显存的这个耗损该怎么计算啊?最最重要的就是模型的权重,也就是说我们的参数量乘以每参数的质结数。我举个例子啊,我这里用 j 买四二十六 b a 四 b 杠 it 这样一个模型来举例子啊,我 j 买四 二十六 b, 这个二十六 b 是 代表两百六十亿的参数,这个 it 是 代表他是一个就是没有经过量化的一个基础大模型, 正常他是 f 啊,他后面他还有一个参数叫 f b 十六位,你十六位的话,我这里应该就乘以乘以个二,也就是说二十六 b 乘以二是大概首先就要占三十多 g 的 这样一个 显存啊,我把它加载去啊,什么都不,什么都不做,那就乘以二二六一十二,那就是五十多啊,五十二 g 的 这样一个显存, 然后再看前面,再看这里,然后再看到这个计算公式啊,模型的权重,也就我已经加了个五十二 g, 然后再加上 k v 缓存,大概是三到七 b, 再加上激活缓存,那大概就是六十多 g 的 一个总显存。我们来看一下活动监视器,把它调度出来,你看这里快花到了七十个 g 了, 六六十九个这个显存,六六十九 g 啊,大概稳定在这个七十 g 以内啊,七十 g 以内,大概是稳定在这个六十八 g 左右啊,六六十八 g 的, 这个可以说今天 你能干什么吧?就让他说一些话,是吧?可以看现在已经超过七十 g 的 七十 g 的 显存,然后呢?如果你没有这么大的显存,该用哪些模型呢?这里其实有需要做这个量化,比如说假设我这个这买四量化,量化到了四比特啊,这里是, 这里是它的原声模型,原声模型是十六位,十六位的话,它精度特别高,如果你把它降到四比特的杠四 b 这个这个意思,它就除以二,大概就是我的二分之一的这个显存就可以了,也就是三十多 g 显存就可以跑这个界面试。所以说你的显存如果我的显存不够三十多 g, 只有二十 g 怎么办呢?它会, 它有个叫 mlx 的 一个量,它它有个推理框架,这个推理框架它可以用你的那个内存作为部分显存,它,它代价就是会慢一些,慢一些。假设我在算这个千万三点五啊,假设千万三点五四 b 的 这样一个模型,那我这里算计算公式的是三十五除以二,也就是十七 gb 的 显存,再加上不到十七, 那就是二十多 gb 的 显存,我可以试一下。这刚刚一下子请求那四个,他这个在病房呢,好,然后你能干什么?然后应该现在是好了,好, 大概是他装载模型会有一段时间啊,就是我刚切换模型了,大概是稳定到二十一 g, 所以 说,所以说你还是最好,如果你的显存不大的话,用千万三三点六,千万不要用 jb, 这是五十多个 gb, 五十多个 gb, 它的计算公式核心就是显存的权重啊,这个占百分之八十五以上的这个显存,然后什么 k v 缓存啊,什么激活显存啊,拢一样,这个都占的不太大,不太大。 还有啊,还有一个 d f c 特别提一下,所以 d f c v 四 flash 算是最近开源的最强的一个模型,它是,呃,基本上 接近闭环的这个 g p t 四 o 的 水水水平啊,就是你要下这个全的全能力的话,要把要硬盘准备五百六十 g, 然后它大概显存是怎么算的呢? 那是二百八十四乘以二。那首先这个一定逃不了啊,首先六百 g 的 这样一个显存是逃不了的,是吧?就是你把它量化到四 b 的 话,也也至少也至少需要一百 一百四十多 g b 的 这样一个显存,再加上日常任务,再加个二十二十 g, 我 估摸着也是要一百六十 g 这样一个显存才能跑得起来的, 对不对?所以说你起码是要去配那个企业级的,企业级的方案了,那这里推荐是用八八个这个这个英伟达的 a 一 百的显卡, 或者是四乘以 a h 一 百的显卡,那才会获得一个比较好的推给大家,他已经非常强大了,非常强大。所以说最后的总结就是你玩一玩的话,个人的话玩玩龙虾呀,或者悍马仕啊,这个差不多有一个 呃,七八十 g 的 这样一个血橙就就够了,但如果是你要做这个服务器啊,对吧?或者是做一些比较复杂的长生任务啊,那肯定是要几百 g 的 这样一个血橙, 那所以说它全精度大概是要五百六十 g 显存,所以说不是普通玩家能驾驭的,我试过了,就我把一个这个精度四 b 的 这样一个 dvd 下楼,肯定我跑都跑不起来,那他直接就报错了,或者你要是强行运行起来,你这个电脑就踏实了, 所以目前来看,千万三点六啊,三十五 b 也是高性价比之王上,大概我这个电脑测试了二十一个 gb 的 显存是最小的,如果你说我只有 这个十六 g 的 币的怎么办呢?那只能你去捡这个大概你只能跑十六币的杠,四币的一个参数,大概你是十 g 左右的这个线分,但基本上你就是一个玩具啊,就是只可以玩一玩,或者我估计养个虾都够呛了 啊。这个模型还是消耗的这个显存特别大,因为我这个是没有量化过的,因为它可以把我这个电脑笔记本一百二十八 g 的 显存把它压干,因为因为我大概是全程是要跑到六十多 gb 是 吧,接近七十 gb, 然后大概内存会占个三十 gb, 也就一百 gb, 所以 说一百 gb 这个是差不多的啊。 好,那不同的预算该怎么选呢?我刚刚说的主要是入门级的就是三零六零啊,一定至少是三零六零,呃, 至少是四零六零 t 吧,因为四零六零 t 它支持是抠抠打技术,抠打的技术还可以帮你节约一些显存啊。所以说你是十六 gb 的 这样一个显存,再加上你的三十二 g 的 内存呢,基本上能够刨起十三 b 的 这样一个模型。 如果是你呃经济比较好的话,建议你去买那个呃服务器,就是最近那个六千对吧?那个六千的那样一个大概是二十三十六 gb 的 一个显存,我觉得就可以跑得起这个 j 满了。 j 满是因为他在那个英伟达的,在这个这个 c u d a 技术的话,他不需要像麦克这么烧钱,这这么烧钱存对 苹果的话,建议你如果要做服务器的话,一定是要选择 max studio 啊,千万不要选这个个人那个电脑,那个 mac 的 这个笔记本那个不是很稳定,就是我一天跑个几小时还可以的。如果你二十四小时都挂了机的话,就千万不要去买这个笔记本,一定是要买工作站的。 最后就是记住这三个话,总结吧,显存性大大于算力,显能算力一定是要大于内存,所以说跑大摩羯先看显存够不够,再看你的抠打核心数。第二的话,量化是神器,四 b 的 话可以帮你降,其实比这个降的要多,我实测大概是降了一半左右啊,质量损失不到百分之十, 所以说平民级的就有些量化更极端,量化到二 b 他 基本上会降百分之七十五,是要降百分之五十吧。最后是看配显卡,对对, 这二十 gb 我 觉得是一个比较合适的中档位啊,也就是说,呃,五零九零、四零九零都是一个起步的这样一个配置,所以说你要是四零六零啊,基本上就是玩一玩而已啊,就做不了什么比较重要的任务。对对对,本次分享就到这里,希望能帮到大家。

如果你要安装 cloud code, 但又没有梯子,而且想使用国产的 deep c v 四模型替代 cloud sunny 四点六模型,那么你就应该尝试一下这个开源项目,有了它, cloud code 就 会直接使用 deep c 工作。我们说干就干, 但在干之前,你是否还按照以前那样去看项目文档,然后一步步去执行指令?我要告诉你不用这么做了,我这里使用 work buddy 一 次性自动解决这些麻烦的步骤。大家看过来, 我直接跟他说,我希望你帮我安装 cloud code 到我的电脑,但我没有梯子,你帮我想办法安装好,他就开始为我寻找各种方法去安装。 一会功夫,他找到了镜像网站,并为我安装成功。就是这么简单,一句话搞定。接着我们告诉 workbody 打开这个开源网站,读取说明文档,然后帮我安装起来。我一开始是让他使用 media 的 免费模型,但后面实测太慢了,还是用 d p c 比较好。 大家可以直接在后面直接告诉他,按照 deepsea 配置。接下来咱们访问 deepsea 的 官网,并选择这个 api 开放平台,从这里申请一个 api, 首先要先充值,充值后就可以生成 api 了。 接下来复制这个 api, 回到 work buddy, 告诉他我申请了 deepsea 的 api, 让他帮你修改项目的配置文件。 有一点要注意的是,最新的 deepsea 文档已经变化,模型名字只有 deepsea v 四 flash 和 deepsea v 四 pro 两种选择。要告诉 work buddy 注意按照最新的名称填写。 修改好后,我们可以看到目录下会有两个 p 处理文件。我们先来运行 start proxy, 点 bet, 这是建立一个代理,让 client 的 模型调用都转向去我们指定的模型。接着再打开 startcloud bet, 我 们就能见到熟悉的 code 界面了。 我们测试一下,看看他是否知道他调用的是哪个模型,我们看到他显示当前模型是四点六。好了,下面就可以愉快的玩耍了。欢迎关注我的账号,我会随时分享我的各种技术实验,也欢迎大家留言探讨。

我这两天发现群里有人说养虾养马托肯费太贵,消费不起,问我消费级的个人电脑可不可以在本地运行模型,达到省钱的目的。我先说结论啊,可以,但配置要求不低,且需要合理的选择模型。大家好,我是根骨,今天是 hymes ag 的 系列课程的第十六堂课, 家用的电脑也能用本地模型玩转。 hymas 视频的前半段给大家做一次演示,后半段详细讲电脑配置和模型的选择。首先给大家看一下我这里本地下载的三个模型,一个是纤维三点六啊,第二个是 j m j m 四二十六 b, 最后一个是 g p t o s s 的 二十 b, 然后切到这里啊,切到主页面,然后我们先看一下 hymas 用这个 g p t 的, 这个 o s s 的, 它的效果怎么样啊?我还是先上题目吧, 中的数学题,我把它粘过来给大家看一下,看它有多快啊。一二三四五五道数学题啊,第一道是小明骑自行车匀速行驶十五分钟骑行他第一步,他要加载这个模型啊,加载模型完了以后,他很快就能够把这五道物理题目, 五道物理题目就把它输出来了,是吧?第一个啊,速度是多少?体积多少?重力多少?压强多少,大概是七十个投分每秒,然后第二次的话会比较快啊,这里有五道小学的数学题目,大家可以看一下它有多快 啊,什么?你看非常快吧。然后呢,再给他做一个编程题目,大家也可以体验体验这个 gpt 的 强大之处啊。 gpt 这个是里面三个模型里面消耗资源最少的,大家可以看一下我这个资源消耗多少啊? 这个可能太小了,这个看不清楚啊,大概是消耗了三十七 g 的 这样一个显存。然后你看他这个 token 数已经已经出来了是吧?已经出出来了,这个代码已经出来了,你可以说我可以说本地运行一下。 哎,他自己运行出来了,他有 bug 是 吧?对,他有 bug, 他 他有 bug, 他 自己会去做修改,这个不用管,很正常的。给大稍微等一下。哎 啊,这个其实还是很挫呀。怎么样去切模型啊?比如说我这有三个模型啊,怎么去切呢?呃,命令就是 hammers model 是 吧? model, 哎,这里有这么多,我选哪个呢?假设我已经配置好了以后,我这里就选 custom 自定义这样一个一个通道是吧?幺点幺二七点零点零点幺。 然后因为我这里有四个这样的模型啊,就大家不知道能不能看得清楚。有四个三个模型啊,我随便选一个,比如说我选这个千万是吧?千万也是非常不错的,我已经选完了以后他自动的会把这个网关重启,然后用 hammer 试,是吧? hannah's chat。 然后呢,我给他演示一下,就是用 financial type pro 去查英伟达获取三天内的股价,并预测未来的一周的变化趋势。哎,出来了,大概是做了两分钟才出来 啊,可以看到它的这个价格是吧,然后 k 线图分析师的建议啊,等等,这个就不看了哈,就不看了。 今天的课程的重点来了,也就是一句话,能跑,但配置要求不低,且需要合理的选择模型。 那这套配置面向的是什么呢?我,我后面会给详细的配置啊,这个这个配置是解决我们日常的这个办公啊,学习的效率啊,比如说文件的整理啊, 把这个麦克电脑的这个桌面进行分门别类的整理办公啊,办公的时候我们要选 ppt 啊,或者是读取这个 word 文档里面信息,最后帮我总结成 一份比较漂亮的格式的,这样以图文并茂的这样一个文档啊。第三就是信息查询,这个有新闻啊,刚刚演示的是股价的查询,是吧?其实信息信息的查询和那个新闻的查询更容易一些啊。 第三块就是简单的编程,刚刚演示过了,这个是非常重要的,因为我要去连接什么飞书进行远程控制,电脑帮我在这个用海马仕或龙虾进行操作啊。最后就是最后就是各种通信的渠道,它其实能不能选模型比对应件更重要哦,有很多人他说我的电脑为什么这么好,跑跑这个龙虾会这么慢呢?其实看你 mac 还是 pc 啊,如果你 比如说我们,我我我首选啊,为什么我推荐这个吉米莱四啊,二十六 b 啊,是因为我用来用去就觉得这个还是更好用一些,当然后面两个也是可以的,这两个并不差,你看我刚刚演示的就是 gptos 和那个千问三,三点六,三点五都是可以的 啊。如果你是 pc 的 电脑,就一定是要去找支持抠打这样一个技术的这样的一个推理框架啊,这个抠打就是因为的啊,这个针对 n 卡开发的这样一个计算的推理框架啊。还有第二的话,一定要选择它的量化技术啊,也就把模型瘦身成四 b 或者二 b 都是可以的,大幅度能够降低这样一个内存的消耗啊,选存的消耗。第二的话,如果是苹果电脑的话,我选择这个六十四 g 左右的这样一个选选存啊,比如说,呃,比如说我,如果是苹果电脑,一定要选择 m l 是 苹果 推理的这个框架的啊,这样一个知识的技术。第二的话,最好是能够有支持 m o e 混合专家模型,假设我如果是用的 deepsea 啊啊一一点四 flash, 它有八到九个这样一个混合专家,但是我每次的任务只用其中的一个专家,这样能大幅度减少计算量和选存的这个占占有率啊。 第三的话,如果你是用的欧拉玛框架,一定要去选择 g g u f 这样的格式,如果我,我这里不是用的欧拉玛,所以说我不能去选择带 g g u f, 虽然 g g u f 能够跑,但是呢,它在这个不是欧拉玛框架下,它会死慢死慢的。对, 所以说一句话介绍的话,如果你是 pc 电脑,一定要去选择支持库达这样一个呃,大模型的这样一个版本啊,这个版本如果你是苹果电脑,一定要去选择 m l s 再加上 o e 这样一个混合专家模型,那它是非常快的。如果你非要用欧拉玛的话, 欧拉玛它是支持 pc 和 mac 电脑双双系统,所以说一定要选择 g g u f 这个模型,它是两台不同的平台都可以跑。最后一个结论就是模型不是要越大越好,一般来说我们这个六十四 g 的 显存啊,就是二十二十八二十六 b 是 最好的这样一个分水岭,它,它不会,它不会占满你的显存,对吧? 好,然后呢,首先来说一下这个电脑配置,刚刚说了 mac 的 话,我我吴老就选择 m 三啊, pro 啊,这个这样一个配置啊,加六十四 g 的 这样一个,呃,显存,因为因为 mac 它是统一内存架构,它显存和内存都是都是一体化的 啊,推荐是用的 m 四一百二十八 g 啊,这大概是四万多,如果你这个比较拮据的话,你可以选择这套配置,就 pc 的 话一定最差,最差应该是用三零八零, 他不是十 g 啊,应该是十二 g 左右的显卡啊,只能跑更小的模型,那推荐是用的四零九零二十四 gb 的 这样一个,呃,这样一这样一个配置,他肯定能铁定能跑二十六 b, 就是 我上面说的三个模型都是可以跑的。 然后最后的话就是你一定要先从小模型先选起啊,就是选择这个八 b 或者十六 b 的 先去尝试啊,就是三零八零大概率也是能跑起来的,但是三零九零的话一定可以跑得起二十六 b 的 二十六 b, 所以 所以说你的那个电脑的那个内存也要稍微大一点,至少也要到六十四 g 啊, 大概是这样一个情况啊,那我可以用的这个是 ai 的, 就是我去租一个服务器,这个也是可以的啊,这也是可以的。

大家好啊,那我是老王啊,评论区好多人问啊,国内是不是不能用 cloud 啊?这个问题不能简单的回答,是能还是不能,首先要分清三件事啊,这个 cloud 还有 cloud code, 还有 cloud cooke 的 三个是不一样东西啊,就大家所说的 cloud, 它是个有官方网页版,还有官方 a p i 是官方服务啊,但是中国大陆是不在它这个 cloud 母公司 ansapic 的 这个官方支持地区啊,所以说直接使用啊,是有门槛的。这 cloud 的 模型又分为这 sonata 啊,四啊,点七是最新的,但是 cloud code 它其实是一个工具,还有 cloud code, 它是在你电脑终端的 呃,一个软件更像一个车,就是一个车壳儿,但是 cloud code 里边它可以 对接不同的这个模型,就是我们说的发动机啊,就说 cloud code 其实是在国内是可以用的,可以接入啊,同的模型,就如果说你接入这个 cloud 模型 啊,肯定是有一定门槛,但是你却可以接入其他的模型,就 mini max 啊, sick 还有这个 kimi 啊,江问这些啊,都是可以接 cloud code 的。 更准确的说啊,国内用户不一定能直接稳定地用这个官方 cloud 的 这个模型服务, 但是它还是可以用这个 cloud code 的 这些编程工具流的啊,不是说你把这个里边的这个动机给换成国内的这个型就行了啊,关键看你背后是用什么模型,大家明白了吗?啊?

家人们千万不要在这个房间里面。呃,训练这个 ai 模型,我们现在训练的这个是河南 方言的一个 a s r 模型,又训练了好几天啊,这个 一个是,这个是侧透玻璃,到晚上的话一关灯就非常亮啊,然后晃眼睛啊,然后还有就是这个散热 排的这个热量,现在广东这边已经进入到夏天了,已经很早进入夏天了,然后这个特别热啊,这个闷啊,晚上热, 晚上因为拉拉拉了那个窗帘呢,就是透气性没那么好,然后特别闷热,然后还有这个噪音也是一个问题啊,这个噪音啊,你听这个噪音, 特别是这个 c p u 的 一个散热啊, c p u 的 话是水冷的,但是也噪音特别大, g p u 的 也是水冷的,它的,呃,那个噪音比较小,主要是 c p u 的 这个水冷散热啊,特别大音浪, 它那个风扇的音质不大,水冷的话它也是有风扇的,而且还是三个风扇的呢,然后这个是机箱自带的一个风扇啊, 反正就是既是光污染又是这个噪音的一个污染。还有这个,嗯,热量的一个影响啊,要是 要是这个冬天的话,还好啊,可以充当这个啊,热源,可以充当这个暖气啊, 但是这个大夏天啊,就很受不了啊,前两天还好,前两天降温了啊,下雨了啊,降温的话有有有 啊,甚至有有有,这个二十度,二十一二度啊,这个,然后这今天的话一温度又等回来又回升了啊,达到了这个二十七八度了, 过两天的话温度会越来越高啊,到时候就更受不了了,希望他快点训练完成,快点训练结束, 已经训练了好几天了,这个数据集相比之前训练的有点大,是六百小时的一个数据量啊,但相比开元那些的话还是小很多的。