quan image edit 二五幺幺无疑是近期开源 ai 绘画领域的一匹黑马,其在图像编辑与人物一致性上的表现,被不少资深玩家公认为触达了当前技术的天花板。 quan 二五幺幺最令人震撼的能力首先体现在其对人物之间的融合上。在实际的工作流测试中,当创作者输入两张人物参考图时,模型并没有进行深意的像素堆叠,而是展现出了惊人的解剖学推理能力。 即便原图仅为半身像, ai 也能根据人体结构与场景逻辑自动捕全出原本不存在的腿部与鞋袜。这种从图像模仿到羽翼捕全的进化,使得它在处理复杂的双图融合任务时,能够保持人物面部特征与服饰细节的高度统一, 彻底解决了以往模型容易出现的肢体崩坏问题。这种对画面元素的深层理解同样延伸到了跨次元的 ip 融合场景中。 当我们将真人照片融入风格独特的电影海报时,宽二五幺幺表现出了极强的元素固化能力。它能够在将真人无缝植入动画场景的同时,精准保留背景中原有的小细节,实现了人物与环境的完美共生。尽管在处理背景中的复杂文字时偶尔仍有瑕疵, 但其在构图与氛围渲染上的稳定性已足以胜任高精度的创意海报设计。如果说一致性是 ai 绘图的基本功,那么对物理光影的逻辑化重塑 是奎纳二五幺幺的杀手锏。不同于传统滤镜简单的色调独家,该模型仿佛在构建一个真实的三维物理世界。在进行日夜转换的测试中, 当指令要求将白天室内场景转为夜晚时, ai 不 仅压暗了环境光,更会依据物理常识自动点亮床头的台灯,营造出真实的慢反射效果。为了让大家能第一时间上手体验这套强大的生产线工具,我已经将本期教程中演示的专属 comfyi 工作流以及配套的懒人整合包整理完毕,直接置顶放在了评论区,即取即用。在下一期内容中,我们将进一步拆解工作流内部的节点,连接逻辑,手把手带你了解这套最新最强的模型使用方法。上期我们对 quimmy 编辑二五幺幺同志集 表现的宏观评测,今天我们将不再留恋于概念,而是直接把工作流拖入 comfy, 来一场硬核的拆解测试。如果说上一期我们是在惊叹引擎的马力, 那么这一期我们将亲自坐进驾驶舱,测试这套经过精心调优的三图编辑工作流,究竟是如何在实战中将逻辑与画质推向极致的。 测试的序幕由最基础的单图编辑拉开,我们在最左侧的被修改的图像节点中加载了一张普通的室内场景,试图考验其光影修改的内容。在提示词中简单输入,将环境改为深夜,开启台灯后,得益于 lightning lora 的 介入, 画面在短时间内便完成了从白昼到深夜的切换。最令人惊艳的是, ai 并没有简单粗暴的压暗全图,而是聪明的识别出了画面中的高原逻辑。 接下来,我们进入了双图融合的进阶玩法,即当人物遇上新世界。我们在第二个家在节点上传了一张风格迥异的风景图, 并下达了将图一人物融入图二背景保持光影一致的指令。这正是宽二五幺幺的杀手解所在。生成的图像中,人物不仅自然的占据了新场景, 更关键的是光影发生了逻辑性的适配。这种以往需要 control lab 配合光影重绘修半天的工作,现在仅仅通过一句话就能实现。他不是简单的抠图合成,而是重新渲染了人物在特定环境下的真实状态。 最终的终极考验来到了三图编辑,这也是该工作流配置三个 loadimage 节点的意义所在。我们直接沿用了工作流中预设的那条高难度指令, 让图一的女人的衣服替换图二紫色毛衣角色站在画面中间,背景改为图三的场景,并进一步指定毛衣款式。参考图二,这相当于强迫 ai 并发处理三个任务,背景被完美重建在身后实现场景迁移, 而图案中的毛衣材质被精准提取并穿在人物身上。值得一提的是,由于尾部 cvr 二放大模组的介入,即使经过如此复杂的重绘, 布料的纹理细节在放大后依然清晰锐利,完全没有传统重绘常见的涂抹感。总结来看,这套工作流之所以能被称为版本,答案是因为它完美平衡了速度与质量,依靠物理逻辑而非像素拼贴来保证画面的合理性,最后再由 cpr 都抵画质, 他已经超越了工具的范畴,更像是一个懂你指令的 ai 修图师。相关工作流和整合包已经在评论区准备就绪,各位不妨下载一试,看看你的三张图能碰撞出怎样意想不到的火花。
粉丝5782获赞2.6万

全网最牛,完全免费本地部署单音色克隆,多人对话克隆!先来看看效果,俺老猪也来说两句, 八戒你个呆子,你刚才听到的这些声音,没有一个是真人录的,而且他们不是任何付费的配音工具生成的,他们全部来自一个开源的语音合成大模型。昆三 完全免费本地部署,一键启动即可使用。它的模型参数非常小,对电脑的配置要求也不高,最低四 gb 显存就可以使用,只需要几秒钟的参考音频,就可以完美的还原你的声音。 更重要的是,这个模型在实际使用的过程中稳定性非常高,不管是语速、情绪还是句子之间的停顿,整体都非常自然, 很少会出现丢字、多字、节奏混乱的情况。它甚至还可以通过 ai 特调定制专属音色, 同时支持多角色对话,对于做内容的小伙伴来说,实用性真的非常高。所以在今天这条视频里,我会手把手的给大家演示如何通过一键安装包把困三部署到本地进行使用。同时我也会把它的一些核心功能, 包括声音克隆、音色保存、一句话定制音色以及多角色对话,全部带大家完整的走一遍。老规矩,本地部署的一键安装包下载链接我已经放在视频下方的说明栏里了, 解压即可使用。嘿,我是九姨,专注于使用 ai 自动变现,如果你想要更加系统的学习 ai 知识和运营经验,也可以加入我的课程。 我把 youtube 从定位、内容制作、发布到变现,整理成了一套系统课程,适合不想盲目试错,想要一步步搭建体系的人,相关链接我也会放在说明栏里,感兴趣的小伙伴可以自行查看。那我们继续直接进入今天的实操部分。 下载完成之后,小伙伴们会得到这样两个压缩包,我们全选所有的压缩文件, 右键解压到当前文件夹。如果有的小伙伴使用的是温系统自带的解压工具,有可能会出现解压不全或者是文件丢失的情况。如果有遇到这样的情况,可以重新用三六零解压试试。 解压完成之后会出现这个文件夹,我们打开文件夹,双击开始,稍微等待一会就会自动跳出外部界面。 接下来我先来带你看看如何克隆声音。我们先点击单人语音合成, 在文本位置可以输入需要转换为声音的文案,这里的文案可以自行选择语言,也可以混合语言,比如既有中文也有英文也是可以的。 下方这里的语言类型可以根据大家的文案语种进行选择,也可以直接保持默认的自动识别。下方是多音字矫正功能, 如果小伙伴们对于发音的准确性要求比较高的话,可以按照视力格式将文字的拼音标注出来。中间这里的模型有两个可选项,模型参数越大效果越好, 但是对于电脑的配置要求也就更高,生成的时间也就会越长。小伙伴们可以根据自己的实际情况进行选择。下方这里可以选择音色列表中的音色, 也可以选择使用参考音频克隆声音。为了方便后续的操作,小伙伴们可以将自己的音色保存下来,方便后续的使用,稍后我还会讲解如何将我们的音色保存下来,以及如何删除不需要的音色。 这里我们先来演示如何使用参考音频克隆声音,将我们准备好的参考音频拖进来,可以先点击下方的音频超分降噪,优化音频的效果。 中国的创世神话版本很多,我们最熟悉的一句就是自从盘古开天地。 在下方的参考音频文本,这里会自动识别音频中的内容,一般情况下识别出来的内容是准确的, 如果有错别字或者没有识别到的地方,小伙伴们也可以手动补充进去右上角的一些参数,保持默认的不变就可以了。这里也可以调整语速, 一般选择为原始速度就可以。下方这里的变形批次小伙伴们可以根据自己的电脑配置进行选择,如果电脑配置不够高或者是老旧显卡的话,设置成一就可以了。点击下方的开始生成, 我这里测试使用的电脑是三零九零二十四 g 显存,按照屏幕中显示的参数配置,生成一分钟的音频大概需要二十多秒,如果换成零点六 b 小 参数,速度大概会提升一点五倍。稍微等待一会音频就生成好了, 我们可以来听一下效果。楚王韩信在受封回到家乡后,送了很多钱财给那位曾在河边舍饭给自己吃的老婆婆,还认命曾让自己忍受胯下之辱的屠户为中尉,称她是一位勇士。 至于流苏过他的亭长,韩信只给了他一点点钱,并谴责他是个意志不坚的人,还是非常稳定的,也没有出现多字和丢字的情况。我们再来换一个参考音频,看看 假不假。白玉为唐金做马,按照同样的操作,稍微等待一会就生成好了。效果是这样的, 公元前一百九十七年,也就是汉高祖十年,陈熹造反的消息传进汉宫,刘邦决定亲自出马镇压,他打算让韩信随自己出征,韩信推脱身体抱样,刘邦也不勉强。 那刚才我们使用的是参考音频克隆声音的,如果我们想将这个音色保存下来,应该怎么操作呢?可以在音色名称这里输入一个音色的名称,点击保存音色模型就可以了。 我们再次回到上方的位置,点击刷新音色列表,这样就可以在列表里看到我们刚才保存好的音色模型。那有的小伙伴就会问,如果这个列表中出现了我不想要的音色,应该怎么处理?打开刚才的文件夹, 点击 versus 文件夹,删除自己不想要的音色就可以了。 我们将刚才的 web 页面向下拉,可以看到下方有一个音色设计与创造栏目,在音色设计描述这里,我们可以根据自己的喜好输入音色的特点。我在这里随便使用一个描述, 中间位置是测试文本,这里我们可以随便输入一句话,等到 ai 生成音色之后,会将这句话读出来,点击开始生成测试音频效果是这样的,你听说过克隆声音吗? 如果小伙伴们对于生成的音色不满意的话,可以修改提示词重新生成。你听说过克隆声音吗? 如果小伙伴们想要把满意的音色保存下来,可以在下方输入音色的名称,点击下方的保存音色就可以成功保存了。刷新上方的音色列表,就可以看到我们已经保存好的定制音色。 这里还有一个比较好玩的功能,那就是多角色对话。我们将页面滑到上方,点击上方的多人语音对话,按照上方的格式修改音色名称和对话的内容。 比如我这里输入的内容是这样的,下方模型这里也可以选择,我在这里选择为一点七 b。 最后面这里可以改变不同角色语音之间的间隔时长,小伙伴们可以根据实际情况进行调整, 我在这里选择为零点五秒。设置完成之后我们点击生成多人对话,效果是这样的,男人就算在荒原里迷路三个小时,也绝不会停下来问路, 这种迷之自信到底是从哪里来的?这不是自信,这是一种名为我一定能绕回去的尊严之战, 所以你们的尊严通常是靠多烧半箱汽油来维持的,也是蛮有意思的。我们再来更换角色和台词,点击生成,可以看到效果也是非常不错的。每个男人的心里其实都藏着一个仗剑天涯的英雄梦, 哪怕他现在只是挺着啤酒肚坐在沙发上吃薯片,哪怕是这样,只要手里拿个遥控器,他也能幻想自己在指挥银河战舰。 你们男人在自我催眠这方面确实拥有超凡的天赋。到这里,困三的本地部署声音,克隆音色,保存一句话,定制音色以及多角色对话,我就已经带大家完整的跑了一遍。 这个工具真正厉害的地方在于它可以长期稳定的出现在内容里。对于做内容的人来说,稳定往往比经验更重要, 因为只有稳定,你才有可能持续更新,才有可能走到后面的变现阶段。所以,如果你现在不想真人出镜,想让内容更加稳定的产出,或者想要一个人做多个账号多个角色, 那我真的建议你可以试一试昆三, ai 只是工具,变现才是王道。我是九怡。如果你也不想被工具牵着走,而是想把 ai 真正变成生产力,那一定不要忘记订阅我的频道,这样就不会错过我的更新啦!我们下期影片再见啦!

hello, 小 伙伴们,这一期我们来讲一下 openclaw 怎么去添加新的模型,那我们先打开 openclaw, 终端管理员先打开 openclaw 的 网关 好,再开一个对话框, 正在连接中, 我们稍微等等待一下。现在最新的版本是五点三, 五点三跟五点二都是相对于上个月的出现的 bug 在 修改,那我们现在现在看一下有哪些模型 可以看到我现在的那个 opencore, 它是有三个模型,一个是本地的三点五千万三点五的九 b, 然后千万三点六的二七 b, 一个是英伟达的 stefan 三点五的 fresh 这三个模型。然后那我们 继续给他添加英伟达的以英伟达的为主吧。本地模型你可以观看我上一期的那个 教程,就是安装教程,这里提添加了是本地模型,那我们现在添加一个网络模型,就以英伟达的免费模行为为例子吧。那我先打开英伟达的那个 模型的官网 biu, 点英文打点 com, 然后 more, 那 我们选择一个比较热门一点的 more popular, 可以看到这边是比较热门排行的一些模型,我个人是比较建议使用一些中文模型的,比如说 mini, mini max, 二点七,这个也是我比较推荐的一个中文模型。 那我们需要的参数打开右上角 voc, 这边有一个 b c u, l, 那 我们把它复制,然后这个默 把这个默也复制,然后另外你还需要准备一个 api t, 这个是可以免费注册的,你只需要有手机号码还有邮箱就可以免费注册。好,这个就不多说,那我们打开,直接新开一个咆哮的窗口, ctrl, ctrl, 然后输入这一这一串命令回车, 然后我们选择 local, 选择第二项目,然后再选择 cos 嘛,个人是比较建议用这个 cos 嘛, cos 嘛属于万精油的状态,就是什么模型都可以添加。 win 加 v, 找到这个刚刚的 b c u r l 回车,然后 api key, 把这个 api key 粘贴进去,回车,回车。然后我们再把模型 minimax m 二点七回车,然后它会检测通过 successful, 然后我们再把供应商填写一下 middle, 然后这个是一个 minimax 二点七,然后回车。是否支持图像,实际上英伟达的图像模型没有几个, 可能是它的那个限制吧。好,我们这样就添加完了一个 minimax 的 一个模型,那我们回到这个网关这边,再看一下它的那个添加状况,可以看到它说 cf 已经 又重启了,变更之后又重启了。那我们再来到对话框这一边, 杠默可以看到这边是没有的,那我们新建一个对话看一下, 然后杠默再试一下,哦,有了有了,有了,直接切换 m 二点七,那我们新建一个对话框吧,杠六, 现在可以看得到,现在这个是刚刚添加的 mini max m 二点七。那我们问一下了啊,问 框兰花你现在的模型是什么模型? 看一下能不能正常的一个检测跟回复。 另外的话还有一个要注意的点就是这个 token 值就上下文的长度,有时候它默认是可有可能是去到一个四 k, 四 k 的 话,我们是需要手动去修改一下这个 这个上下文的大小,比如说我这个 mini max m 二点七,它这个 token master token 是 八幺五二,那我们重新打开这个 c 盘用户,然后找到点 openclock 这个这个专属文件,那我们找到这个 mini mas m 二点七, m 二点七可以看到这里就有一个四 k 的 一个是比较少的,我们设定的二五六一二三,然后这边也可以大一点点 保存,这样就不会因为上下文上下文设定太小的话,它一下就塞满了一个窗口, 可以看到它有正常的回复。 ok, 这样就已经完成了一个模型的添加。 mini max 二点七的一个模型的添加。 好,这一期的那个 open chrome 添加新的一个模型的教程就到这里好,下课。

本地模型养龙虾,为啥又龙又虾呢?一天一个开源国产龙虾千吻合使用分享第二期大模型本身就不具备联网搜索,联网搜索本质上只有两种方法,一种是调用搜索引擎 api, 正规快速稳定, 但是需付费调用。另一种则是通过爬升解析网页 h t m l 正的受限,不玩低效纳尼,所以我一般使用 sircng, 它是一个开源搜索引擎项目,目前已有二十八点四 k s 三步就能上手使用。第一步,在 linux 部说直接在服务器中执行这三条命令就可以了,执行三个命令后就可以拉起服务。 第二步,修改配置,修改塞进配置文件,在返回参数 format 中加上 json 格式,然后重启容器,接着进入 crayson j 前端页面,设置中直接开启所有的搜索引擎并保存。第三步,千问破对接,进入千问破技能页 面,选择从 skill hub 导入,将 crayson j logo search 这个技能导入,然后进入对话页面,输入,使用 crayson j 技能对接本地 crayson j 服务地址,信息式的内容,就可以自动完成对接了。

先说结论,本地模型,做重复确定的任务,云端模型,做不确定的任务探索。二十七币或者三十五币的量化模型是你的本地部署的最佳选择。大家好,这期视频主要介绍在 mac studio 上应该选择什么样的本地模型。 在哈根 face 网站上,你可以下载各种 l、 l、 m 模型,但是我们应该如何选择呢?先讲一个最核心的概念,现在的大模型基本可以分为两类,第一类,瞪死模型,也就是筹密模型。第二类, m o e 模型,也就是专家混合模型。 以千万三点五二十七币为例,这是一个典型的瞪死模型。特点是每一次推理,所有参数 都会参与计算,你可以理解为每次思考都是整个大脑一起工作。优点是稳定,一致性强,缺点是非常吃内存和算力。千万三点六三十五 b a 三 b 则是一个 mo 一 模型, 它的特点是每次只激活一小部分参数。虽然它是一个三十五 b 的 模型,但每次只用三 b 参数在计算,可以理解为多个专家按需调用,而不是同时在工作。优点是更高效,更省资源。缺点是有时候不稳定, 一次性稍差。一句话,瞪死是全脑思考, m o e 是 按需调用。对于我来说,我使用的 mac studio 是 m r ultra 六十四 g。 考虑到模型的加载上下文 k v cat 的 占用,我常用的模型是 千万三点五二十七 b 四比特模型和千万三点六三十五 b a 三 b 模型,以及它们对应的各种变体。其中千万三点五二十七 b 四比特。这是个定时模型,非常适合执行各类确定性的 a 检测任务,比如定时完成网页数据的抓取, 视频字幕的下载,周报的生成、图片生成的调用。而千问三点六三十五 b a 三 b 四比特模型其实也非常适合各种 agent 任务, 但它的速度更快,更适合需要快速输出长文本的场景,比如写工作笔记,各种文案实时的交互。还有一种本地模型,千问三 code next, 这是一个八十 b 的 专门经过编程优化的本地 mo 模型, 其编程性能基本达到 cloudsonnet 四点五水平。但是考虑到模型权重和上下文,实际使用中硬件配置最好是两百五十六 g 内存的 max studio。 而我如果需要进行编程,则会选择云端模型,比如 mini max 二点七或者 g l m 五点一。下面介绍一下模型的各种变体,在哈根 face 上可以看到各种第三方微调的量化模型, 带有各种各样的尾椎。先说量化,原始模型基本都是十六位的模型权重,为了优化性能,降低模型占据的内存 以及提高输出 token 的 速度,通常会进行量化处理,比如量化为八比特、六比特,甚至二比特量化有不同的方法,包括 a w q 量化、 o q 量化、 t q 量化,有的是针对模型本身量化,有的是针对 k v cat 缓存量化。再说蒸馏,带有 tiered 伪劣的模型就是蒸馏模型,可以理解为用一个更强的老师模型去教一个差一点的学生模型。比如这个千问三点六三十五 b a 三 b cloud 四点六 os reasoning distilled 模型,它是怎么出来的呢?我们知道 cloud 四点六 os 是 一个推理能力特别强的模型, 每次进行推理的时候都会先思考,先产生一个很长的思维链,然后再执行任务输出结果。于是有第三方模型团队收集整理了几万条甚至十几万条推理思维链,用来交千万三点六三十五币这个基础模型。 于是这个蒸馏出来的新模型也就有了很强的推理能力。需要注意的是,原生的千万模型是多模态的模型, 支持文本和图像的输入。但是很多版本的蒸馏模型会关闭图片处理功能,变成纯文本模型。 而伸手者代表模型去掉了对其限制,不再过滤敏感内容。而 n s f w t lost safe for work 表示会包含不适合公开场所的内容。这些模型遍体大多经过破解,并且使用了很多额外的数据,经过微调训练出来的, 可以根据需要以及网上的评测选择自己想要的模型。但网上的评分只能作为参考,因为测试环境、硬件配置都有很大的差异,还是需要在本地,在你的硬件上实际测试才行。 当用户给大模型输入消息,主要经历两个阶段,预填充 prefer 和解码 decode。 预填充就是模型先独立 输入的内容,把所有输入转成 token, 然后建立上下文理解。这一阶段决定的是首字言辞,也就是当你发送消息后,要等多久才开始出字。这个阶段输入信息 是可以高度并行处理的, gpu 是 可以把输入 token 并行放入矩阵运算,这个阶段的瓶颈是 gpu 的 运算能力,相同模型 gpu 运算能力越强, 越填充速度也就越快。而解码阶段就是输出答案阶段是模型开始一个 token, 一个 token 的 生成内容,但注意这里只能是串行输出,因为每生成一个新 token, 都要把它拼回已有的序列才能计算,然后继续输出下一个 token。 这个阶段的输出瓶颈变成了内存待宽 memory bond。 总结一下,预填充阶段 gpu 可以 变形处理,因此每个输入 token 的 消耗时间要短很多,平静在于 gpu 性能。而解码阶段 gpu 只能串行输出 token, 因此单个输出 token 消耗的时间要比输入慢 五到十倍,其瓶颈在于内存待宽。所以你会发现大模型公司 a p i 收费标准里输出 token 要比输入 token 贵五到十倍。也会发现 mac studio ultra 的 输出 token 的 速度要高于其他 mac 设备,这是因为前者内存带框是八百 g, 而 mac mini 的 内存带框只有三百 g。 虽然单个输入 token 的 输入率 要高于单个输出的 token 速度,但真实的应用场景中,往往是输入的 token 数量远远高于输出的 token 数量。比如本地模型最大输入 token 甚至可以达到一百万 token, 而模型输出的 token 量基本只需要几千就足够。为了能够加快处理,预填充的 prefill 会用到一个叫 k v cat 的 功能。因为实际的在与 大语言模型多轮对话中,有很多输入内容是重复的,比如 agent m d, so m d, mary m d, 历史绘画记录等,因此可以把这些相同内容都缓存起来,在下一轮对话时就可以直接拿来使用,而不用重复计算。所以 手势输入的时候,由于 kvatch 还是空的,所有的输入都需要计算一遍,生成 kvatch 这个手势构建时间会很慢,但是下一轮对话时,由于 kvatch 中已经有了前面的内容预填充, prefill 就 会读取缓存, 此计算新增部分速度一下子就快了起来。 kvatch 分 为热缓存和冷缓存,前者将数据保存在内存中速度快,后者将数据存储在 ssd 固态硬盘中,容量高。所以实际使用 agent 完成任务的过程中,除了加载大圆模型的权重会 消耗内存,更重要的是进行上下文的缓存也会消耗大量的内存,否则就会出现模型虽然可以加载,但是一调用 agent 工具就会很慢的情况,就是因为内存太小,没有进行 kvatch 的 热缓 存导致。以我的 mac studio 设备为例,虽然总内存有六十四 g, 完全可以加载更大的八位三十五 b 模型,但考虑到上下文的 k v cat 热缓存也需要大量的内存,所以最好将模型变为四位的三十五 b 模型,这样在处理实际任务时就会有很快的输出速度,而不会出现卡顿的情况。 除了通过量化 k v k 来提升推理速度外,现在又多了一些新的技术,比如 spec prefill、 turbo、 quant deflesh, 这些可以下个视频再进行介绍。最后总结一下,由于 g p u 算力、内存大小、内存带宽的限制, 本地最适合跑的模型就是二十七 b 或三十五 b 的 量化模型,使用它们完成每天重复的确定性的任务已经完全足够。关注我 ai, 分享实战技巧,我们下期见!

大伙好啊,今个呢,我们聊一下如何在本地哈部署这个拉玛 c p p, 那 么它的作用是什么呢?各位,先说一下啊,它能让我们在本地哈运行啊这个语言类推理的大模型。 那么为什么要在本地部署呢?有几个情况哈?第一个呢,就是最近哈,呃,这个网上都说这个豆瓣要收费了啊,对吧?呃,收费之后呢,有一些功能,可能我们正常用的挺好,再用可能就要付费了,对吧?然后再有一个是什么呢? 就是我们如果在做项目的时候啊,比如说有一些东西涉密了,不方便在网上传,对吧?这个时候我们就需要在本地,是吧?构建自己的这个资源库,对吧?各位,那么这个时候我们就需要在本地有一个可以类似于像豆包啊,这个 deepsea 啊这种的服务类大模型,对吧?所以呢,今天我们聊一下如何在本地哈部署这个拉玛 c p p, 它呢实际的作用就是可以让我们在本地哈运行啊这个语言推理类的这个大模型,大家看啊,现在我已经部署好了,非常简单哈。那么再有一个情况是什么呢?各位,我们有一个自己的这么一个批量管理软件,是吧?目前有一个环节就是题词词的来源 目前很严重的依赖于我们外部的这个呃, ai 工具,对吧?现在呢,我们如果在本地已经构建了一个可以用来进行语言推理,生成对应任务的这么一个大模型之后呢,各位大家看啊,我们就可以把这个东西直接集成到这个平台当中,是吧?提 着此这一块,我们就最后一个环节就已经集成到这个行当中了,这个就是后续啊,就是大概是四点一之后是吧?呃,继续优化的一个功能,大家先知道这么个事就行了 啊,再有一个是什么呢?目前千万三点六是吧?这个三十五币出来了,然后呢,号称是一个能干活的大模型,对吧?各位,那么我们把它在本地运行来之后呢?第一可以构建自己的私有资源库是吧?更安全,第二呢效率更高,对吧?各位, 那么话说回来啊,怎么去部署这个拉玛 c p 啊,它其实就是一个能让我们运行这个语言推理类模型的这么一个工具啊。不大,我们首先来到这个 github 哈,这个网址,好吧,这个网址哈,然后来到这里之后,各位,简单的一种方式哈,我们找到右侧这个 release, 好 吧,找到这个 release, 然后往下翻哈,这里边有对应的版本,那我是 windows 系统,我们往下翻啊,这里边有一个 windows, 好 吧,在这里哈,各位,呃,我是酷达十二的,所以呢,我就找这个酷达十二哈, 找这个酷大十二,大家根据自己的情况啊,显卡情况去选择好吗?有很多这个类型,大家根据自己的情况选择就行了,那么我选择酷大十二,然后把它下载到本地之后,大家看好,我把它下载到本地之后进行解压,解压完了之后大家看进入到这个文件夹当中,这个就是项目下载之后的效果, 好吧,不大哈,大概是看一下啊,五百多兆,好吧,不大哈,然后呢,别着急启动,各位,我们启动的时候呢,可能要需要设置一下参数,怎么去办呢?大家看,进入到这个 lama 啊,解压之后的这个文件夹,然后注意新建一个文件,比如说我叫 start 啊,我已经有这个 start 了,那我就 start new, 新建一个文件,然后大家注意把这个后缀名啊,各位,把后缀名啊改成点 byte, 好吧,有些同学这个小那个小伙伴的电脑可能这个看不到后缀名,是吧?这个很简单,我们打开这个文件夹之后,这上面有一个查看,大家点击查看,点击显示后边有一个文件扩展名,就是文件后缀名,你把它点上之后就能看见了啊,也能修改了。那我们新建这么一个 bug 启动文件之后呢?大家看啊,我把我之前这个打开, 大家看在里边输入这么一句话啊,比如说这个是拉马,搜索这个拉马的这个文件啊, 调用谁呢?大家看啊,这里边有一个这个,好吧,拉玛告诉搜索点 e s e, 实际上就是调用它哈,然后后边杠杠 host 四个零好吗?它指的是开放远程调用,因为我们后期啊,各位,后期要把它集成到这个批量管理软件当中,我们需要通过这个软件远程去调用啊,这个拉玛 c p p 好 吗?各位,所以这个位置我们给它开放远程调用,后边 pos 端口八零八零,大家看啊,就这个端口,根据自己情况设置就行, 好吧,自己设置一个端口啊,然后后边杠杠 models 杠 d i r, 它指的是我们的大模型存放的文件夹地址好吗?比如说我存在 cf ui 的 这个 l l m 目录当中了,那我就找到哈这个 cf ui 找一下啊,找到 comui, 然后找到它的这个 models, 找到 l l m, 把这个上面地址复制一下,粘到这里边就行,好吗?这样呢,我们这个启动文件就配置完成了,很简单,对吧?各位?然后呢,大家看啊, 翻回头来,来到这个启动项,好吧,来到这个 lama 的 这个解压文件夹目录,找到我们刚才设置的这个 star 的 启动文件,好吧,里边的内容刚才展示过了啊,开放远程端口,设置模型存放的目录,然后前面是调用的这个 lama server, 然后双击一下 打开,双击完之后啊,这个老板就启动了,他默认的啊,启动端口啊,是刚才我们配置的那个八零八零,对吧?然后呢,我也,我之前已经启动过了,翻回头来,我们在网址上输入,幺二七点零 点零啊,多了一个点啊,幺七点零点零点一,然后冒号,英文的冒号八零八零,大家看,这样呢,我们就把这个网页打开了,大家看,其实他就是个小豆包哈,他的这个能力跟你选的大模型有关,那么我选的是千问三点六啊,目前号称能干活的大模型,好吧,一会说这个事啊,然后呢,我们点 第一次,我们可以点击加载一下这个模型,然后输入你好,是吧,他就进行推理了,然后给我们这个答案,这个模型确实能干活啊,各位,大家看啊,这个是我之前用这个千分三点六,然后拉拉本地部署的这个 呃软件哈,然后呢,生成了一个贪吃蛇的这么一个小游戏,里边大概七百多行代码,我就告诉给我生成一个网页版贪吃蛇啊,大家看,双击完之后,这个游戏还挺好玩的啊,效果还不错的啊,好吗? 好了,不解释啊,就是挺好玩的哈,然后千万三点六的模型在哪里下呢?大家看,我这里有一个网址,这是国内的网址哈,大家看, 根据大家的显存实际情况去下载对应版本就行了。那我是二十四 g 显存,所以呢,我下的是这个 q 四 k m 的 二十二 g, 好 吧,大家尽量啊,下载这个模型小于大家的这个显卡的显存,因为什么呢 啊,就算大点也没事啊,比如说你十六 g 显卡,然后你下个十八 g 的 模型,实际上也没事,它会把一半啊,它会把一部分资源放在内存当中啊,但是各位 用这种模型啊,大家看啊,这有一个 token 的 输出速度好吗?就是它运行,你可以把它理解为运行的效率啊,有一半资源在显存啊,在内存当中,这样会拖慢你的运行效率,但是它也能运行,就算你没有这个显存,纯靠 cpu, 它也能运行,就是奇慢啊。各位, 这种模型大家注意啊,还是注意下效率的,所以我们把这个模型都加载到显存当中,这样的运行效率是最高的啊,大家做这么个事就行了啊,尽可能的选择这个模型小于你的真实显存占用, 是吧,这个千分三点六,三十五 b a, 三 b 指的是三十五 b 的 参数,但是真啊,一次使用的时候只激活三 b, 对 吧,但是你也需要把这三十五 b 参数加载到显存当中啊,然后一次用里边的三 b, 对 吧,这样的效果是最快的。 好吧,各位大家说这么个事就行了啊,然后呢,其实呢,大家不止可以下载这个千问三点六号,也可以下载其他的推理大模型,放到对应的目录当中,是吧?在这里大家看啊,在这个位置我们是可以选模型的,我之前还有千问三点五号。 好吧,各位大家知道这句话啊,知道这么个事就行了,那么部署完,启动完之后,就可以跟它进行对话,然后完成任务了哈,然后呢,这个不是重点啊,因为我们刚才开放了 api 的 远程调用,对吧?大家看啊,就是以后怎么把它集成到这个软件当中呢?大家可以看一下啊, 现在我模型是加载的,我给大家演示一下啊,这里边我写了两个 api 啊,第一个是卸载模型,是吧? 就是我可以通过远程调用去控制这个软件加载或者卸载模型,大家看好好 success, 然后我们看一下显纯一下就下来了,这样呢,我们就完成了模型的卸载,对吧?然后下边这个是加载模型,大家看 是吧?加载成功之后,显示一下就上来了,对吧?证明这个远程调用是可以的,那么我们就可以通过远程调用的形式啊,把内容发送给这个软件,然后得到结果之后,是吧?然后我们把结果配合的使用到对应的软件当中去,是吧?就完成了调用。 好吧,这个只是一个初探啊,各位,这个只是个初探,大家学会安装,学会下载模型,然后把它启动起来就行。好吧,后续我们会有深入的这个使用教程啊。然后呢,视频当中说的一些使用细节,包括网址啊,包括这个启动文件怎么配置啊?大家可以来到主页哈,找到对应的视频,在视频下方大家可以查看一下。

大家好,我是老徐,在昨天的时候,阿里的千万团队发布了千万野麦吉的最新加强版千万野麦吉二五幺二,这个模型在人像的真实度和文字的准确性方面都有非常大的提升,康有为也在第一时间就支持了这款模型, 我也把千万系列的各种图片生成模型进行了深度的对比,这样也方便大家选择合适的模型在 comuli 里面使用。千万 maggie 二五一二,首先要把 comuli 升级到最新的版本, 目前康威 i 最新的版本是零点七点零,升级完康威 i 之后,打开康威 i 的 实体工作流,在图像这边就可以看到前文与麦姐二五一二,打开工作流以后会提升我们缺少模型和这个四步的加速 nor, 直接点击这个链接就可以下载,但这个链接是需要魔法的,如果大家下载不了,可以直接在我的网盘里面下载, 下载以后放到对应的这个目录里面就可以。千万眼,麦姐,二五一二,要放到 comforion 的 models default models 这个文件夹里面,加速 nor 就 放到 comforion 的 models norse 这个文件夹里面。工作流用到的模型还有文本编码器和 v i e 这两个模型跟天文仪麦几的模型是通用的,如果大家之前在本地部署过天文仪麦几这两个模型就不需要下载,因为我之前是部署过的,本地是存在这两个模型,所以刚刚是没有弹出提示的。 这里是模型的放置路径,文本编码器就放到 textencoder 或者是可立普里面, v i e 就 放到 v i e 文件夹里面,这里是官方给出的深图尺寸, 对应的就是训练级的尺寸,也就是在这个尺寸下生成的图片是能够达到最好的效果。我们生成的图片就尽量按照这个尺寸来设置,因为模型的体积比较大,而且我会对多种模型同时进行深图能力的对比,对显存的占用也非常高, 所以接下来我会在 roundup 里面给大家进行演示,大家使用我的邀请链接,在 roundup 注册还会获得一千的免费算力值,每天登录也能获得一百的算力值, 这个对于我们日常的使用基本上也是足够的。我们来看一下这四种模型的深图对比,这个工作流我也发布到了 roundup 上面,大家在 roundup 上搜索我的名字就可以找到这个工作流。 这里我把轻微系列的各种模型进行了对比,因为 b f 十六的模型体积太大,一般人都用的比较少,所以我就直接测试的 f 一 八的模型。 首先是轻微 mag, 二五一二,第一张图是没有加 nor 的, 直接使用的是官方的推荐设置,步数是五十, c f g 是 四。然后第二张图是二五一二,加上了四步的加速 nor。 然后第三张图就是轻微 magg 的 基础模型,第四张图是 z magg turbo 模型生成的第二个词就是一个老人的面部特写,这种老年人的面部特写非常考验模型的能力, 因为他面部的细节非常的多,是幺四零九年第一次生成图片,花费的时间分别是两百二十七秒,一百二十八秒,五十七秒,五十四秒,同等条件下,这一麦子 tab 是 最快的,二五一二,布加诺尔跑五十步是最慢的,我们来看一下。 首先第一个排除的就是轻微 mag, 这个涂抹感非常强,一眼 a i 的 感觉。然后这三张图在粗看之下好像也差不多,但放大之后就会发现,这个用的四步加速的也会有很明显的涂抹感, 可以看一下这种 ai 感就比较明显了。然后直接跑五十步,不使用加速, nor 的 真实感要非常高,但是让人感到惊喜的还是这个 z m g turbo, 这本身就是一个加速模型,所以他是只用四步生成的,速度非常快,但是这个质量大家可以看一下,非常的高,这个即使放大了也是会有非常强的真实感,这些皮肤的纹理都非常强, 轻微也 max, 这个模型基本上可以删掉了。这个是一个四部的加速 nor, 放大了也会有涂抹感。然后这是四十部的, 我们再来看一下生成的半身人像,一个圣诞节的兔女郎。首先排除的同样是轻微,也 max, 这个加了四部 nor 的, 其他的三张图都有可取之处, z e m g 就 比较符合亚洲人的审美,这种网红造型, 但是轻微 z e m g 二五一二的题词增重度明显是要高一些,这个眼神符合题词的描写,眼神温柔,只是镜头 z e m g turbo 的 整体都不错,但这个眼神就谈不上温柔。 然后再来看一下这种近景人像,感觉都是差不多。 首先排出的也是轻微,有麦吉二五一二和 turbo 这种有点不相上下,就是风格不一样。 再来看一下他们做的海报,首先文字都没什么问题,在 maggie 的 文字排版感觉比较单调,因为 maggie 包括二五一二,他们的布局基本上是一致的,风格也是一样,但明显的二五一二要强很多, 这种放大的话,人的眼睛都是崩掉的,这种情况也难以避免,因为这里的人物占比都非常小,面部的像素也都非常低。雄伟麦吉的不管是男人还是女人,感觉这个脸都是一样的。 二五一二的相对来说要狠很多,这个是四步加速跑出来的, 这个是没有用加速模型的,感觉制作海报的话,二五一二是更加合适的。再来看一下这种比较复杂的图片,生成的构图都是类似的,这里多人物前卫一。麦姐,这个跟豆包也是类似的,生成的都是异影 ai, 看着就是 ai 感很强。 二五一二的稍微强一点,但是也不怎么样,反而是这个贼眼麦景感觉要好很多。 再来看一下另外的这些负责描述的,这里是提示词的内容, 四张图片的构图基本上都没问题,也都比较符合这个提示词的描述。但是这种场景下,整个轻微眼麦基的都是有很强的 ai 感。这眼麦基 turbo 的 真实感是最强的, 这是因为这个模型的图片都是带来一些噪点,这些噪点反而让这个图片更加有真实感。 这些模型生成的图片都比较干净,太干净就有这种塑料感,就是有比较强的 ai 味儿。这个没有用加速 mode 的 也是有一些 ai 感,这个 ai 感就更强了。还是介意麦吉特堡的真实感更强一些, 然后在文字方面准确度都还是很高的,阅读让生活更有力量,但是文字的表现力还是二五一二的要强一些。所以我的感觉是,如果是用来生成海报,二五一二是更加合适的。 用来生成各种人像和素材图的话, z m g turbo 是 更好的选择。 大家如果还有其他使用场景的,也可以自己进行测试对比,这里的提示词是每行一条,我这里输入了七行提示词,测试的时候在这里直接选择提示词的行数就可以 从零开始,零就是第一行,一就是第二行,这样就可以很好的进行对比。这是第一行,会出现在图片的上方, 然后这个标签的名字我打错了,是二五一二,直接打成了二五一五,我把它修改一下, 那这条视频的内容就是这些,如果大家觉得有帮助的可以关注一下老徐,给老徐点个赞,谢谢大家。

大伙好啊,今个呢,给大家分享一个,先问二五幺幺的一个 laura 啊,这个 laura 挺有意思啊,它能让我们用一张参考图片,然后生成多种哈,多种具有不同知识的这种写真效果的图片啊,就是不同知识的很美的这种图片啊,大家看 这个呢,是我用这个 laura 是 吧,然后相同的这个参考图,生成了十六张啊不同知识的照片,大家看啊,是不是效果比较不错呀,那么翻回头来看一下这个工作流啊, 这个工作流非常简单啊,就是千问二五幺幺的单图编辑工作流,但是呢,这里边用了一个 laura, 叫做 cospos 杠二零这么一个 laura, 那 么这个 laura 来源于这位大佬啊,就是这个,是我最近逛 b 站的时候哈,然后呢,发现这么一位博主是吧,他训练的 laura 是 吧,还有模型效果都非常不错哈,所以呢,今天也介绍一下, 大家看哈这个 lara 用完之后呢,有一些什么效果呢?第一哈,大家看这种对比图,它的这个提示词呢,就是让这个参考图片中的人物是吧,那个就这个知识不多,解释了。然后呢,大家看,左边这个是用 lara 的, 右边这个是没用的,大家可能也发现啊,这好像没啥区别,但是大家注意什么呢? 右边这个用 loala 之后的效果啊,右边这个没用 loala 的 效果是不是比较油啊,对吧,就是千万模型的一个 b 度啊,就生成的图片,它很油,大家能看到效果吧,非常的油,但是呢,用完 loala 之后的效果大家看是没有那么多油腻感啊,都是同种同题的词的情况下生成的,大家看 是不是相对来说真实感就上来了,对吧,然后呢,我们再进行一下超分放大,对吧,效果就非常不错了,好吧,没有油腻的感觉,再有是什么呢?他可能啊,各位,对这个知识进行了专项的优化,大家看啊,横图是吧啊,知识的区别不是特别明显,但是呢,大家看竖图啊, 这个是原版,咱先不说它油还是不油啊,大家看啊,同样的提示词,这个美女像犯罪了一样,是吧,但是呢,大家看,这个是用洛拉之后的,效果很明显,左图的美感就比右图的高, 对吧,所以至少有两个优点啊,各位,第一个是吧,这个油腻感啊,真实感强了一些,去油腻感,真实感。第二个就是他可能这个 luda 训练的时候,是吧,对一些这个写真的知识是有专项的优化的, 好吧,那么怎么去用呢?是吧,这就是一个非常普通的这么一个工作流,然后写一个题的词是吧,改变动作知识,然后呢,改变成什么样的知识,对吧? 那么怎么生成多组呢?我先说一下啊,原来这个作者提供的工作流确实能一次性生成十六张,它是把一组提示词十六条放在了这个位置,然后呢,通过这个,呃, 节点啊,类似于循环的功能吧,我只能说类似于循环的功能,然后让 ctrl u i 运行十六次,生成十六张图片啊,但是我个人不太喜欢把工作流弄得那么复杂啊,所以呢,我还是用我自己的软件去做,是吧,非常的简单啊,大家看,我把作者的这个提示词保存在 excel 当中了, 好吧,一共十六个提示词,当然大家也可以参考这个提示词去多写几组啊,为什么我自己用我自己的软件啊,因为这个东西我可以反复的去修改啊,有记录啊,就这么个意思, 大家看提示词呢,我也给大家上传到网盘当中了,在这里,然后这个 lora 呢,也可以在这里找到,叫做 cospos 啊,这个杠二零好吧,然后前往二五幺幺相关的模型在这里也有啊,然后呢,不多说了,翻回头来怎么办啊?如果大家不用这个软件是吧,就是把提示词一条条往里粘也行,上传一个参考图,它也能生成对应的效果,好吧, 工作流呢,大家在对应的视频下方也能找到啊,很简单,所有的资源大家都可以来到主页找到对应的视频,在视频下方或者置顶评论啊,都能找到哈,那么翻回头来是吧,如果用这个软件怎么去做呢?是吧, 大家看好,首先我来到单图编辑,是吧,新建一个任务,然后点击导入,导入我刚才给大家的那个 excel 在 这呢,导入导入 excel, 这个 excel 是 我给大家准备的啊,网盘当中有找一下啊, 啊,在这呢啊,然后呢,其实行号是第一行第一列,从第一行第一列开始是吧,导入导入完之后,大家看啊,十六条提示词都进来了,但是呢,没有参考图片是吧?大家呢,可以是吧,点击导入,点击全区参考,上传一下参考图,那么我就上传一个了啊,比如说我上传这个 美女的是吧,然后呢,输入一下宽,输入一下高,点击批量生成就可以了,那么呢,我就不重新生成了,我有生成好的,生成好的,大家可以呃,可以点击 save 保存任务,这样呢,我们就可以在未来再想修改的时候点击导入记录好吗?再把生成好的那个导回来,大家看好,这个就是我之前生成好的效果,是吧,大家看好 效果挺不错的吧,对吧?这样呢,大家就可以拿到一组图片了,然后呢,大家可以点击是吧这个保存,保存结果是吧,写一个目录的名称, 代码一,点击确定,这样呢,在桌面上就有一个叫代码一的文件夹,十六张图片是吧,就都在这了,大家可以上传是吧自己喜欢的参考图片是吧,生成对应的知识的图片,然后就可以自发朋友圈了,对吧,什么知识都有,而且是写真那种感觉, 对吧?然后呢,大家也可以点击下一步是吧?然后呢,点击图片编辑,在这里呢,可以更换一下 a p i, 点击 c 的 vr 放大是吧,将这个图片进行超分放大是吧,效果更好,好 吧,各位,当然呢,这个提示词是吧,大家也可以参考着修改是吧,换成另一些知识的提示词是吧?啊,不止是十六张,你可以生成几十张,几百张都可以,好吧,挺不错的一个 rom 模型啊啊,这个大家可以在网盘当中下载。

家人们千万别错过本地部署千问三大模型太强了!不用联网,纯本地运行, 能知识问答,能写代码, ui 封面全面能打, 体验堪比叉 g p t, 各种自定义设置全都有,还能自由切换多款 ai 模型,本地运行隐私超安全!

我平时经常需要批量打印文件,之前发现了一个用 python 开发的一键批量打印工具源代码。以前打印每次手动只能选择十五份文件还是有点麻烦,现在有了源代码,使用 p i ing store 打包成 e s e 可执行文件,任意电脑上都可以使用。 但 p i n store 的 打包的文件体积比较大,至少五十兆以上,而且加载速度慢。于是突发奇想,不如试试把拍省代码转换成 c 加加代码,然后再翻译。因为我本地已经部署好 c 加加的翻译环境,前不久不是本地通过拉玛 c p p 部署了 千万三点六的模型吗?而且可以试下 open code 的 自动化效果。说干就干,我把 python 源代码复制到 open code, 输入指令,把 python 代码转换成 c 加加,并且编辑第一次编辑就成功了。 虽然界面全是乱码,但那一刻我是被惊到了,毕竟我用的是个人,计算机上可以部署的只有三十五 b 的 模型, 其效果如此惊人,我不得不说,当前 ai 发展真是太猛了。后来我提了修改意见,比如软件是变异成功了,可以运行了,但是界面显示乱码,请修改重新变异,汉字无法正常显示指令。 我中途有事出去了一趟,等我回来,计算机已经自动翻译好了,全程都不需要我干预,真是太恐怖了。打开程序一看,界面清爽,功能完全符合我的要求,只有一点小瑕疵,提出来后, ai 也很快修正了。 最让我震惊的是,翻译后的二进制文件只有六十多 kb, 比 pye 英斯多了打包的五十兆,小了整整八百多倍。作为一个有十多年开发经验的人,那一刻我真的有点慌了,时代发展太快了,如果不抓紧学习,估计有一天真的会被淘汰。 要知道,我现在用的仅仅是本地三十五 b 参数的模型,效果就已经这么惊人了,更何况那些部署在云端的更大模型, 还有像 openclaw、 hermes 等这些更强大的自动化平台。说一句,帮我做某某电脑就能自动完成任务,想想未来几年可能真的会进入动动嘴喝着茶,计算机就把活干完的时代。 所以我想说,无论你现在是学生、上班族,还是像我这样的创作者,一定要抓住 ai 的 风口, 也许某一天我们真的会被淘汰,但在年轻的时候多学点东西总没错,科技更新太快了,真的要学到老,活到老。好了,今天的分享就到这里, 如果你也有类似的经历或者对 ai 工具感兴趣,欢迎在评论区留言,我们一起交流,别忘了点赞关注我们,下期再见!

准备用几个小测试来测试一下,我们这个配置不是很高的普通电脑,能跑地的本地模型都能达到达一个什么样的程度啊?我准备用四个任务,第一个是让他去网上给我下载一个图片,然后呢第二个任务是让他做一个 ppt 啊,第三个是在本地给我整理一下我的资料啊,最后是让他啊做一个小游戏。 那么第一个模型呢?我们是首先我的电脑是 macbook air m 五二十四加 e t b 啊,不是特别高的一个 啊,配置,我们现在使用的模型是千问三点五九 b 啊,蒸馏了一点 class 点六,我们用 hermes。 然后啊第一个任务,我让他啊上网上随便找一张周杰伦的图片给我放在桌面上,然后他就开始运行了 啊,我看到他打开了我的浏览器,然后呢也搜索到了这个周杰伦的图片啊,搜索到了很多,我也都能看的见,然后但是他就是下载不下来,我们可以看到 他通过各种各样的方法,比如说通过这个 html 网页版,然后他就换一个方法,下载不了,他就换另外一种方法,然后他尝试了很多很多种方法,他都没有下载下来,包括他下载下来的有一些这个缩略图,也不是图片的格式, 他会尝试各种方法,比如这个视频网站的封面图,专辑封面图,然后这个获取 vg 百科,或者是这个尝试用啊图片托管的程序。 然后呢他最终啊这里太好了,他下载到了一个图片,但是那个图片不是周杰伦的图片,我看到他在我的桌面上创建了,创建了一个文件夹,里面他搞出来了这么多的啊图文件,但只有这一个是一个图片文件,但就像他说的不是周杰伦的 啊,他最终也没有下载成一个周杰伦的图片给我。他这个任务跑了四十五分钟,还然后跑超过三十分钟的,我就认为他是挑战失败,这个我就给他停掉了,我让他进行下一个任务。

啊,今天的爬楼费,我们讨论一下,关于到底是花一两万两三万本地部署也好,还是用这个钱去买 a p i 用到退休好。 首先我觉得怎么不存在说肯定买一天好,因为买的 a p i 的 能力比本地部署的强,其实基于现在的 a p i 的 价格,那肯定是 a p i 比较划算。 但是另外一种程度上我要提出质疑和反驳。首先我们有一些工作不需要很强的能力,而且事实证明,三种幺二七 d 甚至变小模型都能够去承担一些基础的工作。其实有些场景是不能用 在线打模型,都不能用 api。 比如我所在单位,你第一个网络是全部屏蔽掉了,难不成你这么自己拉条宽带?第二, 有些单位他对这个数据安全是要求的,是绝对严禁允许,绝对严禁你使用在线的 a f。 哎,你比如说你想整理一下这个机关人事档案,难道你准备把你的文档发给在线的 ai 吗?对不对?你要是自己弄弄自己发发也算了。 如果你给甲方开发,甲方提出明确的要求要本地的,那样呢?你怎么会准备一定要花个几百万吧?当然就很多人认为事情是不变的, a p p 的 价格也是不变的。 咱们应该很多人都是互联网时代过来的人,经历过电商大战、外卖大战、共享单车大战、共享互联网大战,对不对?曾经行业起步的时候,大家都疯狂朝前投入, 哎,我点个外卖一毛钱,我也可以知道二十块钱的品质,我骑共享单车很便宜啊,九块九骑个月。那你现在去点外卖还会给你便宜的价格吗? 你现在去骑共享单车都是十五分钟开始赚钱,你现在去中借充电宝也是同理,如果这些烧了几百亿 去投资地方的人,地方的企业,哎,以后都给你用的很便宜的 a p i, 你 觉得行吗?可能吗?对不对?要赚钱的, 毕竟其实大家应该已经发现了,你说抖包还是收费了,我搁 bar 里签到也不给了,这个都是真招。当然反驳这个观念呢,还有另外一个因素就是这些 p i a 的 能力也在上升,可能相同一年的成本,他们产生的头看会越来越多,所以以后会去拉低这个价格。但是总的来说,我认为 a p i 的 这个白菜价的时代,它不会是长期的,各位说对不对? 更不要说太原的这个北大方行,它也是在进。好,谢谢大家,感谢大家的这个听我的废话,如果有更多的观点,欢迎大家在评论区提出,我要下电梯爬下一个三十二层了,拜拜。

哈喽,大家好,我是蛮子,今天我们来讲一讲最近非常火的小龙虾,相信大家都知道,小龙虾在淘款的使用方面上是非常的大 啊,今天我来教大家如何在我们本地上部署我们的大模型,然后让小龙虾来调用,从而实现我们的一个淘款焦虑 啊。首先要在我们本地上啊,部署我们的本地大模型,我们所需要具备的一个条件,你的显卡至少要二零系八 g 以上的,显卡内存至少要十六 g 的, 这个 二零系显卡是运行我们的拉玛 c p p 的 一个必要条件啊。啊。我们来到我们的项目页,然后先给我们的作者点个 star, 然后再进入到我们的 app 的 一个下载端,以 windows 为例, windows 的 话有两个版本,一个是酷达十二点四的一个版本,还有一个是酷达十三点一的一个版本 啊,那如何查看我们的一个酷达版本呢啊?我们就在我们的电脑的命令端这边输入这串命令啊, 中端管理员啊,输入这个命令啊,看一下我的扩大版本,它是十三点二啊,这个啊,我们就下载那个十三点二的一个 版本啊,也就十三点一,这个是完全可以运行的。好啊,如果说你们没有魔法的,我这边也把这个这两个集成在我们的网盘上, 到时候我们直接在网上下载就可以了啊。同时我也给大家做了一个方便启动的一个脚本命令啊,大家只要直接运行就可以启动了,那我们说一下这个脚本要如何使用,你在第一次拿到这个脚本命令的时候,我们要先用记事本打开, 将里面的路径,第一个就是我们这个纳马 c p p 的 一个路径啊,给它写进来啊。第二个就是我下载的一个大模型 存放的一个路径,然后给大家提醒了一下,就是我们所下载的这个大模型啊,建议都要放在固态硬盘上面,这样它的读取速度会比较快。这些大模型我也给大家准备了几个版本,大家试自己的电脑配置去下载对应的版本,然后进行配置就可以了 啊,那我这边已经是把路径都已经修改好了啊,我们使用那么 c p p 的 话就是有个优点,就说模型我们可以自己去啊,各大的一个模型,大家在网上去下载,然后你想存放在哪个位置啊?都可以。 那么有人就说你为什么不使用欧拉玛呢?欧拉玛他在下载安装各方面都比较方便,但是他的一些模型都属于一些官方的一些模型, 但是他的一个配置模型的存放在吸盘的啊,你一旦吸盘容量不够的话,可能会造成你的一些问题。 还有他在使用 g g u f 的 一些模型上面上是需要一些命令配置的,相对比较麻烦, 很多新手他都不知道怎么入手,所以我们才选择说使用我们的一个拉玛 c p p, 呃,我自己实测下来,萨拉玛 c p p 在 一些模型的一个推理速度方面的话,都会比欧拉玛快一些 啊,而且对于新手也很友好,非常容易上手,他就只要这两个文件就可以了,一个就是他的运行运行文件,一个就是你的模型路径啊,那我们这边就只要把这个改一下啊,改成你的对应路径就可以了,其他的话我们可以不用管 啊。还有一个就是特别注意的一个,呃,给你大家说的一个点,就是我们的模型的一个上下文的一啊套本书这边的话默认是不做限制的,所以他是零。如果说你的配置不是很高,你可以限制一下你的上下文的一个 数量啊,比如说那个八幺七九这样的,就是一个幺零二四的一个倍数啊,这样的话可以很大的减存你减存的一个压力, 因为我们大模型在读机使用时候,那个显存的压力会相对比较高。那我们现在来执行运行一下这个 b 处理,那比方说我要执行的是前锋三点五三十五 b a 三 q 二的。我这边做了两个模式就方便大家,比如说你有两台电脑,一台配置的小龙虾,另外一台啊就作为一个服务器主机,那你就可以用局域网模式, 我们这边的话是采用一个本地模式啊。啊,这边 gpu 加速的话,呃,是有四种,第四种的话就是不使用显存去加载你的模型,这个这个速度是最慢的, 那速度最快的话就是全部把你的模型文件夹保存在你的显存里面啊,这个同样是速度是最快的啊, 但是对于你的显卡配置要求是非常的大啊,我这边自己测试下来,我发现就是我们把模型文件大概百分之五十或者百分之二十左右的 模型文件加载在选存里面,剩下的话放在内存里面,让他所有需要的话再去内存里面调取速度啊,其实跟你全部加载在选存里面相差的话也不会太大,那我们这边选择就加载百分之五十的那个模型文件,在选存里面 按回车直接启动啊,他这边就会直接启动,启动之后他会给我们一个 ip 地址,我们按住 control 键加鼠标左键,我们就可以打开我们的那个聊天的界面。那这边 这样调用了,就是我们的千三点五三十五 b q 二的一个模型,这边都有一个详细的信息,然后我们就给他说一下,你好,你是谁?请介绍一下自己 每秒就可以达到二十四步的,然后这个头款数也在增加啊,你看这个头款的输出速度还是挺快的, 他这样就直接好了,像我们那个如果本地部署那个 龙虾的话,那我们就直接把这个 ip 一 输进来就可以了。这期的话主要就简单说一下我们的一个 number c p p 的 一个本地的一个简单部署,那我们今天的视频就先到这,我们下期见。

再来看一下第二个任务啊,现在还是这个,他啊,前文三点五,我跟他说呢,给我做一个八个页的 ppt 啊,然后主题是未来照亮现实, ai 引领科技。把这个 ppt 放在我的桌面上啊,他就开始创建了。创建了 ppt, 然后呢? 使用什么来设计啊?然后使用拍损脚本等等,然后他就看搞了好多次,然后他一共跑了多长时间呢? 啊?我们翻到最后啊,可以看一下最后啊,文件保存完成,他这个任务还真的跑下来了,他跑了四十九分钟, 然后呢,他在我的桌面上啊,放了一个,这个 ppt 做的怎么样?看一下啊? 啊?未来照亮现实, ai 引领科技啊,这是第一页,可以看到这是一个蓝底加一个白字,这字的位置还不对,不在中布局中。然后啊,第二页目录啊,这文本都是他自己写的,然后这个 这这个这这这字都在那个,你看啊,这这字都没拉到,都没居中,反正每个页都没居中。第三页是这样的啊,第四页是这样的,然后呢?第五页是这样的,基本上就是一个呃,背景加几个文字, 也没有图片,也没有什么排版,然后第七页是这样的,第八页最后 所有的文字还是都不居中的。但好菜,他最起码确实是一个 ppt 啊,他总算跑下来了,后面两个任务呢?我这个由于视频比较长啊,我这个再出一期视频,然后呢,看他后面两个任务执行的怎么样。

第一配置的本地模型测试啊,我们再来看看这个千万三点六三十五 b 的 模型的表现,不要问我为什么用这么奇怪的一个模型,因为我试了好多千万三点六三十五 b 的 模型真的跑不动,二十四 g 内存好多都跑不动啊,这个的模型的大小十二 g 左右,还勉强能跑 别的,呃,三十五 b 的 十,呃,这个十八九 g 大 小的模型装上之后根本就跑不起来,文字都发不了, 有的一些这个大概十四五 g 流量那个大小的模型呢?装上了问答啊,他可以回复啊,能简单的跑一跑,但是你让他执行任务的时候他也不行了。 我们来看这个模型的话呢,我们还是第一个测试啊,就是说让他在网上随便下载一个周杰伦的照片,图片给我放到桌面上, 我们来看一下他的执行结果啊,他,呃去执行了之后,我看到他拉起了我的这个浏览器,他调浏览器,然后呢,他访问了一个这个知乎的页面,但是, 呃没有网页访问,就是可能是被受到人机验证了,网页没有显示出来,然后他后来又访问了谷歌,谷歌的话跳出来了,这个需要人啊,人机验证点击的那个界面,但是我没有给他手动点击,他自己就没有办法了, 然后他尝试了几次之后都不行,结果呢?他这个说就说他无法下载一张追梦的照片啊,因为遇到了啊这个问题,然后,呃, 反正就是没给我做,他就停了,他执行了八分多钟自己就停了。跟之前我们用的那个前吻三点五九 b 模型相比呢,他的执行时间虽然很短,但是没有执行成功,他自己会 终止。但是九 b 模型呢?基本上不会终止,但是九 b 模型他确实能够啊,拉起浏览器,然后在谷歌当中搜索,我能在搜索当中看到他图片,他只是无法下载, 但是这个模型呢?嗯,他没有让我看到任何图片啊,也是挑战失败啊。我们再来看一下第二个任务。