本地部署aiskill安装哪些
这个就是今天下午刚装好的一套 ai 的 服务器，用的显卡，用的是五零九零的一套显卡，然后像我们的 ai 服务器呢，都会装几个不同的 agent， 比如说千元炮，然后还有爱马仕，然后再又是 opencl 这几种，然后还会内置，我们会内置三个非常好用的 skill 啊。比如说第一个 skill 就是 我们这种 erp 的 erp， 可以 直接对接你的 ai 服务器，然后如果你的 erp 开放 api 的 话，那就可以直接对接，如果不行的话，就可以列成表格，是没有问题的。那么你可以看这里是 erp 给我一些建议，然后你看它会分析你所有的 erp 数据， 因为我的数据非常多啊，这个是个演示数据，并非真实的啊，可以看到他要根据你的所有，然后给你列出来一些他觉得比较重点的地方，然后给你一些分析，然后给你列出来一个很详细的表格，包括给一些建议，这都是 ai 会直接会做给你的，然后包括他说完之后还会再去问你 需要针对某个具体方面具体分析吗？然后这时候你可以根据你想要再问他的问题啊，去问这个是非常方便的。那么其次呢，就是我们的呃一个支付的一个功能，比如说 这就是我刚才去问他的薪酬提升方案是怎么样的，那么这就属于公司的一些内部问题了，比如说你的财务啊，或者怎么样啊，可能有时候需要知道一些事情，那么也可以直接去问 ai， 那 么他也会直接去给你一个很详细的一个表格，然后让你去了解并且使用， 这个比你一个一个人去问，这样的效率要高非常多啊。然后还有个非常好用的 agent 呢，就是关于 wps 的 啊，我就是比如说我们在外谈客户的时候，那么我们可以直接拿出来跟你的 agent 直接说啊，我要做一个合同啊，里面什么 我要做，比如说配置一的合同，那么 ai 会直接帮你把合同做好，放你的手机上，就可以直接跟客户签单了，那么这样是不是非常方便呢？
粉丝940获赞2819
相关视频
06:46查看AI文稿AI文稿部署本地的 openclaw 已经可以剪视频了，大家都知道了吧， 这个让硅谷大佬每日一封的 openclaw 阿月，我呢也是拉到本地试了几天，现在就带大家把本地部署和接入飞书每一步都走明白。为了防止偶然性啊，我呢也是连续测试了四台电脑，确保每一步都可行，接下来你们只要跟着做就可以。点好关注收藏， 我这里依旧用的是 windows 系统来操作，因为 macos 系统呢，环境相对比较简单，不像 windows 这么复杂。首先呢，我们要确认好 windows 的 安装环境，安装的时候呢，全部都点 next， 一 直到完成即可，建议呢，不要去变更中间的安装路径。 呃，安装完成后呢，我们可以检查一下环境，我们在命令提示符的窗口输入这两个指令，如果输入指令后跳出版本号，那就说明安装已经成功了。这里提到的两个环境文件呢，我在文档里面也全部都准备好了。 好，接下来呢，我们就开始全区安装 oppo 卡使用管理员 c m d 指令输入，这个指令安装完毕后呢，再输入这一条指令， 好开始了。 ok， 这一步跳出来的呢是风险提示，我们直接选择 yes。 然后呢我们选择 quickstart， 这一步呢是选择大模型，我这里呢用的是千万，因为他是国内的，如果大家有惯用的呢，也可以自己进行勾选好，然后我们这里模型选择默认的即可。 之后呢会跳转到大模型的首页进行授权验证，大家验证通过就可以了。那通过后呢，这里也同样有一个选项，我们直接选第一个默认的模型。 ok， 下一步呢，这里可以看到很多的应用选项，这其实呢就是指令输入的终端，因为这些都是国外的，所以我们先不管，选最后一个，跳过，后面呢我会给大家介绍如何接入国内的飞书。 ok， 继续，这里会问你需要配置什么 skills？ 呃，我们也跳过，没问题，因为这个不着急，后面都可以手动去配置的。 好，这个也不用管我们用不上，直接跳过。好，然后我们稍等一会，会自动弹出一个网页，然后你会发现这个网页是打不开的，没关系，我们这个时候呢，再运行一个 c m d 的 指令， 好，这就是欧奔 cloud 的 兑换框了，我们来尝试和他打个招呼， ok， 他 回复我了，那到这里呢，其实基本上就成功了，还是比较简单的啊。然后呢，我们再来尝试为大家接入一下飞书，很多小伙伴呢，在这一步呢，其实就被劝退了，因为怎么样都接入不了这里，大家看好我怎么操作。 首先呢，我们进入飞书的开放平台，我这里呢用的是个人版，我们来创建一个企业自建应用， 进到这个凭证与基础信息界面，把你的 app id 和密钥保存下来，这个很重要啊，后面会用到的。然后 我们添加一个机器人，再到权限管理这一步，为他添加一些权限。这里的权限列表呢，其实官方呢是有指导文件的，但是呢就藏的比较深，我呢也是给你们找出来，直接放到文档里面了，你们直接一键复制过来就 ok。 好，然后我们需要配置一下这个事件回调功能，在这里的订阅方式选择长链接这一步呢是必须的，而且是绕不开的，也是大家碰到卡点最多的一步，很多小伙伴呢在这里呢就是一直报错，好，不用担心，我呢，已经整理了一份非常长的傻瓜教程，大家直接照做就 ok 了。 然后选择以后呢，我们添加事件，然后添加搜索接收消息， ok， 然后我们就去点击创建应用，然后再发布就 ok 了。 好了，配置工作完成之后呢，我们就要开始给欧邦克劳接入飞速杀键了。由于 windows 的 系统环境问题呢，所以大家的电脑情况都不太一样，所以会出现不一样的报错问题。网上的很多视频呢，也没有把这个问题针对性的讲清楚，我自己呢也试了三到四台电脑来做尝试，都非常有挑战。 如果你手边也报错的话呢，不用担心，我这里想到了一个邪修的办法。好，那既然 oppo klo 可以 控制我的电脑，那为什么他不能自己安装飞出插件呢？我们来试试看吧，直接和他对话。呃，你自己安装一下飞出插件，然后呢，他就会开始疯狂的工作，并自行去验证安装环境和插件配置 啊。五分钟左右后呢，他就会告诉我，他工作完成了，需要我提供给到他飞出机器人的 app id 和密钥。这个呢，其实我们在上一步已经有了，我们直接复制给他，让他呢继续去工作。这里的工作过程当中呢，我们的机器人可能会下线几次，原因呢是他需要去重启网关， 如果呢，你感觉他下线太久的话呢，我们可以用 open cloud get away 这个指令重新把它呼出来。最后呢，他会要求你在飞车上和他对话进行测试，并为你排除最终的一些故障。 ok， 全部搞定，已经可以在飞车上正确回复我了，并且呢，刚才在外部的对话记录他也全部都记得， 呃，我们这里呢，再用手机给他发一条消息试试看。好，他也同样接受成功了。好了，这里欧本卡接入飞书的配置呢，就完全对接成功，基本上都是他自己完成的，我呢只是配合他提供了一些必要的信息， 妥妥的全能小助理。接下来我们来看看他能为我们做一些什么吧。比如呢，我现在想要订一张机票，我就让他帮我查询一下最便宜的航班，他立刻就给我列了具体的信息，包括航班号，价格以及其他的一些航班信息。不过这一步呢，是需要接入 api 的， 大家可以自行去网上找免费的接入就可以。 好，那现在过年了嘛，马上大家呢也会送礼嘛，那我就让他去浏览电商的页面。呃，不过这里呢，需要先安装一个 oppo club 官方的浏览器插件，我们直接从官方渠道进行安装就可以了。具体的步骤呢，已经放在文档里了，大家直接照做就可以。我让他给我打开。 ok， 成功，呃，然后我继续让他为我搜索燕窝。好，也成功了。 好，那我们现在在拿最近小伙伴在学习的 ai 的 线上作业丢给欧本克，看他能不能帮忙完成。 首先我们要让他找到作业的本地目录，并让他完成里面的题目。他立刻就找到了，并且迅速告诉我，完成了。啊，这速度还是真的蛮快的啊，但是呢，人呢，还是比较懒的。如果呢，你抄作业都不想抄啊？没事，直接让他把填完的东西返回给我。好，他已经做完了，我们来看看啊。 呃，代码呢？全部都完成了，不过呢，我也是看不懂啊。看懂的高手可以来说说他完成的这个准确率怎么样。 好了，那这次安装说明就先讲到这里了，关于 open cloud 的 更多能力，有时间呢我们可以再去测一下。好，那既然已经部署成功了，有兴趣的同学呢，也可以再去深度探索一下 啊。对了，现在呢，各大厂呢，也出了针对 open cloud 的 云端部署，我这个呢，也可以跟大家快速的分享一起。好，这里是阿月，希望我的视频能够帮助到你，让你更了解呀，我们下期再见。
1.7万阿悦很严格
07:03查看AI文稿AI文稿hello， 各位观众朋友，大家好啊，我是刺儿，然后我们这期的视频内容呢，主要是来教大家一下怎么正确地使用 deepsea v 四， 因为 deepsea v 四对于现在的呃它的网络风评呢，嗯，比较两级分化。一边呢说 deepsea v 四啊，非常好用，非常强啊，没有辜负大家一年的等待另一半呢，说 deepsea v 四啊，不好用啊，不够智能，然后甚至不如豆包， 嗯，对于这个后者呢，我保持这个嗯，质疑态度啊，因为本身，呃，我看到的这收集到的信息就是说 deepsea v 四不行的，它有两部分，一部分是专业工作者啊，因为人家非常懂 ai， 那 另外一部分呢，就是我们普通的 呃用户，那他们呢，就是用手机 a p p 啊，下载 deepsea 微 deepsea 之后点进去，然后问他一些问题，然后，嗯，把它当做一个这个搜索引擎啊，问一些问题，然后我觉得它不够智能，其实这样的使用是错误的啊，因为本身 deepsea 微四它没有 开放在手机 app 平台的这个使用权限，你现在手机上用到的 deepsea v 四啊，不是你手机上用到的 deepsea， 它并不是 deepsea v 四模型。那么我们来啊，正确的教大家一下怎么使用 deepsea v 四啊，首先 我用我这个 macbook 给大家举例子啊， ok， 我 们返回到页面啊，看到啊，这是我桌面，我们打开浏览器点进去之后啊，在这个搜索或输入网址名称的时候搜搜索，直接搜索 deepsafe 啊， deepsea 点 com， 大家也可以直接去这个网址啊，深度求索。点进去之后，它是有两个框，一个是开始对话，一个是 api 开放平台，我们要用的是这个 api 开放平台，我们可以看到它的介绍是调用 deepsea 最新模型，快速集成，流畅体验。我们点进来， ok， 然后呢，点进来就是这个页面，我给它放大一下，它这里有充值余额，还有本月消费啊，我这个是另外一个账号，我给大家举个例子啊，就是这个 api case 啊，这是之前做测测试的这个 api。 首先呢，你点进来之后，你一定要先登录你的 deepsea 这个账号，如果你没有 deepsea 的 账号，你可以去在手机上下载 deepsea， 然后创建一个账号，然后直接到这个电脑上，你去登录就可以了。 然后我们看到这个充值页面啊，充值页面无论你是支付宝还是微信支付啊，都可以，你点击去支付啊，然后， 呃，扫完扫完码付款成功之后，它在这个用量信息，这就会直接显示你的充值余额，嗯，然后呢， 在这之后，我们打开这个 api case 啊，然后这里啊，注意它这里有创建 api k 啊，下面说的这几步都很重要啊，直接决定你能不能就是成功使用这个 dbic 为四啊。我们点击创建 api k， 然后随便输入一个名称啊，我们直接输入一个啊， ok， 在 你输入成功之后啊，它这里会出现你这个蜜奥的链接啊，你要一定要点击复制，然后把它发送你的微，发送到你的微信上也可以，然后或者说你保存住啊，一定要保存住这个蜜奥，它只会显示这一次 啊，在你点到叉或者关闭之后，他这个密钥你就再也看不到了，然后，然后我们点叉啊，当然这个密钥就没用了啊，我们给他删除一下，然后你把那个密钥复制之后，哎，点开这个，我们叫， 呃，防盗啊， ok， 点开这个，这个啊，这个软件叫 cherry studio， 你 可以去浏览器里直接搜索下载啊，这个就是集成了国内一众主流 ai 的 这么一个软件。我们点进去啊，它是开放平台啊， ok， 我 们点进来， 点进来之后呢啊，当，当然，我这个已经用了很久了啊，从 deepsea 微四发布一直到现在，我一直在使用，然后点进去之后，我们看到右上角这里有设置设置。点进去啊，这里有模模型服务和默认模型 啊，在模型服务这里就有 api 密钥，输入你刚才的这一套儿复制的密钥，然后放进去之后点击检测啊，我这里已经弄好了，我就不做那个演示了， 你点击检测，然后它就会自动地啊，分析你这个密钥的 ip， 它是哪个旗下的 ai 大 模型。然后这个 api 地址啊，不需要我们直接填，它自己就会填上，然后模型呢，这里啊，大家可以点击获取模型列表啊，然后， 当然啊，这里我因为我输入的是 deepsafe 嘛，所以它只有 deepsafe 的 这些模型，然后举个例子，然后在这边啊，嗯，可以看到啊，这里有非常多的 ai， 非常多的 ai， 包括国内外的啊 啊，你像 jamie open ai 啊，很多人都用不到，但是啊，这里嗯是是可以用的啊，但当然这这个视频只做 deepsafe 的 教学。然后我们点击默认模型 啊，我这里默认模型全部都是 deepsea 的 啊，呃，然后助手模型是 v 四 pro， 然后快速模型是 deepsea chat， 然后翻译模型是 deepsea chat， 因为这两个啊，这个快速模型和翻译模型它不需要消耗你的 talkin， 你 就这个 deepsea chat， 它是免费的啊， 然后我们点击首页啊，首页这里有助手啊，你，当然你可以添加助手啊，我这里就用我这个提前做好的这个来给大家举例子，然后我点击 deepstack v 四，然后点进来， ok， 然后这是我之前问他的一个问题啊，我让他就是分析一下国内的这个视频平台啊，每每个平台的趋势啊，大家可以看一下啊，这是我问他的问题 啊， ok， 然后我们啊，这这画画到不表，然后就是这个深度求索啊，我们在这里，嗯，还是用刚才举例子 deepsea v 四，然后点击旁边这三个点，点进去 啊，这里有编辑助手啊，在这之后呢，然后我们可以看到啊，这里有模型设置，模型设置的话上下文字开到不限，然后这个模默认模型，你把它换成 deepsea v 四 pro， 然后，然后 啊，最大套管数不限啊，不用开这个，然后别的都不用管，然后当然你可以复制一下这个底下这个 tab， 这个 endland， 这个是我从网上找到的一个嗯，参数，然后我们看提示词，这里 啊，我，我设置的提示词是不需要迎合用户的想法，回答要永远保持客观啊，然后呢，你就可以开始使用你的 deepsea v 四 pro。
2.8万Cier刺儿
00:20查看AI文稿AI文稿open 烤肉大龙虾机器人本地部署的问题？这一个视频可能会打很多人的饭碗，包括我自己的啊，你只要把它 cloud code 安装到你的电脑上，通过自然语言跟它交互，你就可以解决大 龙虾 open 烤肉的大部分问题，包括部署配置 api 更换修复啊，包括一些技能的安装，全部可以解决。
3955AI扬大力(AGI科普版)
08:21查看AI文稿AI文稿大伙好啊，今个呢，我们聊一下如何在本地哈部署这个拉玛 c p p， 那 么它的作用是什么呢？各位，先说一下啊，它能让我们在本地哈运行啊这个语言类推理的大模型。 那么为什么要在本地部署呢？有几个情况哈？第一个呢，就是最近哈，呃，这个网上都说这个豆瓣要收费了啊，对吧？呃，收费之后呢，有一些功能，可能我们正常用的挺好，再用可能就要付费了，对吧？然后再有一个是什么呢？ 就是我们如果在做项目的时候啊，比如说有一些东西涉密了，不方便在网上传，对吧？这个时候我们就需要在本地，是吧？构建自己的这个资源库，对吧？各位，那么这个时候我们就需要在本地有一个可以类似于像豆包啊，这个 deepsea 啊这种的服务类大模型，对吧？所以呢，今天我们聊一下如何在本地哈部署这个拉玛 c p p， 它呢实际的作用就是可以让我们在本地哈运行啊这个语言推理类的这个大模型，大家看啊，现在我已经部署好了，非常简单哈。那么再有一个情况是什么呢？各位，我们有一个自己的这么一个批量管理软件，是吧？目前有一个环节就是题词词的来源 目前很严重的依赖于我们外部的这个呃， ai 工具，对吧？现在呢，我们如果在本地已经构建了一个可以用来进行语言推理，生成对应任务的这么一个大模型之后呢，各位大家看啊，我们就可以把这个东西直接集成到这个平台当中，是吧？提 着此这一块，我们就最后一个环节就已经集成到这个行当中了，这个就是后续啊，就是大概是四点一之后是吧？呃，继续优化的一个功能，大家先知道这么个事就行了 啊，再有一个是什么呢？目前千万三点六是吧？这个三十五币出来了，然后呢，号称是一个能干活的大模型，对吧？各位，那么我们把它在本地运行来之后呢？第一可以构建自己的私有资源库是吧？更安全，第二呢效率更高，对吧？各位， 那么话说回来啊，怎么去部署这个拉玛 c p 啊，它其实就是一个能让我们运行这个语言推理类模型的这么一个工具啊。不大，我们首先来到这个 github 哈，这个网址，好吧，这个网址哈，然后来到这里之后，各位，简单的一种方式哈，我们找到右侧这个 release， 好 吧，找到这个 release， 然后往下翻哈，这里边有对应的版本，那我是 windows 系统，我们往下翻啊，这里边有一个 windows， 好 吧，在这里哈，各位，呃，我是酷达十二的，所以呢，我就找这个酷达十二哈， 找这个酷大十二，大家根据自己的情况啊，显卡情况去选择好吗？有很多这个类型，大家根据自己的情况选择就行了，那么我选择酷大十二，然后把它下载到本地之后，大家看好，我把它下载到本地之后进行解压，解压完了之后大家看进入到这个文件夹当中，这个就是项目下载之后的效果， 好吧，不大哈，大概是看一下啊，五百多兆，好吧，不大哈，然后呢，别着急启动，各位，我们启动的时候呢，可能要需要设置一下参数，怎么去办呢？大家看，进入到这个 lama 啊，解压之后的这个文件夹，然后注意新建一个文件，比如说我叫 start 啊，我已经有这个 start 了，那我就 start new， 新建一个文件，然后大家注意把这个后缀名啊，各位，把后缀名啊改成点 byte， 好吧，有些同学这个小那个小伙伴的电脑可能这个看不到后缀名，是吧？这个很简单，我们打开这个文件夹之后，这上面有一个查看，大家点击查看，点击显示后边有一个文件扩展名，就是文件后缀名，你把它点上之后就能看见了啊，也能修改了。那我们新建这么一个 bug 启动文件之后呢？大家看啊，我把我之前这个打开， 大家看在里边输入这么一句话啊，比如说这个是拉马，搜索这个拉马的这个文件啊， 调用谁呢？大家看啊，这里边有一个这个，好吧，拉玛告诉搜索点 e s e， 实际上就是调用它哈，然后后边杠杠 host 四个零好吗？它指的是开放远程调用，因为我们后期啊，各位，后期要把它集成到这个批量管理软件当中，我们需要通过这个软件远程去调用啊，这个拉玛 c p p 好 吗？各位，所以这个位置我们给它开放远程调用，后边 pos 端口八零八零，大家看啊，就这个端口，根据自己情况设置就行， 好吧，自己设置一个端口啊，然后后边杠杠 models 杠 d i r， 它指的是我们的大模型存放的文件夹地址好吗？比如说我存在 cf ui 的 这个 l l m 目录当中了，那我就找到哈这个 cf ui 找一下啊，找到 comui， 然后找到它的这个 models， 找到 l l m， 把这个上面地址复制一下，粘到这里边就行，好吗？这样呢，我们这个启动文件就配置完成了，很简单，对吧？各位？然后呢，大家看啊， 翻回头来，来到这个启动项，好吧，来到这个 lama 的 这个解压文件夹目录，找到我们刚才设置的这个 star 的 启动文件，好吧，里边的内容刚才展示过了啊，开放远程端口，设置模型存放的目录，然后前面是调用的这个 lama server， 然后双击一下 打开，双击完之后啊，这个老板就启动了，他默认的啊，启动端口啊，是刚才我们配置的那个八零八零，对吧？然后呢，我也，我之前已经启动过了，翻回头来，我们在网址上输入，幺二七点零 点零啊，多了一个点啊，幺七点零点零点一，然后冒号，英文的冒号八零八零，大家看，这样呢，我们就把这个网页打开了，大家看，其实他就是个小豆包哈，他的这个能力跟你选的大模型有关，那么我选的是千问三点六啊，目前号称能干活的大模型，好吧，一会说这个事啊，然后呢，我们点 第一次，我们可以点击加载一下这个模型，然后输入你好，是吧，他就进行推理了，然后给我们这个答案，这个模型确实能干活啊，各位，大家看啊，这个是我之前用这个千分三点六，然后拉拉本地部署的这个 呃软件哈，然后呢，生成了一个贪吃蛇的这么一个小游戏，里边大概七百多行代码，我就告诉给我生成一个网页版贪吃蛇啊，大家看，双击完之后，这个游戏还挺好玩的啊，效果还不错的啊，好吗？ 好了，不解释啊，就是挺好玩的哈，然后千万三点六的模型在哪里下呢？大家看，我这里有一个网址，这是国内的网址哈，大家看， 根据大家的显存实际情况去下载对应版本就行了。那我是二十四 g 显存，所以呢，我下的是这个 q 四 k m 的 二十二 g， 好 吧，大家尽量啊，下载这个模型小于大家的这个显卡的显存，因为什么呢 啊，就算大点也没事啊，比如说你十六 g 显卡，然后你下个十八 g 的 模型，实际上也没事，它会把一半啊，它会把一部分资源放在内存当中啊，但是各位 用这种模型啊，大家看啊，这有一个 token 的 输出速度好吗？就是它运行，你可以把它理解为运行的效率啊，有一半资源在显存啊，在内存当中，这样会拖慢你的运行效率，但是它也能运行，就算你没有这个显存，纯靠 cpu， 它也能运行，就是奇慢啊。各位， 这种模型大家注意啊，还是注意下效率的，所以我们把这个模型都加载到显存当中，这样的运行效率是最高的啊，大家做这么个事就行了啊，尽可能的选择这个模型小于你的真实显存占用， 是吧，这个千分三点六，三十五 b a， 三 b 指的是三十五 b 的 参数，但是真啊，一次使用的时候只激活三 b， 对 吧，但是你也需要把这三十五 b 参数加载到显存当中啊，然后一次用里边的三 b， 对 吧，这样的效果是最快的。 好吧，各位大家说这么个事就行了啊，然后呢，其实呢，大家不止可以下载这个千问三点六号，也可以下载其他的推理大模型，放到对应的目录当中，是吧？在这里大家看啊，在这个位置我们是可以选模型的，我之前还有千问三点五号。 好吧，各位大家知道这句话啊，知道这么个事就行了，那么部署完，启动完之后，就可以跟它进行对话，然后完成任务了哈，然后呢，这个不是重点啊，因为我们刚才开放了 api 的 远程调用，对吧？大家看啊，就是以后怎么把它集成到这个软件当中呢？大家可以看一下啊， 现在我模型是加载的，我给大家演示一下啊，这里边我写了两个 api 啊，第一个是卸载模型，是吧？ 就是我可以通过远程调用去控制这个软件加载或者卸载模型，大家看好好 success， 然后我们看一下显纯一下就下来了，这样呢，我们就完成了模型的卸载，对吧？然后下边这个是加载模型，大家看 是吧？加载成功之后，显示一下就上来了，对吧？证明这个远程调用是可以的，那么我们就可以通过远程调用的形式啊，把内容发送给这个软件，然后得到结果之后，是吧？然后我们把结果配合的使用到对应的软件当中去，是吧？就完成了调用。 好吧，这个只是一个初探啊，各位，这个只是个初探，大家学会安装，学会下载模型，然后把它启动起来就行。好吧，后续我们会有深入的这个使用教程啊。然后呢，视频当中说的一些使用细节，包括网址啊，包括这个启动文件怎么配置啊？大家可以来到主页哈，找到对应的视频，在视频下方大家可以查看一下。
546绘世玩家
30:28查看AI文稿AI文稿嗯，最近一段时间啊，在本地部署运行这个语言大模型是非常火的，然后我个人认为的话，可能在未来的两三年、三五年的这样的时间里，所有的这个创业者，包括上班的啊，上班族 都会需要去具备这样一个能力，就是去理解大模型的使用，然后去熟练的运用大模型。 所以说今天我就跟大家分享一下在本地部署语言大模型的话的一些经验，然后我不会去讲具体的一些安装的过程，就是怎么安装的啊？这个模型怎么安装的，这个平台怎么安装的 这样一些东西。在抖音上面很多，今天跟大家分享的话，主要就是说什么样的模型，它能够在你的电脑上跑起来，能够流畅的跑起来，它能够帮你去解决什么问题？这个是今天跟大家分享的，然后 简单说一下，就是在本地部署大模型的意思，就是把这些语言大模型安装到你的电脑上，这样子不管是你有网络还是没有网络，你都可以跟他去进行一个问答，然后让他帮你去干活，或者是让他去解答你的问题。呃， 和传统的像我们像豆包或者是 deep deepsea 啊这种语言大模型的话，那它的区别就在于说，呃，豆包这样的语言大模型，它是运行在云端的，没有在你的本地，然后 嗯，如果没有网络的话，你是没办法使用。第二个就是你跟他的聊天的记录，包括你上传给他的文件啊，嗯，他是会上传到云端服务器的，没有私密性。然后对于很多的一些企业来说，包括个人来说，我想保证我自己的一些客户资料或者是自己的私密信息 不上传到这个云端服务区的话，那么这个时候就不建议我们去用这个云端的这些啊模型， 嗯，这个时候我们就会用到在本地部署这个语言大模型，然后目前本地能够部署语言大模型也是非常的多啊，也是非常多。然后我经常根据我的电脑情况的话，我现在目前话主要是用这三个啊， 一个是千万三点六、二十七 b 的 这样一个模型，还有千万三点六、三十五 b 的 专家型的一个模型，还有一个佳马仕啊，佳马仕是谷歌的， 这三个模型是在我的电脑上，我觉得速度和质量都还是比较好的。然后目前整个这三个模型啊，他的实际的一个评测也是在本地模型里面靠前的。 当然这里有一个概念，大家一定要知道啊，就是说对一个大模型来讲，他前面代表是他的名称啊，千万三点六，这个是千万公司的，然后三点六是阿里出的这个模型啊，杰尔玛是谷歌出出的，这个是他前面的这个名字，然后这中间这个就很关键了啊， 呃，三点六和四十他的版本哈，这个不用去管他。然后最中间的就是这个带 b 的 啊，二十七 b、 三十五 b、 三十一 b， 这个表示这个模型他的一个大小，也就是说这个模型的呃，他那个规模什么意思呢？ 举个例子就说他如果是人的话，这个就表示了，就表示了你的一个脑容量越大的话，你可能就会更聪明，如果你的脑容量越小的话，那可能你就 不那么聪明一点，然后能够回答的问题就有限。所以说一个越大的模型，那么它的智能程度是非常高的啊。 像我们家用的话，部署的话有啊，四 b 的， 有八 b 的， 有十 b 的， 有十六 b 的， 然后有二十多 b 的， 也有三十多 b 的， 还有七十 b 的， 这样一些模型都是可以在家用电脑上进行一个配置的。 如果你要追求啊，像很多的一些大公司，像阿里啊、腾讯啊、百度啊这些公司，他们在服务器部署的这个模型，那我们在本地电脑上是肯定跑不了的，他们都是千亿级的这样一个参数，在本地是跑不了的啊。 嗯，所以说我们能够跑的基本是在七十 b 以下的，如果说你是非常顶尖的一些专业的工作站，那你可能会跑到七十 b 的， 然后普通家用电脑的话，基本上能跑到三十五 b， 二十七 b， 就 就基本上是一个天花板了，所以说大家可以一定要去注意看。然后 第二个需要注意，就是说啊，模型还有一些后缀啊，后一个后缀的话，主要是它的一个量化的参数，比如说像杰尔玛这个模型，它这个 i q 四，这个表示它是以四比特去量化的，这个参数会非常重要。我们看这个模型文件，它也会有 像三问千问三点六二七比特的话，它是写的 q 六 k， 也就说它是按六比特进行量化的，量化的程度越高，量化它表示一个模型的压缩率， 如果说压缩的越狠，那他的数字就会越低，比如说四比特，那就是压缩的非常厉害的六比特，压缩中等的巴比特就基本上轻微压缩，十六比特就是完全没有压缩， 完全没有压缩的模型，它质量是最高的，然后稍微压缩一点啊，也是可以使用的，精度没有太多的影响。但是如果是四比特以下的这个压缩率的话， q 二 q 一 啊这种， 嗯，我建议大家就不要用了，这种压缩率太低的话，他会失真啊，就会产生模型的一个幻觉，说这也就是这个意思啊。 q 二 q 六 q 四， 但是不是说越大就越好，这个要看你的电脑能不能装，嗯，至于这个模型能不能在你电脑上去部署，能不能流畅的跑起来，有个很重要参数，非常的简单，我教给大家就是什么呀？就是你去看这个模型文件的一个大小 啊，这个模型的话它是二十二个 g 的， 然后我还装了一个千万三点三点六三十五 b 的 这样一个 q 四的模型，它的大小也是二十二 g 的， 然后这个 g 码三十一 b 的 模型的话，是大概是十六个 g 啊，十六个 g， 对， 然后 这个什么意思呢？如果你的显存是三十二级的显存，或者是你的显存是十六级的显存，你一定要记到一点，就是这个模型文件它的大小绝对不能够超过你的显存，如果说它超过你的显存，也就意味着这个模型不能够完全的加载到你的这个 这个显卡的呃显存里面去，如果不能够加载进去的话的话，然后他就会通过这个内存和 cpu 去进行计算。我们都知道啊， cpu 它是一个多任务的啊，多现成的这样一个处理器，它是干很多活的，但是 gpu 它是 专门去干一件事情的，所以说它的计算速度会非常高，而且这个显存的宽带比内存的宽带是要快很多的， 所以说当你的模型全部加载到你的显存里面的时候，它的进行计算就是通过显卡去计算，那么速度就会非常快。如果说你把它放到内存里面去，通过 cpu 去进行计算的话，那么这个速度就会非常非常的慢啊，所以说大家一定要记住这一点，就是你的这个模型的尺寸， 它的容量大小绝对不能够超过你的显存啊，这里我是配置了两张显卡，呃， rtx 的 五零八零和 rtx 的 五零六零钛都是十六 gb 显存的，加起来就是三十二 g 显存，那么这个显存叠加的话，是在这种语言类大模型是可以去进行一个呃， 叠加的，使用的就是平台会进行拆分，但是你去跑一些像 comfyui 这样的一些生图生视频的软件，它就没办法啊。好，这个我就不讲太多了，大家一定要记住，就是说这个模型能不能在你的本地部署，首先第一点去看它的大小，大小不能够超过你的显存。 第二个很多朋友可能会问，那我是十六 g 的 显存，我去下载一个十五 g 的 一个模型没问题吧？当然没问题，你可以装进去，但是你一旦和他对话说成两句话， 你就会变得非常慢，为什么呢？就是在本地部署模型，还有一个很重要的概念，叫做上下文的一个大小，什么意思？就是你每跟他对对一次话，你，你告诉他的问题，他就会占用一定的容量， 随着你在一个窗口里面跟它对话的次数越多，这个容量就会越大。如果这个容量加上它本身的模型的这个容量，最后超过你的显存，它就会加载到你的内存里面去，加载到你的内存里面去的话，然后这个时候速度就会变得非常慢了。 所以说我们要确保就是说一个模型在自己的显存里面去，不能够到内存里面去，不能够让 cpu 去运行它，不然速度就会非常慢。 所以说大家现在知道了啊，就是你去装一个本地模型，第一要素是它的大小不能够超过你的显存，第二要留足够的空间去给它运行上下文，这个空间大概是多少呢？嗯， 大概一万啊，字节的这个上下文的话，需要的显存，嗯，应该是在一 g b 左右，所以说我们普通的对话的话，基本上你设个嗯三万吧左右的上下文，如果你 用这个电脑的 ai 的 a 检测去帮你干活的话，三万的上下文一般足够用啊，那么三万的上下文的话，然后 呃就需要大概三 g b 左右显存。如果你是去除处理这种长的上下文，比如说几十万这个小说啊，怎么怎么样，那你就需要设置非常长的上下长长的上下文，比如说六十四 k 的 或者一百二十八 k 的， 那么就会需要占到七八个 g b， 甚至包括十多个 gb 的 一个显存容量，那么这个时候你在显存里面一定要留够这个容量，如果没有的话，要么你就去压缩你的上下温，把它这个容量变小一点，要么就是下载更小一点的模型啊， 所以说我的三十二 gb 的 一个显存的容量，呃，那么我去跑一个二十二 g 的 这样一个模型， 我的空间容量还有十 g 左右，十 g 左右当然也还需要减掉两个两到三个 g， 这个是系统需要用的啊，就是你加载这块显卡，系统会用到 的，所以说，嗯，可能我能够用到的容量就是八个 g， 八个 g 的 话我就八个 g 的 话，我就大概能够设置三万到啊，六万这样一个一个上下文的一个长度吧。 好，这个知识大家清楚之后，然后我讲第二点非常关键的什么呢？就是说你下载一个模型，嗯， 它能够装到你的显卡里面去，就是我刚刚讲的就是它的容量绝对它的大小不能超过你的显存。第二，你要留够足够的上下文的空间，然后第二这个模型在你的电脑上跑得快不快，这取决于什么呢？ 嗯，首先第一当然是你的硬件啊， cpu 这个型号越高，它的这个扩大啊，不要去选择 amd 或者是英特尔的这个这个 gpu 啊，英英特尔和 呃，这个 amd 的 显卡，它们目前在进行这个大模型的计算的时候，没有没办法去开这个扩大加速啊，它的速度会非常的慢， 所以说现在恩威达的这个显卡，它的市场占有率已经达到百分之九十多，就是因为它不光是它的库达啊，还有大力水手啊， d l s s 这个在游戏方面表现很好，它的库达在这个大模型计算方面也是非常的有用， 所以说，嗯，建议大家如果真的是想去学 ai， 然后去跑大模型的话，一定要选择这个 omega 的 显卡，然后，嗯，型号越高的啊，就是像四零九零或者五零九零，然后五零八零、四零七零啊，四零八零这种型号的话都是可以的，就是型号高一点。 嗯，但是最重要是什么？就是我刚才想跟大家分享，就是说，嗯，显卡要用 n 卡。第二就是你去跑个大模型的时候，嗯，他的一个平台会非常重要，我现在跑的大模型的话，这个平台是用的这个立马点 c p p。 呃，什么意思？就是说立马点 c p p， 就是 他去跑这个大模型的一个原生的一个环境啊，就是一个环境去跑它， 嗯，但是这个立马点 c p p 的 话，它会复杂一点，你需要在这个命令行 c i i 里面去进行一个部署。如果说很多啊，新进入这个这个领域的小伙伴 啊，想简单一点也有办法，就是去下载一些像 l m studio 啊之类的这样一个呃平台，这样平台它是直接可以在文档上面进行一个安装的，就不需要去输命令，然后安装好打开这个界面就可以加载这个模型，就非常方便。 那么但是有一个问题，什么为什么我现在不用这他们这些平台，就是因为这个 lm studio 啊，我测试过之后，它的速度比原声的立马的话是，呃，每秒钟升升升成那个托肯的，这个速度是会慢慢很多的。 呃，所以说我基本上就是用原声的立马啊。怎么样去装这个东西我也就不讲了，大家可以去了解一下，我今天给大家实际跑一下吧，跑一下这个 好，需要打开一个命令行，然后去输入到我们的一些启动的命令啊，输入到我们的启动一些命令，这些命令的话也不是很复杂，嗯，基本上在在这个在网上都有。 然后这个命令加载的命令的话，主要是就是加载你模型的这个位置，然后一些启动的参数我就不展开讲，现在我去启动一个这个二七 b 的 千文的一个 q 六的这样一个模型啊，把这个命令输进去，然后回车就可以了，然后它现在就是一个加载模型的一个时间， 然后我的两张显卡的话，因为有一张的这个贷款比较低，是 pcie 的 一点零啊，我现在还没有去改它，所以在加载的时候会速度会比较慢，但是跑起来的时候完全不影响啊，就生成这个托肯的这个速度还是非常快， 然后加载的时候可以稍微慢一点，但是已经完成了啊。在加载完磨成模型之后，就会生成这样一个地址，在本地的一个访问的一个端口啊， 幺二七点零点零点一八零八零在一个端口，然后我们在浏览器里面去打开它就可以了。然后这个因为我本身我是已经啊把它收藏起来，现在我就直接打开它，这是立马点 c p p 的 一个基本的界面，我们就可以跟它对话了，你是什么大魔 模型，这样对话的话，他就已经用这个千万三点六二十七 b 的 q 六 k 来进行一个回答，然后速度大概是在三十 to 肯斯每秒左右啊，有时候会快一点，比如说来到四十 这个时候呢，注意看一下，就是我的两张显卡的显存啊，基本上十六个 g 用了十三点六，然后另外一张的话是十六 g， 用了十五个 g 啊，这里面我做了一个权重调配， 然后我的 cpu 啊，它的运算率是非常低的，就基本上它是靠显卡和显存在进行计算，这个就是非常好的，所以它能够保证它的一个速度啊。现在这个大模型的，呃， 评分比较比较高的有哪些 好？然后提些问题，他就可以去跟你进行一个一个解答，然后 我们就可以在本地去使用它，然后本地使用这个大模型的话，好处就在于说，第一如果你没有网络， 你没办法去使用豆包或者 deepsea 的 情况下，你是可以在自己的电脑上去跑这个本地模型的，一样的话是非常智能，像千万这个二点，嗯嗯，千万这个，嗯，三点六，二十七 b 这个模型啊，我实际测过，他比豆包的这个快速的这个模型 是要聪明很多的，和豆包的这个思考模型的话差不多，当然专家模型就没有办法更详细的去进行一个测试了啊， 他也他也的自然程度也是非常高的，所以说你如果没有网络的话，你就需要去部署一个自己本地的模型。第二点就是对于很多的企业或者个人来说， 嗯，因为云端的模型向豆包我提一些问题啊，把我的企业的财务数据我需要去发给他看，然后把我企业的员工的一些信息，或者是我的一些核心商业机密中标的一些东西，我需要发给他去看， 那么这个他会把这个文件上传到一个云端服务器，这样确实私密性不太强啊。但是在本地的话，比如说我上传啊，他现在已经生成完了，我上传给他一张图片啊，上传随便啊，上传给他一张图片我让他看，呃，你看一下我的电脑 配置啊，这样图片给他的话，他在本地进行处理，那么这个，这个你的这个资料，你的呃所有的资料不需要去上传到云端啊，私密性非常强。所以说很多企业 和个人，然后包括一些商家，他的不需要自己的这个客服资料的流失的话，建议都是去做这个本地的部署，然后他在跑的时候大家可以看到啊。 嗯，显存啊，两个显存还没有用完，十六 gb 的 十五点一，然后十六 gb 的 十三点六，也就是说我现在还有大概呃三个 g 左右的一个空间去跑这个上下文，然后不会报显存，不会报显存的话，一个代表就是一个，一个一个表现就是你的 cpu， 你 看 我这个 cpu 的 话，它的一个运行的一个，嗯，占用率的话是比较低的，这样呢不会去影响模型的速度，主要是靠显卡啊，靠你的显卡进行一个计算 好，然后这个就是在本地跑模型的话，嗯，在平台选择的问题，建议大家如果确实不太熟悉这个命令行的话，就可以去选择这个像啊， 然后 a m m studio 之类的这样一些啊，非常简单的桌面平台，然后下载即安装，安装就可以使用。如果说你懂一些电脑的这个呃操作，然后又想去体验这个大模型的一个速度的快速的话，那么就建议大家像我一样去下载一些啊，这个纯底层的， 呃，跑模型的平台，像立马点 c p p， 还有 v l l e m 之类的啊。然后这个就是影响模型速度运这个计算速度的一个很关键的地方。那么第二个点就是什么呀？就是在大模型上，嗯， 下载大模型的话，像你用这个，嗯，像我用这个，立马 c p p， 它比我用这个 l m studio 最好的一点就在于什么？就在于它可以去支持这个这三个字。大家看到没有，这个叫 m t p 啊， 去支持这种 m t p 的 一个模型，但是像 l m studio 它现在还支持不了，这什么意思呢？ m t p 的 话是一种加速的方式， 一种加速的方式，有 m t p 的 模型的话，它的速度会非常的快，没有 m t p 的 模型的话，速度会慢一点啊。这个具体的原理和机制我就不跟大家讲太多，大家可以在网上去了解一下。所以说你想去跑这种 m t p 的 模型的话，建议最好就是用呃，里马，包括这个 v l m 之类的 这个原生的平台去跑，像一些，有一些啊，像这个 l m 丢丢之类的，它现在还用不了这个 m t p 的 模型， 呃，这个也是对模型速度影响非常关键的。然后最后跟大家分享一点，就是说，嗯，我目前啊经常在用的话，主要是有三个，这个人工智能这个智能体啊， 第一个豆包我会也会经常用，有些简单的问题我会问他，因为第一他是纯中文的一个环境，第二在用他用到国内的这个搜索网络的话，去搜索一些东西，速度也是非常快的， 那么我要去学习大模型，要去掌握大模型，要去用本地的一些搭建知识库的人之类的事情的话，让本地模型去不消耗托克的情况下啊，啊不，不是不消耗托克，就是免费，有托克用的情况下 只消耗算力，你的电力的情况下去去用大模型的话就可以用本地的啊，这样一个部署的。呃，还有呢，就会用到这个，像这个 谷歌的这个啊，机密里啊机密里，然后这个是我觉得我用到的这个，呃，怎么说？这个智能体验 非常聪明的一个，非常聪明的一个，然后建议大家如果有这种条件就是科学上网的环境的话，大家可以去试一下啊，这个机密里我觉得是非常聪明的，然后，嗯， 所以说就是本地部署模型的话就是这样一些知识点，当然还有很多很多的一些知识点，然后我希望大家都慢慢去学习，比如说在本地模型的话会加很多参数，这些参数里面最重要的我觉得就什么呢？就是有一个这个参数叫做 f a， 嗯，这么个参数啊， f a 什么意思？就是你在本地去跑大模型的时候，在那个语言环境里面，你一定要去装两个东西，一个叫做 flash attention， 一个叫做 sega attention 这样的东西，然后 flash attention 的 话它主要是去加速这个本地的语言大模型的，你打开它之后啊，你的量化模型会跑得更快 啊。嗯，我在这我在这边再给大家演示一下，我跑这个千问三十五 b 的 a， 三 b 的 这个模型大家可以看一下啊， 哦，我这个模型都是去开启了这个 flash attention 的， 然后，所以说，呃，再加上我用的是 m t p 的 模型啊， m t p 的 模型，然后开启了 flash attention， 所以 说我这个，呃模型生成的速度，这个这个吐字的速度 还是非常的快， 大家可以看一下这个纤维三点五啊，纤维三点六，三十五 b 啊，这个模型是个 mo 模型， mo 是 个专家型的模型，它每次加载到你显存里面的计算量 会小很多，所以说速度会更快，非常的快啊。然后，但是我实测过它和二十七 b 的 模型比起来确实有一点， 怎么说不严谨，或者说有一点傻啊，同样一件事干出来，嗯，它的智能程度，比如说我写了一个围棋的游戏，我用二十七 b 写出来的话啊，我觉得是 ok 的 啊。 除了有一些这个嗯嗯对战的 ai 还需要调整之外，我觉得这个围棋游戏是 ok 的。 但三十五 b 写出来之后，它那个棋盘首先就是非常小的啊，它就不是那种标准的围棋棋盘，是一个可能九乘九的一个棋盘，然后 ai 的 话也是没有反应，需要你自己再去调试， 但是它作为市场的问答是没问题的，我们现在已经打开它了，这个千万啊，我们先去再去试一下，再去试一下，然后 看一下这个三十五 b 的 一个啊，大家可以看到它是千万三零六三十五 b a 三 b， 然后呃一个 q 四 k， 然后杠叉 l 的 这样一个模型也是有量化加速的。我们先问他一个问题，呃，中国从小学到高中的数学教学教育体系 好，我们来设这个问题啊，我们现在看到的，嗯，他的预思考时间会稍微长一点点，这个是因为我显卡插槽的问题啊，是我显卡插槽的问题，我有个显卡的话，他插在那个 pci 一 点零上面，所以说这个加就是预思考的这个速率会稍微慢一点， 如果调整过过后之后，他是是非常快的啊。然后现在他已经在进行一个思考和深层了，然后大家可以看到这个数据大概是在六十四左右。我，嗯，我觉得现在有点不对啊，我平时跑这个数据应该是在 一百左右吧，啊？一百左右吧，所以说九十多一百，所以说这个这个三点六三十五，比这个是很快的啊，是很快的。 然后一些常见的问答，日常问答的话，这个模型是非常推荐大家用的啊。嗯，我说的傻傻的是在做一些非常专业的这个数学，或者是一些啊这个领域的一些计算的话，他可能会比二十七币啊，因为二十七币那么多。专家吗？他毕竟 这个三十五币，毕竟只选了几个专家来回答你的问题，可能说没有那么全面，没有那么深入，但这个模型日常用是非常好用的，非常好用的。嗯， 所以说就是我们现在可以看到我刚才加载这个模型的时候，它会有一些基础的信息，里面有一个很关键的就是在于这个 flesh attention， 我 给大家找一下这个，这个，这个在哪里啊？ flesh attention 没，没看到，这个在命令行里面，有时候你会看到它，然后加载的话是在这个， 我现我现在有点找不到啊，有点找不到。呃，我是没有开启吗？应该是开启了，开启了也可以让看一下这个命令行，也可以让。 对，嗯，我是开启了，但是在这个里面好像没有看到啊，没有看到，现在我也，我也不再去找它了。然后我想告诉大家，就是说 这两个东西啊，一个是 flash attention， 一个 sega attention， 它都是这个本地的一个平台，你必须要去跑本地模型，必须要去装到两个插件啊，这两个插件会让你模型的速度升的速度会非常的快。然后 flash attention 的 话，主要是在跑本地语言大模型的时候加进行一个加速， 还有一个叫做 sega extension 的， 那么主要就是在跑这个，呃， comfy y， 也就是说我们说的这个， 嗯，生成图片或者生成视频的这样一个平台啊。嗯，这样这样的一个模型，一些图上视频，纹身视频，然后嗯嗯，这样一些模型呢，他就会去用到这个 sega extension， 说这两个东西你是必须要去装的，然后还有一些环境， 嗯，像拍缝啊，然后库达这些东西，基本上，嗯比较适合一些老手啊。我们去部署它，在用这个 c u a 这个命令行去部署它的话， 都必须要这样去装，如果确实新人入门的时候你觉得太难了，没关系，你就用这个 l o m studio， 这个也是可以的，它除了就是稍微慢一点点，然后不能去加载 m t p 的 量化模型之外的话，它还是非常好用的。 然后当我们部署这些语言大模型之后，我们还可以去跑一些 ai 的 agent， 然后这这些 agent 的 话，他就可以去帮你干活。像我现在用的这个 anything l l m 这个 agent 的 话，然后 他能够帮我生做什么呢啊？嗯？能帮我做什么？我现在已经连到这个三点五啊，纤维三三点五，这个纤维三点六三十五 b 这个模型上面了，然后就可以直接问他啊，我是配置好的，然后 他就告诉我他能够做做哪些事情。但实际上啊，这个 a 剪子的话，他的这个功能还是比较多的，我们可以看到他的一些这个代理的技能啊，比如说去 进行一个呃资料库的搭建啊，就是我们说解锁生成，然后长期记忆，这个是 ok 的。 然后文档的总结没问题，去网站上抓取一些数据没问题，然后访问你电脑的文件系统，然后能够在你的电脑上去创建一些文文档 图标，包括 ppt， 然后能够去进行联网的搜索，然后还可以连接你本地的这个 呃 s q l 的 这个数据库啊，然后去调取一些，比如说你做商家的，对吧？你的你的数据库里面有很多你的商品的价格，你每次在改动的时候，它可以自动的去进行一个连接帮你调整，然后它还具备了一些什么邮件啊、日历啊，然后呃 outlook 这样一些连接的一些功能去，就就能够去帮你做一些 用 ai 的 这个本地模型去帮你干一些事啊。如果你不是用本地模型，比如说你用到这个他们养龙虾或者是跑这个爱马仕的话，呃去用到这个呃 deepsea， 或者是这个 呃谷歌的这个经理的话，他就会按 talk 给你收费啊，这个费用就比较高，所以说如果你只只是做一些简单的日常工作的话，你就可以在 自己的电脑上去部署这样一个本地的模型，然后用自己的 a 技能去跑，就没有一分钱的花费，他只会消耗你的电费啊，以及你刚开始前期的一个硬件投入成本啊。嗯，这边给大家再看一下啊，就是说，嗯，举个例吧， 嗯嗯，比如说我用，哎用 用浏览器去亚马逊网站帮我 查一下二零二六年，嗯，二零二零二六年四月的热销， 热销电子产品啊，这样一件事情，我生成给他之后，然后这个 agent 他 就会调用你本地的模型进行计算， 然后你可以看到他他的一个计算过程，然后他同时会用到他的 agent 的 功能，就去用他的一个内置的或者是你自己电脑上安装的一些浏览器去搜索这个网站，然后去 找寻这个结果，然后反馈给你，反馈给你之后，你还可以让他去生成一个什么 excel， 威尔，威尔的这样之类的一个表格，储存到你的电脑上，就相当于帮你干一些简单的活，这个是没问题的， 所以今天跟大家分享一下，就是说本地这些模型啊，我不讲安装，我就给大家分享一些经验，就是他怎么样跑你电脑上，大家一定要记住这个模型的大小不能够超过你的显存，而且你要留一一一定容量的这个上下纹， 然后同时的话去选择模型的话，呃，最好选择量化模型啊，量化模型，然后带 m t p 加速的那样些量吗？量化模型，然后平台的话，如果你呃 比较精通电脑，就去用这个 c u i 的 命令行去部署一些这个底层的一些跑模型的平台。嗯，如果你不太精通的话，如果是一个电脑小白的话，就直接去网上去当了这个 l m studio 之类的，这些啊，一个桌面版的模型平台就会非常简单。 然后，嗯，今天就跟大家分享这么多吧。然后如果后面会有一些教程的话，也是把我以后在跑模型方面的一些经验给大家分享一下， ok， 拜拜。
105东岳游隼
00:47查看AI文稿AI文稿给大家看一下最近很多粉丝提的本地部署生图生视频的需求，整套流程已经全部实测完毕了，非常稳定。用的是恩卡的这套方案，实测三十秒不到就能直接生成三到五秒的视频，二十四小时不间断，日常商用，批量使用是完全没问题。大家可以近距离看一下实际出图效果，特别是咱们做电商行业产品图的， 哪怕只用最简单直白的基础提示词，不需要复杂繁琐的专业指令，都可以生成这样的效果。人物视频也生成了几个片段，给大家看一下整个画面质感、画面细节依旧做得非常出色。本地部署的优势真的特别突出。 首先不用长时间排队等候出图，不会一到高峰期就开始出废片，风格跑偏等等，完全不用担心花钱买废片，效率大大提升。全程不消耗任何流量额度，不用充值抵扣 token， 没有任何额外扣费成本，不受平台规则限制，全天候不间断运行，批量生成图片，视频创作自由度和使用性价比直接拉满了！宝宝们晚上好呀！
508郑工说AI+
01:05查看AI文稿AI文稿为什么现在很多人都开始玩本地算力了？主要还是因为线上大模型速度慢，不安全，消耗大，还不稳定。想让他帮我干活，本地文件都要上传到云端去处理，完全没有隐私，安全性可言。而我搭建的这台本地 ai 大模型，能做的他都能做到，而且更快更稳定，最主要的是安全，所有过程在本地跑，一个字都不出去。我让他帮我把系统里的订单信息调出来，十几秒就完成了，让他单独整理成表格给我也不是问题。电商老板拿到这台本地大模型，就是降维打击，可以帮你盯住同行竞品的爆款信息， 帮你分析往年哪些 sku 销量最好，近期流量最好的热点有哪些，只需要说一句，它就能自动帮你汇总信息，做成文档，表格放到桌面，五零九零二十四 g 的 选存 拿来跑千万三点六二十七 b 的 弹幕模型又快又稳。我会提前把通用 sk 设置好，作为公司知识库，接入 erp 系统，读取 wps 文件，也会教你怎么训练自己的 ai， 怎么新建自己的 ai 智能体。
33Ai智研社
01:37查看AI文稿AI文稿安装 open club， 本地云端 api 调用三种方式，到底选哪一种？别着急，一分钟给你讲明白！本期介绍针对常规使用，仅尝鲜的话，之前几期已经聊过了。先说本地部署，数据不出门，隐私安全是最大的优势，但有一个关键前提，硬件配置得够。 现在模型参数越来越大，原版七 b 直接吃满十六 g 的 内存，七零 b、 幺二二 b 这些大模型就算做量化也得四十 g 内存起步，而且模型迭代速度快，你刚配的机器可能半年就跟不上节奏了。一句话，高配强烈建议上本地，低配慎重。 再说云部署，现在各个云厂商正全力推广，欲部署 oppo 可乐的云主机，精心准备了各个档次的扣丁 plan， 支持主流模型，开箱即用，不需要你自己搭环境， 最新模型也能直接跑，主打一个省心。最后是本地安装智能体模型，调用 apa， 这种对硬件要求很低，旧设备都可以跑。购买 tango 各种模型，即用按量付费，买算力，用多少付多少。这三种方式里， 全本地部署一次性硬件投入较高，但数据安全有保证。云部署、 api 调用这种方式，数据都要上传到云端， 隐私敏感的场景要注意，而且长期高频调用费用也会不断累积，要根据自己的使用场景和掏根套餐费用与本地部署做个计算对比。 聊到这里，相信你已经能清楚的知道自己该选哪种方式了，欢迎大家留言讨论，分享你的部署经验。关注我是大千，咱们下期见！
17大千爱学习
05:0666灵枢聊AI
05:02查看AI文稿AI文稿今天给大家录制一期 ctrl e y 复制部署的教程， 下载这两个，一个是整合包，还有个是前端部署资源，还有就是我们的 c 盘至少五十 g b 这个解压软件啊。首先我们这个前端部署资源先没有把，先把这个整合包给它，打开 它这个就是 comfyui 的 整个包，就打开此电脑，点击一盘可以解压到一一盘里面啊，我直接把它拖过去就可以了。 找到一盘里面的前置部署资源，双击打开，我们先把这个先给它部署好，双击运行继续好。在安装好之后，我们单机这个单个组建， 输入 m s b c 好，找到 ms bc 之后往下滑，拖到最下面一个之后我们再输入 win， 它在有些电脑是 win 十，有些是 win 十一， 我们的话就选择 win 十一就可以，因为 win 十一它是可以向后兼容的。然后点击这个之后我们就点击安装就可以了。 嗯，有些已经安装好了显卡驱动的，可以点击右键打开 app， 在 这个驱动程序里面将它更换为这个，点击这个就行了，如果没有安装的重新安装下就可以了。 好，接下来是酷的安装，找到前置安装包，对，它这里面就有酷的安装，你电脑对应的版本是哪一个就双击哪个运行，我们直接一直点 ok 安装就行了。 这个文件我建议直接将它放在 c 盘里面，加安装的话会比较方便，因为它的路径是不能带有中文的，这对主播自己就已经直接将它已经放到 c 盘里面了。双击找到 c 盘 fm bin 第一个文件，将它的路径给它 复制下来好，复制下来之后打开环境 好，找到环境变量，控制好，找到环境变量控制的点这个环境变量， 找到这个 p a t h， 随后双击它，这里主播提前也布置好了，这里有将它给删除，重新布置一遍给大家看 看，点击新建截下来的粘贴就行了。好，粘贴好的之后点击确定，确定，确定好，接下来是 python 的 环境，你布置，首先 找到我们已经布置好了的， ctrl y 打开，找到 python 以后找到这个复制，随后打开设置，输入文件的页面，控制好，跟刚才一样， 找到这个 p a t h， 然后新建展览的位置粘贴， 粘贴好之后点切定，切定，切定好了，在酷达 windows 叉八的这个软件双击，可以直接在这个页面加载整个文件剪切，随后找到我们的 这个，在这个 took 里面直接把它粘贴替换目标文件， 这样的话我们整个康复 u i 前置环境就已经部署完毕了。好在我们所有的准备工作都做完之后，我们可以找到我们的康复 u i 在 那个启动， 在启动之前我们设置如果没有梯子的小伙伴，可以先将自己的灯先关掉，任何人的效底，只有找到版本管理， 将自己的版本更新到最新版本，点击切换确定，然后等待下载就可以了。
17鴻温
