粉丝23获赞64

今天来做一个二零二六年至今的 ar 大 模型本地部署全科普,跟大家讲明白到底什么人要做本地部署,什么行业适配本地部署,什么硬件匹配,什么样的本地部署需求,这些在这一期都有答案。 在这一期,社长会按照模型分类、硬件门槛、设备适配、部署目的,理性选型这个顺序,一步一步化解大家的本地部署焦虑,也平息一下评论区无穷无尽的争论。每次看到这个评论区,我脑子里面就是这段画面,七个中队,七个中队 好像手里有七个中队就可以暴打天下了。为什么会造成这种情况呢?社长大概是知道原因的,因为多数人会把大模型和 deepsea、 千问划等号。其实现在的主流大模型按功能已经分化出了五个大类。第一类也是本地部署中最常见的类型,叫上下文推理模型, 它的核心作用是处理文本相关的任务,从日常对话、文档总结到代码编辑、法律、医疗检测、销售、文本解析都靠它。特点是侧重逻辑推理,对视觉音频处理能力弱,也是硬件门槛跨度最大的一类。 正因为他的硬件门槛跨度大,所以他也成为了评论区炒翻天的元凶。关于硬件门槛的问题,社长等一下会展开来说。这里先介绍模型分类,上下文推理模型,国内的有这些,我罗列在了左边,国外的有这些,我罗列在了右边,需要详细了解的可以暂停观看。 第二类是纹身图,纹身视频模型,这类模型侧重视觉内容生成,纹身图门槛相对较低,纹身视频门槛较高,对算力显存要求更苛刻。目前国内主流的模型如下,第三类是声音合成配音模型, have you forgotten who promoted you to this position and who did everything? 这类模型侧重音频生成,分为通用配音和专业配音两种,门槛跨度比较大,轻量版可以个人部署,专业版需要企业级硬件。 第四类是多胞态融合模型,这类模型是全能型悬设,可以处理多种任务类型,但硬件门槛普遍比较高,大多适合企业部署, 后续如果推出轻量版的话,也可以个人尝试一下。第五类是行业垂直模型,这类模型是二零二六年本地部署的热点, 针对性极强,仅适配于特定行业,大多需要付费授权,部分开源模型可以自定义微调。当然,这类模型针对的也不是普通人或普通企业,就不展开说了。接下来就讲讲大家比较关心的硬件门槛问题。 为什么有的模型能用洋垃圾搞定,比如好几年前的特斯拉 v, 一 百显卡,旧的 cpu 什么的,有的却必须上顶级配置。 市长从技术底层拆解一下,结合二零二六年模型的特性,讲一讲核心逻辑,再补充一些特殊硬件门槛模型。先明确一个核心前提,大模型本地部署的硬件门槛取决于模型参数、规模、计算精度和任务类型三个方面。这个很好理解,参数越多,显存或内存的需求就越大, 量化精度越低,硬件要求就越低。任务类型的现在一般分为生成类和推理类,生成类比推理类更耗算力。如果你只是上下文推理,而且对于上下文的长度要求不高,这就给了洋垃圾生存的空间。 以特斯拉 v 一 百十六 g 显卡为例,它的 f p 十六算力只有一百二十五 taylor flops, 放在二零二六年性能远不如 rtx 四零九零五零九零 a 一 百这些显卡。但首先,常文本推理的核心是上下文窗口的 talking 处理,侧重显存占用控制,而不是瞬时算力爆发, 计算过程是逐个 talking 推理,所以单次计算量不大。其次,二零二六年的长文本推理模型,无论是采用 m o e 架构优化,还是基于琳尼尔架构做优化,都大幅降低了对显卡算力和显存的需求。因此,基于这两点的 v 一 百显卡才能顺利上港。 那纹身视频模型为什么不能用特斯拉 v 一 百这类显卡?纹身视频是目前本地部署门槛相对高的模型类型,哪怕是轻量版生成十秒视频, 也几乎无法用 v 一 百流畅运行。这主要是两个方面的原因,一是纹身视频需要逐帧生成,加帧间连贯性优化, 单次计算量是纹身图的几十倍甚至上百倍,这种瞬时的算力爆发,不是 v 一 百这类显卡能够撑得住的。二是二零二六年主流纹身视频模型都要依赖 tensor core 核心,用于光线追踪、帧间融合, 而 v 一 百类显卡的 tensor core 核心性能薄弱,无法适配模型的核心优化,即使强行部署,生成的视频也会出现帧断裂、模糊、色彩失帧这些情况,失去实用价值。 除了上面提到的显卡硬件门槛,还有一些特殊硬件门槛模型,比如专业声音合成配音模型,这种模型的核心门槛除了看显卡之外,对 cpu 和内存的要求也比较高。再比如多模态融合模型,需要大显存的多卡系统加大容量内存。 其他还有些特殊门槛的行业垂直模型,和我们普通人相隔较远,就不一一列举了。那哪些模型能用个人电脑或者洋垃圾搞定呢? 哪些必须上好的配置呢?接下来社长就按使用场景加硬件成本谈一下设备适配的问题,再来给大家明确一下个人、中小企业、大型企业分别适合哪些模型,避免大家盲目跟风配硬件。 首先是个人电脑或者洋垃圾可以搞定的模型类型,依次是上下文推理模型、纹身图模型、声音合成配音模型,这几类模型用个人电脑就能轻松搞定, cpu 最低 i 七八七零零 k e 三二六六六 v 三,显卡最低特斯拉为一百十六 g r t x 三零六零十二 g, 内存三十二 g ddr 四硬盘最低五百一十二 g, 固态总投入甚至低于五千块钱,可谓是花小钱办大事的典范了。 然后是必须上好配置的模型,依次是纹身视频模型、多模态融合模型、行业垂直模型、专业声音合成配音模型,适合企业、专业工作室重度需求者的需求。企业是追求时间、效率和稳定性的, 谁也不愿意看到工作交给 ai 后, ai 也干不完,还老出问题,那就太耽误事了。比如社长最近对接的一个项目, 要求一天要转一千小时的语音,转文字最好控制在八小时以内完成,这样这台机器白天可以用来跑十人并发的大模型,晚上用来语音转文字, 这就相当于基本上让他二十四小时不停歇的干活了。这种配置那必须要上好的,如果他撂挑子不干了,工作就落下了,损失的可就不只是工作量那么简单了。企业级配置基本上都是三万起, 而且最近因为内存硬盘、显卡涨价,随便配一下都要四万加了。所以无论是企业或者个人,如果不是有明确的部署目的, 不要轻易来找社长配机器,因为这里面不只是硬件的投入,还有后续软件开发部署的成本、操作机器的学习成本,这些都是必不可少的支出。至于机器硬件配置,社长就不展开了,前面的视频也都有讲解,有兴趣的可以翻一下前面的作品。 下面就来说一说评论区说的最多的争论其实没有绝对的好坏,核心是模型适配,不同设备有自己的适配场景,也有明确的局限性。 a m x 三九五、苹果 mac mini 与英伟达 d g x 基本上可以归类为个人轻量企业级 ai 整机方案,它们都支持上下文推理与轻量纹身图,但纹身视频能力差异显著。 ai max 三九五和 mac mini 仅能跑低分辨率,轻量纹身视频对于重度高覆盖场景效率不足, d g x 则可以流畅运行全类型纹身视频适配。专业创作与企业高覆盖需求。三者核心差异在于 tensor core 的 支持算力规模与内存扩展能力, 需按需选型,毕竟对于一个靠 ai 短视频获得收益的创作者来说,一天发一条视频和一周发一条视频还是有很大区别的。 标准塔式主机确实看起来很笨重,它的核心优势是可升级,支持多卡兼容,性能强劲, 搭配不同的硬件就可以适配市面上所有模型的显存和算力,需求,能力比较全面。随着模型需求的增加,还可以通过升级 cpu、 内存、显存、硬盘来进行适配。当然,它也有它的缺点,体积大、功耗高、成本高。对于个人来说,性能过剩了, 所以没有最优的设备,只有最适配的设备,争论谁更好没有意义。核心看你要部署什么模型,满足什么需求。 最后,社长要说的是理性选型的问题。对于个人,如果你对于大模型没有明确的使用需求,可以先从个人电脑洋垃圾开始进行低成本尝试,慢慢发现硬件配置跟不上了,再向更好的硬件迈进。 对于企业,同样也要有明确的需求,比如采用云端的方案,要支付高额的 talkin 费用,那你就可以选择本地部署,通过一次性的硬件投入来降低成本。 比如你是敏感行业,很看重数据安全,本地部署就是你的合适选择。比如你的企业在生产环节或是业务环节需要大模型来代替人力工作,同样可以选择本地部署。如果你只是要写写文档、计划书啥的, 也不涉及到啥秘密,在线的就挺好的,完全不需要折腾本地部署大模型了。如果你还没有明确需求,单纯好奇,那更没有必要本地部署,即使配了机器,大概率也是在配完之后用过几次就闲置了。 希望大家理性选型,按需部署,不盲目跟风,不刻意贬低别人,根据自己的需求预算选择最适合自己的方案才是大模型本地部署的核心意义。毕竟技术的价值从来不是追求高端,而是解决问题。 另外有很多人真的是单纯好奇,私信我,我还要花很长时间科普,有时候一下子半天就过去了。还有很多人自己都没想好需求是什么,就跑过来说要做大模型本地部署,这也基本上问着问着就没啥下文了。社长毕竟也有工作要做,所以想要咨询的朋友们先明确自己的需求,避免浪费彼此的时间哦。

openclaw, 一 款能接管你的电脑,真正自己动手二十四小时替你干活的 ai 工具。因为 claw 这个单词有龙虾钳字的意思而被国内网友戏称为 ai 小 龙虾。为了用上这个小龙虾,有人甚至花几百块找人上门安装 openclaw, 腾讯还专门搞了个线下活动,免费帮你装龙虾。这期视频手把手教你学会 openclaw 的 本地步数。 一、前期准备工作,硬件要求不高,一台能联网的电脑, windows、 mac 系统都可以,只要不是特别卡都能流畅运行 openclaw。 如果你的电脑里有重要文件资料,建议把 openclaw 部署到虚拟机里运行。软件方面,我们需要先在电脑上安装 nodejs 和 git 这两款软件。首先来到 nodejs 官网版本,建议选择 vr 二 lts 稳定版,点击获取 windows 安装程序, 下载后打开软件安装包,勾选同一软件安装协议,然后一直点击 nex 的, 再点击 instyle 开始安装,稍等片刻, note gs 就 安装好了。然后进入 get 软件官网,点击下载,没反应的话可以到评论区看看安装选项,全部保持默认即可。 最后把这个 view release note 取消勾选,点击 finish 完成。二、安装 openclaw, 点击左下角开始菜单,输入 powershell, 选择以管理员身份运行,然后输入这一行命令,按下 enter 键运行, 系统会询问我们是否确认执行策略,更改输入 y, 按下回车键表示同意,然后再输入 openclaw 官方安装命令并执行, 剩下的就是耐心等待 openclock 完成部署。安装过程中你可能会遇到各种各样的错误提示,直接截图问 ai, 根据他们的回答逐步解决问题, 期间会有一个弹窗提醒,选择允许访问,随后会来到这个界面,表明你成功完成了 openclock 的 本地安装。接下来我们还需要对 openclock 进行配置,按下键盘上的左右方向键,切换到 yes 回车,确认出石化模式,选择 quickstar ai 大 模型。这里支持使用 gpt、 mini max、 kimi、 豆包、火山引擎、阿里千问、百度千帆等。这是国内主流 ai 的 api, 使用费用大家可以自行选择。 这里以 kimi 为例,依次选择 kimi apikey, 点 c paste、 apikeynow, 然后打开浏览器,搜索 kimi 开放平台,确保账户有余额。点击 apikey 管理,新建 apikey 名称,输入 opencloud 项目,选择默认复制这串密钥,并粘贴到刚才的窗口即可。 如果你喜欢用豆包,就选择这个火山引擎 pass 的 api k, 然后进入火山引擎控制台,点击这里的 api k 管理,创建一个 api k, 粘贴到 power shell 窗口中,返回 timi 的 配置界面, 按下 enter 确认执行模型版本,选择默认的即可。这一步是配置通讯频道,我们选择最后一个 skip, 包括后面的配置,搜索引擎配置、 skills、 自动化脚本全部选择,暂时跳过,等跑通了再回来配置即可。 最后一步选择 opens web ui 系统,会自动调用浏览器,打开 opencloud 的 聊天窗口,如果小龙虾可以回复您消息,恭喜您完成了 opencloud 的 本地部署。下期视频我们具体了解小龙虾的使用方法。

想在本地部署 openclock 的 同学,这个视频你们跟着一步一步来做,基本上都可以成功的。这里我用 windows 系统来举例啊,如果你们是苹果或者 linux 系统呢,那部署起来会更加简单。其实要在 windows 上面来部署呢,也不是很难, 需要我们手动去安装的东西呢,其实就两个啊,一个 ws l, 还有一个就是 openclock。 你 们在网上面看到那些啊,让你们在 windows 下面呢,又安装 nodekit, 完完全全是多余的啊。 不是说 opencl 不 需要 note 和 get, 而是说装在 windows 下呢,它一点作用都没有,因为我们是在 wsl 下面去跑的,也就是那 windows 下的一个 linux 系统, 你在 windows 里面给它装这么一堆东西, linux 里面还是没有的,到时候呢, opencl 还是要给你再重新装一遍这些东西。所以呢,我们就直接在安装 opencl 的 时候,让它检测到环境需要什么,它就会自动给我们安装了。 就比方你们现在看到的这个终端啊,现在呢,我还是在 windows 目录下面的,我来检测一下 no 的 版本,可以看到这个的版本号呢是二四点幺四点零,这一个呢是我本来就装在 windows 系统下面的,现在呢,我进入一下 wsl 这里呢,大家可以理解成啊,我在 windows 下面呢,进入了一个 linux 的 子系统,然后在这里呢,我同样查看一下 node 版本,可以看到两个的版本号呢,是不一样的,一个是二十二,一个是二十四。 因为到时候我们的 openclock 是 要在 wsl 下去跑的,所以 openclock 它环境需要的 node git 这些呢,都要在 wsl 下面去安装才有用的。 我们给它装在 windows 下面呢,一点用都没有,所以我们不需要额外安装那些,我们直接去安装 w s l, 把这一个装好呢,我们的部署就成功一半了。其他环境需要的那些 node git, 到时候安装 opencloud 的 时候呢,它会自动帮我们安装的。虽然我们不用手动去装这些 node git, 但是呢还是要做一些额外的准备啊,比方科学上网, 学上网这一点非常重要啊,要不然的话,这个过程呢,很有可能你就会因为网络的问题啊,没办法部署成功。其次我们的电脑呢还要做几个设置啊,这一点呢,很少人说到,但是还是挺重要的。首先我们打开任务管理器,在左边呢,进到性能选项卡, 然后看一下右下角啊,它有一个虚拟化啊,我们要保证虚拟化呢是一起用的状态,基本上呢它默认都是一起用的啊,如果说没有起用的话,我们就手动给它起用一下,然后我们通过运行窗口输入这一个命令, 打开 windows 功能,拖到最后,这里面呢有一个适用于 linux 的 windows 子系统,还有虚拟机平台啊,这两个呢,我们都要给它勾选上啊,勾选上之后呢,我们就点确定就可以了, 等他应用我们的更改,然后呢我们就要启动一下我们的电脑大模型,这里呢我就用千问来给大家举例啊,因为他有免费的头梗赠送,所以呢大家可以来到千问这里啊,先注册一个账号。 安装这个之前呢,我们还要对网络进行一下配置,选中我们连接的这个网络啊,右键属性, 现在呢,我们都还不需要配置科学上网啊,就用我们本来的网络设置就可以了,我们就来改一下这个 dns 服务器啊,给他编辑一下, 我们就来改一下 ip 四的 dns 地址,默认呢,他可能是自动获取的,我们给他手动填啊,这个地址你们就按我一样的填就可以了。准备工作做完之后,我们就来打开泡泡消,这里呢,以管理员的身份运行 这里,我们就输入 wsl instyle 这条命令,然后根据它提示的这条命令哈,我们来安装一下,有帮图, 安装完之后呢,它可能新弹出一个窗口啊,也可能在本来的窗口啊,让你新建一个用户名和密码,你就按照提示来输入就可以了。 输入密码这里大家要注意,它是不显示出来的,你就正常输入,确保输入的没有问题就可以了。最后看到有颜色的这一行,带有你创建的用户名的这一行啊,就证明你的友邦图已经安装成功了,也就是那你的 ws l 就 安装成功了。 接下来我们就准备安装 open curl 了,来到 open curl 的 官网,现在呢,我们就要把科学上网配置好了,要不然呢,它会出问题啊。 找到 runs on your machine, 左上角先切换成简体中文,然后呢点安装, 我们就复制它快速安装的这条命令,这个时候就可以打开 wsl 了,没问题,成功进入了 linux 系统,然后把刚才复制的安装 opencloud 的 命令粘贴运行一下,现在它提示我们输入刚才创建的用户密码, 输入完之后它就开始安装了,像这里它会先检测环境需要的东西啊,像这里 node js not found it's already now 啊,它第一步就会把 node 给你装上, 下面就正式安装 open curl, 这里大家可以看到 git 它都给你安装好了,所以通过 wsl 方式呢,我们是没必要在 windows 下面手动来安装这个 node 而 git 的, 你一装还装错地方,甚至呢,装这个东西还装出问题,所以还不如直接给 openclip, 它自己来帮你安装。现在呢,它就帮你安装 openclip 的 二零二六三点幺二版本。 意识到出现 openclip 这个图像,我们 openclip 的 安装呢就已经成功了,接下来呢就做一些简单的配置就可以了,现在问我们是否继续啊,选 yes, 然后呢 crystal 快 速开始。下面这些呢,我们都是保持可以跳过的,先给它跳过啊,否则呢,就选默认,先让它把 open color 给装起来,后面呢再更改配置都可以了。选 skip now 给它跳过啊,选第一个默认也是保持默认啊, select channel 啊, step now 给它跳过。 search provider 也是给它跳过,问我们是否配置 skills no, 后面再配置都可以的,这个 whose 也是给它跳过。 ok, 现在我们就可以打开 open crawl 了,它上面呢有一个地址,我们按着键盘的 ctrl 键,然后点一下它, 他就会打开 openclaw 的 web 页面。这个呢是和 openclaw 的 智能助手聊天的页面,但是因为我们现在还没有接入大模型啊,所以呢,和他聊也没什么用。接下来呢,我们就要去接入千问的大模型,同样打开 power shell, 进入 wsl, 然后运行一下 openclaw config 这条命令,选 local, 然后就 model 这里模型的话我们去选到千问, 现在它是等待千问那边的授权,授权完毕呢,就接入成功了。这里我们可以复制一下这个地址,然后到浏览器去打开, 因为刚才已经让大家注册好千万的账号了,这边呢,直接点确认就授权成功了。其实到现在啊,我们的大模型呢就已经接入成功了, 现在就可以回到 opencloud 的 web 界面了。现在呢,我们和智能助手聊下天呢,只要他能回答我们的问题,就证明我们的大模型呢已经接入成功了, 没有问题,已经可以正常回复了。这样呢,我们的 openclaw 就 部署完成了。这个视频呢,就先到这里啊,下个视频再带大家来把 qq 飞书这些聊天工具呢,接入 openclaw。

上节课我们在本地部署了千万三点五 ai 大 模型,这节课我们继续部署 open core, 并让 open core 对 接上本地 ai 大 模型,彻底告别头肯焦虑,让大家零成本养龙虾。现在看 open core 官网,里面有很多种安装方式, 我们这里啊,使用 n p m 方式,一键安装,运行之前需要先有 node js 环境才能使用 n p m 命令。 node js 安装好后,打开终端运行 n p m i 杠 g 二分 q, 安装完成,运行命令,开始配置,复制过来粘贴。 先问我们啊,是否继续,当然要继续了,用键盘左右方向键选择 yes, 接着选啊,快速开始。这里问要对接什么模型, 这些选项啊,大部分都是对接云端 ai 模型的,因为我们要对接本地 ai 模型,所以要选择自定义。接着问模型的 api 地址,这个地址啊,在 o m x 的 仪表盘里,大家看这里, 复制一下,将这个删掉粘贴我们这里啊,要填的是幺二七点零点零点一,冒号八千斜杠 v 一。 继续啊问模型的 api k, api k 在 管理面板的设置权限设置里, 默认的 key 是 默认一二三一二三,我们不做修改,就填这个,先按回车粘贴过来,兼容性选择 open ai。 接着问模型 id, 模型 id 啊,在管理面板的模型管理器里面,将名字直接复制了,粘贴过来,确定 end point id, 保持默认就行,这个是模型的别名,可以不填,直接下一步。接着问啊,要对接什么聊天工具列表里啊,默认只有飞书。我这里出现的 open code 微信是我后面装的,大家初次安装并没有这个关于微信的对接,我们下节课再来讲, 这里直接选跳过接着问搜索服务现在没有,也先跳过,继续出来。技能的选择,直接按回车。 出来的技能选择,这里推荐只选 clonehub, 按空格,选中按回车键安装,其他的先不要选,可以避免网络有问题一直卡住。其他的有需要啊,后面可以再来安装。我这里列表中没有看到 clonehub, 是 因为我之前已经安装过了,所以看不到,我就直接选跳过。 后面的几个 api 啊,也都是收费的啊,暂时都没有,全都选 no no no no 还是 no 霍克时啊,也选跳过先按空格再回车。到了最后一步了,问我们运行方式,推荐的是在终端中运行,选择后,现在就可以和他直接发消息了。好,我们发个消息, 它会直接在动态中进行回复,当然也可以使用 word 界面进行访问,大家打开幺二七点零点零点一冒号幺八七八九,在这里也可以一样聊天,还可以做各种设置。总结下,安装 open core 需要 load 机制环境,在装好 load 机制后,使用 n p m 命令,可以一键安装 open core, 安装好后,运行命令开始配置文字版,内容请看课程讲英文档, iphone 可乐,现在出来聊天还可以操控你的电脑了,在下节课的对接微信里,我继续演示给你看。

部署本地的 openclaw 已经可以剪视频了,大家都知道了吧, 这个让硅谷大佬每日一封的 openclaw 阿月,我呢也是拉到本地试了几天,现在就带大家把本地部署和接入飞书每一步都走明白。为了防止偶然性啊,我呢也是连续测试了四台电脑,确保每一步都可行,接下来你们只要跟着做就可以。点好关注收藏, 我这里依旧用的是 windows 系统来操作,因为 macos 系统呢,环境相对比较简单,不像 windows 这么复杂。首先呢,我们要确认好 windows 的 安装环境,安装的时候呢,全部都点 next, 一 直到完成即可,建议呢,不要去变更中间的安装路径。 呃,安装完成后呢,我们可以检查一下环境,我们在命令提示符的窗口输入这两个指令,如果输入指令后跳出版本号,那就说明安装已经成功了。这里提到的两个环境文件呢,我在文档里面也全部都准备好了。 好,接下来呢,我们就开始全区安装 oppo 卡使用管理员 c m d 指令输入,这个指令安装完毕后呢,再输入这一条指令, 好开始了。 ok, 这一步跳出来的呢是风险提示,我们直接选择 yes。 然后呢我们选择 quickstart, 这一步呢是选择大模型,我这里呢用的是千万,因为他是国内的,如果大家有惯用的呢,也可以自己进行勾选好,然后我们这里模型选择默认的即可。 之后呢会跳转到大模型的首页进行授权验证,大家验证通过就可以了。那通过后呢,这里也同样有一个选项,我们直接选第一个默认的模型。 ok, 下一步呢,这里可以看到很多的应用选项,这其实呢就是指令输入的终端,因为这些都是国外的,所以我们先不管,选最后一个,跳过,后面呢我会给大家介绍如何接入国内的飞书。 ok, 继续,这里会问你需要配置什么 skills? 呃,我们也跳过,没问题,因为这个不着急,后面都可以手动去配置的。 好,这个也不用管我们用不上,直接跳过。好,然后我们稍等一会,会自动弹出一个网页,然后你会发现这个网页是打不开的,没关系,我们这个时候呢,再运行一个 c m d 的 指令, 好,这就是欧奔 cloud 的 兑换框了,我们来尝试和他打个招呼, ok, 他 回复我了,那到这里呢,其实基本上就成功了,还是比较简单的啊。然后呢,我们再来尝试为大家接入一下飞书,很多小伙伴呢,在这一步呢,其实就被劝退了,因为怎么样都接入不了这里,大家看好我怎么操作。 首先呢,我们进入飞书的开放平台,我这里呢用的是个人版,我们来创建一个企业自建应用, 进到这个凭证与基础信息界面,把你的 app id 和密钥保存下来,这个很重要啊,后面会用到的。然后 我们添加一个机器人,再到权限管理这一步,为他添加一些权限。这里的权限列表呢,其实官方呢是有指导文件的,但是呢就藏的比较深,我呢也是给你们找出来,直接放到文档里面了,你们直接一键复制过来就 ok。 好,然后我们需要配置一下这个事件回调功能,在这里的订阅方式选择长链接这一步呢是必须的,而且是绕不开的,也是大家碰到卡点最多的一步,很多小伙伴呢在这里呢就是一直报错,好,不用担心,我呢,已经整理了一份非常长的傻瓜教程,大家直接照做就 ok 了。 然后选择以后呢,我们添加事件,然后添加搜索接收消息, ok, 然后我们就去点击创建应用,然后再发布就 ok 了。 好了,配置工作完成之后呢,我们就要开始给欧邦克劳接入飞速杀键了。由于 windows 的 系统环境问题呢,所以大家的电脑情况都不太一样,所以会出现不一样的报错问题。网上的很多视频呢,也没有把这个问题针对性的讲清楚,我自己呢也试了三到四台电脑来做尝试,都非常有挑战。 如果你手边也报错的话呢,不用担心,我这里想到了一个邪修的办法。好,那既然 oppo klo 可以 控制我的电脑,那为什么他不能自己安装飞出插件呢?我们来试试看吧,直接和他对话。呃,你自己安装一下飞出插件,然后呢,他就会开始疯狂的工作,并自行去验证安装环境和插件配置 啊。五分钟左右后呢,他就会告诉我,他工作完成了,需要我提供给到他飞出机器人的 app id 和密钥。这个呢,其实我们在上一步已经有了,我们直接复制给他,让他呢继续去工作。这里的工作过程当中呢,我们的机器人可能会下线几次,原因呢是他需要去重启网关, 如果呢,你感觉他下线太久的话呢,我们可以用 open cloud get away 这个指令重新把它呼出来。最后呢,他会要求你在飞车上和他对话进行测试,并为你排除最终的一些故障。 ok, 全部搞定,已经可以在飞车上正确回复我了,并且呢,刚才在外部的对话记录他也全部都记得, 呃,我们这里呢,再用手机给他发一条消息试试看。好,他也同样接受成功了。好了,这里欧本卡接入飞书的配置呢,就完全对接成功,基本上都是他自己完成的,我呢只是配合他提供了一些必要的信息, 妥妥的全能小助理。接下来我们来看看他能为我们做一些什么吧。比如呢,我现在想要订一张机票,我就让他帮我查询一下最便宜的航班,他立刻就给我列了具体的信息,包括航班号,价格以及其他的一些航班信息。不过这一步呢,是需要接入 api 的, 大家可以自行去网上找免费的接入就可以。 好,那现在过年了嘛,马上大家呢也会送礼嘛,那我就让他去浏览电商的页面。呃,不过这里呢,需要先安装一个 oppo club 官方的浏览器插件,我们直接从官方渠道进行安装就可以了。具体的步骤呢,已经放在文档里了,大家直接照做就可以。我让他给我打开。 ok, 成功,呃,然后我继续让他为我搜索燕窝。好,也成功了。 好,那我们现在在拿最近小伙伴在学习的 ai 的 线上作业丢给欧本克,看他能不能帮忙完成。 首先我们要让他找到作业的本地目录,并让他完成里面的题目。他立刻就找到了,并且迅速告诉我,完成了。啊,这速度还是真的蛮快的啊,但是呢,人呢,还是比较懒的。如果呢,你抄作业都不想抄啊?没事,直接让他把填完的东西返回给我。好,他已经做完了,我们来看看啊。 呃,代码呢?全部都完成了,不过呢,我也是看不懂啊。看懂的高手可以来说说他完成的这个准确率怎么样。 好了,那这次安装说明就先讲到这里了,关于 open cloud 的 更多能力,有时间呢我们可以再去测一下。好,那既然已经部署成功了,有兴趣的同学呢,也可以再去深度探索一下 啊。对了,现在呢,各大厂呢,也出了针对 open cloud 的 云端部署,我这个呢,也可以跟大家快速的分享一起。好,这里是阿月,希望我的视频能够帮助到你,让你更了解呀,我们下期再见。

很多朋友呢在下载完龙虾之后,非常关心的一个问题,我是不是可以用一些免费的模型,然后去让龙虾进行使用,那这样的话我就可以不花钱了。之前我也给大家介绍了一些免费的厂商,提供了一些免费模型,但是那些免费模型呢,他是会限定一些额度的, 那就会有很多朋友问说,我本地部署模型是不是 ok 的? 那怎么让龙虾去连接本地的部署的模型呢?那这期视频呢,我们就来看一看怎么实现。首先呢在本地模型部署有一个非常牛的软件,就叫这个欧拉玛, 这个软件呢我们可以下载之后,它可以去帮我们去下载对应的一些我们想部署的模型,并且呢在它软件里面可以进行一个启动, 这样的话就不需要我们自己去找对应的模型资源,然后进行一个模型文件下载,然后再去启动对应的模型,所以说这个软件呢非常的方便。那这个欧娜玛的一个安装呢,我们这个地方直接就是给大家提供了下载链接, 就进入到欧娜玛点 com 这个地方,然后点击对应系统的一个下载方式,比如说你是 windows 就 直接点,然后下载完了之后直接安装就可以了。那安装完了之后它是一个什么效果呢?主要是有两个地方,首先呢 安装完之后它有一个文件夹,文件夹里面呢它会有一个 app 的 入口,可以把对应的 app 打开,打开之后呢我们就可以在这个地方跟它进行一个对话,可以看一下它所支持的一些模型,比如说 gpt, 然后 deep sync, 千问的,然后 mini max, 还有一些什么拉玛,然后本期我们就以千问的这个模型给大家进行一个讲解,看对应的龙虾怎么去连接。那我这个地方呢,已经把千问和拉玛的这个模型已经下载下来了, 所以说可以看到如果没有下载的话,他这个地方会有一个下载按钮,然后如果已经下载好的这个地方是没有下载按钮的,大家到时候可以下载一下,一会也给大家说一下怎么去进行一个下载。然后我这个地方就可以跟他在这种格式化的页面进行一个对话,问他你是谁, 那可以看到它现在因为它是一个 think 模型,就是它会思考,然后思考完了之后它会进一个回话,可以看到它的一个速度,在本地的一个部署模型速度还是比较快,当然了这个也是看你本地机器的一个性能,那我当前的这个机器呢,是一个五零八零的显卡,所以说它的一个效率还是比较高的。 然后除了这种方式之外呢,我们还有就是控制台的这种方式,就在这个地方我在文档里面给大家写好了, 就是我们可以在 power shell 里面去执行欧拉玛瑙,千问八 b 就 这个模型, 八 b 这个模型如果我们执行了之后,你本地如果没有去下载对应的这个模型,他会先去当 load 的 把对应这个模型给你下载下来,如果已经下载完了之后,他会直接去启动对应这个模型,那你在这个地方也是可以跟他对话的,你问他是谁, 然后进行一个 syncing, syncing 完之后输出对应一个结果,可以看到还是比较丝滑的,那本地模型呢?已经部署成功了,接下来我们就是要让我们的龙虾接入到这个本地模型。接入本地模型呢,其实也比较简单,那这个地方呢,我给大家介绍的是通过修改 opencloud 的 配置文件, 它里面有一个 open cloud, 点 json, 去把里面对应的一个内容进行一个修改,然后我们先按照上面这个步骤去打开 open cloud, 它对应了一个文件位置,我们就可以先去这个地方,然后 按照我命令执行就行了。先 cd 到点 opencloud, 然后进来之后呢执行这个 start 点,打开对应的一个文件夹,打开之后这个地方会有一个 opencloud 的 json 文件,然后编辑给它,在记事本里面编辑就 ok 了。 那我们可以看到之前呢我们这个地方,因为我是豆包的模型,所以说这个地方会有一个豆包模型的配置,那还有一个 agent, 就是 这个与我们对话的这个 agent, 它对应的模型使用的是什么?可以看到这个地方使用的是豆包, 那我们想去使用本地的欧拉玛模型,其实只需要修改三个地方就可以。首先第一个地方就是我们需要在猫豆子这个里面把我这一段给它拷贝进去, 找一下猫豆,然后与豆包进行一个平行位置, 然后把它删掉,加一个逗号,一定是一个英文逗号,然后加完之后我简单说一下它对应的一个内容,首先它是请求的 url 是 什么?就是本地的 logohost, 然后端口,然后 v e 接口 这个 appk 的 话,实际上它是因为本地模型是不需要这个 appk 验证的,所以说你这个地方随便写就 ok 了,跟我这个一样就可以。然后这个地方模型的话你就是用自己的,我们刚才不是下载的是千万八 币吗?所以说这个地方就是千万三八币。然后配置完这个之后,我们还需要去修改 agent 的 它所使用的模型。首先我们需要在底下去把欧拉玛对应的这个模型添加到它可用的模型列表, 在这个地方添加进去。 ok, 添加完了之后我们还需要替换一下,就是这个地方把这个 primary 给替换成我们下面的这个好的保存完了之后呢,我们这个地方的配置就结束了,就直接可以回到命令行执行一下, 我们把这个地方给关掉,关掉之后执行 open cloud get away。 这个因为我们是命令行之前启动的,所以说我们直接关掉之后呢,就相当于对应的龙虾已经结束了,那我直接执行它重启就好了。但是如果大家是 没有在这个地方直接关闭,它是后台执行的,那大家是需要执行 open cloud get away restart。 大家一定要记住这个点,我们直接启动 可以看到这个地方他有 agent, model 是 欧拉玛的千问三八 b, 那 说明我们这个地方配的还是没有问题的。我们来到龙虾这个地方给他对话一下, 那这个呢?是我之前问他的这个模型使用的是什么,那现在呢?我在问他说你现在的模型是什么?你当前使用的模型是什么? 那可以看到它现在已经告诉我说使用的模型是千问,然后它是通用实验室自主研发的超大规模语言模型, 所以说我们现在就已经切换成功了,这样呢,大家就可以拿龙虾去玩本地的模型了,也就不需要花你一分钱了。但是这个地方大家要注意,一定你的机器性能相对来说会好一点,那这个模型的速度运转会更快一点。然后如果你机器性能非常好的话,因为我这个地方配置的是八 b 的 模型, 八 b 呢代表是它的一个参数量,那三十 b 呢?像这种大参数量的,它的一个效果一定是要比我八 b 的 这个模型的效果会好一点。如果你的机器性能非常卓越的话,那你去下载三十 b 的 这个模型, 当然它需要很大的这种资源,所以说当它运转的时候,它对应的这个思考或者它的一个能力也是要比我八 b 的 强的。所以说这个地方看大家一个机器情况。

没想到啊,距离我制作 open klo 的 详细部署教程已经过去了一个多月,这玩意现在居然火成这个样子,甚至某鱼上都冒出了一堆远程部署的这个付费服务,动不动就收你们几百块钱。我在我那期视频发布之后呢,有的观众也在吐槽模型费用太贵了,那有什么办法能够不花这个模型钱呢? 有的兄弟们,有的本期视频的主题就手把手带你们部署一个属于你自己的大模型,并教会你如何在 open klo 中切换大模型的大模型啊! 不管你是使用像欧拉玛呀还是 l m studio 还是 v o i m 等,都能很方便的接入,从而实现完全离线免费无限制用的 open 可乐。好废话不多说啊,记得先点赞收藏加关注。我们现在开始 我整个教程会分成两大步啊,先搞定本地的大模型部署,再讲欧布可乐的对接配置。但如果你已经部署了本地的大模型,可以直接拖动进度条是吧?跳到对接部分即可。第一步,咱们先搞定本地大模型的部署啊,我这边推荐没有经验的同学优先使用欧拉玛,他几乎是目前全网最简单的本地大模型部署工具,没有之一 啊,支持一键部署市面上绝大多数的一些开源模型啊。然后这里插一水,如果你想要工业级大模型的推理框架 v l l m 的 教程,可以在弹幕当中扣个一人多的话,我后续考虑出个教程。 首先打开浏览器啊,输入欧拉玛的官方地址,我放评论区了,就直接复制在那些就可以。进来之后呢,你是什么系统就点对应的下载是吧? windows 点 windows 麦个点麦个, 下载完成之后呢,麦个就跟安装其他软件一样是吧?然后 windows 也是不断的下一步即可。 好,现在安装完欧拉玛后呢,最关键的一步就是下载并启动本地的大模型。这里要跟大家说清楚,要驱动 open close 这样的 a 卷的系统, 必须选指令遵循度强,上下文长度多的模型,简单来说就是听得懂指挥是吧?记得住你的命令的这种模型。而我这边测试了好几个模型,比较推荐用的就是这个 q 三点五,它有多个尺寸的版本,通常模型越大则性能越强,大家根据自己电脑的显存大小来选就可以了, 最好选不要超过你显存大小容量的模型,也就是 size。 这里我这为了快速演示,我这就使用这个零点八 b 这个小模型展示啊。如果你们有测试更好用的模型,也可以在评论区跟大家分享一下。 确定好模型之后呢,点进去之后,可以直接看到下载模型的指令,此时我们需要打开终端或者这个 power 键麦克打开终端, windows 打开 power 键,然后粘贴这串命令,然后按回车,它会自动下载模型并启动,全程不用你管。经过一段时间下载后呢,它会自动进入对话界面,你可以直接在这跟本地大模型对话,比如说问他,你好。 哎,到这里恭喜你,你已经成功完成了本地大模型的部署。接下来就是将其接入我们的 openclo 中了啊。这里先提一嘴,如果你的电脑还没安装 openclo, 可以 直接去我之前的其零基础啊部署教程,几分钟就能安装好。我这就不重复讲安装步骤了, 我们先讲刚装好的欧拉玛怎么对接。第一步,修改模型的上下文长度。因为欧拉玛本身为了极致的轻量化,如果你电脑显存不大的话,他默认模型的上下文就给你四 k, 你 就这样给 open color 使用的话,你说完这句话他就能忘了上一句。所以我建议把模型的这个上下文设置为至少六十四 k 以上吧。 我们打开这个欧拉玛的软件,然后点击设置,就在这里设置上下文,然后把这个拖到六十四 k 就 可以了。第二步,去 open clone 里做这个配置对接,还是在终端输入这个 open clone config, 进入 open clone 的 配置菜单,然后回车啊配置本地文件,选择 models。 这里呢是 opencolor 给你预设的一些云端模型配置,像什么啊, gpt 啊, jimmy 等等。我们要选择最下方的 custom provide 的 选项,这个呢是自定义模型选项,可以自定义 opencolor 从什么地址去调用模型的服务。而我们这里默认就是幺二七点零点零点幺,这个幺幺四三四端口的 我们不需要修改。然后这里的幺二七点零点零点幺呢,表示从你本地获取。然后这里的幺幺四三四呢,是欧拉玛的这个端口服务,然后再回车输入密钥,这个地方呢可以随便填,因为这是你本地的服务。 然后这里询问我们要接入什么标准的端点协议,我们也默认回车即可。最关键的来了这里,让输入模型的 id, 我 们在这里输入你刚刚下载的模型名称,然后这个样子就是教验,通过回车啊,后面的这些都不用,输入,回车即可。 然后最后选择最下方的这个 ctrl 钮,完成模型的切换。现在你可以回到 openclip 的 控制面板当中,点击代理,看到这个 primary model 是 不是你刚刚选择的模型了。至此,你已经成功在 openclip 当中揭露了本地的大模型。 如果你使用的是 l m studio 或者 v l m 等模型推理框架,步骤跟刚刚几乎没什么差别,只需要将这里的电路地址修改为你所对应架构开放出来的端口即可。比如说像这个 l m studio, 它默认的端口就是一二三四,你这里就写啊,幺二七点零点零点幺一二三四就可以了, 然后 vm 呢则是八千,然后你就把这个端口修改成八千即可。后面的步骤和欧拉玛一模一样是不是?嘎嘎简单?所以我们来 open call 聊天框简单的测试一下,就说帮我查一下北京明天的天气, 哎,如果你的任务比较简单,那是用本地大模型来驱动这个 open call 还是非常 nice 的。 最后本期视频用的所有命令和部署流程我都整理好了,放在这个评论区,大家点赞关注智取即可。 然后上期的这个部署教程和 open klo 的 这个 skill 制作教程我都会放到 open klo 的 合集里头,后续呢也还会更新 open klo 的 其他玩法,不想错过的朋友可以点个收藏和关注啊,咱们下期视频见!

如何本地部署 openclog? 无需付费,无需 api, 可调用多种大模型,适合想尝试但是分币不花的同学。今天嘴对嘴教会你,记得一键三连鼓励一下。第一步,环境准备,我们先来安装 get, 点击电脑开始菜单,这边输入 powershell, 然后右击以管理员身份打开,输入上面这一段代码,注意空格,然后按下确认键,等待安装即可。这边已经提示我们安装成功了。第二步,安装 elama, 进入欧拉玛官网,点击右上角的下载,这边有三个系统版本可供选择,大家根据自己的系统自行选择,然后复制上面这段代码,打开之前的 power shell, 把刚才的这段话复制进去,等待下载安装 已经提示安装成功了,我们点击开始菜单,找到刚才安装的欧拉玛,打开欧莱曼以后,我们发现这边有很多模型可供选择,我们也可以自行选择模型,比如我选择最近刚发布的千问三点五模型。第三步,安装模型, 大家根据自己的配置找到合适的参数进行下载,复制上面这一段代码,然后点击开始菜单,输入 cmd, 把刚才复制的代码复制进去,等待下载安装即可。 由于模型比较大,大家需要耐心等待,我这边直接跳过了,我们显示已经安装成功了,我这边输入你是谁,他会跳出思考过程,然后说我是通一千问系列最新的模型。接下来我们回到奥拉玛,点击左上角的设置菜单,打开 expose alama to the network 这个选项, 然后往下拉,找到 context list 这个选项,把上下文长度设置六十四 k 到一百二十八 k 之间,如果你显存高,可以调高。第四步,安装 openclaw, 我们进入 openclaw 官网复制上面这段代码,记得不要看错了,它有 mac os 版本的。然后重新打开 powershell, 把刚才复制的代码复制进去,跟之前一样等待安装即可。这边显示已经安装,我们点击允许我们输入 alama launch openclaw, 然后点击确认键。 接下来可以通过 tab 键来选择你想要的模型,因为之前我们下载了快三点五模型,所以我们直接选择这个。安装好以后,我们复制上面这个链接到浏览器打开即可。 看到这里就恭喜你成功安装了 openclaw, 下一期我会教大家如何链接 qq, 实现全自动工作,小伙伴们别忘记点波关注哦,咱们下期再见!

这是我刚收到的苹果新款 macbook neo, 用它养龙虾,你觉得靠不靠谱呢? 今天我就用它手把手教大家如何配置 macos 版的 open core, 本地部署步骤呢,很详细,需要一步一步往下看,保证成功。建议呢,先仔细看一遍,再跟着操作。第一步,安装 get 苹果自己家的开发者站点,仔细看,这里 搜索 command line force for xcode, 根据我们现在的系统版本,新的呢是 xcode。 二十六点三,点击箭头,点击安装包,下载到本地后,打开后按提示安装就可以, 直到安装成功。这个时候呢,我们点击右上角放大镜图标输入终端,打开后输入这串命令,看到版本号就是安装成功了。 第二步,安装 homebrew, 我 们需要在终端输入这一行安装命令,提醒一下。接下去呢,出现类似的命令,记得暂停视频,复制后可以在千问豆包等大模型工具问一下,以免复制的时候识别错误。 输入后呢,按回车,他会自动开始安装 homebrew 了,这里会问我们通过什么下载 homebrew, 我 们可以输入一,也就是清华大学这个敲回车,然后会要求我们需要输入开机密码, 输入后直接按回车就可以,这里会问我们是否删除之前这台机器安装的红不入,直接输入 y 回车,他会帮我们自动备份。再接下来呢,我们还要按一次回车开始安装红不入,安装成功后会需要我们再次输入密码,直接输入后回车就可以。 接下来会让我们选择哪个国内镜像,这里我是直接按他提示输入五回车,然后我们等待他安装完成,直到出现安装成功的提示后,我们先关闭一下终端界面,然后呢,在程序屋重新打开它,让配置生效。 这里有个提醒,如果你是 mac os 二六之前的版本,你呢也可以先按照第二步安装 homebrew, 安装完毕了之后呢,再安装 git 就 比较简单了,直接在现在重新打开的终端里输入 pro install git。 回车后呢,它就会帮你自动安装完成了。 第三步,安装 node js 仔细看 node js 官方界面左下角,点击 macos 安装程序,获取后呢,打开安装包,后面按提示安装,直到安装完成。 第四步,安装 open clone, 再次打开终端,输入这个命令回车就可以了,不用管它。再输入这条命令回车,只要输入正确,依然不用管它。之后我们再输入这行命令, 这个时候他会要求我们输入开机密码,回车后他就开始安装了,我们需要稍微等待一下,看到终端里有类似这样的提示,里面的具体数据呢,我们可能会有不同,不用在意。这说明欧邦克洛安装成功了,但是还没完。 第五步,配置 openclore 配置之前,我们需要先输入这行命令,这个命令的作用呢是删除我们本地已经安装过的飞书插件目录,以免后面引起冲突。输入后按回车就可以。接下来还需要输入 openclore on board, 启动 oppco 初识化配置向导,这个时候你就能够看到龙虾的 logo 了。这个呢,有一个官方风险提示,我们要继续只能选择 yes, 可以 用左箭头键选择按回车确认。这里我们只要保持 quick start 模式,直接回车就可以。 这里就是需要我们选择我们的 oppo colo 准备连接的大模型了,基本上覆盖了目前主流的大模型,如果你已经有创建过某个大模型的 api, 就 可以通过上下箭头键选择插播一个大模型 api 密钥配置。 我这里给没有创建过大模型 api 密钥的小伙伴演示一下我自己在用的 kimi 的 mojito ai api 密钥的创建过程。首先是 kimi 开放平台, 然后呢左侧选择 apikey 管理,之后在右侧点击新建给他取个名字,比如 opencore bot 项目,这里选择一个就可以了,然后点击确定,这个时候呢,我们就可以看到密钥了,这个密钥一定要保护好,不要让人看到,要不然被有心的人拿去的话,他用的就是你的额度了。这里不是点确定,而是点击右侧的这个复制按钮。 好,再次回来,我们可以点击程序屋上的终端,这里我们选择刚刚注册的 kimi, 也就是蒙秀的这个敲回车这个位置呢,我们根据实际情况,我们刚刚是注册的国内的,需要选择点 c n, 这个选择好后回车 这里我们因为是直接复制密钥的,所以直接在 face 的 api key 这里回车就可以。 ok command 加微把我们刚刚复制的密钥直接粘贴回车后,我们保持它默认的这个就可以直接回车。 这里会要求我们选择使用哪个聊天软件来通讯。目前呢,我们可以直接用向下箭头选择到最下面的 skip for now, 这里会涉及一些准备步骤,我们可以在视频后面再配置,选择 skip for now 后回车, 如果跳出设置 provide 后,依然先选择最下面的 skip for now。 先跳过回车,这个时候他会问我们是不是现在需要配置 skills 了,我们可以选择 yes 看一下,你用向下箭头键往下看,每一个的后面呢都有详细的场景说明, 如果有你需要的,可以选中它后敲一下空格键,再敲一下就是取消。这里我们依然先选择 skip for now, 反正后面呢还可以配置的空格键选择再敲。回车, 这里有一系列需要我们配置各种平台的密钥的,我们暂时也都可以先选择 no, 如果你的确已经有密钥了,当然也可以选择 yes, ok, 来到这里 hux, 我们也先用空格键选择 skip for now。 回车,这里会跳出一个窗口,我们先选择允许。然后呢,终端这里会问我们用什么方式起用 boot, 我 的建议是 web ui, 对我们普通用户来说也会更直观一点。选择后,回车,这个时候他会自动打开一个界面,这就是和 oppo cola 的 一个聊天界面了,我们可以先和他聊一下,比如我们可以用中文说一句你好,收到他的回复,呵呵,证明我们的配置已经成功了。 原则上来说,我们的小龙虾呢,已经养殖成功了,但是还有一步更重要的,才能够方便我们用聊天软件随时随地的给他下达干活指令。 也就是呢,即使我们在外面,也可以用手机上的聊天软件给他下指令。那么我们用目前口碑相对更好的飞书来举例。第六步,创建飞书机器人。 首先是飞书开放平台,我们可以准备一个个人账号,登录后点击右上角开发者后台,这里呢,点击创建企业自建应用,给他起一个名字描述,这里也随便填写一下, 选择一个图标,或者呢也可以自定义上传一个图标,然后点击右下角创建,这里我们点击添加机器人,暂时点击左侧的权限管理,点击开通权限 搜索框,这里我们输入 i m 冒号,注意这里的冒号呢,是需要切换到英文输入法的冒号的, 这里我们可以把全部都勾选,点击确认开通权限,这个位置有一个提醒,你看一下应用发布后,当前配置方可生效, 我们需要点击提醒这里的创建版本,这里我们输入版本号,按照他的提示,比如一点零点零更新说明,这里呢,我们也可以写上创始人版本下滑,点击保存,点击确认发布。 ok, 飞书机器人创建完毕。第七步,连接 oppo 克洛和飞书, 依然是在终端输入 open core config 回车,这里选择 local, 这里我们选择 channels 回车,然后是选择默认的这个 config link 回车, 这里呢,我们找到飞书回车这个位置,我们得选择 download from npm 回车安装飞书渠道插件这个位置,选择 yes 回车。稍等片刻后,需要输入飞书的 app, 先按一下回车, 之后再是飞书的开放平台左侧,点击凭证与基础信息,点击 app secret 这里的复制键,再是回到终端 command 加 v 粘贴回车,这个时候还要我们输入 app id, 再次在飞书开放平台点击这里的 app id 下面的复制键,然后呢,再到终端 command 加 v 粘贴回车,这里通讯方式选择 web socket 回车飞书这里我们选择 cn 的 这个就可以回车。 是否允许群聊使用?我的建议是选择下面的 open 回车,下一步可以直接用向下箭头键快速下滑到底部,选择 finished 确认配置完成,这里呢,问我们的是配置私信访问策略,这里需要选择 yes 回车之后这个位置,我们可以直接选择 perry 回车,这个菜单里我们可以选择到底部的 continue 回车。 ok, open core 和我们的飞书正式配置完毕。 最后环节,我们在终端输入 open core get away 启用它。再是在飞书开放平台选择左侧的事件与回调,点击订阅方式,这里的按钮 确认是这个默认的长连接,点击保存这里再是点击添加事件,搜索框里输入接收消息,将接收消息勾选,点击添加按钮,再是点击左侧的权限管理,点击开通权限。 搜索框里呢,输入通讯录,把这个获取通讯录基本信息勾选,点击确认开通权限,再次点击右下角的确认,这里依然会看到版本发布后当前修改方可生效的提醒。我们还是点击创建版本,输入新的版本号,比如一点零点一 更新说明,这里呢,我们可以是添加消息,接收能力,下滑到底部,点击保存,点击确认发布。 第八步,与 open core 对 话,我们可以尝试拿起手机飞书,点击开发者小助手下滑,找到我们前面命名的那个应用,点击打开,我们可以给他也发一句问候,比如你好, 这个时候呢,你会收到这样的一个安全配对提示,不是错误,是为了安全起见生成的配对码, 我们只要复制提示里最下面的这行命令,在终端里再次输入回车, ok, 显示配对完成后,回到手机飞书再给他发你好,很快呢,就能够收到他的回复了, 哦吼,正是在我们 mac 上部署完成了 open core, 同时呢,也可以用手机上的飞书,电脑上的飞书,随时随地的给他下指令了。 这就是完整的 macos open core 本地部署教程了,适用所有的苹果电脑 制作,不容易,有用记得点赞分享。接下去呢,还会有如何配置 skill, 如何省托坑等等的一些必备技巧分享,大家记得持续关注。如果大家还想了解如何一键云部署的话呢,也可以留言,需求多的话,我也来做一条详细的教程。

朋友们,本地部署那个大模型还是可行的,我根据网友的建议去用了这个,用这个模型加载器,然后我现在在本地部署,在 mac mini m 四上部署的,然后我现在问他一下,他响应速度还行, 你看没这么快就响应量也还可以,你看响应速度非常棒。 然后就是这个拓展处理的话,拓展量非常大,如果说你本地绘画的话就还好,如果说你上 ag 的 话就得上这个模型, 不是这个模型这个容器吧,用这个加速就挺好的,可以部署本地的。

还在担心云端 api token 太贵?今天教你在 windows 电脑上用 lm studio 一 键运行本地大模型,零代码,不花钱断网也能用。 第一步,下载安装 lm studio, 打开浏览器,进入 lm studio 官网,点击右上角下载,选择 windows 版本,双击安装包,一路点下一步,等待安装完成就好。 第二步,打开 lm studio, 建议先更新下运行环境,更新好之后,在这里选择下起用模式,有独立显卡的优先选择独立显卡,没有的选择 cpu general, 这里可以选择语言为中文 hardware, 这里可以看到独立显卡支持情况。第三步,点击 model search 搜索安装下载模型支持众多开源的模型,例如 cuan 三点五、 g l m 四点七,大家可以根据自己的配置来选择模型。下载搜索模型后,在这里会有推荐标志。本次下载一个零点八 b 的 小模型来演示, 如果显示完全加载进 gpu 显存,运行模型可以说毫无压力,不推荐下载过大的模型会导致回复 token 速度很慢,用起来并不舒服。 可以通过 model cart 到 hugen face 中查看模型的详细介绍,也可以在 hugen face 中找你需要的模型。 第四步,加载模型,等待模型下载完成。点击选择要加载的模型,选中刚才下载的零点八 b 模型 参数,这里可以使用推荐参数,然后点击加载模型,等待模型加载完成。点击 newchat, 现在就可以使用本地模型了。零点八 b 的 速度非常快,用作本地 ocr、 网页摘要、翻译都很好用。 本地模型的优势是隐私安全、低延迟离线可用、自主可控、成本可控,大模型越发展越强,本地小模型也会越来越强,越来越好用。 在 developer 中可以开启 api 访问, 就可以用其他应用调用本地模型了,支持多种格式。好了,本期视频就到这里,你也快去试试部署吧!

我建议所有使用 cloud bot 的 朋友们不要在本地部署大模型。很多人都说 cloud bot 呢,让 ai 可以 去操作你的电脑,这个听起来是很好的,尤其是呢,那些很注重安全的公司,他们会想方设法的在自己电脑上去 部署一个本地的大模型,那么这个样子呢,就把所有的文件呀,他的权限呀,停留在你自己的手机和这个电脑之间了。这个事情看起来是很美好的,但是背后呢,有几个隐患,我一个一个带着你说。首先呢,就是成本层面,到今天为止, 我认为部署一个你自己看得上的一个模型,还是一个比较大的一个成本的。首先你一定要清楚在本地部署一个大模型,你到底需要什么样的电脑配置。我给你个简单的算数,你就可以去理解了。你看到任何的一个大远模型,他们的都说自己的参数是多少,他们通常会以 b 去结尾,比如呢,他会说我是一个三 b 的 模型,十七 b 的 模型,比如像 deepsea, 大家所熟知的是六百五十个 b, 六百五十 b 的 意思就是六千五百亿个参数,但是呢,你怎么去算?你需要什么样的电脑?你只需要把 b 前面这个数字乘以一个二, 那么呢,就基本上代表着你能够在你的电脑上跑一个完整满血版的大圆模型所需要的 显存。这句话有点绕啊,有两个点,第一个呢是显存,而不是内存,第二个呢是满血版。首先什么叫做满血版?你会在网上看到很多人在教你用欧拉玛呀, lm studio 这些的软件去使用本地模型没有任何的问题,但是他们在 带你去下载的时候,你一定要注意它到底是不是量化版或者叫阉割版的。因为随着它自己的所需要的内存越来越少,那么它的精度也越来越低, 精度越来越低,那么大约模型所生成文字的正确率也会越来越低。所以呢,你会看到有四比特量化版,八比特量化版,听起来你可以用一个很小的一个显存就可以用,但实际上你用的是阉割版而不是满血版,就是用你 b 前面这个数字,再乘以一个二,就是你的显存。 第二个我们所提到的重点就是它要的不是内存,而是显存。六百五十个 b 代表着大概一千三百 gb 的 显存。一千三百 g 的 显存是什么概念?我给你举一盘数字,一个 h 一 百大概是八十个 g 的 显存,那么一个八卡的 h 一 百的 cluster 也就六百四十个 亿的现存,那你需要两个八卡 h 一 百的 cluster 才能够给一个人在一个时间使用一个满血版的 deepsea, 这个就是对现存的要求,价钱是多少大家自己网上去查,我只能告诉你一定超过百万。所以呢,你是否需要 使用一个 deepsea 的 满血版,然后在你的本地去跑呢?相比下,你知道如果你用 deepsea 的 api, 那么你大概需要一个什么样的成本呢?我印象当中 deepsea 的 a p i 是 每一百万个 token 只需要大概十六人民币。什么概念?一百万人民币你就粗略咱们保守估计,大概三十万个文字,你出三十万个文字 只收你十六块钱,你自己去对比一下,你要用到百万级别,你要让它出多少个字,这个就是成本上一个非常大的差异,很多人忽略了这一点,用一个阉割版的小模型,你会发现能力差的不得了,更何况我们是希望 logbook 在 我的电脑上去操作的,操作是不能出错的,你让他出一行指令,本来是应该添加,本来是应该修改,他给你变成了删除,这个事可就大了去了。所以呢,我是不太建议在没有绝对相信你自己的电脑硬件实力的时候,就随便的在你本地部署一个大模型,这是第一点,在成本层面, 第二个层面,我觉得是很多大家忽略的就是风险系数,你总是觉得似乎我在我的电脑上用一个开源大模型是最保险的。 但是你要知道,如果你想真正的发挥 cloud bot 的 一个优势,你需要使用它的 skills, 也就是它自己所推出这个 cloud bot, 全世界各地的极客都会贡献他们已经写好的 skills, 摆在网上,你下载下来,原本你的这个 cloud bot 什么都不会,但是你用了别人写好的这个 skill, 你 看今天又能干这个,明天再加个能力,后天再加个能力,对不对?那每一个 skill 是 什么呢?每一个 skill 呢?其实就是一个 markdown 的 文档,下载下来,它会按照里面一步一步去执行,但是呢,在执行过程当中,你会不会仔 就去读这个 skills md? 如果你自己没有读 skills md 的 这个能力的话,那么我建议你谨慎使用。为什么?因为你不知道它在里面会植入什么?到现在为止,虽然我们还没有看到一些不好的例子, 但我相信有些 bad actors 一定会找到 skills 的 类动,在里面植入一些不想植入的东西。你下载下来直接让大元魔去使用的时候,它会做一些不好的事情。但是这个时候,如果你今天用的是一个 开元的本地模型,你自己是没有这个评判能力的。但是如果你今天用的是一个接入别人 a p i 的 能力,在他输出一些不好的东西的时候,很多的这些 大厂的模型会在前面已经给你啪加了一道网关了,告诉你我不能够输出这样的东西,说白了,他们已经在帮你输出之前加入一层安全的护栏了。所以我们切一定要记住 opencloud 这个东西,它虽然 skill 是 一个很伟大的一个发明,让你可以用到全世界所有的优秀的人写的 skill, 同时它也扩大了潜在的风险。 所以这两点是我觉得普通的用户们暂时先不要考虑在你的本地去部署大模型这件事情,尝试把它下载下来,接入到呢手机里,然后接一个便宜的 a p i, 无论是很好很好的模型,价格也非常的便宜,都是大厂, 很多人呢,都会高估了自己的文件的安全重要度,而低估了大厂对于安全的服务度。你要知道,今天如果你用阿里云,用腾讯,用华为云,你的文件都是存储在他们上面的, 那其他的大公司都没问题,怎么就你的电脑里这个文件就会单卷安全的问题呢?对不对?所以呢,千万不要低估了大厂的安全能力,而高估了自己的文件的安全重要程度。所以呢,赶紧先去接入用起来,找一个你喜欢的大厂的 a p i 用起来 感受一下未来的时代,这个才是重中之重。慢慢地,你在不断地添加 skills, 慢慢地在考虑你是否需要转移到本地大模型,这个才是一步一步迈入未来的正确方法。