4070部署本地ai教程

三千元到十万元大模型家用 pc 硬件方案全解析？上一期社长介绍了纹身视频模型的硬件方案，里边讲了企业或专业工作室的纹身视频模型硬件应该配到什么程度。有不少朋友在评论区留言说，希望社长能够出一期大模型的家用消费级硬件专题， 那么这一期就满足大家专门讲一讲大模型家用消费级的硬件方案。最近 oppo colo 很 火，那什么样的配置能够畅玩 oppo colo 呢？在这一期也有答案。既然是家用消费级方案，也就是个人 pc 方案， 那么 e 五神轿、特斯拉、 v 一 百为代表的老旧服务器显卡就不在今天这一期的讨论范围内了。 ar max、 三九五、 mac mini 的 整机方案由于纹身视频能力弱，也暂时排除在本期之外， 因为毕竟作为家用消费级主机，必然是要兼顾多种需求的，跑跑大模型和智能体，生成一下 ai 视频，做做生产力工作，没事还能打打游戏，甚至新出的三 a 游戏也能尝尝咸淡，这就是本期硬件选型的基本要求。 所以我会尽量选择个人 pc 的 消费级硬件来给大家搭配方案，最低花费三千元，最高花费十万，大家可以根据自己的预算和实际需求，综合考虑自己的硬件配置。 在开始之前呢，先给大家预告一下，在三月十五号，我们会开一期 ar 大 模型私有化部署的小白培训，具体的培训内容在这一期结尾会有展开说明，有兴趣的朋友一定要看到最后。 我们知道，现在的大模型在日常应用上已经分成了上下文推理模型、纹身图或纹身视频模型，这两类不同的模型对于硬件的要求是不一样的，对硬件适应性最广的是上下文推理模型， 它对扩大的要求最低，只要显存达到一定规模，哪怕是好几年前的老旧显卡也仍然可以胜任，这就给了我们家用消费级配置很大的选配空间。 这里要注意的就是如何判断某一推理模型能不能部署，主要是看显卡的显存能不能大于模型的参数，比如三十 b 硬特八的模型对应的就是三百亿参数。按硬特八量化规则，加载到显卡里所需要的显存大约是三十七点五 g， 加上要预留 k v 缓存激活值缓冲区， 因此要运行这个大模型，我们一般是按照模型量化后显存占用的一点二倍计算。那三十币 ink 八模型就需要至少四十五 g 显存的显卡，但众所周知，内存是可以分担显卡的上下文推理模型的加载任务的，比如上面讲到的三十币 ink 八的大模型， 需要四十五 g 的 显存来流畅运行，如果显卡只有十二 g， 剩下的三十三 g 可以 加载到内存中去运行。 当然，因为内存的贷宽远远小于显存的贷宽，如果大部分都让内存来跑的话， tokins 的 速度会大打折扣，所以显存尽量还是要大一些。但对于个人来说，对于效率的要求并没有企业这么高，我相信大多数人是可以接受的，毕竟在性能和成本方面总要找到一个平衡。 纹身视频模型的门槛就要高的多了，他没办法像上下文推理模型那样，显存不够内存来凑，模型必须要全部加载到显卡里。所以如果朋友们想尝试纹身视频模型的话，就要至少满足两条硬杠杠，一是显卡要有 touchcore 支持，二是显卡显存要至少达到十二 g。 为什么呢？我们以 y 二点二为例， y 二点二 t r v 五 b 轻量版模型是一款小型可部署的开源纹身视频模型， 十二 g 以下的显存加载不了这个模型，十二 g 正好能加载，而且能够跑起来。因此呢，显存越大，扩大核心越多，显存待宽越高，视频生成的清晰度、速度、时长就相对更有优势。 于是，基于上面社长针对这两个模型的分析，我们就得出了个人 pc 如果想要同时玩转这两种模型的话，显存要大于等于十二 g。 为保证能够运行纹身视频模型，支持 touchco 的 可选型号为英伟达 rtx 架构的二零系、三零系、四零系、五零系显卡。这样我们就可以定义以下五档家用消费级 pc 的 预算方案了。 第一档，三千元。这一档的核心定位是新手尝鲜，可以进行基础大模型体验加轻度办公加普通网游。具体的配置如下，这套配置的大模型能力是这样的。 第二档，一万元，这一档的核心定位是家用主流，支持中型大模型流畅运行加高效生产地加中高画质三 a。 具体的配置如下， 这里社长推荐了四款显卡，从这一档开始， open club 就 可以畅玩了。下面就贴出这四款显卡结合 open club 加千万最新模型的畅玩区间，供朋友们参考。在这个表格里可以看到，三零九零二十四 g 显卡的性价比相对较高，畅玩范围相对更广。 这四款显卡都能支持纹身视频模型， rtx 五零六零 ti 十六 g 可以 输出七二零 p 二十到三十秒视频片段。 rtx 三零九零二十四 g 可以 输出一零八零 p 六十秒视频片段， rtx 二零八零 ti 二十二 g 和 rtx 三零八零二十 g 可以 输出七二零 p 到一零八零 p 四十到五十秒的视频片段。 第三档，两万元。这一档的核心定位是高阶家用加轻度专业，支持中大型大模型流畅运行，加多模型同时运行，加四 k 游戏加四 k 剪辑、 3 d 渲染。核心配置如下， 这套配置拥有较高的实用性，几乎可以胜任绝大多数主流需求。他的大模型能力是这样的， 第三档说完，接下来的第四档和第五档就进入高端玩家档了，如果只是纯打游戏的话，完全用不到这么高的配置。社长建议大家压抑住所谓一步到位的冲动，先在中低配置上玩熟了，确实有需要了，再上高端配置也不迟。 第四档，五万元。这一档的核心定位是旗舰家用加准专业，支持大型大模型流畅运行，加模型微调加四 k 游戏加专业级生产力。核心配置如下，这套配置的大模型能力是这样的， 第五档，十万元，这一档的核心定位是顶级家用加专业级。社长在这一档破个例直接给他上了英伟达 pro 六千九十六 g 工作站显卡，让他可以支持全类型大模型加大型模型完整训练加四 k 或八 k， 游戏加专业创作，核心配置如下， 这套配置的大模型能力是这样的好，说到这里，五档家用消费级大模型硬件配置推荐就结束了。 最后说说小白模型部署培训的事。最近有不少粉丝朋友跟社长说想要部署大模型，但又不知道怎么开始学起，所以我们打算在三月十五号开一期培训来手把手教小白，零基础上手， 核心内容包含四个板块，一是大模型基础原理与适用场景。二是不同大模型的硬件精准选型。三是本地知识库问答、自动化办公等实用智能体搭建。四是欧门可乐安装配置与私有化部署，有需要的朋友可以联系我哈！

部署本地的 openclaw 已经可以剪视频了，大家都知道了吧， 这个让硅谷大佬每日一封的 openclaw 阿月，我呢也是拉到本地试了几天，现在就带大家把本地部署和接入飞书每一步都走明白。为了防止偶然性啊，我呢也是连续测试了四台电脑，确保每一步都可行，接下来你们只要跟着做就可以。点好关注收藏， 我这里依旧用的是 windows 系统来操作，因为 macos 系统呢，环境相对比较简单，不像 windows 这么复杂。首先呢，我们要确认好 windows 的 安装环境，安装的时候呢，全部都点 next， 一 直到完成即可，建议呢，不要去变更中间的安装路径。 呃，安装完成后呢，我们可以检查一下环境，我们在命令提示符的窗口输入这两个指令，如果输入指令后跳出版本号，那就说明安装已经成功了。这里提到的两个环境文件呢，我在文档里面也全部都准备好了。 好，接下来呢，我们就开始全区安装 oppo 卡使用管理员 c m d 指令输入，这个指令安装完毕后呢，再输入这一条指令， 好开始了。 ok， 这一步跳出来的呢是风险提示，我们直接选择 yes。 然后呢我们选择 quickstart， 这一步呢是选择大模型，我这里呢用的是千万，因为他是国内的，如果大家有惯用的呢，也可以自己进行勾选好，然后我们这里模型选择默认的即可。 之后呢会跳转到大模型的首页进行授权验证，大家验证通过就可以了。那通过后呢，这里也同样有一个选项，我们直接选第一个默认的模型。 ok， 下一步呢，这里可以看到很多的应用选项，这其实呢就是指令输入的终端，因为这些都是国外的，所以我们先不管，选最后一个，跳过，后面呢我会给大家介绍如何接入国内的飞书。 ok， 继续，这里会问你需要配置什么 skills？ 呃，我们也跳过，没问题，因为这个不着急，后面都可以手动去配置的。 好，这个也不用管我们用不上，直接跳过。好，然后我们稍等一会，会自动弹出一个网页，然后你会发现这个网页是打不开的，没关系，我们这个时候呢，再运行一个 c m d 的 指令， 好，这就是欧奔 cloud 的 兑换框了，我们来尝试和他打个招呼， ok， 他 回复我了，那到这里呢，其实基本上就成功了，还是比较简单的啊。然后呢，我们再来尝试为大家接入一下飞书，很多小伙伴呢，在这一步呢，其实就被劝退了，因为怎么样都接入不了这里，大家看好我怎么操作。 首先呢，我们进入飞书的开放平台，我这里呢用的是个人版，我们来创建一个企业自建应用， 进到这个凭证与基础信息界面，把你的 app id 和密钥保存下来，这个很重要啊，后面会用到的。然后 我们添加一个机器人，再到权限管理这一步，为他添加一些权限。这里的权限列表呢，其实官方呢是有指导文件的，但是呢就藏的比较深，我呢也是给你们找出来，直接放到文档里面了，你们直接一键复制过来就 ok。 好，然后我们需要配置一下这个事件回调功能，在这里的订阅方式选择长链接这一步呢是必须的，而且是绕不开的，也是大家碰到卡点最多的一步，很多小伙伴呢在这里呢就是一直报错，好，不用担心，我呢，已经整理了一份非常长的傻瓜教程，大家直接照做就 ok 了。 然后选择以后呢，我们添加事件，然后添加搜索接收消息， ok， 然后我们就去点击创建应用，然后再发布就 ok 了。 好了，配置工作完成之后呢，我们就要开始给欧邦克劳接入飞速杀键了。由于 windows 的 系统环境问题呢，所以大家的电脑情况都不太一样，所以会出现不一样的报错问题。网上的很多视频呢，也没有把这个问题针对性的讲清楚，我自己呢也试了三到四台电脑来做尝试，都非常有挑战。 如果你手边也报错的话呢，不用担心，我这里想到了一个邪修的办法。好，那既然 oppo klo 可以 控制我的电脑，那为什么他不能自己安装飞出插件呢？我们来试试看吧，直接和他对话。呃，你自己安装一下飞出插件，然后呢，他就会开始疯狂的工作，并自行去验证安装环境和插件配置 啊。五分钟左右后呢，他就会告诉我，他工作完成了，需要我提供给到他飞出机器人的 app id 和密钥。这个呢，其实我们在上一步已经有了，我们直接复制给他，让他呢继续去工作。这里的工作过程当中呢，我们的机器人可能会下线几次，原因呢是他需要去重启网关， 如果呢，你感觉他下线太久的话呢，我们可以用 open cloud get away 这个指令重新把它呼出来。最后呢，他会要求你在飞车上和他对话进行测试，并为你排除最终的一些故障。 ok， 全部搞定，已经可以在飞车上正确回复我了，并且呢，刚才在外部的对话记录他也全部都记得， 呃，我们这里呢，再用手机给他发一条消息试试看。好，他也同样接受成功了。好了，这里欧本卡接入飞书的配置呢，就完全对接成功，基本上都是他自己完成的，我呢只是配合他提供了一些必要的信息， 妥妥的全能小助理。接下来我们来看看他能为我们做一些什么吧。比如呢，我现在想要订一张机票，我就让他帮我查询一下最便宜的航班，他立刻就给我列了具体的信息，包括航班号，价格以及其他的一些航班信息。不过这一步呢，是需要接入 api 的， 大家可以自行去网上找免费的接入就可以。 好，那现在过年了嘛，马上大家呢也会送礼嘛，那我就让他去浏览电商的页面。呃，不过这里呢，需要先安装一个 oppo club 官方的浏览器插件，我们直接从官方渠道进行安装就可以了。具体的步骤呢，已经放在文档里了，大家直接照做就可以。我让他给我打开。 ok， 成功，呃，然后我继续让他为我搜索燕窝。好，也成功了。 好，那我们现在在拿最近小伙伴在学习的 ai 的 线上作业丢给欧本克，看他能不能帮忙完成。 首先我们要让他找到作业的本地目录，并让他完成里面的题目。他立刻就找到了，并且迅速告诉我，完成了。啊，这速度还是真的蛮快的啊，但是呢，人呢，还是比较懒的。如果呢，你抄作业都不想抄啊？没事，直接让他把填完的东西返回给我。好，他已经做完了，我们来看看啊。 呃，代码呢？全部都完成了，不过呢，我也是看不懂啊。看懂的高手可以来说说他完成的这个准确率怎么样。 好了，那这次安装说明就先讲到这里了，关于 open cloud 的 更多能力，有时间呢我们可以再去测一下。好，那既然已经部署成功了，有兴趣的同学呢，也可以再去深度探索一下 啊。对了，现在呢，各大厂呢，也出了针对 open cloud 的 云端部署，我这个呢，也可以跟大家快速的分享一起。好，这里是阿月，希望我的视频能够帮助到你，让你更了解呀，我们下期再见。

尝试在这台老爷机上部署千万三点五，处理器是 i 五四五七零八 g， 内存无读写，我用的是 rms 对 d l 进行部署，打开官网下载安装即可。安装好之后下载千万三点五模型， 我们直接进行搜索，模型越大就越聪明，但是配置要求也越高，我就下载零点八 b 模型来演示，大家可以根据自己的需求和配置进行下载， 下载好模型就可以进行载入了，载入时可以设置上下横，长度也是根据自己的配置和需求设置， 到这里模型已经可以跑起来了，如果不需要联网搜索和本地知识库，做到这一步就行。如果需要联网搜索，就打开浏览器的插件中心搜索，配置 sis 插件进行安装， 然后打开插件设置，把语言改成中文， 搜索引擎可以改成百度搜索，结果按需修改，改好后记得点保存。然后回到 r m， 打开网络服务， 再回到插件，设置了 api 添加供应商， 选择 r m studio 保存即可。点击新聊天，选择千吻模型就可以在网页里进行对话了， 需要联网搜索就打开下面的开关，点击引用的网页就可以看到千吻通过网络搜索到的内容。 然后是建立本地知识库，先在设置里选择文本切入模型，那么会自动帮我们下载好，下了菜单里没有的话就等一会， 记得点保存。现在就可以在知识管理上传我们自己的知识库了， 等状态变成已完成，就能在对话里调用知识点进行回答，点击输入框下方的知识点，选择刚刚上传的知识点即可。

扣你鸡娃，我是小孙。时隔多月，今天教你们在手机上本地部署一个 ai 模型，不用联网，也不需要复杂的命令行操作，关键还可以搭配破甲模型使用，它就是 pocket top。 这是个轻量级 ai 模型运行框架，界面超简单，支持 d u f。 呃，这种适合手机跑的模型，完全不用代码基础。 第二步，去哪找模型？我这里为你提供两种方法，一、摩乐社区浏览器搜摩乐社区， 进去直接找想要的模型，下载导入即可。二、我的网盘资源找不到破甲模型，迅雷搜索鱼鱼的保障，进资源盘就能看到怕甲模型文件和提示词，保存下载后直接导入即可。网盘里我还放了往期视频的资源，需要的可以了解一下。 第三步，导入模型超简单，在网盘下好模型文件，然后来到传输页面，点击左上角的下载，等到模型下好后，点进去，点右上角，打开本地目录， 就可以看到刚刚下好的模型。然后选择移动，选择手机系统文件，这里随便选一个记得住的文件夹临时放置，我就放在电脑目录，然后就可以退出。来到 pocket 号，打开 pocket 号，点击右下角的 go to model， 这个界面的模型不用管它，需要科学上网才能下载。先点右下角有个加号，点它选添加本地模型，添加本地模型，找到你的模型，等着加载完成。导入后，模型会出现在我的模型 列表里。重点来了，每个模型右边有三个按钮，第一个，删除不想要的模型直接删。第二个，设置，这里能加提示词，这里就不多说了。第三个，开始聊天，点它就能跟 ai 进行友好互动了。 这次就有人要问了，这手机上部署有个傻子 a a 有 啥用？这手机上部署个傻子 a a 有 啥用？重点来了，破甲模型和角色提示词。我在网盘里准备了提示词库，让他帮你写小说，甚至模拟特定角色聊天。当然了，咱得用在正道上。在这里要特别提醒大家， ok， 好，虽然能让我们在本地现运行 ai， 但任何工具的使用都要遵守法律法规和品牌规范。分享的模型和提示词仅限于合法合法合法合法正当的学生创作与交流，严禁用于诈骗、钓鱼、传播违法信息或其他危害他人及社会的行为，请大家务必使用。尊重隐 私，保护数据安全，让技术真正为生活带来便利，而不是风险。不要当罕见的人，就这么简单。从找模型到聊天，全程离线，隐私拉满，方便便捷。今天教程就到这，我上次正式更新时 到现在应该有两百多天了，中途也有一些朋友来催更或者来鼓励我，我也非常感谢各位！还有，以后我可能会选择更换其他形象来更新视频，所以孙孝川小课堂可能要绝版了。

就这些配件组，一台跑本地 ai 的 小服务器真的超简单， cpu 越便宜越好，只要带核显就行。内存直接插两条十六 g， 总共三十二 g 系统盘一百二十八 g 固态三十多块就拿下算力主力。一张四十 h x 显卡，负责全部火力，全部配件随便淘宝闲鱼 组好就能立刻开完部署 deep seek 本地大模型零延迟聊天 phone hocus 本地生图秒出四 k 艺术图 live portrait 动画 yufu two x 超分辨率全离线跑隐私完全自己掌控，这就是废物利用加一键部署的爽感！想要手搓服务器？看我大深罗秋天！