00:00 / 05:04
连播
清屏
智能
倍速
点赞7838
再用一条视频说清楚,deepseek32B-FP16本地部署 先来简单给没看过上一条视频的小伙伴们做一下前情提要:一位重庆的律师大哥找到社长,让我协助他完成deepseek 70B模型的本地部署,并且指定要FP16的版本,在社长给大哥推荐了临时用用、后期再换和地基打牢、稳步升级的两套方案后,律师大哥出于对成本的考虑,也从对70B FP16模型的追求,改到32B FP16+int8混合精度了,成本也成功的压缩到了1万3以内。今天就跟大伙聊一聊社长最后给大哥上了一套什么样的配置。 在说这个配置之前呢,社长要跟大伙儿聊一下上一条视频留下的坑。社长是真没想到这个坑能给大家带来那么多的争议,有说我推荐Intel 14700K和14900K不负责任的,有说我是为了清库存的,真是有点意思。其实问题就出在大家对于本地部署智能模型的电脑配置思路,在理解上出现了偏差,或者说还停留在个人配置游戏电脑的时代。所以厘清思路很重要。那么关于deepseek本地部署的电脑硬件在配置的选择上到底有哪些不同呢?什么样的配件组合能够发挥出AI模型本地部署的最优性能呢?今天社长就先跟大家好好唠唠这个话题。 用来本地部署的电脑,最重要的三个配件,那就是CPU、内存,还有显卡,它们就像组成水桶的最重要的三块木板,决定了这个水桶的装水上限,当然社长不是说其他配件就无足轻重了,它们也重要,只是重要程度和这仨相比,稍显逊色。 先来说说CPU。用于本地部署的CPU,对频率的要求没那么高,就算是好些年前那种主频只有两点几g的老服务器CPU,也能勉强扛起大旗,跑得动本地模型。那对于本地部署的CPU来说,啥更重要呢?那就是核心数和线程数,而且在这俩里头,核心数又占据主导地位。为啥呢?因为AI在深度学习的训练和推理过程中,会涉及大量的矩阵运算和数据并行处理。核心数越多,它能同时处理的任务和数据块就越多,计算效率自然而然就越高。相比之下,线程数的重要性就稍逊一筹了,当然同等核心数量下,线程数越多越好,比如说同样是16核心,一个32线程,一个24线程,运行同样的模型,一般来说线程数多的,在一定程度上能提高CPU的利用率和任务处理的并发度。根据实际使用经验,一般我们要做本地部署,无论是民用,还是商用,选择的CPU至少得16核心以上,线程数当然是多多益善了。 #diy电脑 #人工智能 #电脑 #deepseek本地部署 #骑着单车去酒吧
00:00 / 13:14
连播
清屏
智能
倍速
点赞2132
00:00 / 01:13
连播
清屏
智能
倍速
点赞11
【一键智能】AutoGLM手机AI助手🔥部署服务(类似豆包手机) 让你手机秒变智能助理! 🚀你能获得什么? ✅免折腾体验最新AI手机 ✅像朋友一样自然对话,无需记指令 ✅告别复杂教程,我们手把手搞定 ✅电脑小白也能轻松使用 ✅不会为各种环境配置头疼 ✅节省大量时间 服务流程(超简单): 1️⃣1下单后联系我们 2️⃣ 我们远程帮你电脑装好所需软件 3️⃣ 连接手机,配置好AI键盘 4️⃣ 教你获取专属密钥 5️⃣ 开始流畅体验智能对话 6️⃣ 确认收货,享受智能生活 为什么选我们? ▪️ 专业部署,环境打包,不会破坏您的电脑设置 ▪你可以全程观看我们的操作,没有隐私担忧 ▪️ 远程协助,省心省力 ▪️ 没有隐形收费,简单真诚,体验后再确认收货 ▪️速度快,操作简单 您可以去和别家对比一下,我们这个不是只发个教程。我们有教程,而且有详细的指导服务,还有通俗的使用说明。 下单即享全程指导,让科技简单起来! 【闲鱼】https://m.tb.cn/h.72rItBj?tk=AXINfFZgsp1 CZ007 「我在闲鱼发布了【【一键智能】AutoGLM手机AI助手[火]部署服务】」 点击链接直接打开 小红书 帮忙部署autoglm实现类似豆包手机的功能 豆包手机最近... http://xhslink.com/o/3MmvQ5b1d09 复制后打开【小红书】查看笔记! #人工智能 #手机助手 #豆包手机 #AutoGLM部署 #科技服务
00:00 / 02:02
连播
清屏
智能
倍速
点赞1