再用一条视频说清楚,deepseek32B-FP16本地部署 先来简单给没看过上一条视频的小伙伴们做一下前情提要:一位重庆的律师大哥找到社长,让我协助他完成deepseek 70B模型的本地部署,并且指定要FP16的版本,在社长给大哥推荐了临时用用、后期再换和地基打牢、稳步升级的两套方案后,律师大哥出于对成本的考虑,也从对70B FP16模型的追求,改到32B FP16+int8混合精度了,成本也成功的压缩到了1万3以内。今天就跟大伙聊一聊社长最后给大哥上了一套什么样的配置。 在说这个配置之前呢,社长要跟大伙儿聊一下上一条视频留下的坑。社长是真没想到这个坑能给大家带来那么多的争议,有说我推荐Intel 14700K和14900K不负责任的,有说我是为了清库存的,真是有点意思。其实问题就出在大家对于本地部署智能模型的电脑配置思路,在理解上出现了偏差,或者说还停留在个人配置游戏电脑的时代。所以厘清思路很重要。那么关于deepseek本地部署的电脑硬件在配置的选择上到底有哪些不同呢?什么样的配件组合能够发挥出AI模型本地部署的最优性能呢?今天社长就先跟大家好好唠唠这个话题。 用来本地部署的电脑,最重要的三个配件,那就是CPU、内存,还有显卡,它们就像组成水桶的最重要的三块木板,决定了这个水桶的装水上限,当然社长不是说其他配件就无足轻重了,它们也重要,只是重要程度和这仨相比,稍显逊色。 先来说说CPU。用于本地部署的CPU,对频率的要求没那么高,就算是好些年前那种主频只有两点几g的老服务器CPU,也能勉强扛起大旗,跑得动本地模型。那对于本地部署的CPU来说,啥更重要呢?那就是核心数和线程数,而且在这俩里头,核心数又占据主导地位。为啥呢?因为AI在深度学习的训练和推理过程中,会涉及大量的矩阵运算和数据并行处理。核心数越多,它能同时处理的任务和数据块就越多,计算效率自然而然就越高。相比之下,线程数的重要性就稍逊一筹了,当然同等核心数量下,线程数越多越好,比如说同样是16核心,一个32线程,一个24线程,运行同样的模型,一般来说线程数多的,在一定程度上能提高CPU的利用率和任务处理的并发度。根据实际使用经验,一般我们要做本地部署,无论是民用,还是商用,选择的CPU至少得16核心以上,线程数当然是多多益善了。 #diy电脑 #人工智能 #电脑 #deepseek本地部署 #骑着单车去酒吧
00:00 / 13:14
连播
清屏
智能
倍速
点赞2091
不到6万,从0搭建一套建筑行业的deepseek本地知识库 最近有一位建筑行业的大哥找到社长,让我协助他们完成deepseek智能模型的本地部署,这其中涉及硬件配置、系统配置和软件配置等一系列工作。经过和大哥的一番畅谈,我发现建筑设计这个行业对DeepSeek的需求确实很大。大哥的公司规模不算大,但是甲方对他们的要求那是一点都不少,在做建筑设计的过程中,他们的设计师要花大量的时间,去翻阅设计资料、设计规范、施工技术标准、其它项目资料、安全操作规程、工程实践资料、设备安装手册、工程验收报告、典型事故案例、应急预案、国家及地方施工图纸、造价成本等各种繁杂的资料,每天有6-7成的时间要花在检索上,还特别容易漏项,一不小心就功亏一篑了。在没有DeepSeek之前呢,这项工作让大哥焦头烂额,光需要翻阅的资料就有400多个G,从这么庞大的文件库里面去翻找,那过程,一干一个不吱声。大哥之前用在线版的deepseek,发现它还真的挺聪明,从几个资料里面去做分析并输出结果的能力确实强,但是出于保密性的问题,在线版的deepseek没有办法敞开来用,而且它经常性的系统繁忙也挺耽误时间的。于是大哥找到我,希望我们给他提供一站式的deepseek本地部署和专属知识库建设,用人工智能辅助他获取对应资料,自动生成报告,辅助设计师完成设计方案。大哥还特别强调,最近这几年建筑行业行情不好,口袋里的资金有限,人工智能的本地部署成本一定要帮他控制住。从大哥真切的话语中,我就明白大哥的意思了,高情商就叫做,低成本、好上手、立刻见效,低情商就叫做,既要让马儿快快跑,又想让马儿少吃点草。顿时社长的眼神就清澈了,社长跟大哥确认了一下,他们的设计师团队总共就两三个人,对于本地部署设备的并发量要求并不高。那这就好办了,我们很快就形成了一个低成本的部署方案,这个方案连硬件带软件,总成本控制在了6万以内,我们来看看是怎么实现的。#人工智能 #deepseek #diy电脑 #ai #本地部署
00:00 / 05:19
连播
清屏
智能
倍速
点赞1066
一条视频说清楚,deepseek 70B FP16本地部署 一位重庆的律师大哥找到社长,让我帮他完成deepseek70B-FP16模型的本地部署,社长才意识到,律师行业要大翻天了,貌似现在deepseek本地部署即将要成为律师的标配了,把卷宗的初步整理交给deepseek,效率高到飞起啊。 这两天有个重庆的律师大哥找到社长,让我协助他完成deepseek 70B模型的本地部署,这其中涉及硬件配置、系统配置和软件安装等一系列工作,并且大哥按照律师的良好习惯给社长付了咨询费。你还别说,我发现律师这个行业对 DeepSeek 的需求,那还真是“刚需中的刚需”啊! 律师大哥先是跟我倒了一番苦水,说在没有 DeepSeek 之前,他们整理卷宗全靠人工,那过程,谁干谁知道啊!就拿他接的建工类案件来说,光合同就几百页,人工完整读完一份合同,耗时相当漫长,而且还特别容易漏项,一不小心就 “功亏一篑”了。但有了 DeepSeek 之后,案件卷宗的初步整理工作,交给人工智能就能 “游刃有余” 地搞定了,整理效率直接坐火箭原地起飞,简直不要太香! 那为啥律师大哥非要做本地部署呢?这就得提到律师行业的特殊性了。他们处理的很多内容都得严格保密,泄密那可是犯大忌的,所以根本没法用云服务来实现人工智能对卷宗的阅读和归纳总结。在这种情况下,对本地部署人工智能模型的需求,那就真刻不容缓了! 社长和律师大哥先确认了一下,这模型是整个律所一起用,还是他个人用。他说主要是自己用,偶尔他老婆可能也会用用。而且大哥一上来就跟我说要部署70b的模型,还指定要 70b fp16 的版本,那语气,那眼神,就差没说“非它不可”了。看得出来,大哥在这事儿上也是研究了很久,做足了功课才来找我的。 说到这儿呢,社长给大伙科普一下70B fp16是什么意思。首先是70B,这个应该很多朋友都清楚了,它指的是参数量,B是英文billion的首字母,就是十亿的意思,70B就是70个10亿,也就是700亿参数的意思,像32B模型,就代表了这个模型有320亿个参数。参数量越大意味着模型的推理能力越强,这就是为什么大家都在追求更高参数量的原因。fp16呢,则代表模型的精度,精度越高,在一些垂直领域就越能“大显身手”,像律师、金融、医药这些行业,就需要这种更专更精的模型,发挥更强的专业领域推理能力。 #diy电脑 #人工智能 #电脑 #deepseek本地部署 #骑着单车去酒吧
00:00 / 13:17
连播
清屏
智能
倍速
点赞NaN