一条视频说清楚,deepseek 70B FP16本地部署 一位重庆的律师大哥找到社长,让我帮他完成deepseek70B-FP16模型的本地部署,社长才意识到,律师行业要大翻天了,貌似现在deepseek本地部署即将要成为律师的标配了,把卷宗的初步整理交给deepseek,效率高到飞起啊。 这两天有个重庆的律师大哥找到社长,让我协助他完成deepseek 70B模型的本地部署,这其中涉及硬件配置、系统配置和软件安装等一系列工作,并且大哥按照律师的良好习惯给社长付了咨询费。你还别说,我发现律师这个行业对 DeepSeek 的需求,那还真是“刚需中的刚需”啊! 律师大哥先是跟我倒了一番苦水,说在没有 DeepSeek 之前,他们整理卷宗全靠人工,那过程,谁干谁知道啊!就拿他接的建工类案件来说,光合同就几百页,人工完整读完一份合同,耗时相当漫长,而且还特别容易漏项,一不小心就 “功亏一篑”了。但有了 DeepSeek 之后,案件卷宗的初步整理工作,交给人工智能就能 “游刃有余” 地搞定了,整理效率直接坐火箭原地起飞,简直不要太香! 那为啥律师大哥非要做本地部署呢?这就得提到律师行业的特殊性了。他们处理的很多内容都得严格保密,泄密那可是犯大忌的,所以根本没法用云服务来实现人工智能对卷宗的阅读和归纳总结。在这种情况下,对本地部署人工智能模型的需求,那就真刻不容缓了! 社长和律师大哥先确认了一下,这模型是整个律所一起用,还是他个人用。他说主要是自己用,偶尔他老婆可能也会用用。而且大哥一上来就跟我说要部署70b的模型,还指定要 70b fp16 的版本,那语气,那眼神,就差没说“非它不可”了。看得出来,大哥在这事儿上也是研究了很久,做足了功课才来找我的。 说到这儿呢,社长给大伙科普一下70B fp16是什么意思。首先是70B,这个应该很多朋友都清楚了,它指的是参数量,B是英文billion的首字母,就是十亿的意思,70B就是70个10亿,也就是700亿参数的意思,像32B模型,就代表了这个模型有320亿个参数。参数量越大意味着模型的推理能力越强,这就是为什么大家都在追求更高参数量的原因。fp16呢,则代表模型的精度,精度越高,在一些垂直领域就越能“大显身手”,像律师、金融、医药这些行业,就需要这种更专更精的模型,发挥更强的专业领域推理能力。 #diy电脑 #人工智能 #电脑 #deepseek本地部署 #骑着单车去酒吧
00:00 / 13:17
连播
清屏
智能
倍速
点赞NaN
00:00 / 05:04
连播
清屏
智能
倍速
点赞7832
00:00 / 00:19
连播
清屏
智能
倍速
点赞198
00:00 / 02:00
连播
清屏
智能
倍速
点赞2383
用人工智能重新定义企业开源节流 社长发现,很多人对于人工智能本地部署的理解是完全错误的。 先问大家一个问题,什么是开源节流?很多企业老板可能会回答说,开源就是找更多的业务回来,节流就是减少不必要的开支。如果这个回答放在2024年,那是一点毛病都没有的,但是在2025年的今天,社长想说,对于企业开源节流的定义好像要换一换了。 从开年到现在,从律所,到工矿企业,到金融单位、质检企业、生产厂家,我们这个团队已经做了七八个人工智能本地部署的业务了。这些业务的主要应用场景是什么呢?社长这两天花了点时间总结了一下,我们发现主要的应用场景大部分是这样的,那就是这些找到我们的企业,在日常业务中,都需要大量的重复人工劳动力去完成繁琐的数据工作,比如说从大量的文件中去找一些信息,然后完成数据的分析和数据的汇总。这些活需要占用大量人工,让大多数企业都很头疼。当然,在deepseek出来之前呢,如果你很有钱,也可以用纯写代码的方式开发一套知识库系统,去代替人工来完成这些繁琐数据的整理工作,但是开发成本就高的离谱了。在两年多以前,就有一家总部在南京河西的建工类上市公司找到我们,让我们为他开发一套企业知识库系统,在这两年里这家公司投入了超过200万的开发成本,才开发出一套比较好用的知识库。但是在后来者deepseek面前,它又是一副没见过世面的样子,眼神清澈的像个大学生了。所以你看,原来需要200多万成本可以实现的功能,在人工智能出来之后,只需要200万的零头就可以实现了。这就是科技进步给我们带来的震撼,也给中小型企业带来了比肩大公司生产力效率的机会。#deepseek #人工智能 #本地部署 #电脑diy #ai
00:00 / 06:18
连播
清屏
智能
倍速
点赞788