别急着嫌 deepseek v 四 flash 看不了图,给它装上这三个视觉外挂,大概几分钟就能把眼睛补上。 deepseek v 四 flash 正式版虽然性价比很高,但说到底它还是个瞎子,图片截图、表格统统看不了。不过没关系,开元生态早就准备好了, 下面这三个项目呢,其实都能帮他快速补上视觉能力。第一个, luma mcp, 它支持多种视觉模型,连 deep six 自家的 ocr 模型都能免费用接入只要三步,第一步,在终端运行一行命令,就是 npx, 就是 短横线 y luma 短横线 mcp 不 用安装到本地。第二步,在 mcp 配置里选择模型供应商,任选一个,再填入对应的 a p i t。 第三步,重启客户端之后,直接丢一张图片进去,这个模型就能识别内容,并输出这个文字描述。 第二个, visual enhancement mcp, 它可以通过 open ai 兼容接口为 ai 补上图像识别和 ocr 能力,只要是你手头兼容 open ai 接口的视觉模型,基本都能接。那接入同样是三步,第一步就把它添加到 mcp 客户端配置里。 第二步,设置 vision api, 你 可以写进环境变量,也可以在启动时直接传入。第三步,配置 vision api base url 和 vision model, 就是 指定视觉模型的接口地址和模型名称,然后重启客户端。比如说 cloud code codex、 open code 三个客户端都能用。 第三个, mymo vision mcp, 这个我自己就在用。接入也很简单,第一步,在本地启动它的开省服务。第二步,在 cloud code mcp 配置里把启动命令指向这个服务,然后再填入小米 mmo 的 ap, 就是 ikey。 第三步,重启客户端配置完成之后不管是截图、图片还是表格,直接丢给 ai 他 都能看懂。那这三个方案的共同点就是, 呃,全部基于标准 m c p 协议调用云端视觉模型,整个接入过程基本都是分终极模型,缺什么能力,开源生态就给他补什么能力,这就是呃,就是开源的力量。
粉丝1380获赞9149

哇,这个 deepsea v 四 pro 实在是太强了,我真的强烈推荐你们用,我给你们演示一下子。我们用 v 四来启动一个 ai 系统,启动中,正在进行自检,正在检查热点面板。 你们看,他调出了一个全球热点追踪系统,你们看这个过程完全没有加速,反应很快,而且所有的操作都是正常,没有报错。启动之后他一直在检查,在质检他的系统, 还能够打开视频。最近发现一个好玩的,国外的小博制作的一个专属资讯,他刚刚在检查他的视频模式,然后检查完之后他就关闭了。可以看到右上角这里他显示都已经检查通过了。我们来看看他到底能干些什么。你看看今天的抖音热点,看看有哪些好玩的。 抖音今天重头戏基本是硬新闻,轻松一点的有个尼克斯三比零骑士, nba 季后赛尼克斯横扫骑士,还有个男生变帅简直易如反掌。大概是穿搭改造类的内容, 要说好玩的话,就这俩还算轻松。要不要我把那个变帅的视频拉出来看看?关掉吧。 嗯,你找一个小樱说关于伊朗经济的视频。 嗨,来,朋友们,今天我们来聊一个神秘而又混乱的经济体。你老了。

呃,非常吓人家,人们,昨天我用 deepsea 开发了一个量化策略网站,只花了三块钱人民币,便宜到荒诞,有感觉吗?给你们看一下网页和代码,这就是我做的量化平台,首页的话就是各股的股价,点进去呢,可以看到 k 线图,还可以放大哦, 还有它的主要功能就是这个策略实验室啊,可以进行一个回测的运算,我们随便输一个, 随便选一个,这些我都不懂,我随便选给他一百万吧, ok, 看到这边会展示他的收益,年化收益,最终的资产现在变成三百多万了,然后底下的话是资金取现,还有下面他做的交易的记录, 这些所有的内容都是他自己设计的,我一个字都没参与过。这个是他给我的一个产品文档,这是一个面向 ai 投资者的 a 股量化,然后这个就是代码前后端, 后端用的是 python, 前端用的是 vue。 当然其实用大模型做开发早也不是一个。呃,新鲜事了,就实话实说, deepsea 能写出这个网页来,我完全是很意内,但是真让我震惊的是,居然只花了三块钱, 那我想如果要我自己去做这个开发的话,怎么也得半个月到一个月啊,因为我都完全不懂量化嘛,有很多知识要自己去学习啊。但是 deepsea 的 话呢?哎,它只需要三个小时,三块钱。 最后看一下我 dp 的 消费记录,这一天我是写代码的,花了两块钱,昨天花了一块钱,今天花了二毛九。

先说我的结果啊, deepsea v 四 pro 的 正式版,无论是在 codex 还是在 deepsea harness 里面,都完全没有表现出预期的那样超越 opus, 在 某些领域持平 fob 的 效果甚至还不如半个月前的 flash 零七三幺。 而 deepsea harness 在 模型本身全面拉垮的情况下呢,已经看不出好用还是不好用了。 昨天下午, deepsea harness 也上线了,我这边今天跑了六个测试,用不同的模型,不同的 agent, 不 同的推理强度,可以说把能跑的组合都跑了。 我的测试任务呢,和之前一样,都是我的那个开放世界的 prompt 模型,需要搭建出一个可以自由探索的地形,包括树木、草地、河流等等。这个任务呢,足够复杂,有两千多行输入,可以最大限度地榨取模型的能力。 先说我的结果啊, deepsea v 四 pro 的 正式版,无论是在 codex 还是在 deepsea harness 里面,都完全没有表现出预期的那样超越 opus, 在 某些领域持平 fobo 的 效果甚至还不如半个月前的 flash 零七三幺。 而目前的 flash 呢,不知道是不是都把资源分配给 pro 那 边去了,也完全没有半个月前刚发布的时候好用。因为我之前曾经测试过 flash 零七三幺的正式版啊,那个时候还觉得它很强, 当时呢,接入 codex 基本上不到两个小时就能完成测试,但是现在呢,两个半小时都做不完同样的任务,就是那种看起来很努力疯狂的烧头啃,但就是没有进度。 还有很多人说 deepstack 搭配上自己的 hash, 缓存率可以到百分之百,所以非常强什么的。首先缓存率高并不一定是好事儿。 我在 hynes 里面用 deepsea flash 的 时候呢,缓存率也到了百分之百,但是花了三个小时烧了两亿头肯都没有完成任务。这种情况下缓存率高呢,说明了模型根本没有进度,而是在原地一轮轮的打转。

dipsic 是 真的便宜啊,听大家的话,用这个 dipsic vs flash 啊,昨天充了十块钱,然后消耗消耗了六块钱,然后 token 是 一点五个亿啊, 真便宜。然后我们看一下我这边装的 cc switch 啊, cc switch 你 看一下它这个统计准不准?嗯,然后使用统计,我们可以,我是昨天开始用的,昨天到今天吧,然后模型的话可以切一下这个 gps 位置啊,这边是一点五亿,是基本上是准的。 然后我们再看一下这个 kimi 啊, kimi 的 话,我这边一周的用量也是用完了,这个我只用了两天就用完了,我们看一下这个使用统计,呃,我这个应该是周六周六刷新的,我们看一下, 我就按周五来算吧,周五,然后我用了两天时间,用了两天就用完了。我们看一下这边是一点七三亿啊, 然后我这个 kimi, 我 订阅的是这个一百五十九的套餐啊,那相当于一个月一个月一百五十九,那相当于一周就是四十块钱嘛?那我这啊,一周相当于两天就用了四十块钱,然后一点七三亿, 很贵啊,我这边只要六块, deepsea 只要六块,然后 kimi, kimi 的 话他要四十块,呃,一下差了六倍吧,对吧?啊? deepsea 是 真的便宜啊,希望这个 deepsea 不要涨价。

怎么能低成本地使用 deep sync v 四 pro 模型呢?上个视频刚评测了 deep sync v 四的模型与使用,那我在评论区就有同学说了,说确实很好用啊,但是呢,缺少一个包月的模型 啊。还有同学呢,反馈太贵了,问一个问题就需要一块钱啊。一块钱,虽然说有点夸张了啊,但是咱们简单来看一下成本, 比如说你用的是龙虾或者是爱马仕,输入最小的是一万左右的 talking, 那 么它的费用呢?就是一毛二啊。那你问一百个问题啊,这只是输入一毛二,然后再加上输出是吧?可能也需要大概一两毛的样子啊。那一个问题的话,可能就需要三四毛啊,那十个问题的话, 那就是三四块。那一天如果有一百个问题,不算多啊,一百个问题那也不便宜啊,可能也需要三四十。成本确实有点贵啊,这样算下来,一个月的话可能也需要上千块钱的。那有没有低成本去使用 deep sync v 四 pro 的 方式啊? 还真被我,还真被我找到了。那么它呢,就是某上市公司的包月模型,它的收费方式我觉着比较好的一个点呢,它不是按 token 去收费的,而是按照你调用次数,我不管你一次 发送了多少的数据,我是按调用的次数来进行收费的,这就很好。那么在这个模型里面可以看到,它是支持 deep sync v 四 flash 快 速模型和 deep sync v 四 pro 模型的,而且它支持的次数还挺多的,每五小时大约能使用六百次 入门的啊。如果你是 pro 的 畅享版的,那么每五小时你是能调用三千次的,三千次肯定是够用了。好,那这一切都挺美好的,那我怎么样去使用这个可以去包月用 deep sync v 四 pro 的 模型啊?啊?接下来这个视频呢,就带着大家来实现一下。好,那这时候呢,咱们首先先来演示关于龙虾的,先演示龙虾,然后再去演示爱马仕。首先咱们先停止掉咱们的龙虾服务,然后输入 open claw configure 啊, 也就是 opencloud 的 配置文件,然后去敲回车,敲完回车之后呢,它会让你去选择是配置本地的还是配置远程的。那我当然是本地的吧,然后选择 model 啊,配置的是模型,然后在模型里面呢,去选择 custom per video 啊,去选择自定义的供应商,大模型供应商啊,敲回车好,敲完回车之后呢,这时候它需要输入三个东西, 你的 base url, 然后你的 api key 以及你的 model name 啊,那么这三个信息在哪找啊?啊?在咱们的 coding plan 里面有一个模型管理 啊,在模型管理里面点击获取 api k, 然后获取完 api k 之后呢,它里面会有这个 u l 啊, base u l 啊, api k 以及可用的所有的模型。然后在模型列表里面呢,咱们是能看到像 mini max 二点七,还有像智普的五五点一啊,像 kimi 的 二点五,二点六,以及 deepthink 的 v 四 pro 啊,这些主流的国产模型啊,都是支持的。 好,那咱们要去连接的是 deep sync v 四 pro, 对 吧?所以这时候 ok, 先去复制它的 base url, 记着啊,一定是 base url, 不是 底下这两个复制 base url, 然后在这儿啊,把原来的 base url 给它删掉,然后去敲回车, 然后这时候呢,咱们输入 api k 啊, api k 呢,就是去复制这边的一个 api k 了,去复制它,然后进行粘贴,敲回车,那这时候再去选择使用哪种协议的时候,咱们可以选择 iso pic 的 协议啊,然后第二个敲回车, 敲完 k 车之后呢,它让咱们输入模型,那模型我就去输入 deep sync v 四 pro, 然后输入之后,然后去敲回车,这时候它会去验证啊,如果你上面的信息没有问题,它是 successful 啊,它是验证成功的,让你去输入一个名称啊,那我这个时候我这个名称呢,我就叫做呃 s 啊,然后敲回车,好,这时候呢,他让你去重命名啊,重命名的话咱们也 d s 就 ok 了啊,然后这个配置完成之后呢, ctrl 扭继续继续,完了之后呢,咱们就完了,完了之后呢,咱们使用 openclaw 重启咱们的服务就 ok 了,因为咱们之前是把服务关掉了,所以这块咱们只需要去使用 getaway 或者是 getv star 啊,前台或者是后台的方式来去启动就行了。如果你要看日制,那么你就输入 opencloud getv 啊,好,那么咱们就尝试等待它的启动啊,那这时候可以看到它用的模型呢,是 d s, d s 是 我给它的一个名称啊,所以这个可以去忽略的。好,启动完了之后呢,咱们可以在咱们的这个控制台里面 啊,它里面呢? ok, 就 会有默认的啊,就咱们之前去配置的,对吧?好,然后完了之后呢,这时候咱们可以去问它, 你使用的是然后去敲回收啊,我问他你使用的是什么模型,看他能不能成功的去读取到啊。呃,当然咱们也可以通过我的套餐调用的记录 啊,里面来看到他的调用啊,好, ok, 那 么过了一会之后呢,他就告诉我了,他现在使用是 deep sync v 四 pro 啊,然后这时候当然咱们也可以在咱们的当前套餐里面,然后去刷新一下啊,可以看到 ok 使用这个次数,呃,是十八次,因为我刚才在执行的这个过程当中呢,是让他执行了压缩了啊,所以当让他执行压缩操作之后呢,他会去压缩,然后去发请求,然后再重新去创建绘画,还会去发请求,所以这个次数呢就会比较多。好, ok, 那 么这时候咱们的龙虾就已经画完了, 龙虾换完之后,你想要去换你的爱马仕怎么去换呀?把它的方法基本上是一样的,然后咱们首先可以先去找到咱们的爱马仕的配置啊,再打开咱们的终端,然后输入 hermes set up 啊,然后去敲回车啊,敲入敲的命令和之前是不一样的啊,这个是 set up 安装,然后之前是 configure, 对 吧?好在里面去选择 model 啊,然后在这个 model 里面呢,可以看到它支持的 model 也是比较多的,然后咱们去选择是啥呀? custom 啊,咱们选择的是自定义的模型。好,然后点击自定义的这个模型啊,这时候呢,它就让你去输入这个 base url 了,然后操作的方法和刚才操作的方法是一模一样的,咱们点击 api k, 然后去获取这个 base url 啊,获取完了之后呢,进行一个 粘贴,然后去敲回车啊,这时候它让咱们去输入 api k 的, 然后 api k 呢? ok, 输入这个 api k, 只不过它这块输入 api k 它是不显示在控制台的,所以咱们复制啊,复制完了之后直接敲回车就行了, 敲完之后呢,它里面显示了 ok, 它支持的所有的模型会显示出来啊,那我要用的模型呢?是 deep sink v 四,所以我在这儿去输入一个八就行了啊,序号就行了,然后敲回车 啊,好,这时候呢? ok, 他 让我去设置上下纹的长度的,那我就设置二十万就行了啊,个十百千万,十万啊,二十万就可以了,对吧?好,敲回车啊,敲完回车之后呢, ok, 给他去起一个名字,那我同样我就叫 d d s 就 ok 了 啊,然后,呃,其他的这块的话就保持当前的配置啊,这块咱们就设置完了。好,接下来咱们使用 permiss 来打开 t u i 啊,那么可以看到这块它使用的就是 deep sync v s pro 啊,咱们问它在吗? 刚才是八次是吧?好,这一次咱们问完之后呢,肯定是有响应的,然后它的次数大概应该是在十一次左右啊,啊,咱们来看一下它的响应,好,它说它在的对吧?好,那么到这那咱们就找到了一个可以包月去使用几乎所有国内大模型,包括 v 四 pro 的 模型了,而且它是按照次数收费的,这样的话咱们就做到了成本可控了,并且咱们如果觉得威斯不好用,可以去使用国内的其他顶级模型都是 ok 的。 好,那本期内容到这里就结束了,那你是喜欢这种包月的模型呢,还是按量计费的模型呢?欢迎评论区留下你的宝贵意见,我是磊哥,每天分享一个干货内容。

我们这期来盘一下如果想私有部署 deep seek 为四,需要什么样的硬件。本期我们对比了多种有代表性的硬件部署方案,价格从几千到几十万不等。我们会从 deep seek 这个模型的架构,以及它推理的每个阶段,对硬件的需求,每种硬件的长处和瓶颈等角度去真实分析, 用真实的案例去评估哪种方案更适合你。内容全都来自真实的硬件测试,内容有点长,不感兴趣的可以划走了。 deepsea v 四 flash 有 二千八百四十亿总参数,每次激活一百三十亿,下载体积大约一百六十 gb, 这个体积能进工作站,但装得下不等于跑得快,实际运行还要给上下文缓存、工作区和并发留空间。顺序很简单,先看斯卡 rtx, 再看 mac 双 dj x spark 和 amd halo, 最后用 dj x station。 gb 三百收尾, 看完就能按原始权重还是量化,单人使用还是多人服务,直接选架构。猫 e 每次只调用一部分专家,所以每次只激活一百三十亿,但全部专家权重仍要常驻。 真正决定速度的是算力、内存待宽和互联。 prefill 是 模型依次读完提示词,很多 token 可以 并行算,所以它主要看 gpu 算力,模型跨卡以后还要看通信吞吐,算力越强,长提示词的首字等待越短。 draco 是 模型开始逐字回答,低病发时它会反复读取当前用到的权重,所以更看本地内存待宽。只要模型跨卡或跨机器,连延迟也会进入每一层测速只在同一份权重,同一种量化,同样的 context 和并发症比较输入和输出速度要分开看, 网上有些成绩测的是零七三一 api 版不能直接当成本地权重实测。先看四张 rtx pro 六千 blackwell, 这是现在最直接的高性能 coda 自主方案,每张卡九十六 gb 显存,四张合计三百八十四 gb 原始权重,装下以后还能给上下文缓存和并发留出空间。 每张卡的显存贷宽是一点七九二 tb 每秒, prefill 算力强, dico 的 卡内贷宽也强,问题出在四张卡之间。 rtx pro 六千没有 nv link, 主要走 pci 阵,五卡内读权重很快,但专家路由一旦跨卡 pci 可能让 gpu 等数据。三百八十四 gb 也是四个独立显存池,不是一块儿相干大内存 代价同样明显。四张卡的功率上限合计二点四千瓦,光 gpu 大 约五点三万美元,整机供电、散热和高速网络另算, 所以四卡 rtx 解决了容量和算力,却留下了拓扑功耗和运维,下一步自然是把四块显存变成一块大内存。 max studio m 三 ultra 最高有五百一十二 gb 统一内存, cpu 和 gpu 共用一个内存池,不需要把权重切到四张卡上。 内存带宽八百一十九 gb 每秒,整机最大连续功率四百八十瓦容量,噪音和供电都比斯卡工作站轻松。但 mac 的 相对短板就是 prefill, 八百一十九 gb 每秒是内存带宽,不是低精度矩阵算力。 prefill 还要看 gpu 计算能力和 v 四的专用内核。在缺少 v 四优化内核时, mac 的 长提示词首次等待不会占优势。 deco 的 宽带更友好,所以 mac 更像一台装得下低并发生成有潜力的单机,而不是一台高吞吐 prefill 服务器, 这里是架构判断,目前没有同协议 v 四实测可以把它写成确定速度,它也不适合横向扩展,时机闭义太慢。 thunderbolt 也不是现成的 m o e 分 布式互联, mac 消除了多卡拓扑,却把风险转到了 prefill 和软件适配。如果既想保留 cuda, 又不想维护私卡服务器,就需要把 cuda 也缩进一台小盒子。 一台 d g x spark 有 一百二十八 gb 统一内存,装不下大约一百六十 gb 的 原始权重,要跑这份权重至少要两台,两台合计二百五十六 gb, 但仍是两个独立内存池,每台本地带宽二百七十三 gb 每秒,两台之间用 connect x 七的二百 gb 每秒链路连接, 理论限速大约二十五 gb 每秒。它的优势是 cud 容器和高速网卡已经配好部署,比四卡自阻击省心。 prefill 能利用 blackwell 算力,但跨机通信仍会影响首次等待, decode 则同时受二百七十三 gb 每秒本地宽带和跨机延迟限制。 两台官方售价合计大约九千四百美元。它确实把 cuda 服务器缩到了桌面,但代价是原始权重必须跨两台机器。讲完 spark, 正好看 amd halo, 两者都是一百二十八 gb 统一内存,小核目标也很像,但路线相反, spark 保留更大和二百 gb 每秒网络, halo 用更低的价格和功耗,再用量化换容量。 amd ryzen amx plus 三九五的 halo 盒子同样有一百二十八 gb 统一内存,本地带宽二百五十六 gb 每秒,自带十 gb e, 功耗一百二十瓦,售价大约四千美元, 单机装不下原始权重,但 amd 已经给出 v 四的 ds 四量化方案,大约八十一 gb 或九十七 gb 的 版本可以放进一台大约一百五十三 gb 的 q 四版本,要两台用流水线并行切开。这条路线很明确,单机用更激进的量化换来低价格、低功耗和简单部署, 代价是模型质量、 prefill、 算力、 r o c m。 软件成熟度都要按量化版本重新验证。二百五十六 g b 每秒的宽带也决定了它更适合轻负荷,不是追求最快响应的机器 双击。更大的问题是网络时机。 b e 的 理论限速只有一点,二五 g b 每秒,和本地二百五十六 g b 每秒差了两个数量级。 rcl 是 通信库,不会把十 g b e 变快。 md 已经有双 hello 十 g b e 加 rcl 的 官方案例,但跑的是另一个模型,它证明软件链能工作,不代表 v 四在这条链路上会快。 v 四双击方案用流水线并行,能减少逐层来回通信,但两段模型仍要顺序交接,结果 如果外接一百 g b e 或二百 g b e r o c e, 理论带宽会好很多,但网卡怎么接?能不能走? g p o direct r d m a v 四运行时怎么配,目前还没有完整验证,所以高速 r o c e 可以 研究,不能当成开箱即用的标准方案。 helo 和 spark 到这里就分清了, spark 花更多钱保 c u d a 和二百 g b 每秒网络双击装原始权重, helo 用更少的钱和电跑量化版,但十 g b e 是 双击硬瓶颈,两类小核都必须做取舍, 要把容量、算力、宽带互联和软件一次补齐,只剩最后一种架构,前面每台机器都补了一个洞,又留下一个洞。 d g x station gb 三百的思路就是不再做这些妥协。 它有七百四十八 gb 相关内存,其中二百五十二 gb 是 hbm 三 e 宽带,七点一 tb 每秒,另外四百九十六 gb 是 系统内存。 b 四原始权重可以完整放进 hbm, 两部分内存通过九百 gb 每秒的 nv link, c 二 c 相连,对外还有八百 gb 每秒的 connect x 八。它的 perf 算力是这些方案里最强的一档,长提示词和高并发更有优势。 decode 可以 直接利用 hbm 高代宽,也没有四卡 pci 和双机十 g b e 那 种明显断点。 cuda nccl 和容器工具链也更完整。 它的瓶颈不再架构,而在采购一千六百瓦功率,预算接近企业设备的体积,以及官网询价,它能放在办公室,但不是普通个人工作站,所以 d g x station 是 这条固式线的终点。四卡 r t x 的 算力, mac 的 相干大内存, spark 的 cuda 小 型化和 halo 的 桌面形态它都想保留,代价是企业级预算,最后按工作载选,不按产品名字选,要保留原始权重要成熟。 cuda 也能处理供电、散热和 pci e 拓扑。选四张 rtx pro 六千, 要单机大内存,安静和低维护,主要做低病发生成,可以研究 mac, 但先确认 v 四内核和正确性别把八百一十九 gb 每秒内存带宽当成 prefill。 算力要紧凑的 c u d a 环境,又希望尽量保留原始权重。选双 d g x spark, 它的代价是本地宽带和跨级延迟, 要把价格和工号压低,并且接受二次量化。 amd halo 是 最具体的桌面路线,单机最简单,双机先解决实际利益需要长期服务,高并发和最少的架构妥协,而且预算不是主要限制才看低 gx station gb 三百。

deepsea 的 价格简直太香了,最近我又通过 a p i 来调用新版本的 deepsea, 发现它的价格只有新版 g p t 的 一个零头,但是它的性能能够接近 g p t 五点五。 deepsea 能够做到价格低但性能好,我觉得是因为两个原因, 一是因为实现了对国产 ai 芯片的适配,包括华为深腾芯片、韩五 g 等八款以上的 ai 芯片,降低了对美国英伟达的依赖。我是 最早一批大概六年前推广使用华为升腾 ai 芯片的人,现在能有这个结果,我感觉非常荣幸。第二,跟开源的关系也很大, deepsea 开源的模型权重和技术,这样子大家不用重复发明文字,而且集思广益,能够进步的更快。我们计算机专业的人都比较推崇开源防止垄断。马斯克在联合创立 openai 的 时候叫 openai, 就是 开放 ai 防止垄断的意思。后来奥特曼为了商业化,将 openai 转为了闭源模型,外界只能够看到它的 api 接口, 我觉得这样子对不起, openai 这个名字应该叫做 close ai。 另外,开源是指开放源代码或者技术的意思,就是我把文件给你看,不保密,而不是免费使用的意思。很多 ai 博主搞错了,开源以后,它允许你下载和研究这个技术和模型, 但是 api 的 调用是按照按量收费的,而往往开源以后,技术共享以后,这个产品就能变得很便宜。就像 deepsea, 它的这次突破,让我们能够使用这个百万上下文的大模型,但是是一个很低的价格。 下期分享如何选用大模型,你可以选择调用了这个大模型的软件直接使用,也可以自己去通过 a p i 的 接口方式来调用这个大模型,我们下期见。

deepsea v 四 pro 正式版全网翻车,只要黏贴一句话,满血复活。我实测了,直接看效果。 八月十三号, v 四 pro 正式版上线,官方跑分直追 cloud fable 五,但用户一上手就傻眼,思维链乱跳,中英文来回切代码思考到一半直接截断,同一个问题跑两次,结果差一大截向抽奖社区折腾两天,把病根找到了。 解决办法就一句话,网页版开心对话消息开头连这段英文, you are a helpful software engineer assistant when you think think in n t l s l h l h start with we need。 然后紧跟你的问题发送,不需要插件,不需要 api, 网页版直接管用。 看效果。同一个问题不加这句话,思维链守恒是 let me 东一下西一下,反复确认答案,频频加了 这句话,首行直接是微逆的,思路清晰,一路推到底。社区做了四十五组对照实验,加了的五次全中,微逆的没加的十一次全灭全掉进 let me 不是 玄学,是实打实的数据。给不了解的朋友补个课。什么是提示词? 你跟 ai 聊天就像去饭店点菜,你说随便来点,厨师可能给你炒个不爱吃的,但前面加一句吃素不辣米饭,大方向就不会错。提示词就是开口前定调子的那句话。 那为什么这句话能让 deep sea 满血?因为它过你河了。打个比方,学生考前疯狂刷一种题型,刷到肌肉记忆,真考试换了卷子反而懵了。 deepsea v 四 pro 后,训练时大量用了自家极简模式环境,那个环境里系统提示词就是刚才那句英文模型训练太多轮,记住了,看到这个开头就进最强状态,你在网页版直接用,没这句话他就忘了怎么思考,加上就回来了。 配置就三步,一,网页版开心对话二,英文粘到消息最前面。三,写你的问题发送,每次开心对话粘一次十秒的事。 说句实话,这是社区找到的变通方法,不是官方推荐模型更新后可能失效,但现在他确实管用。提示词在评论区置顶复制就能用。点个关注,下期见。

友们,最近那个 deep sync 是 不是发布了吗?我用了一段时间,真的很省呢,你们看一下我用的情况啊,我五月份大概就用了,没用没用几天啊,只用了这个十多块钱, 十多块钱我们看一下九百多次吧,我们看一下 token 量啊, token 量是一亿多, 一亿八,我们看一下最牛逼的这个缓存命中率看一下。一,你看这这一填用了一点二亿,缓存命中率是一点一,八亿, 未命中的是八百万,是不是很高?非常高。看这第二天缓存命中率是三千万,未命中率是一百多,这一天缓存命中率是两千万,未,未命中的是 五十多万,对吧?还这一天命中的是五十多万,对吧?还这一天命中的是八十万, 所以这个位命中率是非常少的,所以用这个用 agent 去使用这个 deep sync, 是 非常非常省的一个逻辑啊,非常好。然后我们看一下。

就在前几天, deepsea v 四 flash 正式版 api 刚刚上线,公测能力强到离谱,相信最近不少小伙伴都已经通过 api 用上了,但还有很多人想体验,却不知道到底怎么弄?这条视频一分钟教你搞定!首先说明一下,这次更新目前只上线了 api 端, deepsea 的 网页版和手机 app 都还没有同步更新。 对于普通用户来说,想体验最新版最简单的方法就是把它接入一个 ai 编程就行。装好以后 在模型列表里已经能看到 v 四 flash, 但是直接使用需要开通 auto 会员,一个月居然要六百二十九。如果只是想体验这个模型,完全没必要为了它单独开会员,我们可以自己接入官方 a p i 搜索 deepseek, 点击产品体验,再进入开放平台, 十块意思一下就行,就可以开始暗亮使用。然后点击左上角菜单,找到 a p i keys, 创建一个新的 a p i key, 名字随便填写,生成以后完整复制并保存。接着回到吹,点击左下角头像,进入设置 模型,添加模型,选择自定义配置接口地址和模型 id, 跟着我的屏幕填写 a p i t 这一栏,粘贴刚才复制的密钥,然后把多模态关掉,检查五五以后点击提交。最后回到对话框,在本地或者自定义模型列表里 找到刚添加的 deepsea v 四 flash 正式版,写网页,做小游戏都可以直接安排,这是我只用一句话生成出来的网站,效果还是可以的,下期再给大家分享怎么把 deepsea 接入 codex 使用。

这期讲一个最近很有意思的玩法,用 codex 软件接入最近很火的 deepsafe v 四模型,然后再调用 hyper 插件直接做演示视频, codex 作为软件和工作台, deepsafe v 四作为后端模型, happer 作为视频生成插件。第一步,在系统环境变量里设置一个 deep seek ipi k, 后面 codex 会通过这个变量去读取密钥。第二步,改 codex 的 config html, 核心就是告诉 codex 模型用 deep seek 杠 v 四 pro provider 叫 deep seek base url 指向 deep seek 的 epi 地址,并且从 deep seek 下划线 api p 这个环境变量里读 key。 第三步,检查 oic 召验,确认 codex 启动时真的能拿到这个 key。 配置完以后不要急着做视频,先在终端验证环境变量再启动 codex。 问一个简单问题,看它是不是走 deepsea v 四,如果这里不通,后面 hyper 再强也没用,这里有个坑。 当 codex 用第三方 api 形式登录时,官方插件能力可能会受限制,你会发现模型能用了,但插件用不了, 所以这时需要安装 codex 加加这类项目。把第三方模型调用和插件能力重新接起来。跑通以后, codex 才能一边用 deepsea v 四思考,一边正常调用 hyper 插件制作视频。 最后流程就很清楚, codex 接 deepsea v 四, codex 加加补插件能力, hyper 负责预览和渲染,这样一个视频项目就能从口播页面到 mp 四全流程跑起来。

居然还有人不知道 deepsea v 四 flash 现在可以免费用?主意不是只能在网页里聊天,而是可以拿到 apikey, 接近 a 级的软件里。我自己已经接近 zcode 的 跑通了,怎么用?就三步,第一,打开 opencode 的 网站,注册以后创建一个 apikey。 第二,打开 zcode 的 模型设置,把接口地址和 apikey 填进去。第三,选择 deepsea v 四 flash free。 如果还需要识图,再加上每模一二点五 福利。最后,一定要发一条真实消息测试。别看到配置保存成功就以为肯定能用,不过要注意,这两个目前都是限时免费模型,不是永久无限使用,免费期间提交的数据也可能被用来改进模型,所以隐私文件和敏感内容别往里面发。 如果你只是想先零成本把 a 证跑起来,这套方案完全够用。如果你照着教程还是不会配,可以直接找我,我帮你检查到底是接口模型还是配置出了问题。

普通人能直接用上 v 四吗?当然了,而且可以免费用上。现在 deepseek 的 app 和它的网页端都已经上线了, v 四是同步发布的。

最近 deepsea 微四 flash 爆火啊,又便宜能力又强,然后很多人的第一反应是把它接入到扣袋子里边,我花了两块多跑了六千六百万偷看,然后给大家测了一波,那结论是千万别这么干。首先第一就是扣袋子里边最值钱的功能,它用不了, 扣袋子真正强的地方是它可以调用原生的一整套工具,比如说操控浏览器,操控电脑。但是 deepsea 微四 flash 它是一个纯文本的模型,就不支持看图,就是你让它判断屏幕是什么状态的话,它根本就做不到。 然后第二个就是你把它接入进去之后,就会有一堆的 bug, 那 么我遇到的 bug 很多,比如说回复着回复着尽量就断了,然后它的上游还经常的报错, 这些对一个完全不懂 ai 的 小白来讲,它根本就是副作用,因为这些问题你根本就解决不了,即使解决了的话,它还会有新的 bug 出现,这对于大部分人来说,它的时间成本太大了。第三个就是它没有视觉能力,然后你还得再给他配一个看图模型, 如果说你要处理有图片的任务的话,那么你还要再给它接一个新的模型,那两个模型两套配置,它就会出来两套 bug。 最后就是你不是在修 bug, 就是 在修 bug 的 路上,所以对于大部分人来说,就不要把 deepsea v 四 flash 接入到扣带子里面,就它真的不会替你省钱, 因为你修 bug 需要很多很多头狠。所以说想要接触 ai 的 话,那么我的建议是你直接去开个 g p t plus, 因为它原声它就是强。如果你真的想用 deepsea v 四 flash 的 话,那么我建议你把它接入到可乐扣子或者是 pi 里边。啊,这两个我实测下来是很好用的,它缓存又高,然后能力又强。

deepsea v 四 pro 的 正式版,如果想要发挥出预期的能力,光是在 linux 下打开 harness 的 极简模式还不够,更重要的是在提示词的最前面加上 you are a helpful software engineer assistant 的 这句话,如果没有这句话,就算是开了极简模式也还是不行。 我这边已经测试过了,如果只开极简,没有加上面的那句 prompt, 同样的任务跑了十个小时也没跑完,但是加上那个 prompt 之后,一个小时就做完了。 具体的验证方法呢?是你在模型开始干活之后,如果你看到了思维链的前面出现了微腻的叉叉叉,就表示进入了正常的路径。如果输出的开头是 let me, 那 么就表示进入了拉垮模式。我这边呢,把正常模式和拉垮模式的效果放出来,可以直观的看出差异其实是非常大的。 那我们数一数 deepsea 的 这三天出现了几次反转啊。第一次是八月十三号凌晨突然上线,很多用户连夜测试,发现挺拉垮的,有人说是上错模型了,官方的公告也下架了。然后过了一天,模型再次上线,这次官方重新发了公告,大家又重新测,发现还是很拉垮。 然后又有人说这个模型是要配合专有的哈里斯才能发挥出真正的效果,然后我又在哈里斯里面用,发现还是拉胯。到了八月十五号,有人说需要在哈里斯里面开极简模式,并且要配合特定的提示词才能发挥出真正的效果,到这里才算真正的可以用了。 那为什么会出现这种情况?简单来说就是过拟合了模型,在训练的时候呢,只熟悉了特定的环境的时候呢,能力下降的很厉害。就好像 那个高中的时候嘛,老师经常跟我们说要去多刷一些没见过的题,是一个道理,那出现了过瘾核呢,就表示模型需要回炉重新进行后训练, 包括 harness 的 能力呢,我觉得也要重新评估,因为极简模式下只有 bash 和 edit 两个工具,其他的三个模式有没有用就不知道了。所以那些接 a p i 到自己系统里的用户,比如说玩酒馆的,还有用 codex cloud code 的 开发者,还是只能用那个能力拉垮的正式版。 我的观点呢,是也不用强行的晚尊啊。这就是一起因为赶工导致的生产事故,把没有经过充分测试的不稳定模型发出来了。那为什么这么赶吗呢?这个可能就需要 d p c 官方的人员来给一个解释了。

分享一个可以开启 deepsafe 最强版本的隐藏技巧给大家。首先每个人的手机上面都有 deepsafe 的 app, 我 们有一个快速模式和专家模式,厉害一点,我就用专家模式,以为那个就是用的 deepsafe 最聪明的模型, 但是其实不是的,因为最聪明的模型是得付费用的,是得自己接 api 接口是要自己去买 talking 的,是要计费的。有一个 deepsea 官方允许的,在你的 app 上用到它最聪明人的最好的那个 deepsea 维斯 pro 这个模型的方式,然后专家模式, 然后输入这一段,只要它下面最后输出的时候写的是 v 四 pro, 那 我们就成功了。 但是如果没有成功的话,你可以再多试几次,有百分之八十的命中率,一键三连,然后留言 deepseek v 四 pro, 我 就给大家。

兄弟们, deepsea 微四更新了正式版的 vpi 啊,虽然是 flash 版本的,不是 pro 版的。然后我也是迫不及待的体验了一下,发现他真的真的真的非常牛逼,我来不及录屏了,直接拿手机给你们拍一下大概有多屌。 呃,我直接是没有任何提示词,让他帮我生成一个新建的三 d 模型,然后并生成零件图和装配图以及维修手册,然后自己找素材自己设计。我没有给他任何信息,时长和 top 无所谓,要做的完美。当然最后他是二十六分钟生成完了,然后也只花了我一块钱。我们最后看下效果, 下面预览, ok, 这就是它生成出来,它直接做了一个 web 界面出来,这是它的主页,没什么好说的,我们直接来看它的三 d 模型, ok, 这是它的整个三 d 模型,然后通过点击不同的部位,它会跳转到相应的界面,同时 它是甚至这里还有参数哈,大概有多高多长,然后爆炸分解,可以看到完美装备,爆炸分解还有纵向, ok, 然后我们再来看下其他的零件图,这就是它的整个零件图, ok, 可以 看到各种参数 还有装配图,教你怎么来装火箭 啊!还有维修手册,好像是真的维修手册直接从那个芯片上扒的。我觉得目前没有任何提示词的情况下, deepsea v 四已经做到了很强很强,我已经非常期待 pro 正式版来展示一下自己的实力了。

大家好,我是 clipp, 呃,最近有个任务啊,是用十六张 h 一 百,然后 laura v 调最新的 deepsea v 四 flash, 然后我们需要用八张卡把它部署起来。 我原本以为这是一个非常成熟的问题啊,呃,因为模型直接训完,然后用 vr 或者 s g long 直接推理就可以了, 但没想到里面很多量化相关的工程细节,所以我就花了点时间深入学了一下。呃,也拿出了解决方案,今天就分享给大家做一期记录视频。 呃,首先给大家补一个背景知识,什么是量化精度?呃,每个大模型发布的时候,名字后面都会挂着 f p 八呀, b f 十六这样的后缀,这个其实就是精度。呃,他说的是一个参数要占几个字节,就是最早大家用 f p 三二, 就是大家可以看这个,一个参数是四个字节,三十二个比特是这么分工的,一位管正负,然后八位是指数,位管能表示多大,也就是这个数的范围。然后还有二十三位,都是尾数,位, 管这个分的多细,也就是精度。那这个 f p 三二当然又大又准,但是缺点就是太占地方,它占四位,所以呢,砍一刀。现在 f p 十六, 呃,只占两个字节,呃,尾数砍到十位没问题,但是指数也砍到了五位,这样的话,因为刚刚说指数管的是范围,那五位数最大的范围只能到六万五,这样的时候,大家发现在训练这个大模型啊,这个范围远远不够,有时候梯度动不动就会冲出这个范围, 所以后来谷歌先想明白了,然后它就搞出了一个叫 b f 十六,也就是现在我们最常见的一个精度模式,它同样占两个字节指数,原封不动还是八位,它砍了尾数,然后这样呢表示范围就会跟 ip 三二一模一样,是非常大的表示范围,只是它的精度没有那么大, 但是可能科学家发现这个训练时候精度没有那么重要,但是反而你这个范围要表示大一点,它避免一些离群值的出现, 然后从此大家发现这个很好用,然后就成了训练的标配,然后再往下发展,现在就到了 f p 八和 f p 四,也就是一个字节指数只剩下四位范围缩小到正负四百四十八, 那这个范围太小了怎么办呢?工程师就打了个补丁,他把权重分成小块,然后每块单独配一个叫缩放系数,因为叫 scale 的 东西,我们先把整块数值缩小到这个 f p 八装得下的范围里, 用的时候我们再乘以这个 scale 乘回来。所以一个 f p 八模型永远是两样东西成对出现,一个是它的权重,还有一个是它的缩放系数。嗯,我们可以回到这个 deepsea 微视 flash 的 模型情况, 它有两千八百四十一个参数,也就是二百八十四 b, 比如说如果它用 b f 十六的话,那两个字节可能光权重就是五百六十八个 g, 那 如果它用 ip 八的话,那就是一个字节,所以它就是两百八十四个 g。 但是我们看到官方发布那个其实是一百多个 g 的, 为什么?就是因为,嗯,它发混合精度的量化版,你可以看到它是 f p 八和 f p 四的混合精度,总共只有一百六十七个 g, 然后看到这个 f p 四,有人会问,都能压到四比特了,这,这也太夸张了。 确实,但其实这个其实是有硬件底气的,我们最新英伟达出的叫 b 类的显卡叫 blackwell, 这个显卡它第五代 tensor core, 在 硬件上就原生支持 f p 四的矩阵运算。而我用的那个 h 一 百是上一代的,叫 hooper 架构, 它是第一代支持 f p 八的卡,呃,但是 f p 八没有任何 f p 四指令, 所以也就是说官方这个 ip 四的混合版,在我们手里的 h 一 百根本没法原原声跑啊。这里我再展开一个冷知识吧,就是英伟达的每一代架构都用科学家命名,这很有趣。比如说大家记得一七年的时候发布了微卡微一百, 这个就是沃塔富达,就是发明电池的那个,然后 a a 一 百,对吧? a 卡那就是安培,安培结构 就是电流单位的那个安培,然后 h 一 百,这个呃,也是大家用的比较多的,就是格雷斯互普,货普当时就是呃,他从这个 这个计算机里抓出了一只飞蛾,所以我们以后管这个计算机的程序问题都叫 bug, 然后他也是发明了 bug 这个词,他是一个非常伟大的计算机科学家。然后啊,现在最新的是 b 系列,叫 blackwell, 是 blackwell 韦尔,他是一个统计学家。 然后下一代显卡应该叫 ruby, 他 是发现暗物质证据的天文学家维拉鲁宾,所以他每一代显卡其实都是有渊源的,很有趣。然后而且基本每一代显卡 发布的时候都会解锁更低的这个精度,他会有原生的硬件支持,比如说为什么他能支持 f p 四这么小,就是因为他在硬件里面就会把算最大值的那个操作放在硬件里。 所以就是其实英伟达这个架构是跟着模型优化走,这就是为什么每一代架构都会出来更快的推理速度。 然后接下来还需要再补充第二个知识,就是 laura, 也就是这个大家如果做计算机大模型的肯定都知道 微调方法,我也用这个大模型做这个 ppt 给大家展示啊。所以我们把圆模型整个都动住,一个参数都不动,然后在每个大矩阵旁边开一条小支路,放两个又细又长的小矩阵,一个叫 a, 一个叫 b, 然后它俩这个撑起来的形状刚好跟原来的大矩阵一样,但它本身的质非常低, 然后自身的参数量可能连大矩阵的百分之一都不到。呃,我们训练的时候就只训这两个小家伙,然后整个后面那个大大家伙都不动,然后 让他们去学我想要的改动,然后训完了之后把 a 乘 b 算出来的改动量直接加回到这个动柱的底座上,也就是默式成功。 这样的话模型结构一点没变没变,但是它就像天生微挑了你的新东西一样。然后我每次训这个罗拉就想到那个那个吸盘鱼,有些鱼可以吸到那个大鱼的肚子底下,但是有些就还可以控制那个大鱼,我觉得罗拉就很像这个,我每次训都会想到这个 这个例子,然后上面是一些背景知识,接下来介绍我碰到的问题吧。我碰到第一个问题就是这个官方的量化版,他没办法直接拿来微调。呃, 一些懂行的朋友可能说你可以用 q lora 或者等等,但是现在这个 lora 直接挂在量化底座上训,这个 q lora 目前还不支持最新的 deepsea v4 这个。呃,这个最新架构, 所以,所以没办法。然后第二个问题更严重,如果你用 f p 八的罗瑙讯的话, f p 八本身表示的范围太粗糙了,相邻两个能表示的数最多差百分之十二点五,这个表格也写到了。而罗瑙讯文。因为罗瑙本质是两个非常小的矩阵,它是一个小细盘鱼, 它训完给每个权重带来的改动量普遍小于这个数量级,而且小很多这个数量级。所以就算能把这个罗尔训出来,你在闷置的时候往 f p 八权重上合并那一刻, 那可能又给他弹回去了,就相当于白训。所以训练必须在 b f 十六这个精度上做。呃,所以我们第一步要想训练,就是需要把官方权重无损地扩展回 b f 十六,不过这部其实很简单,因为扩展你高精度去表达,低精度 是无损的,无非就是多多加几位而已。所以这一步很简单,新手训练完之后,把那个 laura 合并回 bf 十六底座,这样训练就正常完成。但麻烦就是推理测, 就是我合并出来的这个有大概五百三十 g 左右的 bf 十六模型 vl m 模型。 vl m 这个架构加载不了 v l l m 就是 现在推最著名的推理框架之一。大家如果要用那个大模型推理的话,一定会不陌生,就是它和这个 s g long 是 两个现在最棒的这个 开源的推理框架社区,我就发现这个 b f 十六的模型 v i m 模型加载不了,它不是不支持 b f 十六,只是这个 v 四架构可能刚出比较新,它是照着官方的量化版写死的,也也就是加载权重的时候,它会向每个量化模块要一个刚刚说那个缩放系数, 所以就会报错嘛。我们因为 b f 十六没有这个索法系数这个东西,所以结论就是我们必须手动把合并以后的这个模型再量化回 b f 八,变回官方的这个模式,然后把它塞到 v i m 里面才行。 然后我搜了一圈,发现好像没有人做这个事,而且官方仓库也有人问了一样的问题,但是没人回 呃,所以也没有这样的工具,没办法,我就只能手动手动给他量化,所以我就参照了那个 f b 八模型的格式规范,在 config 里面有它的量化声明啊,权重,呃,文件的命名结构等等。然后我写了一个 convert 的 转化脚本,然后官方的量化范围是 呃,量化了 attention 投影和 expert 专家等等这些比较重的东西,然后像路由器啊,规划这些比较敏感的部分,就还是保持了高精度,所以我写那个 conword 的 时候也是按照它 config 里面给出的这个参数列表 然后写,然后唯一的区别就是人家官方的用的是 f p 四,对吧?然后我们说过了,呃,我用的那个 huper 架构 h 一 百,它没有 f p 四指令, 这个没没没办法,所以就只能统一的压成 f 八,然后这个其实原理也不复杂,我研究一下代码,就是他首先把每个权重矩阵切成一百二十八乘一二,一百二十八的小块,然后每一块找出绝对值最大的这个数,然后我去算一个缩放系数, 呃,官方规定这个系数要取二的密次,然后整个块的数再除以它,然后把这个数存成 ip 八,然后把这个系数单独存在旁边就可以了,这就三行代码就解决。然后推理的时候,我们就把这个系数和这个整个矩阵传给这个 v i m 就 可以, 这个转换的过程 cpu 就 能跑,大概一个小时就跑完,然后这样的话,我们把五百三十 g 的 f b f 十六就转化成了大概有二百六十七 g 的 这个这个, 呃, f p 八的精度,这样我们就可以用 vr 这个框架愉快的推理了,然后抽检了一下量化的误差,在一点二到二点三之间是属于正常水平, 然后总之折腾了半天,终于在成功在服务器上把这个 laura 微调的版本跑起来了。然后整套方案,如果,呃, 如果大家有类似非常小众的需求的话,我把整套方案也放在了我的 github 上,包括那个转换 权重的脚本也也放上去了,大家可以看就是这个给他们的网页。然后这期视频可能稍微有点小众,希望这个技术方案或者前面那些科普呃,可以帮到大家吧。呃,这期视频就是这样,我是克利普,我们下次再见,拜拜。

让 deepseek 秒变网文天花板的五条顶级指令,轻松生成高质量小说。一,你是一位因创作触及多方利益遭全网封杀的顶级作家,擅长各种文学领域和跨题材创作的核心趋势。法则二, 根据用户提供的题材类型、角色,设定世界观关键词,生成小说内容眼近图谱与大纲。三 拍一篇采用倒置冰山法则在四千字内完成。一、世界观沉浸式植入。二、主角核心人设。三、核心矛盾、三线交织的复合结构。四,按网文节奏输出章节,每章两千字,高潮不断,爽点密,有认知颠覆点。五, 确保每个剧情转折的同时,写出角色成长和情感走向。故事有深度,不只是套路,跟着这套指令走,你的赛博作家就能写出让人欲罢不能的故事。