粉丝5769获赞2.2万

大模型的 api 怎么接?哪里接?价格多少很多人不知道吧,我整理了一份文档给大家看一下。首先我们看一下模型扣德能力的这个评测排行榜啊, gpt 它更新的这个性能提升真的是非常强,直接十二名跳到的第三名。然后我们再看一下它的价格, 堪称是打到的地板价那两块钱啊,对比贴的 gpt 五点五十二百多,相差了几十上百倍。 cloud 一 百多啊,基本上也要八十,嗯,像格鲁克相对便宜一点。那后面呢?还有国产大模型又回到了几块钱啊?然后这个是 kimi, 二点六的话二十七块钱,也是相差了十倍左右,相比 dbc。 可 如果你想要去体验的话,先前面大模型的官方网站可以去接入 apikey。 然后下面的话是云平台, 国内厂商有阿里云,火山引擎,还有腾讯云,买他们的 kodi pro 都可以同时体验。呃,多款国产大模型像 kimi, mini max 都支持。然后是聚合平台,作为一个中转站,嗯,像国内的话,它有规矩流动。呃,只支持国内的 k 元大模型 注册呢,有一个福利啊,后面这个是 open route, 它好处是在于支持全球的 ai 大 模型。那切记笔记格式缺点呢,就是有点贵。那我会分享到交流群里面,推荐大家进阶使用 ai 的 话,都尝试用 webcode, 开发一些好玩的应用插件,工作流甚至 app 都是没有问题的。 至于滔天的这个费用呢,后面肯定还会下降。然后我也再找一些啊算力资源,找代理商去争取更低的折扣。当然最好还是我们普通用户 a r 开发者或者是一些中小团队,我们自己先团结起来,人多力量大才能争取到更低的折扣。 同时邀请有算力滔天资源的企业啊、代理商、运营商来找我合作,我们看能不能探讨交流出一个业务模式,对大家都有帮助,一起加油!

deep seek v 四缓存永久一折啦!如果你只看到降价,可能就错过了背后的原因,它便宜是因为 deep seek 的 缓存机制和 openai cloud gemini 真的 不是一类东西。很多人一听到缓存就以为大家说的是同一种东西,但不同厂商的实现路径并不一样。 deep seek 是 硬盘缓存,其他的是 ttl 缓存。先看 deep seek, deep seek 的 context caching 是 默认开启的,不需要你改代码,也不需要你手动创建缓存。 每次请求过来,他都会尝试把输入里的前缀写入硬盘缓存。如果下一次请求和之前的请求有一段相同的前缀,这段重复内容就可以直接从硬盘缓存里读取。 这部分 token 就 会被算作 cash hit token, 也就是缓存命中 token。 缓存构建耗时为秒级,缓存不再使用后会自动被清空,时间一般为几个小时到几天。官方返回里也能看到两个字段, prompt cash hit tokens prompt cache miss tokens。 一个代表这次输入里有多少 token 命中了缓存,一个代表有多少 token 没命中。 所以 deep seek 这套机制特别适合系统。提示词很长,知识库上下文很长,多个请求前半段高度重复的场景。缓存命中的前提是相应前缀已被写入硬盘缓存。受 sliding window attention 机制的影响,缓存前缀的存取与判别与之前有所不同。 每条缓存前缀是一个独立的完整单元,后续请求只有在完整匹配缓存前缀单元时才能命中缓存。缓 存前缀落盘有三个时机,分别是请求结束位置落盘、公共前缀检测落盘按固定 token 间隔落盘。请求结束位置落盘。每次请求的用户输入结束位置与模型输出结束位置会产生两个缓存前缀单元,后续请求若完整匹配了它们,则可命中 公共前缀检测落盘。当系统检测到多次请求之间存在公共前缀时,会将该公共前缀作为一个独立的缓存前缀单元进行落盘。 后续请求若完整附用了该缓存前缀单元,则可命中按固定 token 间隔落盘。在长输入或长输出中,系统会以一定的 token 数量为间隔截取缓存前缀单元, 避免长前缀因迟迟未达到结束位置而完全无法被缓存。举个简单例子,第一次请求是 a 加 b, 第二次请求是 a 加 b 加 c, 那 第二次就可能命中前面的 a 加 b。 但如果第一次是 a 加 b, 第二次变成 a 加 c, 就 不一定马上命中 a, 但此时会把 a 缓存。第三次请求 a 加 d 时,就可以命中缓存 a, 因为 deep sec 的 缓存 不是只要有一点公共开头就立刻命中,它强调的是已经写入硬盘缓存的完整前缀单元匹配。再看 openai, openai 的 缓存也是自动的,不需要你手动创建 cache。 官方文档提到,从一千零二十四个 token 起按前缀匹配, 现在也支持配置 retention policy 控制缓存保留时间默认五到十分钟,部分模型最长二十四小时。所以 openai 的 使用重点是把稳定内容放在前面, 把变化内容放在后面,比如涨 system prompt、 固定工具定义固定 few shot、 势利,这些都应该放前面。用户问题时间变量参数尽量放到后面。 再看 cloud。 cloud 缓存更强调开发者显示指定缓存边界。开发者可以在 tools、 system、 messages 等位置加 cache control, 告诉模型哪一段值得缓存。 它默认的缓存时间通常是五分钟,也支持一小时。 ttl 这套方式的好处是可控,你知道自己缓存了什么,也知道缓存大概能活多久,但是 你需要自己设计缓存边界。再看 gemini, gemini 同时支持自动开启的 implicit caching 以及创建 cache content, 然后在后续请求里用 cache id 引用它。 ttl 也可以配置,这很适合一份长文档、 一段视频、一个音频材料被反复问不同问题的场景。比如你先把一份资料缓存起来,后面每次只换问题,而不是重复上传整份上下文。所以一句话总结的话, deep seek 更像是自动帮你把重复前缀落到硬盘缓存里,命中就便宜。 cloud 更像是你告诉他哪些上下文要缓存,以及缓存多久时间比较短。 gemini 更像是我既支持自动缓存,也支持你显示创建可复用的缓存内容。 openini 介于中间,它自动识别涨 prompt 的 重复前缀,近期复用就给缓存架。最重要的是,不要每次把动态内容塞在最前面。用户问题时间变量放最后, 然后观察 prompt cash hit tokens 和 prompt cash miss tokens。 如果 miss 很多,说明你的前缀结构可能一直在变化。缓存自然命不中。 缓存降价之后, deep seek 对 长上下文高频重复请求会更有吸引力。但缓存不是魔法,它省的是重复输入成本,不是输出成本, 也不是模型推理能力本身。如果你在做 ragged agent 客服机器人真的可以去看一下自己的 catch hit token, 很多时候省钱不是换模型,而是先把 prompt 结构写对。

最近干货让 deepstack 为 callex 打工, tockin 节约百分之五十。嗯,我手搓了一个工具,让 gpt 五点五能指导 deepstack 工作,把我的 tockin 消耗降低了百分之五十,把性价比拉满。 deepstack 桌面版就是今天最好的 ai 生产的工具,但它缺点有两个,一是订阅太贵,二是 gpt 五点五的额度太废。而 deepstack 又是一线模型中价格最便宜的,让 gpt 当大毛, deepstack 干活才是最完美的组合。 但 deepsea 是 需要接入可捞的扣子让他干活,然后把它包装成 mcp 给 callix 调用。我写好的 mcp 已经开源可用啊,大家可以直接跟 callix 说让他装上啊。这个 mcp 的 核心价值呢,有以下几点。 这个 m c p 本身我就是用 codex 桌面版开发的啊,开发过程很简单,可以说有手就行。如果你希望做一个这样的 m c p 的 话,可以把下面这些话发给 codex 桌面版 啊。注意,这样做出来的只是一个基础版啊,甚至不一定省 tokyo, 你 要一边用一边跟 codex 对 话来解决各种问题啊,最终肯定是能迭代出一个跟我一样甚至更好的版本,大家都可以试一下。

五百这个网页二开优化,直接用这个 ctrl 来帮我们快速搞一下,要从这个旧的页面升级到这个新的页面,要和这个厂家的展示风格一样简单。看了一下,这个核心点在于以前大批量复制的信息呢,要自动根据这个关键词匹配换号和关键词匹配新样式,这点也直接让这个 ctrl 来写了,我们直接来替换和修改,不管参数呢还是这个批量复制。

你把 dc 接到 cloud 里面去了?对,性价比比较高。终于用上便宜的了,本月销量才十几块钱。要用 cloud code 的 一个最新版本它才能兼容,几乎是白送了。改一下配置就行了。对啊,就在这直接用了, 可以用它。你用的什么模型? dc dc pro? 对, ok, 直接拉满,可以平替。作为 cloud code 的 平替啊。 深度的问题啊,需要切换到克洛克的去处理。就是奥克斯的模型啊,我一般是在这边就是碰到这个奥克斯的一个月卡嘛。先把这个用完之后我也不用焦虑了,对吧?用完之后直接切换到这个 dipsic, 反正问题都是能解决的。是国产模型还是可以的啊。

最近 deepsea 不是 更新了一个 v 四 pro 版本吗?然后主播想把自己科斯尔模型改成最新的那个 deepsea v 四 pro, 然后我在科斯里边配置好 deepsea v 四 pro 的 api 之后,兴气勃勃地每每想使用国产又便宜又好用的模型后,结果发现科斯尔好像不能正常地使用 deepsea v 四 pro 模型。当 newchat 并开启第一个问题时,他可以回答, 但是一旦开始,后续的问题直接就会报错。 provide a return error error message the reasoning content in the thinking mode must be passed back to the api。 于是主播去 google 了一下,想搅一搅网校有没有解决方案,结果发现社区里也有很多人都在吐槽这个问题, 而且也没有搅到一个可行的解决方案。于是主播决定自己写一个代理程序来解决这个问题。根据报错信息猜测, deep seek v 四的 thinking 模式有个强限制, 他返回的思维链必须原样传回去,但是 cursor 目前不机器传回 ds 的 reason content。 于是主播写了个代理程序,中间调戏过程就不说了, 代理程序写好之后,理论上直接把 sir 设计里的 base url 改为代理程序监听的地址就行了。可惜 sir 很 傲娇,不让连本地直译网代理你走,本地代理直接就给你四百零三 forbidden 了, 只能使用公网 ip 访问。于是主播用 cloud fear 打了个隧道,穿透内网,将 base u v l 换成映秀岛本地代理的公网地址。这次 koser 终于认了,我再使用 deep seek 杠 v 四杠 pro 模型进行后续的对话,也能正常使用了。 感觉 cursor 官方没有更新支持 deep seek v 四 pro 模型的话,目前只能通过这种补丁方式来使用了。代理代码我已经开源在 github 了,叫 cursor 杠 deep seek 杠 v 四杠 proxy, 配置就改一个 u r 料,两分钟搞定。链接我放在置顶评论和视频简介里了,如果你也碰到了这个问题的话,需要的兄弟们自己去拿。我把文件都打包好了,根据 redmi 说明操作,一键启动就可以了。

deepsea 新模型跳出哭打生态,老黄最担心的事还是发生了。前脚黄仁勋刚在采访中表示,如果 deepsea 先在华为平台上跑起来,将是毁灭性的灾难。结果刚没过几天,老黄最担心的事就发生了, deepsea v 四正式发布 并且开源,而且官宣原声适配华为深腾跟韩五 g 芯片,直接跳出了 ai 大 模型,必须跑在英伟达芯片上,这个铁律 很多朋友可能纳闷啊,平时咱们听过的大模型也不少,怎么偏偏这个 deepsea v 四能把老黄吓成这样?其实原因很简单啊,这玩意不仅实力强,价格便宜, 而且还跳出了英伟达的生态限制。首先就是性能,它的编程跟逻辑推理能力完全能对标甚至赶超海外主流模型。至于价格,更是沙川行业底线,在几十万上百万 toon 的 长文本处理上,只有海外主流模型五分之一到十分之一的价格。 不过说实话,就算 deepsea 再便宜,也跟英伟达没有关系,毕竟英伟达是卖芯片的。真正让老黄破防的是他向全世界证明了一件事,离开英伟达的哭打生态,一样能跑出高水平的 ai 大 模型。 要知道啊,以前咱们国内企业用国产 ai 芯片总觉得像在用备胎,买不到外面的才凑合用,适配起来更是要命。但这次不一样了, deepsea 不 搞临时兼容那一套,而是花大力气把核心代码给重写了,让 v 四模型完完全全在华为的看价格上,原生运行含五 g, 甚至连底层 的适配代码都一块开源了。事实证明,国产芯片跑起这种万亿参数的,大家伙照样有勇有谋。这个不是说 deepsea 放弃了英伟达,而是它在兼容哭打的同 时,硬生生给全球的大模型玩家扑出了一条便宜又好用的 plan b。 这一步解绑可太狠了,以前大家觉得离开英伟达寸步难行,现在国产算力的软件生态全面拥抱开源,国内那些互联网大厂一看这条路真能跑通, 立马拿着真金白银投票,十几万几十万的采购华为跟韩五 g 新一代 ai 芯片,这已经不是实验室里的跑分自嗨了,而是实打实的算力大转移。眼看着客户有了新选择,老黄能不慌吗?所以说啊,老黄最怕的其实还是整个 ai 生态 出问题,这样英伟达 ai 基石的故事就讲不下去了。老黄有一个广为流传的五层蛋糕理论,说 ai 产业有五层架构,除了基础层的能源之外芯片。这也能解释为什么英伟达在 ai 领域 如今的地位。说白了,英伟达靠的不是显卡硬件有多强,而是他们的哭打生态,全世界的大模型都得在这个生态里运行, 想要换平台,那就得从基础层面推倒重来。但现在 deepsea 主动给国产框架重写底层代码,等于是直接跳出了英伟达的 生态。更关键的是啊, deepsea 是 开源的,全球的人都能免费用,只要大家发现中国芯片加中国模型这个软硬件组合便宜又好用,全世界都会跟着抄作业。 到那时候,中国的 ai 技术路线就会变成全球标准,英伟达一家独大的地位必然会受到影响。当然,现在坐不住的不光是老黄,整个硅谷的大厂其实都能感到后背发凉。 deepsea v 四这边一发布, oppo ai 直接也就急忙发布了 gpt, 五点五谷歌更是急着砸百亿美元投资 snoop, 这是为什么呢?因为谷歌感受到了实实在在的生存危机。 就在上个月,那个曾经惊艳全球的苏尔二宣布,官亭在商业化上快走不通了,相比之下,低成本加开元的打法简 简直就是降维打击。说白了,以前咱们是跟在别人屁股后面,花大价钱玩他们定好规则的游戏,现在咱们不光掀了桌子,还要自己建个新场子,让全世界来玩咱们的规则。时代真的变了,中国 ai 这盘大棋,好戏才刚刚开始。