后呢,我们可以,比如说这一块,我们点推理, 看到这个不是我复制的,而是他自己自己就请求过去了,然后他就开始在这写, 我等一下,等他写完了, 等到他写完了,这里就会有一个收到回复的。 我们那个提示词是给吉梦用的,不是用字幕生成的,写得比较长一点,他这里已经完了,然后他就传过来,你可以看到这些就有了,你可以看这里,看我用的 这个大语言模型,然后填的就是本地的这个网口,这些都是随便写就行。 然后你像生图的话,其实我都用的是那个本地的 com p u i 的 c e m h。 自己是在这个 com p u i 里头去跑的, 看这个就生成好了,其实 c e m h。 那 个生成图片还是可以的,这时人物就开始有这个,那我把这些全去掉,其实主要就是出一下这里, 这样就是你可以用免费 a p i。 接口,但不是本地模型,不是电脑配置,不光是可以给自作画像,你也可以给其他的需要大语言模型的 a p i。 软件可以用。 我们再是一个点推理,推送到这楼,看这看又自动就开始上传过去了, 等生成完, 当然你说我也可以手动的去复制,为啥不用它呢?它这个只是我生成一个,那我可以批量,比如说这有两百个分镜,我可以在这里批量生成,它会一个一个自动在这请求,我就可以做做其他事。
粉丝118获赞274

免费的大模型 ipi 接口你要不要?英伟达免费开放迷你 max 二点七模型调用,关键是无需绑定银行卡,只需手机号,无需魔法,只连即可使用。其实几个月前就已开放,但使用内地手机号时,大概率会被限制,导致无法生成 ipit。 今天试了一下, 用国内手机号完全没问题,虽然每分钟限制调用四十次,但说实话,日常写个小脚本,测试 prom 调优,跑个 open 口各种龙虾,这频率绰绰有余。 它可以免费使用 kimi、 mini、 max、 g、 l、 m 等大模型,唯一不足的就是速度问题。但免费又不卡的大模型,哪家塞伯菩萨能提供呢?有需要的评论区留言关注我,爱爱不落伍!

大模型的 api 怎么接?哪里接?价格多少很多人不知道吧,我整理了一份文档给大家看一下。首先我们看一下模型扣德能力的这个评测排行榜啊, gpt 它更新的这个性能提升真的是非常强,直接十二名跳到的第三名。然后我们再看一下它的价格, 堪称是打到的地板价那两块钱啊,对比贴的 gpt 五点五十二百多,相差了几十上百倍。 cloud 一 百多啊,基本上也要八十,嗯,像格鲁克相对便宜一点。那后面呢?还有国产大模型又回到了几块钱啊?然后这个是 kimi, 二点六的话二十七块钱,也是相差了十倍左右,相比 dbc。 可 如果你想要去体验的话,先前面大模型的官方网站可以去接入 apikey。 然后下面的话是云平台, 国内厂商有阿里云,火山引擎,还有腾讯云,买他们的 kodi pro 都可以同时体验。呃,多款国产大模型像 kimi, mini max 都支持。然后是聚合平台,作为一个中转站,嗯,像国内的话,它有规矩流动。呃,只支持国内的 k 元大模型 注册呢,有一个福利啊,后面这个是 open route, 它好处是在于支持全球的 ai 大 模型。那切记笔记格式缺点呢,就是有点贵。那我会分享到交流群里面,推荐大家进阶使用 ai 的 话,都尝试用 webcode, 开发一些好玩的应用插件,工作流甚至 app 都是没有问题的。 至于滔天的这个费用呢,后面肯定还会下降。然后我也再找一些啊算力资源,找代理商去争取更低的折扣。当然最好还是我们普通用户 a r 开发者或者是一些中小团队,我们自己先团结起来,人多力量大才能争取到更低的折扣。 同时邀请有算力滔天资源的企业啊、代理商、运营商来找我合作,我们看能不能探讨交流出一个业务模式,对大家都有帮助,一起加油!

超简单的 token 中转搭建,喝水一样轻松。我们来到语音服务器,登录进来之后大家可以看到这个页面,我们点云产品,发现这里有个云应用,我们点立即购买。搜索应用我们直接搜 api, 这里有个 app, 我 们点击安装,那这里有一些简单的说明文档,我们点立即安装。 c p u 信寄吻可以把这个调大一点, c p u 建议是一 飞跃限制,二或者一也可以。以后到这里,我之前已经捡了一个创建中啊,运行了就可以看到这里共 ip 端口映像了,新区内网址 这个项目一会我会退掉它,因为我没有用这个衣服,我自己有服务器吗? 哦,我们来到服务这里,公网 ip 地址端口映设,我们的网址就是公网 ip 地址冒号 外部端口就可以。然后我们来到网站这里,这里一个加号,我们点击加创建网站。呃名网站名称, 这里顺便输一个域言,提供域名,域名可以自己买,但是就他自己提供的就可以了,我们单独买的话需要花钱, 这些不用管。应用 new api 到这里就可以了,这设置都很简单,创建网站 就是看到它有域名了,就是 a 七 t p ps 协议,如果我们直接是我们的 i 七, 它像端口的话,就是 a t t p a 协议,它会在浏览器里面报错,显示不安全,像我显得不是那么专业。好,我们就来到系统抽象这一步,非常重要,我们跟着走就可以了, 这里简单,大家过一下 对外运营模式,抽象系统。 好,这里就来到他的小艺友们,在文档里面可以看到一些秀说明 秀,秀文档操作演练,谢谢大家看。我们来到控制台, 我们要拿货的话,就是在渠道管理里面添加渠道,渠道的名字,这个叫 apikey, 这个就需要到同行或者上那里去拿,这里建议大家多买几个 apikey, 就是 上游的,一般就是上游的那个网址。呃, 模型名字一定要选对,只要提交就可以了,添加好之后呢?至于不能急用的吗?需要到分组和模型定价这里, 模型定价完得给模型定价之后才能够正常使用,这里输入价格,补全价格, 根据相关设置,这里有使用说明,它非常详细。 使用案例四,分组特殊倍率,可用分组代码处理与限制,它这个设置非常非常的丰富, 我们自己用的话千万不要把密码搞忘了,找回非常麻烦。 主包最近找实习面试考试回复消息很慢,大家可以在抖音群里面讨论讨论,非常欢迎大家的加入。

玩 ai 的 应该都听说过 api k 和 api 密钥这两个概念,到底什么意思?我们今天呢一张图来给大家讲明白,这里呢分两种情况,那一种呢,就是你直接到人家那个官方网站上或者官方的 app 里边去使用这些 ai, 这种呢,你是用不到 api 密钥的,除此以外的任何场景都是需要这个密钥的, 因为你在其他的任何场景都需要通过什么接口的方式来去调用这些大模型。那当然在调用的时候呢,人家这些模型啊,需要判断你是否合规或者是向你收费,所以呢,这个时候就诞生了密钥,比如说你想在自己的网站里边,你想接入豆包, 你比如说你想在你的智能体里边,你想使用可拉奥的大模型,你在你的项目里边,你编码的时候,你想使用大模型,这些啊,都需要先去申请这个密钥,然后充上钱,你才能去调用人家这些模型。 当然呢,国内的模型和国外的模型呢还有区别,国内的模型呢,你申请了这个密钥以后,你再直接就可以用了,但是国外的模型他不行,他 有网络的限制,所以呢,你需要什么呀?中间啊,加这么一层中转,你才能正常的去访问。所以呢,对国外模型感兴趣的可以看我之前的有一期视频有讲解。那如果你也正在学习 ai 的 话,关注云哥,我们一起学习交流。

今天教大家怎么调用大模型 api, 学会了你也能自己做一个 ai 助手。想要调用大模型,首先得知道一件事,这些模型参数动不动就几百上千亿,咱们普通电脑根本跑不动。 所以现在主流的做法是让模型厂商把模型部署在他们服务器上,我们通过网络请求去调用,按使用量付。且 这里有两个核心概念, api 是 接口 api key 就是 你的身份证,拿着它,厂商才知道是谁在调用,该扣谁的钱。 目前提供大模型 api 的 服务商很多,基本流程都一样,注册账号,创建 key, 充值调用。区别主要在模型能力和价格上。我这教程统一用 deep seek, 原因很简单,能力够用,创建 key 方便,价格还便宜。 而且你放心,学完这套教程,所有例子加起来可能就花几块钱。接下来演示怎么创建 key。 首先打开 deep 开发者平台,在左侧菜单找到 api keys, 点击创建, 随便起个名字,点确认,就会得到一串 s k 开头的字母串,这就是你的 api key。 注意,这个 key 就 等于你的账号密码,别人拿到就能花你的钱,一定要保管好,不要提交到 github。 好 t 有 了。现在说接口格式,目前主流就两种, openai 的 chat completion 格式和 andropic 的 messages 格式。 先看 open a i 格式,发一个 curl 请求 base 下划线 url 是 api 点, deep seek 点 com 斜杠 v 斜杠叉,斜杠 completion 认证用 bear token 的 方式 返回的 jsl 里,模型回答在 choice 下面的 message content 里,这里就是他回复的你。好,很高兴见到你。 再看 anthropic 格式,注意这里 base 下划线 url 多了 anthropic 认证,改用 xip ikey 请求头还需要指定版本号返回格式不一样了,回答在 content 下面的 text 里不是 trace 了,字断名也不太一样。 虽然格式看起来不一样,但本质都是发消息收回复。现在模型厂商都会同时支持两种格式,你换一家只需要改变下划线 url 和 key 业务代码一行不用动。

最近很多人都听说过,但是可能大部分人都没有完全搞明白的一个东西,就是 api 中转站,你可能听别人说他很便宜,也可能听别人说他很赚钱,甚至还有人说普通人也可以做这样一个生意。 但在决定你要不要买,要不要用,甚至要不要入局之前,得先把它搞明白,它到底是什么,它的钱从哪里来?风险到底在哪里。 ok, 大家好,我是 fred, 专注帮普通小白从零到一去学习 ai 和 bug 定,去提升自己的工作和生活效率。 我们先来聊就是 api 中转站为什么会火啊?其实它火的一个本质的原因是需求变大的,就因为现在像 cloud code 或者 codex 或者 open cloud 那 工具一旦真的帮你去写代码,改文件、跑任务, token 消耗会比普通聊天快非常多。 可官方的 a p i 对 于很多小白来说又会有门槛。如果你要自己去做呃订阅账号呢?他又不会不够顺手,包括有些代理网络的问题。所以说中转站抓的就是这样的一个空档,把充值接口包括模型的选择都打包成了一个更省事的入口。 嗯,这里面先要分清楚的一点啊,就是这三个的区别,订阅 api 和众转站。首先订阅是什么?就像会员,你可以买去 gpt 等这类的服务,有些官方工具也可以订,能够登录订阅账号来用它的一些呃 koine 的 一些 呃工具,但它通常有套餐,有额度,有时间的窗口,或者说一些频率的限制。而 a p i 的 话,是给到工具和程序去调用模型的接口,一般按照实际的用量去 k 扣费。 而中转站呢,这则是你和 a p i 中间又加了一层第三方,他给了你一个入口和一个余额的系统背后再帮你转到可能不同的上游。好处是省事儿,代价是你需要多信任一个中间的一个人。 而中转站转的也不是一些什么神秘的资源啊,而就是请求。你可以想象,你在工具里面去发任务请求先到中转站,中转站看到你的屁 余额模型选择,再转给上游的模型,模型生成结果之后,再通过中转站返回给你你的工具。所以说,多了这一层,不只是多了一个地址,而是多了账单、日制模型来源和整体的一个数据流向。 他中转站赚钱啊,就不只是赚 tiktok 的 差价,他可以拿,比如低价拿一些额度,然后再按量去卖,卖给用户。也可以让比如用户去呃预付款,然后形成现金流, 还可以去卖一些套餐,因为很多人可能买呢,但是不用就有点类似,比如说健身房这种感觉啊。更长期的做法可能是卖这种企业的服务,比如说统一的账单权限、审计稳定性和售后。 所以真正能够长期做的,往往不是单纯的去倒卖 api token, 而是把支付账单模型和服务都打包在一起。 但你要注意的就是特别夸张,这种暴利往往不是来源于最正规的那种部分啊。如果一个站又便宜又满血又不限量,又说不清楚来源,就不能够只理解成这是优惠, 他可能用的订阅号赠送额度或者低价的渠道,也可能是前台写的是这种 很强的模型,比如说四点七,但后台可能给你换了一个国产的模型,还有可能通过倍率上下文和输入输出的价格重新去包装,让你以为省钱。再往后其实就是一些 数据和日制的问题,就你的 prompt, 你 的代码,你的文件,有没有被这个中转站所保存,谁能够看到?说不清,我觉得就是风险。 现在很多人在教你,会告诉你说,哎,中转站很赚钱,你可以做代理啊,你可以卖系统啊,你也可以做代件啊。我想我建议大家一定一定要冷静啊,就是但凡真正稳定赚钱,风险又小的生意,还能够通过短视频完整的送到你面前吗? 大家想一想对吧?如果到处都在讲这个机会,很可能说明他已经没有那么好赚钱了,或者是上游需要更多的下游代理和客户来消耗他的额度 啊。普通人进去之后往往接到的往往不是核心的利润,而是获客、客服退款、解释,甚至是背锅你,你想一想,上游封号用户找你, 比如模型不稳,用户骂你,对吧?余额退不了,售后也在你这里,所以说这个生意不是说不能做,而是绝对不能够买套系统,你就能够躺着就赚钱,对吧? 我们再来聊一聊,就是我们普通用户到底能不能用,我觉得可以啊,就,但是要分场景,就如果你是一些低风险的试测试啊,你可以小额充值,包括你自己没用过,你去跑一些不敏感的任务, 尝试一下 ai 或者 webcoing 所带来的这种提效,我觉得完全可以去尝试,但是不要一上来就去大额充值,也不要把一些长期的工作流绑到一个小的呃,中转站上面, 你至少要问清楚说,哎,它的便宜到底从哪里来的对吧?这种模型到底能不能验证?哎?账单的倍率能不能看到问题啊?然后出了问题谁负责?余额到底能不能马上换走? 另外呢,我觉得有几类场景,就不要随便去走一些不明的中转啊,比如说公司的代码,客户的资料, 对吧?合同的报价,包括这种私有的文件,还有能读文件或者跑命令的。这种 a 镜的工具啊,我觉得都要谨慎,因为这类工具不只是聊天,它可能真的会读取项目,修改文件,调用环境。包括说你自己的 api key 啊, 就能限额就限额,能能换就能换,能看用量就看用量,不要走这种不明的中转, ok, 最后记住一句话,就是 a p i 中转转不是单纯的便宜接口,它是支付账号模型 啊,包括账单和信任的。整一个生意,你的低风险你可以小额去试一试,但长期的工作也不要被低价去绑定。如果你想要做这门生意,也不要只看利润,你还要看售后退款稳定性和信用的问题。 ok, 我是 fred, 我 们下期继续给大家猜怎么把 ai 放到你实际的工作流,我们下期再见。

我发现身边有好多人其实对头肯还没有概念,今天我要用大白话来给你讲清楚哦。其实我觉得头肯跟我们最相关的还是钱,它的计算方式呢,最简单理解就是输入的头肯数乘以它的输入单价,再加上输出的头肯数乘以它的输出单价。 然后最主要的点是输出的头肯一般要贵一到两倍,因为它要调用大量的算力来进行计算。我举一个简单的例子,比如 g、 p、 t 它的一个模型,它的输入头肯大约是两点五美金一百万头肯,输出大概是十美金一百万头肯。那比如说你发了一个一千字的中文需求给到它 大概就是两千个 token 的 输入,他回复你也是两千个 token 的 话,大概每次呢就是一毛八的人民币。这里面有一个很大的差异性在于,如果我们不对大模型做约束,然后你会发现他给你输出的内容会很长很长,跑的很偏,甚至来一堆的废话,然后你会发现你的 token 消耗的非常非常快,所以这里面我们要对他的输出要做约束,并且我们输入的时候要尽量简单干练,不要讲太多废话。然后你会发现一个小小的技巧会让你在 token 上省掉很多很多的 money。

今天来聊聊 cds 二点零申请的 api 接口的问题。第一个问题,个人能不能申请?个人不能申请,只有企业能申请,企业在火神官网填写相关资料,提交审核。第二个问题, 接入后大概的成本是多少?以慢距为例,成本大概是一元一秒。当然,部署这个 api 是 直接能用吗?用大白话举个例子,你要电热水壶烧水, 要把插头插入插座,同理你必须有自己的系统、智能体等这些类似的载体,把 api 接入进去,才能调用 cds 二点零视频模型能量,不然无法使用。最后说一句,你要 效率全部拉满,和你充值的金额有什么?就像之前有企业充值一千万,可以四百条任务同时并发,当然后面的门槛会越来越低,时间会很快,因为技术在不断迭代。更多关于 cds 二点零的问题,欢迎评论区交流。

大家好,我是大叔,只说真话,只做实在事,只给干货。大家好,你是不是也遇到过这样的情况,手上只有英特尔显卡,想跑大模型却被告知必须用 nvidia。 但我想告诉你一个真相,英特尔显卡不仅能跑,还能跑得流畅,甚至在某些场景下表现比 nvidia 显卡还要好。别急,今天这个教程就是为你准备的。我先告诉你结论,你的 intel core ultra 处理器加上 openvno 就 能实现高性能本地 ai 推理, 不需要购买昂贵的 nvidia 显卡。这次教程含盖三个核心亮点, c p u g p u n p u 三位一体加速,以验证九款以上模型支持开放 api 接口调用。 咱们直接看内容,你是不是遇到这样的问题,手上只有英特级成显卡或 arc 独显,没有 nvidia gpu 响本地部署大模型,但不知道用什么工具能正常运行,需要开放 api 接口给其他应用调用,但不想花几万块买显卡,想体验 openclock 龙虾助手 hermes zion 的 爱马仕智能体, 担心硬套显卡性能不够,跑不动大模型,使用云服务 a p i 费用高昂,每月几百上千的成本难以承受。如果有以上任何一个问题,请继续往下看,今天这个教程就是为你准备的。解决方案是什么呢? open vino 后端辣妈到 c p p 加上 open vino 等于完美组合, 让 intel cpu、 gpu、 npu 都能流畅运行大模型支持 api 接口开放,轻松集成到你的应用中。它有四个核心优势, one、 intel gpu 加速集成显卡和 arc 独显都能用,无需 nvidia 2 npu 低功耗 core ultra 系列专属 ai 加速器,省电高效。 三、 rest api 开放标准接口如下,应用直接调用四、零额外成本,利用现有硬件,无需购买昂贵显卡。还有一个重要特点,同一份 g g f 模型文件, cpu、 gpu、 npu 无缝切换,无需转换格式,它是如何实现的? 第一,智能图转换,将 g g m l 计算图自动翻译为 open vivo 格式,识别输入输出权重和缓存。第二,翻译后极速运行,首次运行会翻译模型并缓存,后续推理速度提升三到五倍。 第三,算指融合优化,自动合并相邻计算步骤,减少内存访问效率更高。第四,硬件专属优化,针对 cpu、 gpu、 npu 不 同特性,自动选择最佳执行策略。 第五,多种量化精度,支持 q 四、 q 五、 q 六、 q 八等格式,平衡速度与质量显存。第六,设备无缝切换,同一份 g g 二 f 模型文件, cpu、 gpu、 npu 一 键切换,无需转换。简单来说, openwin 就 像一个智能翻译官,把你的大模型翻译成 intel 硬件能听懂的语言, 然后针对你的 cpu、 gpu 或 npu 进行深度优化,让推理速度大幅提升。安装方式有三种可选,根据你的需求选择最适合的方式。第一种,一键脚本,推荐,最简单自动下载翻译配置支持 windows、 mac os、 linux, 如 如果有需要,评论区留言获取脚本。第二种,多客容器很干净,无需配置环境隔离运行不污染系统,适合服务器部署。第三种,手动翻译,很灵活,完全自定义,适合开发者调试。下面详细介绍步骤,手动翻译只需五到十分钟,接下来我们详细讲解手动翻译的三个步骤。 第一步,克隆仓库执行命令, gitcon, 后面跟着开源代码,仓库地址,由于平台限制,完整链接无法显示,需要完整地址请在评论区留言, 然后进入 lama 到 cpp 目录。第二步,编辑 openvino 版本。如果是 linux 系统,先执行 source 命令,加载 openvino 环境变量,然后执行 cmake 命令,指定构建目录和 nintia 生成器,开启 openvino, 支持,最后执行 cmake build 命令,进行并行编译。 如果是 windows 系统,在 exo, 在 native tools command prompt 中执行同样的 cmake 命令,注意路径分幅,使用反斜杠。如果是 macos 系统,先用 blue 安装 openvino, 然后执行 cmake 命令进行编译。 第三步,下载测试模型,创建 model os 目录,从 huggingface 下载测试模型文件到 models 目录,由于平台限制,完整地址无法显示,需要下载地址请在评论区留言,翻译完成,现在可以开始使用了。为什么选择 docker? 无需配置环境,一键启动,隔离运行,不污染系统,特别适合服务器部署和快速体验。步骤一,构建 docker 镜像清亮 call 命令,指定 target 为 light, 标签为 lama puma collin light 使用 open veneno 点 docker file 发来文件。 server veneno dpi 版本,开放接口执行 docker 命令,指定 target 为 server, 标签为 luma pen veneno server。 gpu 容器运行, 执行 docker run 命令,挂在 models 目录,映射 gpu 设备设置环境变量接 gml。 open veneno device 为 gpu 起拥有状态执行运行 luma pen veneno light 镜像 指定上下文长度一千零二十四模型路径 n p u 容器运行,执行 doker run 命令,挂在 models 目录,映设 excel 设备设计环境变量 g g m l ompenvenor 的 device 为 n p u 运行 lompenvenor colonlight 镜像, 指定上下文长度五百一十二。模型路径 server api 模式,开放接口,启动 rest api 服务,执行 docker run 命令。映设端口八零八零挂在 models 目录,运行 low open veno colon server 镜像测试 api 调用,执行 call 命令,向本地服务发送 post 请求,由于平台限制,完整地址无法显示,需要完整命令,请在频讯区留言。设置 content type 为 application json, 发送包含用户消息的 json 数据。 高清儿注意事项,需要预先下载模型到 models 目录。 gpu 或 npu 需要印刷设备文件。 server 模式仅支持单绘画多种运行方式。 gpu 加速模式推荐,日常使用性能最佳,响应最快。设置环境变量 ggml openvio device 为 gpu dot npu 低功耗模式,适合笔记本,省电、高效、续航更长,需限制上下文长度为五百亿二十二。 server api 模式,开放接口 rest api 服务如下,应用直接调用 gpu 加速模式推荐设置环境变量 g g m l open vein device 为 gpu 设置环境变量 g g m l open vein state for execution 为一。运行对话模式,执行 l m c l 命令。指定模型路径上下文长度一千零二十四。 serve api 模式,开放接口,启动 rest api 服务,执行 llama server 命令。指定模型路径端口八零八零上下文长度一千零二十四。测试 api 调用执行客肉命令,向本地服务发送 pos 请 求,由于平台限制,完整地址无法显示,需要完整命令,请在评论区留言。简化配置技巧,将环境变量写入八十二 c 或系统环境变量,避免每次手动设置遇到问题,如何解决?第一个问题, gpu 无状态执行失败 现象是推理报错或崩溃。解决方法是设置环境变量 g g m l open window stay for ex execution 为一。第二个问题, n p u 内存溢出现象是上下文太大导致失败。解决方法是限制上下文长度为五百一十二或更小。第三个问题,首次运行慢,原因是模型变异需要时间,这是正常的,后续运行会非常快。第四个问题, 多 g p u 选择方法是使用 g p u 点零或 g p u 点一指定设备铁技巧技巧查看详细日制级别三、执行 l m c l e 命令,加上 l v 三参数起用性能分析设置环境变量 g g m l open veno profiling 为一 导出计算图用于调试设置环境变量 g g m l open veno dumbed up siggraph 为一。核心要点总结,你现在可以医用 intel 显卡流畅运行大模型,无需 nvidia two 开放 api 接口如下,应用直接调用三零额外成本利用现有硬件。四、部署 openclhermes agent 等智能体。 五、 cpu gpu npu 灵活切换,按需选择推荐场景日常对话用 gpu 模式,低功耗用 npu 模式,大批量用 cpu 模式。关键命令 ggml opengeno device 等于 gpu 到 ggml opengeno stateful execution 等于一、 上下文长度控制用 c 参数我准备了 windows、 mac、 linux 三个平台的一键安装脚本,有需要的在评论区留言获取一键脚本。如果这个教程对你有帮助,欢迎点赞收藏评论,分享你的使用体验。我是大叔大,专注研究 ai acent 与大模型应用,感谢观看,咱们下期再见。

今天给大家演示怎么搭建 api 中转平台,用的是开源软件牛 api, 在 gitref 可以 下载和部署它的相关说明,这里不过多讲解。先来看一下效果,这个就是我本地搭建好的, 配的是 localhost 三千端口,直接点一下测试,用的是 gpt 五点四,连接成功,证明我们部署成功了。 这个是怎么部署的呢?其实也很简单,先把源代码下载下来,用字节的编程工具把它打开,然后给他发个消息,帮我 docker 启动一下, 然后他就会自己帮你安装部署 docker, 给你启动起来就打开浏览器进行访问,访问后要你配置用户名密码,这些进去之后要做哪些呢?首先我们这里要添加模型,比如这里没有 gpt 五点四这类模型, 你就在这里添加模型,然后点应用更改,就有这个模型了。有了这个模型,然后我们再来配这个渠道管理,渠道管理就添加渠道,比如说你是 open a 的, 比如说我是 codex 的, 就选 codex, 然后这里有个 codex 授权, 你就点打开授权页面,按提示操作就行,它就会跳转,跳载之后你就把链接放在这里生成并填入,这样的话你的 官方的授权区就打通了。打通之后怎么用 a p i 调用呢?你的令牌管理,这里就添加令牌,比如说你需要的令牌名称分组,就是你刚才的渠道的分组, 以及这个令牌可以访问哪些模型,完了后你就可以点击保存,这里就有相关的密钥,当然网址就是 a p i 的 三千端口,你部署在本地,部署在服务器都可以, 所以现在网上流行的中转,基本都是通过 大部分都是用这个软件来中转,你看它里面各种渠道都有。

大家好啊,现在市面上啊,企业接入国内大模型 api 的 渠道特别多,今天我就和大家来总结汇报一下不同渠道的特点。 首先呢是火山引擎的豆包系列和 dbc 系列产品,它们的特点呢就是限流额度最高,基本上是不会打满 tpm 和 rpm 的。 原因是火山之前呢囤了大量的英伟达的显卡,背后的推理集群资源它是非常的充足的。价格方面呢,折扣力度相对呢较小, 如果啊,不是特别大的客户,官方渠道啊最多可以给到七折。火山销售的业绩压力也很大,基本上每个人呢单大的模型业务啊,都是要背至少一千万的业绩。 其次呢是阿里云的千问系列和 dipstick 系列的产品,优点是单价最低,而且呢,阿里云内部最近就在推进大模型相关的业务,千问系列模型的折扣根据用量可以从五折到三折不等。 缺点呢是背后的集群资源相对没那么充足,如果遇到大客户重磅场景,比如呢, b 站跨年晚会资源呢就会更紧俏一些。 百度的大模型目前基本是以代销第三方的 deepsea 和其他模型为主,自家文星一言的直接客户呢,相对少一些,不过百度的折扣政策整体啊还算不错。然后就是各类大模型中转站了,比如呢, ho, ho, api 这类的平台,一般的价格幅度呢比较大, 之后普遍呢是比原厂高很多的,而且部分厂商的模型价格可以做到极低,这种情况一般是采用了逆向账号等等方式,能够保证低价,而且稳定可用。 最后,如果你希望呢,以较低成本接入国内的主流大模型 api, 直接呢?在 hoho api 上面去看看主流和小众大模型啊,都能够找到。

我真的不太建议企业接入大模型 api 的 时候只选一个模型,不是说哪个模型不好,而是大模型这个东西变化太快了。今天你觉得这个模型效果最好,可能过几天另一个模型又降价了,或者新的模型出来了,效果更适合你的业务。 还有一种情况更麻烦,就是你的业务已经跑起来了,结果这个模型突然限流,接口调整,或者某个场景变得很不稳定,那么你就很被动了。 很多老板一开始觉得接一个就够了,省事,但真正做企业项目,不能只看现在好不好用,更重要的是看以后好不好用、好不好换。 比如说文本用一个模型,代码用一个模型,图片、视频又是另外的模型,他们本来就不是一套东西。 所以我的建议是,企业接入 api 前期就要留一个备用方案,主模型负责日常业务,备用模型负责来兜底,后面哪个效果好,价格合适、稳定性强,就可以进行灵活的切换。

首先打开浏览器,输入, h t t p s 冒号斜杠斜杠 c a g r y a i 点 com 进入官网 点击下载, 下载完点击打开文件一录,下一步就行,点击安装, 点击完成并运行。进入 cherry suite 主页,可以看到系统默认有个助手,是个免费的签问,接下来很关键,教大家如何接入 a p i 使用国外大模型。一、点击右上角设置二、点击模型服务的添加。 三、输入供应商名称 四、复制粘贴你的 a p i 密钥和地址,输入账号密码登录,没有的先注册, 进来之后先充值,只需要几块钱可以用很久。然后点击左边的令牌管理,直接复制密钥,没有令牌可以添加一个回到这里复制的密钥。接着去复制 a p i 地址, 直接点击复制,回到 cherry studio 粘贴,点击获取模型列表,可以看到有几十种模型, 我们以最火的 cloud ops 为例,点击加号添加,可以看到模型直接在我们的模型列表了,其他模型也一样,直接点添加就行。接下来可以检测一下模型,试一下有没有通, 可以看到连接成功。接下来回到首页,将千万换成我们的 cloud, 测试一下能否正常对话,节省时间,过程已经跳过 成功不翻墙用上 cloud 了,生成的小游戏也能正常运行。