今天我们要讲的是我踩的一个坑啊,相信大家都会在网上买大模型的 api 嘛,因为在大家都在养龙虾,但是我发现一个问题,就是我们买的 api key, 它说是 opus 的 模型或者 smart 的 模型,但实际上可能真的不是如此,所以我开发了一个工具,大家可以看一下,就是模型的真实身份识别器。 呃,这个是它打开的界面,工具很小,就几兆啊,然后我们双击这个 start model, 这个就可以运行, 这是运行后的界面,这个怎么用呢?这个很简单啊,我们做个私立,这是我在网上买的一个 api key, 然后我们看下它真实的模型是什么,我们把这个 key 填进去,然后 贝斯洛,贝斯洛,不要填这么多啊,填到 v 一 这个地方就好了。然后模型它跟我说是 select, 四点六, 然后我们点一下开始识别, 它速度倒是很快,我们会发八个探针去识别它返回的是什么模型, 可以看到啊。呃,我们的模型 id, 这模型 id 是 他平台上那个选的哈,这模型 id, 这是他实际返回的模型, 看吧,八次都是这个,他实际上不一定是 jimmy, 也有可能是其他的模型啊,这里包括延时测试都有,对吧?这个就给出了评判,当然他这个是比较简单的一个评判方式,如果你觉得不放心,其实这里还有个高级选项,这高级选项怎么用呢? 我们比如说我们填,我们要测的还是这个 select, 我 们现在官网用官网的 apikey 和地址跑一遍识别,这个时候勾选到这个保存本次指纹, 那么我们指纹的文件就会保存到这个位置,那么下次跑的时候我们再用你买的第三方的这个,呃, apikey 接入点,然后进行指纹比对, 勾选进行指纹比对,那么它用这两个比对出来的结果那是最准的,所以可以去跑一下,你现在在第三方买的这个 a p i key 是 不是是真的这个模型? 这个小程序我会打包,到时候放到我的粉丝群里面,粉丝可以自行取用,点关注不迷路。
粉丝79获赞541

cloud code 没有 a p i, 就 像跑车,没加油,再强也跑不起来。今天教你用最低成本合理配置,给他加满燃料。官网二十美元一个月,太贵了,国内 coding plan 只要一折,二十到四十块钱就能搞定。但有个关键点要注意,这些套餐都有每五小时的用量限制。什么意思?就是 每五小时刷新一次额度,还有些有每周限制。如果你像我一样白天上班,晚上集中写代码,那这个限制对你影响很大,可能刚写到信头上,额度没了,要等刷新。所以选套餐要看你自己的使用习惯,分散使用的话,五小时限制影响不大。集中使用的话,要选额度高的套餐。我们不单只是可以用在 open cloud 大 龙虾上,一起使用这个套餐。 a p i 我 整理了七家平台的对比表,大家看图, 价格、用量、模型都在这里,大家按需选择。重点提醒,标称用量是理论上限,高频使用会触发垄断。社区实测每月六百到一千次够用到模型选择,大家可能纠结选哪个?其实真不用纠结,各家的模型能力都差不多, mini max m 二点五,英文语境表现好, p m k 二点五,掌上下文强。 deepsea 性价比高,千问 quan 代码能力强。这些模型在 cloud code 上都能用,差异没你想象那么大。我的建议是先挑便宜的用,不满意再换。所以不用太纠结,先跑起来最重要。省钱秘诀来了,首月优惠可以轮着用,第一个月阿里云百联七点九元。第二个月火山方舟八点九亿元。第三个月 mini max 九点九元。第四个月百度千帆九点九元,四个月只要三十六块钱,平均每月九块钱, 喜欢折腾的朋友还有免费方案,摩达社区,每天两千次免费,英伟达 nim、 老黄的羊毛不限量 pet 上面有专门收集免费模型的仓库, 这些都可以接入 cc switch, 当一个用完会出问题,会自动切到下一个。不过免费的要折腾,适合喜欢折腾的玩家,一般玩家买个包月套餐就够用了,省心。总结一下省钱攻略就是首月优惠轮着用,四个月三十六块免费体验选模搭社区,每天两千次,按需选择,但不要马上买包年包季度的, 因为政策调整太快了,按月购买就可以了。后期觉得模型有能力限制的话,到时候再弄一些中转的,或者买官方的原版再转出来也可以。这个我们后面再说。下一期手把手教配置 a p i 和 cloud code, 用 cc switch 一 键切换,关注我,带你玩转 cloud code, 帮你做任何事。

我做个调查,有多少人知道 api 是 什么?就是普通人当你掌握 api 这个东西之后,其实你会打开新世界的大门, api 你 可以把它简单的理解成接口, 比如说我可以把这个大模型接到很多的不同的工具上,那就是通过我这个 api key 把它接上去的。我先给大家举几个例子, 就比如说我买了智普的这个套餐,那它就会给我很多的算力的额度,比如说你看我最近的已经用了一点五个亿的托肯了,那这里我可以生成很多的我的 api key, 那 我这些 api key 可以 用在什么地方呢? 第一个就是最近非常火的 cloud code 的 这个编程软件,那我这背后也接的是智普的大模型,其实它会比原生的大模型要便宜很多。 那第二个就是呃,小红书,他开源了一个可以呃对话式的去剪视频的这么一个工具,可能还不是一个特别成熟的工具,他先开源出来给大家用,那你看他这里 其实是需要用到算力的。用到大模型的,那我这里其实也接的是我刚刚买的那个套餐,智普的大模型。 再比如说这是一个非常好用的翻译的插件,它的会员费大概一百多五十块,然后你可以选,但是我可以接上我自己的。呃,这个智普的大模型,我就可以用它这个插件调用智普的这个大模型来做翻译,它的效果也非常好。 其实你能够找到大量的免费的开源的工具,但是人家已经免费了,你肯定不能够让别人来让这些开发者来承担你使用的这个的算力的成本,所以你只需要把你的啊一个 apikey, 比如说我买刚买智普的那个套餐,我可以接到 n 个 不同的工具里来去进行使用,包括我身边有一些就呃,专门搞开发的朋友都说说啊,其实我什么什么已经开源了,但是他连这个 apikey 是 什么都 呃不知道,所以就只有让我去帮他去做配置啊什么的,那他这个过程肯定是要收钱的,所以大家呃可以先试着去买一个, 不管是智普、 kimi 或者是火山引擎生成你的 api key, 当然它有很多的免费的额度,生成一个你自己的 api key, 然后你可以把你这个 api key 接到大量的 ai 工具上使用,大大的拓展你能够用的 ai 工具的呃一个范围吧。

这两天看到一个项目啊,挺有意思的,它号称可以让你实现 a p i 自由,本质上其实就是把网页的原生端那些可以免费无限兑换的能力重新分装成一个可以调用的 a p i 接口, 然后再以 a p i key 的 形式提供给你自己使用。这样一来,很多能在网页上部署的像 openai jimmy 和 cloud code codex。 呃,那些网页上 的模型的算理就可以直接接入到你自己的本地,比如 opencloud 小 龙虾 opencloud 以及你自己编程的一个应用小工具,然后可以实现自动化部署。

最近 oppo pro 爆火,很多人想用 a p i, 但又不想花钱买套餐,分享一个英伟达免费 a p i, 零成本就能用。首先打开官网, b o l d, 点 amazia 点 com, 没有账号的用邮箱注册一下,英伟达的网站很卡,实际注册没有这么流畅, 每一步都要等好久。这里选不选都可以,接着随便填个称呼提交,接着点右上角印证手机一个号只能绑一次。接着在首页找到更多模型,进去选择 epi 分 类,再筛选你想要的大模型。这个网站加载有点慢,耐心等一下就行。找到合适的模型,点进去, 点击右上角查看代码,把这三个关键信息复制出来。 base 模型 id 生成的 a p i t, 点击这里生成 a p i t, 然后复制下来。有了这三组数据,直接填进 open call, 就 能免费用上英伟达大模型了。想试水不想花钱的赶紧去试试!

大家好,我是航灾,今天呢我准备给大家介绍一下在迈克迷你上如何来安装欧拉玛,欧拉玛就是最简单的尝试本地大模型的方法之一了啊, 有了欧拉玛呢,我们就可以创建一个本地的大模型,和他进行一些简单的聊天呢,或者是给其他程序啊提供一个免费的 api, 如果你的本地设备足够强大的话呢,你甚至可以给龙虾 open club 啊提供一个靠谱的大圆模型,不过这是一个未来的梦想啊,不知道大家有多少人的设备满足这个需求。 然后呢我们就来开始今天具体的内容。首先呢我们来看一下文档啊,在好用载当中,我们直接左侧这里啊就有一个五三零欧拉玛的安装和使用,我们点击一下, 然后我们点击网盘分享,然后我们继续向下啊,这个里面呢一共三个文件啊,其中呢一个是文档,一会我们说接下来的两个文件呢,是我给大家下载好的客户端啊,一个是 d m g, 也就是 max 上使用的,一个是 ex, 这个呢就是 windows 上使用的啊。然后呢我们来看一下文档, 文档当中呢一共有三部分内容啊,第一部分呢就是欧拉玛的官网,第二部分呢是我们一些具体要使用的内容,第三个呢就是我好用在的官网,大家爱学学用就可以了。然后呢我们先说一下欧拉玛的官网,欧拉玛的官网呢,一共有两个啊,一个呢是它真正的官网,另外一个呢是它 github 的 官网, 我们可以一起来看一下啊,至于命令呢,一会用到的时候一起说,这里呢就是欧拉玛的 github 官网,如果需要什么内容呢,可以直接到 release 这里面来下载啊, 不过我们一般呢直接使用欧拉玛点 com 这个官网就足够了。这个官网当中呢,右上角这里就是登录的,也就是下载点击一下 这个里面呢就可以选择是 mac os 或者是 windows, 然后点击下面的登录的,就可以下载你对应系统的客户端了。我这里呢给大家演示一下 mac 系统当中客户端如何来使用啊。在 mac 系统当中,我们直接双击这个欧拉玛,点 app 直接投入到这个应用文件夹里面就可以了。 好的,这样就可以了啊,接下来呢,我们在应用程序当中找到欧拉玛,然后进行点击,这里就是欧拉玛啊,我们双击 第一次运行的时候呢,它会提醒你一下啊,是从互联网下载的,问你是否要打开,我们直接选择打开,现在呢我们就已经进入到了欧拉玛的主界面啊, 然后呢我给大家说一下它的初步设置和使用。首先呢我们先来设置一下啊,因为只有一步设置非常简单,我们直接上滑啊到最上面的菜单栏,然后呢点击一下欧拉玛这个图标,这是一个小羊驼嘛,然后点击 setting, 也就是设置 这个里面呢,只有一项啊,需要打开,也就是说把欧拉玛暴露到局网,这样的话局网其他设备才能够正常的访问欧拉玛, 比如说你的 windows 系统啊,你的丽江系统啊,如果你想使用这台设备的欧拉玛开通的服务,那么你要把后面那个开关啊,直接点击打开一下,下方刚才也看到了出了一个 c 五,这样呢就已经成功了啊,然后还有一个我们再说一下啊,底部这里还有一个上下文长度,默认呢是四 k, 比如龙虾 open 可乐啊,他就要求一定要十六 k 起步,所以说如果你之后有其他程序需要更大的上下文,你需要在这里呢进行一下调节,只有这么两个选项啊,需要说一下,别的呢就没有了。然后我们把这里啊直接关闭一下, 在接下来使用呢也非常简单啊,在这里你可以选择具体的模型,比如说我们点击一下啊,默认的是这个 g m 三啊, 我们可以不用,我们可以向下选择,比如说啊,我们这里选择一个千万三四币,我们点击一下,然后这里呢你随便打一个字,比如说这里呢打一个你好,然后一回车,如果没有这个模型的话,它就会自动进行下载了,我们稍微等待一下,等待它下载完毕就可以了, 大家可以看到现在这个模型呢就已经下载完毕啊,同时呢他也给出了答复,接下来呢你就可以直接跟你的本地大模型进行对话了,比如说呢,这里我们可以问他啊,你都有什么功能,然后直接回测一下, 因为它是一个思考大模型嘛,它首先呢会进行思考,在思考之后呢才会给你形成一个输出的答案啊,我们还是要稍等一下, 现在呢他就开始进行正式的输出了啊,我们还是要继续等一下。好的,现在呢就已经输出完毕了,这个呢就是你跟本地大模型的一个交流过程啊, 所以说总体使用上啊还是很简单的,接下来呢我再给大家演示一下,你现在已经搭建好了,但是其他的程序如何来使用呢?我们这里呢就以 cherry studio 啊来给大家做一下演示。我们打开 cherry studio 以后呢,这里就有欧拉玛,我们点击欧拉玛之后啊, 我给大家简单的说一下如何来设置啊。首先呢你要填写一下 api 地址,这个 api 地址呢就是你的欧拉玛运行的设备,我这个设备的地址呢就是三幺点二二二,后面的部分呢不要变啊,后面是端口号,再加上一个路径杠为一, 这个呢就是它的一个完整地址,我在文档当中呢也有写。再接下来呢我们就可以添加一个大模型,选择添加,然后呢这里要求你输入模型 id, 我 们看一下这个模型 id 是 多少啊?模型 id 呢就是千问三冒号四 b, 然后我们这里手动输入一下啊,千问三冒号四 b, 然后我们点击添加模型,再接下来呢我们选择检测来看一下效果啊,点击,然后这里默认呢就是千问三冒号四 b 啊,我们点击确定 可以看到连接成功,也就说到这里呢,我们的 cherry studio 啊,已经可以使用我们本地大模型了啊,比如说我们点击这个助手, 然后在最上面这里啊,我们选择一下,这个呢就是我们自己本地的欧拉妈妈,然后就是纤维三四 b, 我 们选择一下,在接下来呢,你就在这里输入聊天信息就可以了,比如说这里啊,你同样输入你好,然后回车可以看到它,同样呢是正常的调用了这个本地大模型, 还是开始思考,然后给你答复,没有什么区别啊,跟刚才我们直接使用欧拉玛本身的客户端呢,效果差不多。好的,这里呢开始答复了,可以看到这个思考模型啊,耗时非常多,二十四点三秒, 到这里呢我们就已经知道如何来安装和使用欧拉玛,同时呢如何和其他的软件来进行对接。整体的使用呢,其实是非常简单的,不过我们如果使用这个存储页面的话啊,它的功能呢还是比较少,但是如果我们使用命令行的话,能管理的内容,同时呢也可以看到更多详细的信息啊, 所以我还是推荐大家学习一些基本的命令行命令啊,这样使用起来呢会更方便。然后呢我们就来看一下啊,命令行都有哪些命令?我这里呢给大家列出了几个常用的命令啊, 前面呢都是奥拉玛这个开头,然后后面第二个呢就是具体的参数,比如说第一个奥拉玛历史,就是列出目前所有已经下载的大模型。第二个呢库就是我们要去拉取某一个大模型啊, 第三个 run 呢就是我们要运行这个大模型,所以说大家如果看头三条命令,如果你之前用刀刃用的比较多的话,你会发现啊,这个命令呢除了前面变成了欧拉玛以外,剩下的部分呢基本都是一样的啊,整体呢还是很好记的。 然后这里呢多加了一个这个沃 boss, 它就可以看更详细的内容,一会呢我给大家演示一下啊。最后呢这有一个 r m, 也就是删除,前面呢我们要说一下如何来进行删除, 然后呢前面我们进行的 run, 也就是运行,后面这里呢我们说了一下如何退出啊,接下来呢我就给大家一点一点的演示一下啊, 首先呢我们这里打开一个终端啊,接下来呢我们就可以一条一条的运行命令了,比如说啊,首先我们看一下欧拉玛 list, 我 们直接复制,然后呢在这里右键粘贴,然后回车 可以看到现在这里面呢我们就有了一个大模型,就是我们刚才下载的千万三四 b, 所以 说如果你使用终端的话啊,你刚才跟别的软件进行对接呢,你都不用手敲这个模型了啊,因为有一些模型啊,它的名称还是比较长的,所以说你直接可以复制一下,直接滑动一下啊,然后就直接复制了,或者是你再右键一下都可以啊,它就直接复制了, 然后到你的软件当中直接粘贴就可以了,这样用起来呢比较方便。这个呢就是历史的作用啊,就可以看到你现在里面有多少个大模型了。然后第二个呢就是铺,它就是用来拉取大模型的,具体拉取的大模型名称呢,就是后面这个啊,但这个名称怎么来的呢?我给大家说一下, 我们打开欧拉玛的官网,然后第二个啊就是 models, 这个就是模型啊,我们点击一下,现在呢我们就来到了模型这个页面,里面呢,就列出了目前所有热度比较高的模型啊,当然你也可以在上面进行搜索,比如说那你直接搜索千问, 可以看到千万所有的模型呢就都列出来了啊,比如说我们选择一下这个千万三点五啊,我们点击一下,然后这里就写了啊,欧拉玛瑙,然后千万三点五,你直接复制,然后在终端中粘贴就可以了。当然啊,如果我们想要别的模型的话,也可以, 因为这里我们向下滑动一下就可以看到啊。如果你刚才直接选择欧拉玛瑙切问三点五默认的呢,它就拉取的是这个九 b 的 模型,因为这个呢是 latest 的, 如果你后面不加这个模型大小的话,默认拉取的就是这个啊。我这里呢给大家说一下我使用的 mac mini 它的使用情况。 mac mini 呢,最多是能跑到十四 b 的 模型,大概跑到十抽根左右吧。十四 b 以下的模型呢,一般都可以跑九 b 呢,是一个相对比较适合的模型。不过如果你跑 open cola 那 种需要十六 k 上下文的,你就跑不了九 b 了,就只能跑四 b 啊,因为上下文呢,同时要消耗一部分内存, 所以说这种最适合的九 b 呢,如果再加上十六 k 的 上下文,它所需要的内存呢就比较大了。我曾经直接把麦克迷你啊直接给跑死机了,它自动重启了啊,在我之前使用麦克迷你的时候,我几乎就没有听到过它的风扇的转动啊, 但是自从我测试 ai 开始啊,麦克迷你风扇呢就会经常听到了,也就是说 ai 啊,对于它的性能压榨呢,还是很严重的。 所以说,如果你需要一个大的上下文,你就只能跑到三点五四 b 了。如果你只使用默认的四 k 上下文,那么你是可以使用到九 b 的 啊,当然如果你不需要很大的上下文,同时你也能够忍受速度的话,你其实呢是可以跑到十四 b 的, 比如说前面有那个 coder 十四 b 嘛,可以跑一下,没问题的, 我们这里呢就以切问三点五四 b 为例啊,给大家看一下,我们直接点击一下后面的复制,然后呢我们回到终端里面来啊,我们直接输入欧拉玛,然后铺,然后直接右键粘贴,然后直接会撤, 稍微等一下呢,他就可以直接去下载了啊,而且这个和刀客一样,刀客我们也可以先铺,然后再 run, 但是如果我们直接 run 的 话,刀客里面如果这个镜像没有,他会先去下载,然后就直接运行了 欧拉玛。同样啊,你可以直接运行欧拉玛 run, 这样的话,如果里面没有这个模型的话,他就会直接先去下载,然后呢就会自动运行了啊,我们稍微等一下可以看到啊,你用命令行下载的话,速度是要比刚才用的那个客户端啊下载速度要快的多,所以说我建议大家啊,尽量呢是用命令行来下载。 好的,这里呢就下载完毕了啊,我们稍微等一下,这个速度是要比刚才的客户端要下载快非常多啊,然后这里我们就可以执行下一条命令啊,就是欧拉玛瑙了,我们直接到这里面来啊,直接复制一下欧拉玛瑙,然后同样啊这个模型的名称,切问三点五四 b 邮件粘贴,然后回车 出现这个符号呢,我们同样啊可以开始跟他正常的对话了,比如说这里同样啊,我们输入你好回车, 同样呢这里又开始正常的输出了啊,没有什么区别,但是这次的速度呢,可以看到啊,快很多。然后如果我们想退出的话啊,就是底部,这里就是给大家说了, 你可以用两种方式来退出,一种呢是 ctrl 加 d, 一 种呢是杠 e x i t, 我 们这里输入一下啊,杠 e x i t, 然后回车,现在呢我们就重新回到命令行终端了,这是第一种方式啊,然后我再给大家说一下啊,你后面加上这个沃 boss 有 什么区别啊?这个是详细的意思,我们直接把这条命令再一起复制一下, 实际上就是在刚才的欧拉玛 run 后面啊,多加了一个参数而已。我们同样啊右键粘贴,然后回车,然后这里呢我多说一句,你都能做什么?然后回车, 这里呢它就开始正常输出了,然后我们稍微等一下啊,可以看到啊,上面就是它的思考过程,下面这里呢就是它具体的输出过程啊,整体的速度呢还是比较快的, 如果你加了 woobos, 在 最后这里呢就可以给你一个整体的输出啊,第一行呢就是它总共的消耗的时间,一共呢花了三十九秒, 然后呢这里有一个加载的时间,也就是把模型加载到内存里面去啊,一共呢是一百一十七毫秒,在下方呢这是一个提示词的数量,也就是刚才我给他发的提示词啊,当然一般里面还包括一些系统提示词,所以说呢,它一共是十三个桃痕啊。 再接下来呢这些提示词的处理,一共花了二百六十五毫秒,再接下来呢,提示词的处理速度是四十九 tock, 接下来呢,就是输出的部分了啊,输出的部分呢,一共输出了六百四十八 tock, 花了三十八秒,相当于呢,每秒是十六点七七的 tock, 大家经常关注的呢,其实是最后这个啊,也就是每秒能输出多少 tock。 所以 说,如果你习惯之后呢命令行的话,你就能看到很多更加详细的信息,而且你习惯之后呢命令行和图形界面那个差距并不大。 而且最主要的是啊,如果我们一般使用本地大模型的话,一般也不会用它这个客户端也不会用这个命令行啊,因为都是我们要通过其他的程序来进行调用。这部分呢,主要是用来检查一些信息啊,比如说某一个大模型,它是否速度足够快啊, 这一次呢,我们直接摁 ctrl 加 d 啊,同样也是直接退出了。有的同学可能会问,你为什么用 mac 来演示,你为什么不用 windows 来演示呢? 就是因为我 mac 这个核显啊,本身还算是可以跑,大模型呢,还是能跑的动的啊。如果我用 windows 的 核显来跑的话,我那个是十一代的 a u c, 它的核显啊,也就只能跑动二 b 的 模型,而且速度呢,还挺慢啊。 所以说,如果你还想用 n s 来跑的话,如果你没有一个好的显卡的话呢,那个速度啊,就会更慢了。如果大模型太小的话,智商实在是太低,我觉得四 b 啊已经是底线了。 再向下我觉得只能在手机上回答一些简单的问题,还可以,在电脑上呢,已经不适合了,欧拉玛呢是一个入门的好程序,但是它并不是 mac 上使用最好的一个程序啊。后面呢,我还会给大家介绍其他的程序,如果你对这方面内容比较感兴趣的话啊,可以持续关注 上面这里呢,也已经把所有的命令都介绍完了。最后这里呢,就是刚才给大家提过的啊,你需要在其他程序上调用的时候需要写的地址,你只需要把里面的 ip 换成你自己设备的 ip 就 可以了。 好的,这就是本期视频的全部内容,如果你觉得这期视频对你有帮助的话,欢迎点赞评论转发,一键三连,当然也别忘了关注我们,下次见!

还有人不知道怎么免费使用新发布的咪莫大模型,我们可以看到两个新模型的表现是在第一梯队的, 并且和 oppo 四其实非常接近了,官方发布的时候说可以免费使用首周,但是我看还有很多人不知道怎么去用。那我们可以看到在这五个框架下面是本周是可以免费使用的。但是很多人在 opencloud 里直接加小米的 api, 发现是要扣费的。 我们只需要在 open router 里面注册一个账户,得到我们自己的这个 api k, 然后我们把我们自己的 api k 复制下来, 到自己的终端里配置一下,就可以免费使用了。我们可以直接输入这样一段提示词,帮我配置模型。用 open router 的 demo vr pro 到它模型的链接,还有自己的 api, 让小龙虾可以自己帮你把模型给给配置进来。 配置进来之后,我们在 model 切换里面就可以去选择 ro 的 模型。你好, 你是什么模型?可以看到他已经成功的使用了小米的 vr pro 的 模型了。好,下面我们来跑几个案例,看看它的效果如何。测试的过程中,我发现咪蒙的这个网站的前端做的非常的简练有趣, 所以我准备尝试测试一下用咪蒙可不可以也做一个同样的网站,直接用这个提示词让咪蒙去复制他们的网站,并且宣传自己的大模型。 好了,复刻的网站出来了,我们可以看到他很快可以复制出来一个百分之八九十相似的网站,同样也是有动效的布局,基本上是完整保持了设计理念。我下载了一张速七的照片,给了这样一段提示词,让他用这个照片为素材,制作一个赛车的游戏, 我们看看密密模型能做成什么样,他自己写完并且跳出来的。这个游戏名叫小米速七狂飙,我们只需要左右移动加速就可以玩了。 点开这游戏,它是一个纯三 d 的 游戏,但是它这个游戏其实有 bug, 它一次只能变两个车道,并不能停在中间的车道,有点类似寺庙逃亡,还是非常丝滑的。我们来测试一下它的前端的性能,给这样一组的提示词,让它写一个浏览器的操作系统, 它已经跑完了。打开链接可以看到它的背景是闪烁的星空,这边有一个时间,但稍微有点丑。它有一个菜单,里面有备用的应用, 第一个是记事本,随便打一些字,但是没有保存。下一个是计算器,我们算一下九乘六等于五四,这个倒是对的。还有一个贪吃车游戏,但是这个难度是稍微有点高的,他在打砖快,他移动速度也是比较慢,但整体的配色还有这个 ui, 我 还是觉得挺不错的。下一个是天气哈尔滨, 看一下区域宠物点击宠物互动,但宠物在哪里?它的前端虽然完成的比较好,但可能具体的这些应用还是多多少少都是有些 bug。 总结一下,这个模型总体来说确实技能是在现在的第一梯队, 甚至接近于 ludo pos 的 水平,这点是没得说的。但目前看收费是比较高的。虽然说现在开了一周的免费的体验,但是还是希望小米早点出自己的固定 play, 让大家可以更实惠的把这个模型用起来。

这不是教你实现 ar 智能化交易第三课,今天给大家讲一下 ar 大 模型 api 的 一个介绍。 呃,那首先我们就是以那个 deepsit 为例,讲一下这个什么是 ar 的 一个 api 啊? api 全称叫做 应用程序接口,就是说我们在使用量化交易的时候怎么去调用 dsp, 怎么去调用 dsp? 它是有一定的一个格式啊,包括要使用一些啊 api 啊才能去使用它, 那它跟网页版有什么区别呢?那网页版其实就是说啊,就是我们平常跟 dsp 在 那个电脑或者手机端直接去跟它互动的那个界面,那 你不是个 api 嘞? api 就是 说我们程序在使用它的时候怎么去啊?调用它的一个功能,把数据传给他,但是这个是我们看不到的,它是里面的一个自己的一个互动的一个机制 啊,我们看不到的,你不可能叫程序到你的网页版去操作,对吧?啊?除了现在的小龙虾,他也他可以这样去做,那我们的程序是不不可以这么做的啊?那要使用的话就必须使用 api 接口去调用 啊,然后呢,等一下去讲一下啊,怎么去啊?获取这个 a p r 一 些文档啊,或者是怎么注册这个 a p r k, 然后呢再去解释一下这个 a p r 的 一些代码啊,我们直接进入 deepstack 的 一个官网, 那这是 dbc 官网,那么我们呃打开以后,这里有一个开始对话,就是我们平常跟 dbc 对 话的一个窗口啊,点进去是这样的,对吧?啊?这个大家都很熟悉, 那右边有一个 api 开放平台,那我们在使用程序调用的时候,就点进去看它是怎么去调用这个 api 的 啊?点进去啊,这是我自己的一个 用量的一个费用啊,我一天用不了多少钱,因为我这个调用的频率比较低啊,一个小时调用一次,所以一天就就花个一块两块钱啊,一块两块钱,那有些时候高的话呢,可能就是, 呃,做回测的时候可能比较高一点啊,花不了多少钱啊?这个当然呢,主要是看你这个呃是是怎么样一个频率去调用它的,那你像如果说用小龙虾的话,那个费用就会高很多了啊。我们看一下这个下面有个接口文档, 那首次调用 api, 它会有一个说明。怎么去调用它?我们先看下这个 deepsea api 使用与 open a r 金融的 api 格式啊。 open a r 是 什么? open a r 就是 发明啊,全是 gpt 的 那个公司,也就是第一个 呃,发发明 ar 的 一个公司,所以后面基本上所谓的这种 ar 大 模型使用的 api 调用格式都是根据他这个来的啊,根据他这个来的,当然还有其他的一些调用格式啊,那这个是最简单最方便的,大家最熟悉的。 这下面啊,一个贝斯 u i l 啊,一个 aprk, 那 贝斯 u i l 不 同的 ar 模型,它的使用的地址就不一样,那其他格式都一样的,它可能这个地方你就改一下了,那 aprk 也是要改了, aprk 等一下我。 呃,咱们等一下再讲一下怎么去申请 aprk。 那 aprk 呢?它是一串代码,那也是确定你身份的 一个标志,但是根据 a p r k 呢,它可以啊,来算你的一个用量,一个 tok 的 用量。那 call tok 又是啥嘞?我们现在说听到说,哎呀,用 tok tok, tok 的 话,我们简单的可以理解为汉字的话,它是一个汉字,一个 tok 啊,有些时候它是一个词一个 tok, 具体的话是看他这个分词器怎么分的,我们简单理解为就是一个字一个头肯啊,一个字一个头肯,那你花了多少钱,就是他帮你你生成了多少个字啊?以及你输入了多少个字,他就是花钱就根据这个用量来进行一个计算的 啊。看下面啊,下面有个 deep secret, 那 它是两个版本,那恰恰就是非思考模式啊,可以看到它恰恰 deep secret 对 应的是二点零的非思考模式,那瑞瑞呢?对应的就是那个思考模式,思考模式就是我们在用那个网页版呢。啊,我,我回答你 啊,这个地方你如果点了这个,它就思考模式了,你不点它,它就是非思考模式了,但它这里有个智能搜索,它可以联网的,那我们调用 a p r, 它是不能联网的啊,调用是不能联网的啊,我们回到 那调用 a p r, 我 们用的是拍摄语言啊,拍摄语言,所以我们点这个位置啊,点拍摄, 哎,这是一个导入一个 os 的 一个库啊,那是这个,它这个作用是干嘛呢?主要是你看 它是从环境变量获取你的 api k 啊,这个的意思是从环境环境变量获取 api k, 那 很多时候我们会把 api k 为了安全起见,会把它设置到我们这个 电脑的系统的一个环境变量里面去,那在程序里面就看不到了,以免就是程序泄露的时候把你的 api 也泄露了,对吧?那我们前期用的话就就就不用,不用搞那么麻烦啊,你到时候直接在这个后面写啊,等于,呃,这一张就好了啊。 api 等于这张就好了 啊。前面这个,这这这些都不用写了啊,括号也不用写了啊。贝斯 u i l 啊,就是这个是 deepsea 的 api 地址,那这个地方就不要动它,不要动它 啊,这个,这个 from open ai input 的, open ai 就是 导入一个 open ai 的 一个库,就是因为它这个 用的都是 open ai 协议, open ai 协议,所以说你这个要把库导入啊,到时候以后讲那个 python 的 时候,到时候讲一下啊,那你导入它以后就按它的格式,按 open ai 协议的一个格式去去写它就好了 啊。这下面啊,这是一个固定的啊。 class 是 这个地方的啊这是这是固定的它的一个方法啊,这个这个不要动默的啊,我们这个地方点,这不是一个卡子这不是个卡子 啊,不要用 leader 了啊,为什么不要用 leader 了? leader 了,他这个主要是用来推理的,那推理的话呢?我们其实在做交易的时候其实用不上太多的一个数学的一个推理的东西, 嗯,而且它太花费掏坑了太花费掏坑了,它会给你分析一堆分析来分析去,而且我试过,我试过,没什么多大用啊,直接用 excel 就 好了,好吧。然后 message 啊,这个也是我们重点的一个地方。 message 参数的话呢 啊,这个是叫角色,角色系统啊,一个角色是 user 用户,那系统的空投的就是是提示词,那系统提示词呢? 这个地方我们最好是定义一下,他这是英文,我们可以写中文啊,我们可以定义他的角色。很多时候我们这个啊,可以在网上也看到一些,就是说我们在跟那个 deepsea 互动的时候,要先给他一个角色,比如说假如你是什么什么什么,对吧?然后呢,你再把要问的东西问发给他,他再回答为什么要给他定义角色。这样子定义角色以后呢,他才会以精准的缩小自己的范围,精准的回答你的问题,回答东西更专业, 对吧?你不同的角色他回答内容是不一样的。打个比方啊,这小孩今天考试得了零分, 那假如这个得了零分,告诉这个消息是告诉老爸,那老爸就是兔崽子他妈,老子搞死打死你,对吧?那如果这个你得了零分,你这个告诉的是一个朋友,那朋友就说,嗯,没事,我也是零分,对吧?没事,下次咱们继续。那如果告诉这个老师又是另外的回答, 所以说不同的角色他回答的内容可能不一样,所以我们在做这个 ai。 呃,智能化交易的时候,你最好是 告诉他你是一位量化交易专家,或者是你是个股票量化交易专家,然后呢?你擅长干嘛干嘛?然后要实现什么样的功能?你先给他一个确定的一个角色,选角色, 那以后我们就不需要在在这个 user 的 提示词里面去写了,还告诉他你是个角色啊,你在这里直接写好啊,把它定死。那后面你就这个地方的提示词,你这就直接问他内容,问他内容啊,把数据给他就好了啊。 啊,这个地方很重要,那这个地方的提示词是非常重要的啊,就用户提示词非常重要,你最后会得到什么样的结果跟你提示词是非常非常影响是非常大的啊,这个肯定是慢慢是自己需要去优化的 啊,这个地方啊,是均等方式啊,这个是均就是啊,非流逝啊,如果是去就是流逝啊,那我们 做程序化交易的时候是不需要流逝的,不需要流逝的,我们分流逝 boss 就 好了。为什么?那流逝是什么呢?就是说他。呃,深层一点内容就发给你,深层一点内容发给你,那我们在网页版跟 dvd 交互的时候,那可以 发一点,我看一点,发一点我看一点。那你程序交互的时候是没必要的,它是一次性给你,对吧?一次性给到程序,程序再去做回应啊,这个是这个意思,那这一段啊不论的是打印,那打印什么呢? 最后这这一段打印的这个内容就是指 deepsea 的 回答的内容,就是我们网页交互的时候你看到了它给的内容啊, 那前面的就是不要动啊,他他是指指到了某一个字段,某一个字段这里面的内容,他就是指回答内容啊。好了,应该讲的也差不多了,这个很清楚了啊。啊?我们现在返回一下, 返回一下看一下。这个 a p r k 在 哪里啊?啊?这里还有一些其他的参数啊, top 用量啊,这个它可能有最大 top 数啊。呃,还有这个温度啊,这个我看一下下,下次再讲一下。 好,我们看一下 a p r k a p r k。 啊,这个地方可以直接创建啊。直接创建?那我这个是每一个程序我是创建了一个 a p r k 啊,如果我这个程序不用了,我就可能就直接把它删掉了, 这把商家为了安全起见,你点创建这里输个名字啊,比如说你是用于 ai 交易的,你直接在这里输个名字,对吧? 啊啊,然后这一段你把它复制起来,好吧,你把它复制,然后呢?用电脑存起来保存好,因为以后就不见了,以后就没有了啊,你除非你删了它,你重新再创建一个也可以啊。以后 啊,你看啊,列表中设置的全部 api k, api k 仅在创建时可见,可复制,请妥上保。请妥上保管保存,不要和他人共享你的 api k, 因为你这个暴露的话,别人用你的就就是钱了,就是钱了 啊。这个是 dsp 官网的一个 a p r 调用,以及这个 a p r k 的 一个创建。那除了 dsp 官网,其他地方也没用啊,可以有用的啊,有有地方可以调用的啊,有个两个地方,一个叫做摩达摩达平台,一个叫做阿里百炼,就是阿里云的啊, 那为什么我要介绍这两个呢?因为它这两个有免费用的,对吧? dsp 它这个官网是没有免费用的。我们先进入摩达 啊,摩达,这是摩达,那摩达它其实有很多的模型啊,很多的模型,那不单单只有 deepsea, 那 我们搜索一下 deepsea 啊,版本的话我们用微闪点啊, 摩搭的话,它是每天都有两千次的一个免费调用的额度啊,但不是只针对这一个模型,它是所有的模型加起来两千次。那单个的模型有多少次它是不确定的啊?不确定的,可能一百次,可能两百次, 它有很多,它包括图片啊,包括有没有视频,我的图片我是用过图片生成的模型,千万的一些图片生成的模型,哎,各种各样的模型,它模型库里面可能好有几百个,上千个啊,都可以去免费去用,直接调用的。那在这个右边 哎,一个我朋友的一个范例,这也是 a p r 调用的范例。这个地方还是不要动啊。 啊,我们看到啊,其实这个跟刚刚我们在 d f d f c 的 光我看到的是一样的,原理是那这个都一样的,你看,首先它要导入这个库, open i 的 库,然后这个写法也是一样的啊,对吧?生成一个 open i 的 一个实体啊,这个是这个地址,你就要改成摩达的, 这个地址是摩达的,看到没有?那这个 a p r k 你 要改成摩达的,改成摩达的这个这个地方,这一段它是指 in lab 四 control, 等于就是指使用的是推理模型,那我们其实正常人就不用用推理模型。这个地方其实我们这段可以不写的啊,也可以把它写成 force 也行啊,这里是固定的,不要动它 这个地方啊,刚刚那个是 deep sleep chat, 对 吧? deep sleep, 刚刚我们官网是 deep sleep 啊,杠 chat。 这个地方你就要填入这个东西啊,填入这里 啊, mess messages, 这里是只要用户的一个啊,一个角色,它没有系统的角色啊,其实我们要把那个系统角色也写上去啊,你就用官网那个,你在这个地方加上一个 lo, 然后 啊加上一个 lo, 等于啊,冒号 system 啊,记得有引号啊,然后 contact 啊,把它是什么角色写上去啊,写上去。 呃,这里时时间等,就这里,我们用 force 啊,刚刚讲了啊,我们要用非流式啊,这个时间说的就是这一段,这一段就这段可以不要了啊,可以不要了,因为我们不用书啊,可以不要。嗯 哦,当这个 force, 这个跟跟着来,这个这个。哦,搞错了啊,这是开始流逝返回,我们把它不用流逝返回,刚刚讲了流逝返回,它就是一个字一个字的给你,发给你,我们是要一段整的,最后就是它思考生成完了全部给我们一次性给我们,好 哦。啊对,就这里啊,这里等 force 以后啊,一一样的啊,这里有一段,因为这个地方它是 q, 所以呢它会有一个推理的内容, 推理的内容大家就是用第五十个推理的时候,他前面不是会有一段会有一段话吗?一段话他自己在这里推理完了,他就自己隐藏了啊,就是那一段话, 那最后回答的内容是这一段啊,是这个,把这个给他,到时候啊这就回答了内容啊,这个跟那个是一样的啊,因为他用的协议都是这个,所以他都是一样的,他的格式都是一样的 啊。这个是摩达摩达,大家注册以后一样的,他有 a p r k 啊,有 a p r k, 他 这个叫托克啊,那摩达托克也是一个意思啊,那注册完以后他也是可以免费用的,可以免费用的 啊,至于他这个里面有个有些限制啊,一个是他的次数限制,每天的次数限制,第二个他使用的频率限制,他如果你频率使用太高掉免费的就是这样的。 好,那除了魔搭免费的用,还有一个就是给大家介绍一个就是阿里百联,阿里百联叫阿里巴巴的 阿里百联啊,你们搜索到阿里百联以后呢?它这个模型,全国模型, 全部模型啊,这个地方我们搜一下,它也有很多模型啊,其他模型可以用啊,你自己喜欢哪个就用哪个,其实现在的模型都相差不大了。 好,这个地方我们进去一下,这是阿里自贡的啊,因为它这个是 deepsea, 它是一个开源的, 它会有免费额度的。那免费额度,它这个免费的话是新用户注册,好像是前三个月它会会有免费额度的啊,具体怎么免费的,大家试一下啊。我也不确定 前三个月它是有免费的啊,它频率也没有限制,大家也去测一下,如果说反正你如果说你试一下能达到你的要求,你就用免费的啊,用免费的 啊,这里面下面有个 oppo r 金融的一个代码啊,那也是拍摄,那这里可以获取 api k, 你 点这里,你要你要去注册啊,注册一样啊,获取 api k 啊,看到没有啊?这里一样的啊, oppo r 啊,这个格式也是一样的。这个地方啊,我跟你说一下这个位置啊,它这个加入一个 os 库,就是是从环境变量。哎,刚刚我是不是讲过 啊?我讲过了啊,不讲啊,这个 k 写进去这个地址,那不一样了,又不一样了,对吧? 又不一样了。这个地方啊,填这个啊,模型的一个,呃,代码填这里啊。 啊? message 它是写到这里来了,是写在下面,把这个整个放在下面,可以,它也只写了这个用户端的。我们我是建议这个在这个角色系统角色也要去点一下它的这个提示词啊,这个是 q 啊,这个我们,我们是用 force 的, 这个也是 force, 有 force 的。 好了,它这个是 q, 所以 所以下面的内容就不用看了。好了,今天就讲了这么多了,那下节课给大家讲一下这个,呃, deepsea api 跟那个 ai 交易程序之间的一个互动啊,到时也给大家演示一下。

家人们最近收到超多私信,很多朋友说之前用 cloud 的 时候踩了不少坑,要么官方注册门槛高,要么正常使用过程中账号容易出现异常。一直问我有没有稳定合规 the cloud 官方 api 接入方案必须安排, 今天这条视频手把手教大家零门槛快速上手,全程步骤清晰,看完就能直接用。首先第一步,咱们打开对应的合规 api 服务平台, 进入首页后,先点开模型广场,在这里就能看到全系列的 crood 官方模型,选择非常丰富。咱们先完成简单的注册登录,登录成功后直接进入控制台,找到令牌管理这一栏,点击创建新的令牌,令牌名称可以自定义 使用期限和额度,根据自己的需求设置就可以访问限制,不用勾选。提交保存之后复制深沉的密钥,这一步一定要保存好,切勿泄露。接下来给大家讲问的最多的 code, code 的 api 配置方法一步都别落!首先咱们先下载 cc switch 工具, 这个工具是专门用来做第三方的 api 合规适配登录的。下载完成后,打开选择,添加供应商,点击统一供应商选项, 这里的 api 地址,咱们回到刚才的平台首页,复制官网的主域名地址,粘贴过来。 apikey 就 添咱们刚才复制好的令牌密钥, 官网地址,同样粘贴刚才的平台主域名。咱们回到平台的模型广场, 复制你想用的模型全称,粘贴过来,点击保存。保存完成后返回主页,点击起用,接着打开终端,输入 cloud, 按下回车,选择第一个选项,再按回车, 就能成功进入 cloud code 的 操作界面了,咱们现场测试一下看,已经成功响应,完全可以正常使用了。我是梦花寻影,关注我,解锁更多 ai 技巧。

你是否认为大模型 a p r 一个月销几千上万?崩溃?这款聚合平台的出现,将彻底打破创作者的成本噩梦,消费记录可追寻单次结算,告别会员成本和 token 焦虑。 内置市面上所有热门大模型, ai 慢剪、音频创作、文案生成、设计绘图,一个平台搞定, 即将更新 open pillow 龙虾机器人,不需要任何技术基础,全中文界面,内置二十家全球顶级大模型,部署完自动对接平台通道, 开箱即用,多模型融合协助创作,真正实现降本增效。同时让所有模型一起工作,再筛选最好的方案。更炸裂的来了,所有模型都提供提示词技巧, 提高小白成功率,把成本控制到极致。内置灵感广场,简直是设计从业者的天堂,成千上万的 ai 设计素材免费使用,一键获取提示词, 获取后再根据自己的需求进行微调即可。需要工具的评论区打出一百一十一,主播看见都会回复,现在还能领取免费算力,不想在 ai 时代落后的伙伴要抓紧了!

大家好啊,现在市面上企业接入国内大模型 a p i 的 渠道特别多,那我今天就和大家汇报总结一下不同渠道的特点。首先呢是火山引擎的豆包系列和 deepsea 系列产品, 那他们的特点是限流的额度最高,基本上不会打满他们的 tpm 和 rpm。 原因是因为火山之前囤了很多英伟达的卡, 所以它背后的推理集群资源特别充足。那价格上呢,它的折扣力度相对比较小,如果不是特别大的客户的话,官方渠道最多是给七折,火山销售的业绩压力也很大,基本上每个人单单大模型都要背至少一千万的业绩。 其次呢是阿里云的千位系列和 deepsea 系列产品,那它的优点是单价最低,而且阿里云内部最近在打大模型战役, 千万系列模型的折扣根据用量呢,从五折到三折不等。但是缺点呢是背后的集群资源相对来说没有那么充足,如果遇到大客户重保的话,比如说 b 站跨年晚会,那资源就会更紧俏一些。 百度的大模型呢,目前基本上是卖三方的 deepsea 和其他模型为主,他们自己家的文心妍用的客户相对少一些,但是百度的折扣政策一般来说是还不错的。然后就是各种各样的大模型中转站了,比如说三零二点、 ai 云雾、 api 等等的平台, 这些平台的价格浮动会比较大,而且折扣普遍会比原厂高一些。但是有些厂商的模型可以做到特别低的价格,这种情况下呢,一般是做了逆向账号之类的方式,他们能够保证低价,但是不保证可用性。最后呢,如果您希望低价进入国内主流的大模型 api, 可以 后台私信我,我有靠谱的渠道。

openclo 安装好了,如何让他开口说话? openclo 本身是免费的,但是你需要给他接入模型 a p i, 这部分通常需要一定支出。 目前官方支持的模型供应商有这些,其中这部分直接提供面向中国大陆的站点。如果你购买的是来自他们的服务,对接起来将会非常方便。 当前主流的计费形式有两种,包月套餐和按量计费。选择你中意的,随后前往 openclock 中。认证接入主要有以下两种认证方式,部分厂商可能会提供第三种认证,但需注意此处的 token 与计费 token 不 同。 认证方式中如有 cn 或 china 字样,我们优先选择。如果你的厂商不在官方直接接入列表中,也不必担心,只要它是 open ai 或 anastropic 兼容的,都可以接入。 我们只需选择 custom provider, 随后填入这四样信息,它们都可以在你的模型供应商处轻松获得。 至此,你已掌握如何给 openclaw 进入大模型,赶紧去和你的龙虾机器人对话吧!

自从我拍视频以后啊,经常会有人问我,那他们的电脑怎么怎么样,能够部署什么什么样的本地模型,就说不再依赖于网上的 a p i 去使用自己的小龙虾呀,或者自己去跑一些本地的推理啊等等等等。那现在呢,我就给大家推荐一个开源的一个工具,叫 l a m fit, 那 它作为一个终端工具,它可以根据系统的内存, cpu, gpu 去调整,去 判断你的电脑适合什么什么样的 l m 模型。那可以检测你的硬件,包括在质量,速度还有上下文等等维度对它进行评分,最终会做出一个评分的数字,那告诉你说你最适合什么什么样的模型,就比如说我现在的这个电脑, 我就安装了这个工具,那可以看到我这个电脑是一个装载着 apple m 四芯片的一个 macbook, 那 它拥有十六 gb 的 这个通用的内存,那对于它推荐的模型可以看到最高分,最高分九十三分,就是这个 score, score 这里最高分, 他推荐的是一个 deepsafe 的 模型,那下面还有千问啊,还有这个 minisoft 等等等等很多的模型厂家,那大家呢就可以根据这个评分去选择自己需要的一个模型,这里包括还有模型的参数量,那这个是十五十五,十五点七币,那这还有二十三点八币等等等等等。

等了接近一个月左右的时间,我新买的那个迷你东西到了啊,然后接下来我要用它跑一些本地模型,现在大家看一下整个一个流程。先看一下配置,我这个芯片是 m 四 pro 的 apple 芯片,然后内存的话是六十四 g 的。 我用的推理框架呢,是这个这个小企鹅的这个 o m l x, 它是一个针对苹果芯片专门做了优化的一个推理框架。嗯,可以在 github 的 开源仓库里面找到它, 然后你可以去找他最新的一个安装包,直接把这个程序下载下来。那我现在我启动它,这里是因为我已经配置了端口和 api 密钥,所以正跳过了一步,正常的话会有一个配端口和密钥的一个过程, 配置好之后可以在这个上面能找到它。我先把这个服务提起来,可以看到 o m x server is starting。 稍等一下,好,提起来了,那这个有个 admin panel 可以 进入到这个管理后台。 在这个管理后台里面,呃,我们首先能够看到的是一个仪表盘,这里面包括你总共用了这个 token, 然后包括这个命中缓存的这个 token, 这就是它所做的这样一个优化。 这个命中缓存的 token 呢,能够极大程度上提升整体的一个推理数率。 我这边现在把 token 全部清除掉了,正常的话会把你所用的 token 全部记录下来。 然后我们选到模型这边有一个下载器,刚开始这个管理器是所有的模型一个列表,正常我们先到下载器这边选择 hugging face, 然后这里有一个模型的列表, 它是会根据你系统的一个情况来给你推荐合适的模型,那我是一个六十四 g 内存的一个系统,它会给我推荐这样一个配置,这有个仅 m l x, 我 们把它勾选去掉。 呃,我一开始是下载了这个千万三点五二十七比特四点六 oppo 十的这样一个帧率模型, 但实际上它也提示过了内存偏紧,我正在用的时候发现根本是用不了的,虽然它这里大小只是五十一点七 g, 对 吧?然后我这边设置模型,设置全机设置。 我先设置这里啊,在这里有一个内存限制总量,然后我这边设的是百分之九十七,这样有个六十二 g 的 可用的内存。 然后内存限制是针对模型的,我这里设的是百分之百,但其实可用的也只有五十六 g, 对 吧?所以这个五十一点七 g 的 模型跑起来还是非常勉强的, 实际上我根本就没有把它跑起来。首先我们点下载,下载会在最下面有一个,下载了一个进度条,这个下载还是比较慢的, 整个把它下载也可以啊。还有一种下载方法,因为他这边的一个进度条特别不明显,比如说我随便点一个给大家示范一下,点一个我也没有下载过的模型, ok, 它这个进度条特别不明显,看不到数据,然后整个网速又非常的慢,那就非常的让人难受啊。这个时候我们有一个什么办法呢?比如说这个模型,对吧?把它名字拷下来,直接去 hugenface 下载 这个。 然后我们要看一下我们现在这个模型存在哪。这边我网络有点慢,在设置里面可以看到模型的一个目录,现在我去找到这个目录,在 finder, 然后用户, 然后正常这里面是不显示一些隐藏的文件夹,我们按住 command shift 加点,把它显示出来,然后这里面点 o m l x 呢?就是我们的这个推理框架,这个模型存在这个 models 里面, 这是我现在的这几个模型,然后这个 ctrl o c r two, 这个应该是我们刚刚正在下的,对吧?所以其实我们看到它下载的模型是在这个 models 里面的。好,现在我把这个模型停下来, 我不想下载这个模型,好,我把它删了。 ok, 假如说我们嫌它在这下载的太慢,那我就可以去 hackinface 把它仓库地址直接 get the clone 下来, get the clone 到本地之后, 再把这个模型的文件夹直接拷到这里面来,就可以正常使用了。呃,我的这个千万三点五二七 b 的 这个模型就是这么子下下来了,下载完了之后直接把它拷过来。 ok, 现在我们试着用一下,然后这个模型,我如果选择原始的模型,我给他发一句,你好, 因为我们刚刚看到我们实际模型可用的内存只有五十六个 g, 然后它这个模型跑起来是需要五十二个 g 的, 实际上我跑下来发现,呃,根本 没办法让它跑起来。好,报错了, arrow network, arrow, 这个我不知道为什么报这个错误啊,但其实很有可能就是内存不够所导致的。 现在先不管它,我切换一下,我们是有办法的,不是没有办法使用它。在这个模型下载器旁边有一个 o q 量化的这样一个选项,在这个量化选项里面呢,我们可以选择我们现在这个原来的五十二 g 的 这样一个内存 的模型去给他做一个量化,然后这里面有不同的量化级别,每个量化级别所产生出来的模型大小的尺寸是不一样的。 这里选到一个 q 八是因为我这边可以看到产出的二十七点五 g, 我 这明显就可以使用了,所以我选到了一个最高的 q 八的战队级别,这边级别越小的话,这个量化的出来的尺寸更小,点击开始, 呃,点击开始就可以看到量化队列里面会有这样一个进度条,在这个过程中呢,你的 mac mini 会跑起来,你能够听到那个风扇嗡嗡的转起来, ok, 我 这个就不等了,我把它去掉,因为我已经有一个量化的 q 八的这样一个模型, 好,我把它删掉。 ok, 量化完成了之后呢,会在管理器这边模型,管理器可以看到量化好后的模型,我量化这个 q 八大概用了十分钟左右, 然后我现在选到这个 q 八的模型啊,设置模型,设置,然后把它激活, 我现在给它设成了一个默认的模型,而且呢把它的这个地方有一个聊天模板的一个参数可以添加,然后我刚刚是添加了一个 enable syncing 的 这样一个选项, 这个地方呢做的不是很好,这里面选择一个 force, 就是 不要让它去思考,避免它生成的太慢,它会过多的思考,导致产出的速度非常低,然后保存一下就可以了,这样现在是一个已加载的一个状态, 那我就跟大家聊天再试一下,你好 好,终于出来了, 这个过程大概等了三到五秒的样子啊, ok, 六秒,实际思考用到六秒,然后这是他的一个回复,你是什么模型? ok, 这是我们平常正常使用的这样一个效果。然后这里还给大家安利一个输入法,因为我们在做一些复杂任务的时候,可能会需要输入大量的一个提示词, 然后我就装了这样一个软件来通过语音快速输入,这个叫做智普 ai 输入法,大家可以去搜一下智普 ai 输入法,然后这里面可以去设置一个快捷键啊,选中它,然后按下你的键盘上的键, 对吧?然后我这里用的是一个右边的 ctrl, 那 这就是我的一个快捷键,配置了这样一个快捷键之后,我就可以使用它了,比如说我要在这个里面去用我的语音输入,选中,对吧?然后按住右 ctrl, 可以 看到这个屏幕下方有一个开始说话的这样一个标识,这个时候呢,字谱就开始识别我的语音,并把它转成文本输入进去了, 对吧?这是我放手之后的效果,它的语音识别还是挺准的,而且这个逗号啊,句号啊,标点这个符号都打的挺好的,这就极大程度上提高了我们的输入效率。 他这个地方甚至还有一个功能叫做节省时间,我这个也就装了没两天啊,他告诉我已经节省了我十一分钟了,这我用一个月,一年下来,那还了得,对吧?还是挺方便的,挺好用的。 那么我们现在问他一个复杂一点的问题,试一下 o m l x 框架对于苹果芯片做了哪些优化? 发出去看一下。 嗯,现在这个 token 的 生成速度还是偏慢的啊, 可能我要换更小的这样一个量化模型,会让它的速度有一个提升。 ok, 可以 看到内存的优化,计算单元的优化,然后看不太懂,不用管了,反正能用就行,对于我们来说, 嗯,但是它这里面知识库应该是有问题的,这个不是苹果公司做的,还是略微偏慢呢,整体的这个速度 ok, 基本上这就是我们的这样一个使用的流程。 然后呢,在这个仪表盘里面我们可以看一下,这个是我们刚刚总处理了一个特别数量, 然后他提示词处理,大概是二十三点二 tokins 每秒,然后每秒生成八点六个 tokins, 这大概也就是两三个字吧,两三个中文汉字,然后这边还有个机准,我们去看一下, 看一下他的一个机准测试表现怎么样。 ok, 跑完了,我们来看一下效果怎么样啊?还是这个 q 八的一个量化了, 然后这个里面幺零二四指的是提示词的一个输入,一百二十八呢,是一个提示词的输出。在这个里面是有一个介绍的,就是这样一个场景,它生成的 token 率是八点七 token 每秒,对吧?然后但是当我们的输入达到了四零九六的时候, 它还是能够保持保持一个八点六 token 每秒的一个生成率,所以说这个效果还是蛮不错的。然后接下来是一个 p 处理的, p 处理的话,相同的提示词,然后通过同时处理两个,同时处理四个,可以看到它是有个加速效果的,同样的时间内,它相对于输出的 token 数量更多了,也就是说当我们有更多的一个并行的 请求存在的时候,这个算力才能够更好的榨干。 ok, 总的来说,这个 o m x 框架还是蛮不错的, 在我们本地跑模型还是比较丝滑的,给大家强烈安利一手 ok, 这个教程就到这里。

哈喽,大家好,我是菲菲蓉蓉,今天我们来推荐一个大模型 a p i 的 网站,也就是 open router, 在 这个网站中呢,可以通过一个 a p i 使用任何大模型, 包括像谷歌的 jimmy g b t 的, 包括像阿里的千文,还有这小米的 mimo, 都可以在这里面去使用哈,这个网站呢还是一个比相对来说比较权威的模型网站,它还能去和一些其他模型进行对比,比如说我们可以点击这个 explore models, 只要在右边 登录之后呢,你就可以看到这里了,因为我们这个网站它是可以用这个邮箱,中文邮箱也是我们 qq 邮箱之类的登录的哈。我们可以点进任何的一个大模型,比如说我们看下小米星巴这个模型,我们可以看这里面啊,可以看到它一个和其他模型的一个对比啊,还有它相对应的这款的一个价格 啊,你甚至还能在这里看到一个相应的评分啊。你看它这个 agent index 比较高,但它 coding index 就 比较低,说明它在代码的制作上可能稍微的没有那么强,是吧?可以再看一下一个随便的比,比如说我们看下这个 mini max, 那 我们再看一下它这边,哎,这个数据相对比较多啊,用的人可能比较多一点,它这个价格也差不多,感觉整体来说比较平均啊,这个效果 agent tick 它就可能更好一点,我们还能在这里看到一些公共的一些公共应用啊,用使用它的这个行的这个数量啊,在这个我们也可以给它直接翻译一下当前页面是可以的哈,可以呢,可以看到它这个东西是很多的,我们要是想用它 a p i 呢,很简单啊,点击这个 quickstar, 点击创建 a p i 密钥就可以了。创建之后呢,我们需要先登录一下啊,登录完成了我们再看,进入这后台页面就可以了啊,登录完成之后,我们再点击 create a p i k 就 可以这里在我们的后台里找到 quit 了。然后我们这个关于这个东西都写上之后呢,就可以用复制这个 a p i 到我们的任何需要的地方了, 所有模型都是这样,当然它不只是这个文本的模型,它还有很多的一些别的,比如说这个视频,我们可以先把它来勾选看一下视频的模型,直接的 c 的 二点零 light 啊,像素三点五九 b, 还有像这个图片大模型,比如说这个谷歌的 banana banana two, 那 这些都是可以去使用的哈。推荐一个无形 a p i 寻找的网站吧,国内可以直连哈,相对网速还是可以的哈。

很多人现在在用 ai 的 时候,其实都会纠结一个问题,就是到底该用哪一个模型,是用 gemini 还是 cloud 还是 chatcap? 这三个东西看起来好像都差不多,但你只要真的用一段时间,就会发现,它们的差别其实是非常明显的。 而且这种差别不是表面功能上的,而是你用着用着就会慢慢感觉出来的。我直接跟你讲结论,这三个模型没有谁是完全碾压谁的,它们更像是三个不同风格的工具,适合不同的使用习惯和场景。 如果你用对了地方会觉得特别顺,但用错了地方就会觉得很一般。先说真慢慢,很多人一开始用它的第一感觉通常是信息比较新,回答范围横广, 这个其实和它背后的体系有关系,它更偏向一个带搜索能力的 ai, 也就是说它在处理信息、整理资料、查东西这类场景会比较自然, 你问它一个问题,它往往会给你一个比较完整的信息结构,有点像你自己去查资料,再整理一遍。但它的问题也很明显,就是在一些需要表达质量的场景,比如写文章、写文案、写脚本,有时候会感觉稍微偏平一点, 不是说不好用,而是没有那么像人,尤其是在需要情绪节奏、表达力的时候。这一点很多人用久了都会有感觉,在一个是这么卖,在一些复杂逻辑或者深度内容深沉的时候,有时候会偏保守,它更像是在整理信息,而不是在创造表达。 所以你如果是拿它来查东西、做资料、整理,看趋势,其实是很合适的,但如果你是想写内容做输出,那就不一定是最有选择。然后我们说 cloud 这个模型,很多人第一次用的时候,最明显的感觉就是一句话,它写出来的东西更像人, 这一点其实非常关键。尤其是你做内容、写文案、写脚本的时候,你会发现它的句子更自然,结构更流畅,而且比较有人味。 clout 特别适合那种需要大量输出内容的场景,比如你要写一篇文章,做一个视频脚本,写一段文案, 它往往能直接给你一个比较完整可以用的结果,这一点是它很大的优势,但它也不是没有问题。比如在信息实时性这一块,它就没有 jimmy 那 种优势。 如果你问的是一些比较新的东西,它不一定是最及时的。还有一点是,它有时候会比较谨慎,也就是说在一些边界内容或者复杂问题上, 它可能不会给你特别直接的答案。在一个点是 callout 更偏表达型,但在一些特别结构化或者特别精确的任务上,有时候不一定是最强的。比如非常严格的逻辑推导,特别细节的技术问题,它能做, 但不一定是最稳定的。然后我们说 chatcap, 这个其实是一个比较综合型的模型,它的特点就是比较均衡,你用它的时候不会觉得某一方面特别极端,但整体体验会比较稳定。 chatcap 的 优势在于,它在理解加表达、加结构这三块之间做了一个比较好的平衡。 你让它写东西,它可以写,你让它讲逻辑,它也能讲,你让它帮你整理思路,它也能做。这种全能型其实在很多场景下是很有价值的, 而且 chatcap 在 对话体验上会更自然一点,它更像是在跟你一起想事情,而不是单纯给你一个结果。这一点在你做项目、做方案或者需要反复沟通的时候 会特别明显。但它的问题是,它没有一个特别突出的绝对优势。比如你要查最新信息,可能不如 jamal, 你 要追求极致,文案表达可能有时候不如 claud, 它更像是一个什么都能做,但不一定每个都是最顶的角色。不过正因为它比较均衡, 所以在很多实际使用常经历,它反而是最容易成为主力工具的,因为你不需要频繁切换思路,一个工具就能解决大部分问题。如果你把这三个模型放在一起理解,其实可以这样看。 gemini 更像是一个信息助手,他擅长帮你获取和整理外部世界的信息。 cloud 更像是一个内容创作者,他擅长帮你把东西写出来、表达出来。而 tagcap 也更像是一个综合助手,它既能帮你想,也能帮你写, 还能帮你理逻辑。所以你该怎么选,其实取决于你平时在做什么。如果你是那种经常查资料、看信息、做分析的人, gmail 会比较适合你。如果你是做内容、写文案、做自媒体,那 cloud 会更顺手。 如果你是做项目、做开发、做方案,需要一个全能型工具,那 check gap 也会更稳一点。还有一个很现实的点是,很多人其实最后不会只用一个模型,而是会形成一种组合使用的习惯。 比如查资料用 gemini, 写内容用 cloud 做整体整理和思考用 chatapp 这种搭配在实际使用中是非常常见的,你可以把它理解成三种不同类型的工具,而不是三个互相替代的产品。用对地方它们都很好用,用错地方就会觉得一般。最后总结一句话, 如果你只是想简单用一个,那就选一个最符合你主要需求的。但如果你是想把效率拉高,其实最好的方式是理解他们各自擅长什么,然后按场景去用, 这样你会明显感觉到差别。很多东西不是一开始就能看出来的,但只要你用一段时间,你就会慢慢形成自己的判断,而这个过程其实比选哪个更重要。

所有人向我看齐一个苏尔二的视频,只要一毛二, guac 十秒的视频只需要两毛四, 像什么 gmini 三, gmini 三点一,还有香蕉,还有克劳德四点六,所有的模型全部都有,像某字某化里面我们只需要把这个 url 这个接口往这里面一丢,然后呢模型一输入, api 一 填,直接测试一下完全是没问题的, 比那些一百积分一百米,一百积分七十米要便宜的多,成本低才是王道。

这是一个我用 fast whisper 加 fast api 实现的一个实时语音识别系统,它可以识别我们说到的话,包括中文、英文、法语什么的,其他的语言都可以。现在用的是一个基础的 模型,是用的 small 一个小模型,如果用大的模型的话,它的准确率会高一些。嗯,可以看到它的识别效果还是可以的,识别的速度也是很快的。 嗯,这个就作为我们后面手搓大模型的基础语音识别库了。 嗯,它可以进行一个实时的语音识别,还可以上传文件进行识别。比方说我们在这选一个,这是一个音频,这个音频呢,上传之后呢,它就会识别到。 嗯,同时这个模型的识别速度还是挺快的。 嗯,它的识别的速度我们看一下,基本上是在秒级 零点九六秒,也就不到一秒钟之内就能识别出来啊。如果再进入大模型的话,大模型再思考一下,然后再回来,估计速度还是可以的。