粉丝874获赞5601

叮咚,家人们 ai 大 模型正式进入手机部署时代,昨天的视频呢,我跟大家说了,谷歌最新发布的加马斯模型可以直接在手机上面部署,今天我就来带大家实现它。首先咱们先看效果, 首先我先打开我的手机的飞行模式,可以看到我现在这个手机是没有任何的 wifi 和数据连接的,然后这时候我们回到 ai, 然后打开一个聊天窗口,我们问他一个问题,比如说帮我查一下苹果 ceo 库克, 然后他会问我们需要什么,我们选择一他的职业生涯和背景, 可以看到他直接就给了我们答案。按照我们正常逻辑思维来说,这些数据应该是在手机需要联网的情况下才可以给我们的答案,但是这个本地部署的大模型他就不需要联网,他就像一个活生生的人,他的脑子里面已经有这个记忆了,所以当你问他的时候,他可以直接就给你回答。 那么这样一个模型我们究竟要如何安装与使用呢?那我们现在开始首先第一步呢,就是我们要打开我们的应用商店,然后在应用商店里面找到这个软件,叫做 google ai gallery, 这是谷歌专门推出让我们使用扎马四模型的 app, 安卓用户也是可以下载到的,但是安卓的用户需要在谷歌 play 商店里面才可以下载,然后我们这里已经是下载好了这个软件,所以呢我们直接打开就可以了。 打开软件之后呢,你们会看到这个屏幕中显示的全是英文,并且软件的内部它是不支持我们去切换语言的, 很多人看到这里就已经开始头痛了,那我看不懂英文咋办呢?其实不用慌,因为这里面的功能其实非常的简单,完全也不需要用到翻译,而且当我们在跟语言模型对话的时候,它是完全支持我们中文对话的。 这里我们向下滑可以看到官方总共给了我们七个功能,从上向下分别是图像、语音、语言聊天、模型、花园以及手机操作。 我们就先从最基础的开始 ai chat, 也就是我们常用的文字聊天。那我们打开这个 ai chat 之后呢,可以看到它底下有五个模型给我们选择, 其中三个是胶码三,还有两个是胶码四,那我们这一次主要针对是胶码四,所以我们就选择上面两个胶码四,然后这个胶码四它分为 e 二 b 的 模型和 e 四 b 的 模型, 这两个我们要怎么去选?就是主要是看你的手机性能,如果你的手机性能稍微好一点,你就选择这个 e 四 b, 如果你的手机性能稍微弱一点,那我们就选择这个 e 二 b, 那 我现在演示的这个设备是十六 pro max, 那 我们就选择 e 四 b 这个模型。当然你在使用模型之前是需要先去下载的,所以我现在就点开这个 e 四 b, 点出来 it, 然后进入到模型之后给大家做一个演示。首先我们先给他打个招呼,你好吗? 哇,可以看到他这个回复速度真的是超级快,我之前一直认为这种手机跑的模型应该会很慢,没想到他的速度还是很快的。然后我们再问他一个,你是什么模型?你能为我做什么? 看到他这个吐字速度真的是超级快,那这个速度呢?对于我们大部分人来说已经是超越了我们的阅读速度的,所以如果你是日常聊天或者写写论文啥的,这个模型对于我们来说是完全足够用的了, 当然这只是最基础的文本聊天。那我们再去下一项看一下他的图像测试怎么样?那我们现在就已经到了他这个图像测试窗口了, 我先给他一张图片,这张图片呢是一张上海滩的图片,让他看一下他对这个地标啊,还有图片内的内容识别度如何。 ok, 在 经过大概五秒钟左右的思考,他已经给了我们答案,然后他说这是上海的城市景观没错,然后他说这是上海中心大厦, 这一点我不知道哎,他好像把东方明珠论成了上海大厦,虽然这两个地标中间只隔了零点八公里,但是我没有在图片中找到这个这个中心大厦这个东西, 然后他说这是独特的双层球体啊,那看到了是建筑认错了,但是其他的关于黄浦江还有其他的描述倒是正确的,就是单独认错了这个东方明珠和中心大厦这个地标建筑。 ok, 那 我们就再给他一张东方明珠的照片,但是这是我们给他夜景的照片,看下他识别度如何。 可以,他已经给了我们回答,他说这是上海的夜景,然后地标是上海中心大厦,那看来他还是认错了这个地标,他依然把东方明珠认成了中心大厦。 其实我不知道他这后面这个逻辑是什么,有没有一种可能,他是去网络上找了类似的图片,然后类似图片说这个地方是中心大厦,所以他就给我们说这个是中心大厦的,我觉得应该大概率是这样。 嗯,有知道的小伙伴可以打在这个屏幕上,那我们就先不纠结这一点,我们进行下一项测试, 现在我们来试一下他的语言听写能力,然后这次我们依然还是选择这个 e 四 b 模型,我先给他发一段语音,你好,你能听得见我说话吗?现在时间是北京时间四月九日,看他能不能给我们提取出来。 可以看到它已经完美的提取出来了我语音说的内容,并且没有误差,那看来它对中文的这个听写能力支持还是很强的。那我们进入下一项功能, 然后这个功能呢?叫做 agent skill。 相信大家对 skill 这个单词已经是很不陌生了, skill 是 什么意思呢?就是一个技能, 然后谷歌目前官方里面给我们默认是内置了八个 skill, 但是其实它最重要的是什么?最重要的是它这个 skill 是 允许我们自己再去添加的,所以我认为这是这个 app 里面最具有 可玩性的一个功能。就是我还记得前一段时间在网络上很流行一个叫做前任 skill, 就是 把自己的前任变成一个技能,然后放进他们的 open cloud 之中。那现在你不用放进 open cloud 了,也不用打开电脑了,直接在手机之中就可以操作了。嗯, 我相信后面会有很多人去专门为手机的这个开发 skill。 那 这个 skill 我 也就不多说了,因为目前我这里只有官方的八个默认 skill, 然后默认 skill 都是比较基础的啊,说的也没有太大的意义,大家自己后期自己去 自行尝试一下就行。然后我们来到下一个这个红色的按钮叫做模型实验室,这个应该是对于比较极客的玩家用的比较多,那我们大部分的普通玩家呢,是很少也几乎不会用到的一个功能, 所以我们这里就不过多传输。然后下一个绿色的这个是迷你花园,是谷歌官方出了一个专门用来语音玩游戏的一个小功能吧, 也没有什么好说的,因为他是英文交互吗?嗯,大部分人可能也就是藏着新鲜进去看一看,也没 什么好玩的。所以我们来到最后一个,也就是我认为第二可玩性比较高的一个功能,叫做手机操作,那他顾名思义呢,就是可以直接操作我们的手机,那我们现在点进去看一下, 那我们点进来之后可以看到他首页是说他有最基础的五个技能,第一个是开关手电筒,第二个是创建联系人,第三个是发送邮件,第四个是在日历中创建,第五个是 在地图中搜索,那这应该是最基础的,我不知道他有没有其他的功能,但是我们可以先把他的基础功能先试用一下展示一下给大家看。 我这里是让他打开了我的手电筒,然后他确实也打开了我的手电筒,然后我们来试一下,让他关闭手电筒,嘿,然后他也成功的关闭了我的手电筒,然后我们最后来测试一下他能不能在地图中展示, 可以看到他是直接调用了苹果官方的这个地图,然后打开了我要他搜索的地点,但是这个功能怎么如此的似曾相识呢?感觉有点像被前段时间被全网封杀了。豆包手机 太眼熟了,只能说太眼熟了。 ok, 相信大家看完以上的教学视频之后,都已经成功的安装好了手机端的胶码四,也对他的所有的功能呢都有了一个初步的了解, 在手机端部署大模型,不仅仅是拥有极高的隐私安全,还支持在没有联网的情况下使用,真的可以说是开启了一个 ai 的 全新时代。那么本期视频到此结束,咱们下期再见!拜拜!

谷歌啊,这次新发布的 jam 四,很多人第一反应啊,还是看参数升级。但是啊,我觉得这次真正厉害的啊,不是它三十一 b 的 大模型,也不是二百五十六 k 的 超强上下文, 而是啊,谷歌开始认真把大模型往手机和电脑这种本地设备里推了。更关键的是啊,这次还直接放到了 app 二点零协议下,这两件事情一叠价啊,味道就完全不一样了。 其实啊,以前的杰玛虽然能用,但是很多人根本不敢放开手脚用,不是他的模型不够强,而是协议的边界太模糊。 我给你打个比方啊,以前的杰玛,就像谷歌免费租给你一套房子,你能住,但是啊,规矩啊特别多,不能改装修,不能转租,就算转租,下一个租客也得守规矩。 最坑的是啊,什么算改装修呢,他也说不清楚,就比如说换个灯泡,也可能会算你违规。但是啊,这次不一样了,杰马斯啊,直接换成了 apec 二点零协议,相当于他把这套房子直接送给你了, 你想怎么改就怎么改,想住就住,想租就租,想开公司赚钱也行,谷歌啊,再也不管你,也不会找你要钱了。 再说说模型本身啊,杰马思啊,这次一口气出了四档模型,不能小看它,这次官方主打的是智能 a 帧能力,它原生支持工具调用、结构化阶梯输出系统指令,还能处理图像和视频。最核心的就是这个 m o e 能力, 能够根据指令来进行自动分工,真真意义上实现了省时省算力。哪怕基础的 e to b 和 e forb 都自带原声音频输入,上下文处理能力啊,也是直接拉满,最高二百五十六 k, 再加上一百四十多种语言支持。杰马萨已经不是单纯回答问题的工具了,它已经变成了一个本地智能助手引擎。 目前啊,欧拉玛已经支持本地部署了,我们直接用这个指令就可以直接安装了。模型的选择啊,也取决于你的电脑配置,我整理了一份配置表,大家可以自取。好这里啊,我就不演示安装了,我们直接上。结果现在这台电脑是完全断网的状态。 本地呢,跑的就是通过欧拉玛拉取的 jama 四一或币这个模型。第一步啊,我给他一份长篇学习资料,让他呢压缩成三句普通人能听懂的话,每句呢,不超过二十五个字。 第二步,我让他把这三句话改成二十秒的抖音口播,开头三秒必须有冲击力。第三步,我让他直接按 jason 格式输出标题、封面字、分镜和置顶评论。 注意看啊,重点啊,不是他会写字,而是这三步啊,全程在本地完成,不用连云端也不怕断网,而且输出的内容啊,能直接拿去用。如果这种能力再往前一步,本地内容助手,本地办公助手,本地智能工具很快就不再是概念了。 还有一个大家忽略的关键布局,官方已经把 jam 四接入了安卓系统的原声 ai 框架和全设备智能平台,这意味着它从一开始就不是只给电脑端玩家用的。土哥的目标啊,是让它成为所有智能设备的通用。 再过一个多月啊,就是谷歌年度的开发者大会了,可以敬请期待一下。所以我敢说啊,杰玛斯啊不是一次普通的模型更新,它是一个分水岭, ai 不 再是大场云端的专属特权,而终将要回到每一个普通人的手里。好,本期视频就到这里,我是爱分享的阿月,我们下期再见。

公主,你现在看到的就是谷歌最强的开源模型加码四,可以看图,能听音频,也有不错的推理机制,最重要的是完全免费,给我几分钟,从零开始,将加码四部署在自己的电脑上。我们直接开始 先花一分钟和大家聊一下贾马四是什么?它是谷歌刚发布的开源 ai 模型,跟商业版的怎么奈同根同源,你可以理解为谷歌把自家最强的 ai 技术浓缩成了一个免费的版本,直接送给你用。 那么它好在哪里呢?三个点。第一,多模态,不只是聊天机器人,你可以发图片让他看,发音频给他听,还能写代码。 我们可以看看这张表格,横轴是模型的参数体量,而纵轴就是性能表现。贾马四以满血版的性能表现和千万的三百九十七 b 的 模型能力基本持平,关键在于它的体量只有千万的十分之一,这真的非常夸张。 第二,完全免费,不用充会员,不按 token 收费,并且可以商用,你可以模改它做成各种有意思的本地模型,拿去做产品也没有任何的问题。第三,隐私安全,因为跑在你自己的电脑上,所有的数据都不会出,你的电脑拿它处理合同,财务,私人物件,不用去担心泄露。 ok, 我 们直接动手。你现在只需要打开一个浏览器,然后把它放到全屏上,直接官网上搜索欧拉玛点 com 啊,然后这个东西就出来了。然后你只要点击整个画面的一个右上角 download, 看到没有?然后你可以选择你是 mac os 系统还是 linux 还是 windows, 我是 mac os, 那 你就直接点击这个 download from mac os, 然后我们就可以看到这个画面上的右上角应该是会有个下载的链接, 然后等它下载好就可以了,因为我这边其实已经安装好了吗?那么我这边的最终的一个输出效果的话,大概是在这里。你们下载完了之后,打开你们的桌面上的欧拉玛,你们看到的应该是现在这样子的一个画面,那就说明你已经安装成功。 佳马仕一共有四个版本,你可以根据你的电脑配置进行模型的选择,模型的能力越强,所需要的配置就越高。对于内存小于三十二 g 的 玩家,我建议大家直接安装一四 b, 三十二 g 及其以上,可以试试看二十六 b 和三十一 b 的 参数量, 其实这两者模型的能力大通小异,如果你是为了极致的精度,可以选择三十一 b, 但是在我看来,二十六 b 呢,其实是一个非常甜点的位置,达到了速度和精度的一个平衡。如果你不知道你的电脑内存是多少,这里针对 mac 用户,你可以选择终端输入这行命令。 而 windows 用户你可以点击 win 加 r, 点击回车,召唤出来你的终端以后,然后再输入这个命令,也可以显示出你的内存。选择好对应的模型,我们只需要打开终端,和刚刚一样的步骤,根据模型输入指令直接回车即可。等待模型下载好,打开你的 oala, 选择模型就可以开始了。 ok, 我 们打开我们欧曼的软件,你点击这里,然后往下滑,你就可以看到你刚刚已经安装好的这个佳马仕。我们来问他一个很有逻,就是说很有那个逻辑陷阱的一个问题,就是我今天要去洗车,但是只有一百米,你觉得我是走路去还是开车去? ok, 我 们来看一下他的一个答复是怎么样子。 这是一个非常有意思的一个逻辑陷阱题,我们可以从不同的维度去分析。逻辑层面上来说,必须开车去, ok, 这一点已经很棒了啊。 那如果说是从脑筋急转弯角度上来说,他说如果你走路去,那么你是在散步,而不是在洗车。哦,也就是说他分为了三个维度,一个是脑筋急转弯,一个是实用主义层面,还有个就是逻辑层面。我们来看一下他这个佳马仕的这个逻辑能力。哎,你还真别说这小参数,但他的表现还是不错的。 那么 jamas 它的一个很大的优点就在于它其实是支持这个多模态的。我们来不妨给他上传张图片,我们来看一下。 ok, 那 么我们上传一张什么图片呢?哎,上传张这个图片,你们看怎么样啊?就是这是一朵花,然后有个太阳,有一本书,我们来让他看看。我说,啊,描述一下, 描述一下这个图片,我们来看看他的多模态识别能力怎么样?说实话,本地具有多模态识别能力的模型,而且是能够你自己去模改的,其实并不是很多。我们来看一下。 ok, 一, jeff 二,然后 jeff 三,给了几个他看到的一些画面。好,我看他现在在思考和输出。这张画面充满了诗意,唯美且带一丝忧伤。 画面主体是一本翻开的书籍。哎,确实是对的,背景与中景是一个画面,然后呢,躺着一只洁白的玫瑰,然后背景是有一个夕阳,散发出这个温暖的金橙色光芒,哎呦,很不错,你们发现没有,是不是很棒?就是说他好像 表达的还是很到位的,但是因为呃,我其实本来还是想测一下这个关于音频识别和这个视频识别的,因为这个佳马仕它也是支持视频识别的, 但是因为欧拉玛官方不太支持,所以大家可以自己去谷歌 as do do 上面去玩一玩。所以总的来说,其实通过这么两个比较简单的测试,它当然不够严谨,而我觉得感受来说的话,这个香奈儿丝还是 真的是能够在本地帮我们处理一些比较复杂的一些任务的,就是在文字层面以及去多模态识别能力上来说,是一个比较抗打的模型。 看到这里相信你一定会明白, olama 本身是一个模型管理器,你当然也可以不用贾马四,你可以选择开源的 deep stick, 千问等等,其他的开源模型还是同样的命令,一键配置就可以了。 本地捕鼠的最大优点就是保护你的隐私,模型的使用不会受到任何的限制,同时也可以支持模型的微调,让它更合你的口味。下期我打算教大家小白如何从零到一,微调自己的本地模型,感兴趣的可以点个关注,我们下期再见。

大家好,这两天杰纳斯啊,非常热,有人说他是一个开源模型的一个新王者啊,到底是不是呢?我们今天可以来测一下,刚好这两天有一个特别重重要的一个新闻,就是说,呃, 捷豹四呃跟卡布扣的,在这个奥拉玛这个角度上可以做一个无缝的集成,只需要两步操作,第一步就是你装奥拉玛,然后呢下捷豹四的最新的 efo, 比如说我的这个笔记本电脑,它是 rtx 四零六零的一个显卡,它有八 g 的 显存,我这个机器有十六 g 的 内存。 那么这时候呢,我们就可以下它一个 efo 的 一个模型,也就是捷豹四 efo 大 概九点六 g 下,下来以后呢, 然后用再装一个 cloud code, 你 可以用那个,比如说你去 windows 一下,你可以用它的 cloud shell 命令啊,一键安装,安装好以后,你你可以用这个奥拉玛的一个集成命令,把 cloud code 让他去用本地的杰纳斯 eiffelb 的 这个模型,那就这条命令, cloud cloud 杠杠 model。 杰纳斯,然后呢他会先去 下载这个模型啊,他发现我已经下载过了,所以马上就成功了,然后他马上呢去启动这个 cloud code, 然后让他去用这码四这个模型,然后他会问你几个问题,最后呢就是会让你信任这个当前的这个文件夹。好,我们现在已经到这了,我也是刚刚装好,我们来试一下, 请帮我写一个写一个 hello word 的 htm 页面,并在默认浏览器中打开。 好,我们看一下啊,它的这个怎么样?它现在用的就是我们的本地的杰纳斯 infob 的 这个模型小模型啊,然后我们看一下它的一个 gpu 的 一个利用率啊, gpu 一 现在有百分之九十六,那跑满了,你看到了是吧? gpu 一 的这个利用率跑满了,我们看看它到底怎么样啊,哈哈, 它现在这个要显示 token 哦,出来了,大概花了不到两分钟吧。三分钟啊, and i will use the batch。 对, 它是先计划啊,然后 yes, ok, 那 现在 open yes, 继续 ok, require pool yes, 哦,打开了,看到吗? hello, word this is the basic html page。 那 好,我们再让它做一个稍微难一点的,我说写一个最简单的贪吃蛇游戏,并在 切神浏览器中打开,我们看一下啊, 一起创建。 ok, 我 们这样好,打开了,就是贪吃蛇,我看一下啊,可以看能不能玩。 ok, 这个是最简单的,还没有碰到。这个还没有,还没有开始就结束啊,就是不是还没有开始就结束,这个人最简单,但是我们已经看出来这个杰马四啊,他的一些这个功能,我觉得就是他的这个编程的能力啊,我觉得还是可以的啊,因为我这个是小参数模型呃,你不能对他有太高的要求。 ok, 那 么我们今天用这个 cloud code 和 java 四 evo b 这个,呃,一块编代码的。这个游戏呢,我们就告一段落了,我觉得它还是有点用的啊,有些很简单的任务,我们是可以用本地模型的,这样的话也节省非常昂贵的云端 api talk 的 费用。好,谢谢大家。

兄弟们,欧拉玛已经更新好了,杰玛斯的大模型也不朽完成了,一共四个模型,接下来挨个测试一下,所有的测试都是在这个电脑配置下完成的。第一个问题,介绍一下自己, 第二个问题,用李白的风格写一首 诗。 最后一个问题,经典的喜鹊问题 总结一下,四个模型都测了,最快的是一二 b, 最慢的是三十一 b, 四个模型第一次启动都有点慢,后续速度都还可以。 总的来说,回答质量最好的是三十一 b, 包括最后的一个洗车逻辑陷阱也自动识别出来了, 就是我这个配置运行起来实在是太慢太慢了,所以性价比最高的应该是这个二十六 b 模型。回答速度,回答质量都还可以,可以用在部署小龙虾,用来做个人的 a 键,挺好用的。后续再和千万三点五做个横向对比,记得点个关注。

如果我告诉你一台普通手机就能跑通谷歌刚刚发布的最强 jammerfour 模型,你信吗?而且支持原生多模态,完全离线使用,不用花一分钱。这期视频我将大眼重明,开始在安卓和 iphone 手机上跑通 jammerfour 模型。 在开始之前,首先我们需要打开零度薄扇,这边文件链接,我们放在视频下方,打开以后就往下拉,上面我们接所需的全部资料。首先第一步我们先来安卓手机来做测试,小白就他的下载安装包,我们可以在谷歌应用上点击下载,或者直接下载 app 安装包,我们直接前往打开它,简单多想 好,打开以后点击安装一下,我们点击安装一下,给他下载安装到安卓手机上。好,安装好以后,打开它来看一下它里面是否支持这个最新的 java 模型,点该 start 是 否允许这个方式,我们点击允许啊,下面进行设置一下。我现在还不知道我当前手机是否支持这个模型,因为我这手机比较旧。然后在上方这里可以选择 ai 模型,第二次平衡,第三次高性能,那之后我可以置顶以, 然后下面来下载一下模型,在左上方这里我们你上一个上横看好,进入以后,然后打开这个 model 这个 app 来进来模型应用下载,来看一下你们是否制作一个 gm 四模型啊,来在下面往下拉看一下,好在下方这里看到它里面有一个 gm 四 ecb 量化版模型,总共大小的话是一点二 g 左右, 这个应该是他根据单机手机的配置来进行推荐的,给我推荐是一点二 g 的 模型啊,接下来他呢,来先下载安卓一下啊,打开有没看到他里面有不同的量化版本,最高话是二点三 g 啊,但是我目前说手机话,他这个配置不是很高,所以他可以给我推荐是一点二 g 的, 但如果你安卓手机配置比较高的话,倒是应该选择更高的模型。这句话我就选他推荐的,就说 q y k s l 这个模型,这应该是一个比较小量化版了,总共是一点二 g, 咱们勾选它来先下载一下,好,勾选它以后就往下拉拉底部,它下方有一个当动的按钮,总共是一点二 g 左右 啊,叫他下下来,这个下载过程该修点时间了,到时候继续耐心等待下啊。过了一分钟左右,他先下载完成了啊,先返回去,咱们载入这个模型啊,在手机这里面上有一个发色,就选下 好均匀换,就往下拉拉,底部有一个自定义模式,我们打了他来创建一个模型,这个模型没上完全名自定义啊,在下方这里选择模型,别打了,他还有比上面有一个选择下载的 啊,这个是没看的,第一个就是我们刚才下载好的这个 jumbo four 模型了,咱们学的他啊,这样就早就进去了。下方的散热纹长度你可以自定义,这个主要看你这个手机这个硬件配置啊,如果硬件不是很高的话,就不要拉太高了啊,下方有个最高的 token, 搜索量是五百一十二 啊,先不用管他,我们先不用管我们点下方一个保存一下。好,这样的话就可以了,我们就可以把这自定义模型就给它弄好了啊,先打开它,打开以后呢测试一下,比如要帮我编辑一个贪污色小游戏,他也是可以帮我们搞定的,非常快,打开正常聊天话也是没问题的,都可以进行本地一切使用。 好,收把安卓手机的,我先做 ios 的 来,先重新返回,刚才点下来,把这个 ios 版机下载一下,我们第一前往。好,打开以后先把这款应用程序给登下来,它是完全免费的,它是可以完全加载本地的一些模型的,来界面下方下载按钮给登下来。好,下载好以后我们打开它, 打开以后它将会提示,欢迎来到这个 locally ai, 它是一个完全离线的 ai 助手,可以保证一个隐私和安全性,同时它可以对当前手机硬件进行优化,来设备对应的模型按键问题继续好,这时它来选择模型下载, 第一个是大苹果提供的,然后第二个是 mr, 第三个是千万三点五 i b 模型,这种不用管他,我先跳过,你跳过就可以了。好,跳过进入以后,那么第三方有选择模型,进入以后没看到小王就会出现一个 java 最模型的,它是目前最新的,支持深入思考,支持多模态。那么底下打开它,我们给它动下来, 总共是多少 g 啊?总共是三点六 g, 也是最新版本,那么点击 download 的 给他下下来。 好,下载好以后来先返回去,我们来试一下,看效果到底怎么样啊这是没看到他沙漠就会出现这个卷毛腹模型的,我们先来测试一下他多模态,并且我学会在桌面上随便扔一些东西在上面,然后我们来问他一下,他看到什么?同时我也会问他一下,在上面总看到几个西瓜籽啊,然后现在我们来问他一下,我们打开这个深度思考模式, 那么一下面一个 take a photo, 先来拍照一下,好,拍照好以后,然后发送一下啊,先问他一下,你看到了什么?桌面上都有哪些东西啊?我们来看一下他是否可以把全部东西给识别出来啊? 哎,他开始了,他说我根据你的定位图片,我看到桌面上有各种电子产品和一些小瓶装物品, 然后在下方一头列出来。他的桌面上主要有以下这个机械东西,第一个是一个自然手机,一部深色的自然手机放在这个画面左侧,这个没错啊。然后手机壳保护套,一个带有花卉图案的这个片子式或粉色调的手机贝壳, 然后旁边放了一个蓝绿色的小瓶装物品,一个亮蓝绿色的小瓶,看起来是某种护肤品或者是精油,然后一个大型罐装产品,一个带有标签的罐子啊,这个才会被识别出来了,这个是益生菌啊,他先把这个识别出来了,这个没错, 然后下方还有个电子配件,一个黑色的小电子配件在罐子后面啊,那个也是我的这个录音东西啊,这个声卡,哎,他这个他有的东西没识别出来啊,就西脖子,他没识别出来啊,这为什么他没识别出来? 我再问他一下,拍照一下,黑色点点是什么?总共有多少个?我们来拿数一下。哎,完了, 他都由于我无法视他,都由于我无法进行化学分析,我无法确定这些颗粒的具体身份,他们可能是以下几种东西,第一是天然成分,他都可能是干燥的种子啊。这个没错啊,因为他确实是干燥的西瓜籽。 他说我手下总共是九 k 啊,那他就错了,总共十六个啊,谁知道这方面他还是有点欠缺的。我一会来问他翘肌 b t 啊,看翘肌 b t 能不能打。对啊,我同样问翘肌 b t, 看到了这个黑色颗粒是什么,然后总共有多少 k? 他看起来这些黑色小颗粒是西瓜籽,哎,这他打对了,我帮你数了一下,总共是十七个。哎,撬极币也打错了,这个数数这么难吗? 这么明显,他居然数错了,总共十六个,他数成十七个了,也还是数数不行啊。所以我就不能怪这个 gm 负了,连撬极币地他也没数。对啊, 那进来测试一个逻辑推理题啊,就是概率加反直觉的这个逻辑推理题目是这样的,你参加一个游戏节目,有三扇门,其中一扇门后面是车,另外两扇门是严。你选了一扇门以后,主测类是这答案的,打开另一扇有严的门,并问你是否要换门。 问题是换门是否有利,为什么?这个大家能理解吗?我同样把它伸出触角模式给打开,那看下它能否答对。 哎,他知道了,他就是一个经典的蒙提货饵。问题的变动答案是换煤更有利。为什么换煤更有利?因为当你选低扇门以后,你只有三分之一的概率选中了车, 意味着身价。两扇门中有三分灾的概率包含了车。关键在于主持人他知道答案的干预,当你选择某扇门的时候,你只有三分之把握形容他, 主持人做的就是故意蒙蔽你。简单来说,坚持原版,你仍然只占了最初的三分之一机会。换版的话,你就再抓住主持人排除那个错误选项,从而获得了那个三分之一的概率。哎,这个没错,这他理解对了。那现在测试他代码编程能力, 比如他把我笔写一个山地鱼缸场景,鱼要看到有真实感,水和水缸里的水草也要好看且真实啊。先发送下来,验证一下它代码能力。好,它现在完成了。那先把代码刻出来,先放上电脑上去运行一下,看效果怎么样啊?它不仅提供这个 gs 代码,还提供这个 cs 一 二四代码,还有这 h t m l, 来看一下效果啊,酷毙哈。以后把它放在电脑上打开看一下。打开效果,大家看一下,它是非常可以的,看到非常真实啊。对于一个小魔仙来说,能打得到效果的话,已经非常可以了。然后下面再测一下,看他对这个药物这个识别到底怎么样。 来猜一下这药是干嘛的?瑞巴派特片,我们点击派斗一下发给他,问他一下这个是干什么的,估计很多人都不知道这药是干嘛的,我们看他能否知道。 他根据你提供图片作为文字信息,这是一个药片或者是局部使用产品。他说产品名称是瑞巴拜特片,他由于这个设计失灵和健康产品,我无法提供医疗建议。如果你对该产品的具体用法或使用方法、健康效果有疑问,请务必咨询医生, 他是非常谨慎的,可能好多人不相信他的离线这个性能啊,我们先把这个网全部断开,打开的飞行模式。原来把我写个恐怖小说到了五千字左右,哎,看开始了,他用的是繁体啊, 我目前是完全是离线的,他这个分章来写啊,千万别总共写到第五章了,这样换一部五千字左右恐怖小说,需要一分钟左右,他就可以帮你写出来了。 那下面在头像在这个离线模式下来测试一下他这个动感能力啊。那头像问他一下,你看到了什么?总共两个小东西啊,一个是大象,一个是蚂蚁。 他说以前是我看到的主要内容描述,第一个主体就大象的头部,画像中可以看到一只大象,然后第二是蚂蚁,就小吴姐, 没错,他请注意他的,由于图片中的细节非常小,我对蚂蚁的四别是基于其微小尺寸的预测,让他真猜对了啊。今天四别所用的全部资料,他们的链接我都发到视频下方在报上。

谷歌终于坐不住了,正式卷开源市场, jm 四的效果到底如何呢? jm 四的发布啊,真的有可能让我们实现头很自由。这期视频呢,老张给大家简要介绍一下 jm 四怎么安装到本地,以及如何搭配到我们的 open klo 大 龙虾上, 附带所有的安装步骤啊,大家可以一起来体验一下。后续呢,老张也会根据测评效果给大家接着发视频,这期是我们完整的部署流程,老张重点给大家简单聊一下,就是为什么 jm 四的发布啊,会让大家感觉谷歌真的开始卷起来了呢? 首先第一点,他和目前谷歌的 jimmy 三用的是相同的技术基座啊,所以说他的能力是毋庸置疑的。第二点就是商业自由,你直接部署下来做什么都是可以的,都是允许的。然后第三个就是支持多模态,无论是文本、图像甚至小规模的视频音频, 他都可以直接支持。第四点就是结合前段时间爆火的 open klo, 他 可以直接在本地对接 open klo 以及对接 klo 的 code, 实现本地的偷根无线化。这是老张给大家总结的四点,为什么詹姆斯的发布会让大家感觉,哎,可能真的要进入到一个新的纪元, 然后呢,他所发布的这四款模型呢?老张给大家做了一张图片啊,大家可以到时候把它截下来。第一个模型一二 b 的, 他本身是用于手机或者边缘设备八 g 显存, 然后最高端的三十一 b, 他 所对应的旗舰版本呢,是对应的是二十四 g 加,所以大家根据你的需求来进行对应的模型选择。老张这次视频呢给大家来看一下三十一 b 的 这款模型的安装, 然后关于本地的安装部署啊,其实非常简单,任何开源模型,其实我们只需要让他和欧拉玛就是那个小羊驼结合到一起就可以了,然后找到你符合要求的版本。安装成功之后啊,欧拉玛现在已经有了一个完整的应用端了,所以大家可以直接在这个位置和他进行对话交流。 那我们想要下载 jm 四到你本地的电脑上,我们可以使用它的官方指令,会告诉我们直接怎么样去进行 jm 四的对应安装,像老张想安这个三十一 b 的 对吧?我们就把它拿过来, 把它直接这有一个 c l i 命令行安装方式,把这个东西直接复制在你的开始菜单中,单机右键选择运行输入 cmd, 直接把刚才指令粘贴过来,这儿的时间会很长,因为它有二十个 g 的 大小,我们直接稍作等待 安装成功之后,我们也可以直接回到它的客户端中,在模型选项上找到我们安装好的詹姆斯冒号三十一币, 然后可以直接进行对话。老张他处理一个较为复杂的提示词,我们让他看一下当前显存的内存消耗, 咱们拿这个 ai 慢距的提示词来测试啊,这个提示词非常的长,我们看一下他读取提示词的能力,以及他的这个显卡的性能消耗,我们看一下啊,这个显存直接拉满的,达到了百分之九十四的占比, 而且这个响应速度还是非常快的,只需十一点七秒啊,就把整体的业务流程给我们直接补齐了,而且呢按照需求给我们进行了对应的提问,要什么样的慢距效果,所以说以目前的测试反应来看呢,他的这个响应速度起码要比之前的很多大模型要好的多, 所以接下来我们自己来尝试一下对话类的工具,可能大家都不是很需要的,我们能不能把它接入到我们的 open clone, 丢到我们的龙虾里,让它们俩来进行联动的。然后这期视频呢,老张顺便给大家提一下,就是最新版的 open clone 的 部署流程 啊,咱们可以快速的去过一下一些重点的细节,因为之前老张发过很多期的部署视频一块的呢,因为它本身啊, wsl 它是相当于在 windows 系统上安装一个 linux 的 独立系统, 这样的话呢,就直接相当于在你电脑上安装了一个独立的存储空间,它所谓叫做沙盒安全,而且运行起来呢是不会有任何的兼容性的对应问题的,因为 windows 中啊,它的权限呐,路径等经常会报错。所以说我们这 期视频重点教大家怎么用 wsl 进行 win opencl 的 部署安装,这样的话, windows 和 wsl 的 安装您都了解之后之后学起来就非常方便了。 然后接下来呢,老张给大家简单的介绍一下在 wsl 中如何安装我们的 openclaw, 因为之前呢,咱们介绍过太多次了,很多兄弟留言说老张就别介绍怎么安装了,然后我们就给大家简单说一下注意事 项。首先第一呢,你想在 wsl 上安装 openclaw 的 话,第一点你得先在你的 windows 系统下把 wsl 安装一下,当然很多电脑老张发现其实都是自带的, 怎么检查是否自带呢?咱们可以直接输入 wsl 空格杠杠威森,如果弹出定的版本号,证明 wsl 电脑已经安装了,如果没有弹出的话,使用安装指令 wsl 空格 insert 直接安装即可。然后紧接着按照老张给你提供的指令复制粘贴就可以了。先安装你的优班图, 安装之后进行一下更新。安装完优班图之后啊,在这选择这个倒三角,找到优班图系统,就可以直接进入到你的优班图系统当中。 在你安装过程中啊,它会让你设置一个用户名和密码,到时候可能需要做一步密码验证。在优班图系统中,注意是优班图系统中运行这些环境指令,分别安装 python 三,安装一个压缩包工具,方便安装一个 node 点 ps, 然后再安装一个 get 工具。 如果说为了检测每一步安装是否成功的话,你可以分别输入,比如 note 杠 v、 npm 杠 v, 包括 get 杠 v, 在 这检测我们对应的这个版本。如果都能弹出版本号,证明你三项安装都是成功的,这是配置 openclo 的 基本的内容要求。 然后紧接着我们把基本环境配置好的兄弟,你还需要在这个位置安装一下这个欧拉玛。 这老张要重点说一下,说老张我不在本地都已经下载好欧拉玛了吗?为什么在优班图里还需要再配置一下?其实我们优班图中是可以调用本地的欧拉玛的,但是很多兄弟在调用过程中分别给老张留言说说调用时无论是 ip 地址找不到,还是 ip 的 动态变化,导致每次都需要重新连接,重新配置。 所以说最简单的方式就是把欧拉玛在你的优班图系统中再次的安装一遍。其实安装非常简单,只需要把第一步的安装指令复制过去,直接在这个位置直接粘贴即可。安装成功的检测方式很简单,你就输入欧拉玛, 如果他不报错还给我们对应的选项,是咱们是进行对话呀,还是怎么样的证明你的安装就是成功的? ctrl c 直接退出。 所以说欧拉玛安装之后,紧接着就是把我们的模型在当前的优班图中跑起来。老张刚才给大家测试的是 jm 四三十一 b 模型,我们直接输入指令欧拉玛空格 run, 然后你的模型效果直接回车,第一次时他会直接进行对应的模型下载。如果说你现在只想用 open klo 来调用欧拉玛的这个占四的话,可以在我们的本地电脑上把之前咱们那个桌面端给他 删掉,如果说你不你想两端都使用的话,就可以直接在这个位置进行使用了,然后发一个你好看一下响应速度, 嗯,响应速度是非常快的,所以接下来我们把这个家伙欧拉玛的詹姆士直接部署给我们的 openclo, 在 这怎么中止对话,摁一下 ctrl c, 再摁一下 ctrl d 啊,就可以直接进行中止对话了啊,所以说大家可以直接的把它退出来, 退出来之后我们在这儿部署一下 openclo。 关于 openclo 的 安装呢,官网推荐是使用 c o r l 这种安装方法,但是老张发现很多兄弟在使用这种安装方式时呢, 出现了这个网络问题,导致下载出现卡顿,如果说 c u i l 的 方法报错的话,直接使用 n p m 安装也是完全可以的,安装完之后直接输入 open klo 空格杠 v 来输出最新的 open klo 的 对应版本啊,这就是老张跟大家说的一些建议啊,大家按照这个要求去做就行了。 然后接下来我们进入到配置,直接是直接输入它的配置指令回车,选择 yes, 然后选择快速开始就可以,我们直接配置一下模型, 然后选择更新,这选择谁呢?选择这个欧拉玛啊,然后选择默认的这个 ul, 选择本地模型,让他去给我找一下咱们本地有哪些模型,稍作等待 好,选择当前的这个模型,咱们四三十一币,然后配置我们的聊天软件啊,这个老张之前讲过太多太多次了,现在呢,他又支持了很多,包括 qq 之类的,大家有需要的话可以按照之前老张的教程再来一遍,我们先跳过 打开之后啊,就可以直接对话。但是如果说善于观察的兄弟们也发现了,老张呢把这个使用模型呢换成了这个一四 b 的 模型,不是那个三十一 b 的, 因为三十一 b 呢,老张在测试的时候也好,或者在一些使用时候也好,他有的时候会出现这个连接超时的问题,也是 oppo klo 更新到最新版本出现了一个能启动问题, 这个呢,老张现在还没有特别好的解决方案,所以说我先用一次必得给大家进行演示,发一个,你好,我们来测试一下他的响应速度啊,还是比较快的。 然后接下来呢,我们再把之前的那个慢句的提示词发送过来,我们来看一下他能不能更好的帮我们去进行慢句提示词的对应理解,以及对应的相关反馈。 嗯,其实我们看到啊,他反馈的这个结果呢,和三十一 b 相比啊,真的是有一定差距的,但是呢,确实也是另一方面实现了我们所谓的叫偷根自由。 大家呢也可以后续啊,去测试一下怎么让本地如果你的显卡够用的话,把这个大模型给它跑起来。然后老张呢也会及时给大家更新,无论是在评论区中还是视频中教大家如何使用。我是程学老张,定期分享 ai 好 用知识,希望大家多多关注。

等等,一个只有三百一十亿参数的模型,怎么能跟一万亿参数的模型几乎同分?它的参数量不是小了一点,而是小了三十倍。 三十亿币可以在很多消费级的设备上跑了,按正常的逻辑,它根本不应该出现在这一档。而三十亿币的小模型就是谷歌刚发布的 jama 四。那 jama 四到底是什么?实测它的性能真的有这么好吗?一会我们详细对比,并且在手机上、电脑上都给它跑起来。 最后我们一起说一下,为什么它引起了如此广泛的讨论,以及它引起的新风潮,为什么可能直接改写接下来 ai 竞争的方向。 好,废话不多说,我们开始伽马四,是谷歌新一代的开源模型,这次直接发布了四个版本,能在手机上跑的一二 b, 能在普通消费机电脑上跑的一四 b, 以及需要一些高配电脑或者工作站的二十六 b 的 混合专家版本,以及最受关注的三十一 b 的 重密模型。 这个产品结构本身也解释了谷歌的野心,想把从手机、消费机设备到工作站这条开源路线一起凸出来。它的卖点非常明确,第一,谷歌算是铁树开花了, 这代的 ram 是 阿帕奇二点零的证书,是真正能让开发者去用、去改,去商业化的开源模型。二,它主打的不是参数有多大,而是 intelligence profile, 说白了就是同样甚至更小的体量,尽量打出更高的能力密度。比如这个图,横轴是参数量,纵轴是盲测得分,越往左上角走, 同样参数量的情况下,它的性能就越高。第三,它不只是要聊天,谷歌这次明确在推 reasoning and egotic workflows, 包括多步的推理,代码的生成,图像理解,上下文,甚至小版本还支持音频等多模态, 我们这些一会儿我们在手机上跑模型的时候都能看到。那这就是为什么伽马斯这次热度很高了,过去很多开源模型我们还是追求的最好的性能,那这次呢?谷歌的小版本在打本地和边缘设备, 而大一点点的版本却在挑战开源模型的榜单,说的就是这个三十一 b 的 模型这么小,已经在开放的榜单上打造一个所有人都能看到的位置了。那问题就来了,它的实测性能到底怎么样?真的有这么好吗?接下来我们一起看一下。 既然它号称和最好的那几个开源大模型旗鼓相当,那我们也不客气了,分别测试一 g m 四最好的三十一 b 版本和谷歌自家旗舰 g m d 四 b 版本,并且与同参数量的千万四 b 进行对比。三,如何在手机上跑 j 码四,以及我的真实体验。 首先在云端,我们对比四个模型, j 码最好的三十一 b 版本, gmail 三, flash gmail 三点一, pro 以及 deepsea v 三点二,在很多人都需要的编程文案和推理场景, 看看这个小模型有没有一丝替代昂贵一线模型的可能性。问题一,编程类,请用单文件 html 做一个高端现代家具品牌的网站首页, 这是 jam 生成的网页。其实啊,不经验,但是也不算差,考虑到它的体量,这个结果算是超过预期了。但问题也很明显,有些图片没有正常演示,图纹对应也有错误,所以完成度还是差了一大截。 这是 deepsea v 三点二生成的网页,整体也不错,设计能看,交互也有往下滚,还有一些动画效果,而且它的图片、文字这些元素是对得上的,说明它已经有些理解。这是一个电商的首页了。 这是 jammin 三 flash 生成的网页,第一眼观感已经很好了,设计感呢,比 jammin 更成熟,但是它的问题是动画和交互偏少,整体呢,没有达到完整的状态。 这是 jimi nike 三点一 pro 生成的网页,好疑问,是最强的对吧?几乎是一条提示词下去,设计,排版、交互细节都到位了,也充分理解了这是为电商准备的, 以及开头这些细节的动画,确实有一种高端,一种成熟的感觉。结论, jimi nike 三点一 pro 大 于 jimi nike 三 flash 大 于 deepsea 大 于 gemma。 这一次 gemma 是 最差的。问题二,文案, 请帮我写一段适合发朋友圈、社交媒体的短文案,主题是我第一次用本地 ai, 发现他已经在电脑上自己能做很多事情了。并列三四名, gmail 三点一 pro jimmy 四、 真香,安全感拉满,不要钱的专属助理,这些词都用力过猛,太假。第二名, gmail 三 fresh 最大的问题就是太过营销了,比方说,真后悔没去试,试过就回不去了,太香了,就是营销味太重。 第一名呢是 deepsea, 是 最像真人随手发朋友圈的,比方说啊,刚刚是在电脑上跑了个本地 ai 这种词,或者是速度比想象中的快, 隐私还放心,这些表达都相对比较自然。除了最后那句,推荐你们都试试看,稍微有点假,但整体来说还是最顺的。所以文案这里 deepsea 大 于 jimi nike 三 flash 大 于 jimi nike 三点一 pro 题目三,简单的推理题这个题所有模型都应该答对,这里主要看 jimi 四拉不拉垮。 一个农夫带着一只狼,一只羊和一颗白菜。过河船一次只能载农夫和另外一样东西,如果农夫不在,狼会吃羊,羊会吃白菜。请问怎么把这三样东西都安全的运到河对岸?请一步一步说清楚。 标准答案之一就是,人先带着羊过去,然后人自己回来,然后人带狼过去,带着羊回来。第三步,人再带着菜过去,人自己回来,最后是人再带着羊过去。 其实这道题都答对了,所以如果只看评理结果,那这题就是平手任马四,最好的三十一 b 白板啊。虽然阿尔瑞纳的盲测分数比 deepsea v 三点二高,但是文案和编程这两个我们需要最好模型来做的场景。我自己的测试没有 deepsea v 三点二好, 但是考虑它只有三十一 b 的 大小,编程的效果已经出奇的好。在云端测完最好的版本,下面我们测一下本地能跑的 ram 四,因为啊,大部分人的电脑都跑不了三十一 b 的 版本,所以我们在本地测试 ram 四 e 四 b, 并且对比同参数量的千万三点五四 b。 至于题目这么小的模型,测试编程能力就是有点耍流氓了。因为编程大家肯定都用最好的模型,所以这里我们测试三个日常助理的题目,考常识,考文案,考简单的推理一、常识规划能力。下周我要去巴黎玩,四千, 除了机票之外,预算一万,第一次去,住在巴黎市中心,帮我安排一个计划,并且告诉我最容易踩坑的五件事情, 这是他们的回答。简单来说啊, jama 这边没有出现事实性错误,而且行程写得更顺。但是他的问题就是,他几乎忘记了处理预算这件事情,而且最后的建议啊,没有这么贴切。千万正好反过来五个避坑建议相当靠谱,而且他是有意识的去考虑预算的,虽然是有些混乱吧, 但是千万里面有事实性错误,把两个景点荣俊苑和法尔赛混在一起了,而且他的思考时间啊,差不多是 jama 四的十倍, 所以各有一缺点,结果打平。题目二,文案把下面的 ai 味很重的口播稿点成更像真人说的话,要求更自然,更顺口,信息密度别掉,不要鸡汤,不要夸张, 人马四 ai 味实在是太重了。比如这一句,原句是,如果我们今天只是把 ai 理解成一个简单的聊天机器人,那很可能低估了这场技术变更的真正影响范围。 人马四改写的是,这可不是个小升级,是个大变格。这种话听起来就像 ai 反过来千问那句,你要是现在还把它当个普通聊天机器人,那你可能把这事看清了,我觉得就更自然一些。所以这题呢,比较简单,千问四必 大于 jama 四 e 四 b。 第三题还是刚才那个简单的推理题,一个农夫怎么带着一只羊一只狼和一个白菜过河的问题而都答对了。那么这个题平手可以看到 jama 四 e 四 b 的 版本啊,在我们的测试中,跟千万三点五四比打平,而且文案写的还没有人家那么好, 所以在我这里这个版本是没有什么惊喜的。 jama 四也能在手机上直接跑谷歌 a i h gallery 这个软件。 我的实测感受,第一,手机上有两个版本, jam 四一二 b 的 二点五 gb 和三点六倍 gb 版本。那么这两个呢,都是二十亿参数级别,专门为端侧部署优化的小模型, 两个都支持多模态,也就是图片和音频的理解。二就是有两个加速模式, cpu 加速和 gpu 加速。我的安卓手机呢, cpu 加速明显更快一些。 三,没办法联网,但是能用 viki pita 这个 skills 来获取维基百科上的信息。四,有 agent skill 模式,但是只有默认的 bug skills 和自己定义 skills 的 选项。 五,就是啊,图片识别模式非常的不稳定,经常出现闪退。从所有的评测我们看到啊, gemma 四远远不是最强的,那为什么它掀起了这么大的讨论呢? 就是因为他三十一倍的体量和高性价比的性能,大模型啊,越强越贵越大,就离普通的设备越远。在卷性能的另一端,他开辟了一条竞争的道路,就是谁的能力密度更高,谁更能落地手机电脑这样的普通设备。 那这条路线呢,有三个值钱的地方,第一就是成本更低,对吧?如果一个模型更小,能力还足够强,他的推理成本就会更低,对算力的依赖也更小, 同样的用户数量,竞争力就更高。第二就是他打开了一些之前做不了的场景,比如一些隐私敏感的企业弱网环境离线场景,这条路呢,可能会放大可成交的市场范围。第三 就是卖钱的方式有可能会变。现在 ai 公司卖的是旗舰模型的 api token, 如果未来有更低的部署门槛,更强的观测能力,更好的私有化能力,那钱不一定只在 talk 里赚了, 可以从企业部署私有化方案、设备预装垂直方向里面转。也就是说啊,开始从卖能力变成卖能力加卖系统,更加对接 to b 的 生意, 由此可能会带来竞争壁垒的改变。如果模型能力越来越近,那优势就会变成了谁更容易部署,谁更容易接近工作流了。当然,将来大家肯定还是会选谁的旗舰模型能力最强,尤其是 ag 的 能力和写代码的能力。 但是除了这条竞争路线之外呢,也许我们会看到 ai 竞争的第二条追求更强能力密度的路线。哎,如果你都看到这了,你是不是应该点个关注呢?我们下期再见!

bingo, 家人们准备好实现 tiktok 自由了吗?相信大家这几天都听说了谷歌发布了最强的本地开源模型揭幕四,那么有人就要问了,这跟 tiktok 自由有啥关系呢?反正我的电脑又跑不动,那我来告诉你,这款模型它甚至可以在手机上入手,而且重点是它的三十二 b 版本,甚至 几乎堆平一千一百个模型,但它的大小才增加了三十分之一,这是什么概念?相当于你十年前的老电脑都能跑,因为这家伙才六个亿。那么话不多说,现在我就来教大家如何在电脑上部署这款谷歌最强开源本地模型,均码式实现偷啃自由 开始,首先第一步呢就是我们要打开我们的浏览器,在这里面我们需要先下载一个欧拉玛平台,因为我们的模型是需要有一个平台才能跑的,然后目前市面上主流的就是欧拉玛这个平台,然后我们点一下进入它的官网, 进入官网之后呢,可以看到右上角有一个黑色的按钮,登录的就是下载,我们直接点一下登录, 进入之后他会有三个选项给我们选择,也就是说你是哪个系统的版本,然后我这边是 windows 系统,所以我就直接选择 windows, 然后下面有两个安装的方式,分别是在 power show 里面安装,还有一个是直接在浏览器下载安装,这边为了我方便演示,我就直接选择 download 或 windows, 直接在浏览器里面下载, 点击之后可以看到这个浏览器已经在下载我们的欧拉玛了,然后这个时候我们就等待它下载完就可以了,但是我这边在演示教学之前已经下过这个文件了,所以我就再下一遍,我直接点开这个,然后我们双击它开始安装, 当我们双击运行这个 r 码之后,他会给我们两个选项,我们直接点这个 install 开始下载就可以了,然后我们静静等他下载完,下载完之后我们就可以进入到下一步选择模型。 放完之后,我们这一步来到模型市场上去选择我们的加码模型,模型在这个页面,在这个链接我们点进去, 点进来之后就可以看到这个是詹姆斯的下载地址,但是我们不要着急去下载,我们第一步要先看我们的电脑适合哪一种模型,那怎么去判断自己的电脑能带动哪个模型呢?我们需要用到就是查看自己的电脑显存, 因为每个人的电脑型号都不一样,所以这一步呢,我建议大家直接去问 ai 怎么查一下自己的显存, 然后我这个电脑是六千一百四十四,也就是六千一百四十四除以一千零二十四,我这个电脑就是六 g 的 显存,那么六 g 的 显存呢?我们来到这个模型市场,我们可以选这个 e 四 b 这个模型,因为再大的 模型我们这个电脑就吃不下了。当然如果你的电脑有三十二 g 以上的显存,我是比较推荐二十六 b 或者三十一 b 的 这个模型的。嗯,但是在三十二 g 以下的电脑我都是比较推荐,就是不要上那么大的模型,用一次 b 就 足够了。 然后我们进入这个页面之后,可以看到欧拉玛的官方是给了我们一条终端指令,然后我们复制下来,回到我们的终端, 然后滑到最下面,我们右键粘贴点回车,然后这时候就开始下载这个模型了,我们等待这个模型下载完之后,就可以进入到下一步测试模型。 ok, 那 这样这个终端界面出现是 size 的 标识的时候,就代表我们已经安装成功了。然后我们打开我们的 rama, 进入之后呢,我们滑到这个最底下,就可以看到这是我们刚下载的模型 e 四 b, 我 们点他, 点完之后,我们开始试着跟他对话一下,给他发一个你好吗?然后进入这个思考,基本上就可以确定文本对话是没有问题的了。好,他已经给了我们回答,然后我们现在开始做一下图像测试,给他一张图片,然后帮我看看这张图片有什么, 在左边是一个男的坐在车上,然后呢后面是海,看他会不会准确识别出这个回答, 他现在已经给了我们回答,他说这是一辆白色的大众,然后人物的描写和文字的标识 以及地点,沙滩,海水,山体,甚至天空的色彩以及光线都给我们描述出来了。 那看得出来他这个扎马四对于图形的形容还是非常的细致的,大部分我们能看得见的,看不见的他都能识别,而且也很准确。 ok, 相信大家是经过上面的教学步骤后,都已经成功安装好了扎马四模型。之后呢,大家不仅可以把这个欧拉玛接入你们的龙虾或各个支持本地模型的软件中,实现真正的 token 自由,而且这个模型是典型 通用模型,不仅仅可以做到语言聊天,还能做到识别图像,提取语音。最重要的是它是全本地运行的模型, 可以真正的做到离线用的,同时还不用担心任何的隐私泄露等安全问题,你可以放心的交给他处理你的一切文件,例如知识产权、医疗记录、诉讼材料、商业计划书等等,因为他只是属于你的本地模型,他不会泄露你的任何文件。 好的,那么咱们这期视频就到此结束,希望大家看到我的视频有所收获,咱们下期再见!拜拜!

哈喽,大家好,酷狗前两天刚刚发布了最新的大模型 gm 四,这个大模型它是完全的开源和免费的,能够在本地的设备上离线运行,我用了这几天,我觉得这才是二零二六年最合理的 ai 技术路线。 真正值得关注的是,呃,他的这个原声支持函数调用,这就意味着这个模型能够自主的使用工具,浏览网页,执行代码,调用 ipa, 相当于你在本地安装了一个智能体,全程也不用联网,也不用花钱,完全可以调用本地的算理。但是呢,很多人都不知道怎么使用,所以今天跟大家分享一下专门四的使用。专门四分别有四个不同的版本,分别是 e 二 b 四、 b 二十六 b a 四 b 和三十一 b。 这些模型大小各异,可以部署在手机、电脑和云端的服务器中,它非常适合文本的生成、编码和独立任务。这张图片呢,是谷歌官方的一个,相当于是个测评吧, 不同大模型之间的一个测评。我们可以看到这几个都是市面上比较好用的大模型,嗯,包括我们国产的 d c 克千万和 kimi, 还有那个 g p t, 我 们可以看到这是它们之间的那个性能的一个对比吧。嗯, nice 区域,我们可以看到这个是 g m 四,在我们传统的认知里,模型越大,参数越多, 它的性能就越强。在途中我们可以看到 g m 四的这个三十一 b 的 这个模型,在实战能力上竟然超越了千万的三点五,因为三十一 b 它只有 三百一十亿的这个参数。千位三点五呢,它有将近四千亿的参数,这两者之间的这个体积相差了十倍,所以呢,你可以看出这面四就是用十分之一的体积跑出了十倍体积的对手,那这就意味着你不需要再付 报的这个服务器的费,你在自己的电脑上,手机上就能够拥有世界最顶级的这个 ai 大 脑。然后我们看一下这四个版本的功能吧, 以及定位。三十一 b 被称为是全能大脑,它可以处理任何的这个你所想要的执行的一些任务吧,它的定位呢,也是非常的明确,是最顶级的一个型号,擅长呢查某某的创作以及 深度的逻辑推理,它就像人类的思考会给你列出这个提纲一样,然后排查啊错误,然后再输出, 所以他非常擅长于这个深度的长文写作。那么第二个是二十六 b 的, 这个被称为效率之王,它的定位就是相对于上一个呢,它是一个平衡的版本,那么它的功能是保持在极高的智商的,同时呢,响应呢,要比三十一 b 更快, 所以呢,它适合于这个频繁的互动啊,快速的迭代的创意的这种工作。那么第三个和第四个是一四币和一二币,这两个呢被称为侧端的,先分我们,我我认为的就是说它是一个轻量化的模型,它只有四十亿和二十亿的一个参数,所以呢, 呃,它的这个体积相对也比较小,但是呢,虽然说它的体积比较小,但是可以通过这个 single 的 强化处理一些日常的对话呀,这个日常的整理,呃,简单的,这样还是非常的流畅的, 我们可以看到这是专门四网页端的一个界面,其实我这两天用的,用下来,我觉得他的这个云端的和网页端的这个使用其实是非常的非常的好给我的体验。因为普通人说实话你的电脑可能 配置没有那么高,所以你装了最高的那个等级的那个模型,你使用起来你的电脑可能就会如果说你的性能不够的话,你的电脑就会起飞的。所以我建议啊,就是如果说你不是做一些特殊的一些任务的话, 我建议直接用网页版的是最靠谱的。那电脑端有 pc 和 mac 的, 它的一个好处我刚刚讲了,就是直接在本地运行,断网也可以使用,最大的一个好处就是它是保护隐私的,不用担心你的文件或者说是你的信息隐私会被泄露,因为断网也可以使用,我觉得啊,是 这么的一个最大最大的一个特点。那么另外就是它的手机端是苹果和安卓系统都可以用啊,因为手机的内存是有限的, 所以呢我的建议就说如果是你非要在手机上装这个,我建议就是用的轻量化的这个版本的,否则的话你的手机肯定会发烫,它运行起来 特别的耗费你的本地的这个手机的一个算力的。所以最最第三个就是云端的,我是最推荐的这个直接再往月端调,而且你可以直接用免费的算力,因为使用也是免费的,你往月半使用也是免,不像其他的一些大毛器,你用着用他就没法用了,他就你的这个免费的额度,用完了 不让不让你用了。但是 gm 四它是无限使用的,目前来说是免费使用的,所以的话呢,大家如果说是想用的话,尽快用起来,我觉得是非常好的一个大冒险。大家如果说有其他的问题,我们在留言区可以互动一下,有什么问题可以直接问我哈。

先说个反直觉的,以前挑模型大家像挑冰箱,越大越好,双开门五百升能装一头牛。现在摘码四出来,感觉像有人默默递给你一个保温饭盒,看着不大,打开一看, 三菜一汤还带保温,关键刚好塞进你包里。三 e b 的 模型跑在你能买到的显卡上,效果跟那些参数巨兽掰手腕还不虚。这不是小布块 好,这是直接换了赛道。不比谁块头大,比谁脑子转得巧。边缘端那俩小鸽子才是真狠角色。 e 二 b 和 e 四 b 名字听着像手机型号,干的事儿可一点都不清亮。你想啊, 以前手机跑 ai, 要么卡成 ppt, 要么偷偷联网传数据,现在这俩小模型离线低,延迟还能听能看,你拍张菜单,他直接帮你算卡路里加翻译加推荐搭配,全程不用等云回复,这感觉像什么? 向你随身带了个懂行的朋友,而不是一个需要打电话问总部的客服隐私这事终于不用靠我们相信你来保证了,而是靠数据根本出不去来,兜底看原许可证,别只看表面啊 pi 七二点零,听着像法律条文,其实就一句话, 你拿去用,改了还能卖,我不收过路费。但有意思的是, google 这次不是施舍,是搭台。 hiking face 首日上线,奥拉玛拉玛 c p p 这些社区神器全支持,甚至你的游戏本都能 fine tune, 这像什么 像?有人不仅开了个免费厨房,还把菜谱、锅碗瓢盆甚至火控系统都给你配齐了。最后说一句,菜做好了,记得数名就行,但咱也泼点冷水。工具越自由,翻车越容易,模型微调歪了,输出带偏键,部署出 bug, 这时候责任算谁的?开言的爽往往伴随着没人都抵的引诱。说点你能直接用上的长上下文加多余元,丢给他一篇五十页的用户反馈报告,让他按情绪、地域、问题类型自动归类,还能顺手生成英文摘要。以前得写一堆脚本加掉 api, 现在一个 browns 搞定离线代码助手三、 e b 版本能在本地跑,你写运营自动化脚本时,让他帮你看逻辑,补函数,查 bug, 敏感数据不用出本地安心。 e 四 b 加音频加视觉。想象一下用户拍张英语笔记的照片与英文 这句话怎么读?模型直接识别文字加标注,发音加生成类似句型练习全程离线延迟几乎为零,这不就是你想要的故事加插图加句型学习流的自动化版本?

现在用奥乐玛可以本地跑 jam 四,谷歌开源免费大模型,它是谷歌在四月二号发布。 jam 四到底强在哪?先看第一张图, jam 四在开源阵营里性能很靠前,就是同样算力,预算下,它能给你更强的推理和代码表现。第二张图怎么选模型?清量设备先上 e two b 或 e 四 b, 速度快,资源占用低, 高配机器上二六 b 三一 b, 追求上线效果。接下来我们手动部署 jam 四,我将整理好的文档放在了飞书中。首先打开奥莱玛官网,点击右上角 download 它这里有 mac、 linux、 windows, 我 使用 mac, 所以 下载 macos, 这里拖着就能安装成功。奥莱玛这里,聊天框选择模型,这里还有 kimi 和 g l m 等 模型, mini max 和千万大模型这里我们直接寻找今天主角 jam 四,它有多个版本,每一个版本对应的电脑配置要求都不一样,这里我整理好了文档,我选择本地模型, 杰玛斯一二 b 选中了,他是不会立马安装本地模型,需要输入一个你好才能进行安装,他判断没有这个模型 会自动去安装。你不想这样安装,也可以打开终端输入这个指令,可以进行终端安装,两种方式,任选其一即可回车,就会主动的去下载杰玛斯,这里等待安装完成就能使用杰玛斯,安装完成了,他会回复你上一次的对话,我们来测试一下杰玛斯实际效果怎么样。准备了一个非常绕脑的问题, 就是去给车加油,到底是开车去还是走路去?距离两百米,从发送指令到响应还是很快,但是给出的答案很出乎意料,他选择了走路去,这里的话,我反问了一下他走路去怎么给车加油,然后再次思考回答问题,这里不知道是不是本地安装的版本问题,不能以此 回答成功,在我们进行第二次提问的时候才成功的脑筋急转弯的测试完了,我们来跑一下编码能力,这里我准备了两个文件夹,分别是 demo 四和 codex 的 使用, demo 四和 codex 进行测试,一样的提示词,这里我是用 cloud clear i 映设 demo 四模型进行开发,输入这个指令,它就会在 cloud clear i 中使用 demo 四模型, 这里指令是使用你的本地 jim 四模型,所以不需要考虑 token 问题。这里我准备了一样的提示词,都是开发一个俄罗斯方块,只需要回车就进行开发。 codex 那 边也是一样的提示词,但是那边使用的是 codex 五点三版本,这里我们直接看效果进行对比,这个是 jim 四开发的效果,整体来说没有 bug, 但是上下键的时候页 会滑动,会有一些细节。在 h 五也有这样的问题,这个是 codex 五点三开发效果,它不会页面滑动,但是不能全屏看完内容,两边的问题都是不能全屏看完,所以我们进行优化调整,一屏看完全部内容,两边的提示词都是一样的,不知道是不是我本地安装的问题,我的本地模型是一二笔版本的, 我们来看一下最终的效果体验,查看一下 h 五的效果进行开始游戏,这一次开始游戏页面不会进行滑动了,但是真的来说还是有一点细节。然后我们再来看一下 codex 版本的点击开始游戏效果这一边的话,看着是要舒服一点,体验感更棒。如果电脑配置要求比较高的话,可以试一下满血版的 g m 四,还可以在 cloud code, open code, open cloud 中进行使用,只需要输入这个指令就能在 cloud cloud 中使用,直接无缝衔 节在 collogix key 一 样的指令,只是把 cloud 变成 collogix, 这样就好了。接下来我们进行删除 gemma 四,输入 olamalist 指令,它会返回你本地模型名称,再输入这个指令就能删除 gemma 四模型。

昨天,谷歌发布了迄今为止最强大的 gemma 四本地大模型系列,让众多本地 l l m 爱好者欣喜若狂。 特别令人兴奋的是, gemma 四基于 gemini 三技术开发,根据公布的基准测试结果,其性能甚至超越了规模高达其二十倍的竞争对手。但抛开所有技术细节这些,我稍后会讲到。此次发布中最引人注目的它是 apache 二点零。 看起来谷歌终于听起了开元社区的呼声。如今, game 四已完全开放,允许商用的 app 二点零许可证发布了。 这意味着你可以用这个模型做几乎你想做的任何事情,完全自由,不受公司绑定,对您的数据和产品拥有绝对控制权。今天我要在我的笔记本上安装并测试这个模型,可能还会在台式机上试一下,看看它是否足够好,能作为我的主要本地模型使用。 但有个重要说明,我不是想用这个替代付费模型。我把詹姆斯视为对付费模型的补充,适用于不太复杂的任务,或我不希望数据离开本机的情形。嗨,我是 nick, 从事软件开发已超过二十年, 在这个频道,我分享自己在 it 领域的经验、见解与思考。所以,为了今天在我的电脑上运行 jm 四,我将使用 lm studio。 如果你还没用过这个工具,看看我频道上的视频,里面解释了这是什么,以及如何使用它。 好的,首先,我会尝试在我的 macbook 上安装这个模型,因为正如我所说,我希望它能随时可用。不幸的是,我的 macbook 只有二十四 gb 内存,所以我会在那里安装一个较小版本的模型,参数规模为两百六十亿或三百一十亿的更大变体,我将安装在台式机上。 该模型有多个量化版本可供选择,我就选最大的那个,毕竟大小差异不大,但输出质量应该更好。 模型下载期间,让我先回顾一下谷歌在公告中强调的几个关键特性。首先,这些模型在设计之初就考虑到了基于智能体的工作流,他们原声支持函数调用,并能生成干净的结构化 g s o n。 第二,所有版本都是多模态的, 他们能处理图像和视频,而较小的模型一二 b 和一四 b 甚至拥有原声音频支持,这意味着他们可以直接理解语音。 第三,这些模型配备上下文窗口,小版本为十二万八千个 token, 大 版本则为二十五万六千个 token, 这应能让他们胜任大型代码库的处理。不过这一点还有待我们测试验证。 最后,作为一个不错的额外福利,这些模型支持多种语言。好了,模型下载完成了,让我们把它加载到内存里,我们也快速检查一下参数。正如我所说,我下载了八位量化版本,架构当然是 gemma 四。最重要的是该模型支持工具和图像输入。 正如你所见,这个模型拥有七十五亿参数,但只有四十亿有效参数,这应该能带来更好的性能。上下文窗口已设置为最大值幺二八零零零头啃,这很棒。好的切换到聊天界面,让我们确认已加载并激活正确的模型。 顺便提一下, lm studio 在 这里显示了一些有趣的信息,比如模型加载后实际占用了多少内存?正如你所见,对我来说大约是十二 gb。 在 聊天底部,你还可以看到在使用模型时可用的工具。 好的模型已成功加载,我们来测试一下它到底行不行。为此,我会在新的聊天中发送一个简单的提示。首先,我会让它完成一项相当简单的任务,编辑一个 python 函数,按两个键对字典列表进行排序。 这是我用来测试每个模型的标准化提示词。这相当基础,所以任何模型都应该能搞定。但这里的目的是验证模型是否正常工作,并看看他在我的硬件上想拥有多快。 我会加快视频中回答生成的速度,因为生成完整答案可能需要一些时间。但最后我会分享总耗时,这样你就能估算他在你的机器上跑的多快。 所以模型耗时不到一分钟。精确来说是四十九秒,平均速度约为每秒三十一个 token, 启动响应的延迟约四点五秒。 老师说这是个相当不错的结果。提醒你一下,我是在配备二十四 gb 内存和 m 四 pro 芯片的 macbook 上运行这个。现在我们来测试一下詹姆士处理图像的效果,看看他是否能真正理解图中的内容。 我会上传一张图片到聊天中,然后让模型描述他看到了什么。这是照片。如你所见,我拍了一张书桌的照片,上面有四样东西,键盘、 kindle、 鼠标和一支笔。让我们看看 gemma 能认出其中多少个 好的模型已完成图像分析。正如你所见,它成功识别出了键盘和鼠标。它还识别出了 kindle, 甚至描述了表面和光照情况。然而它没注意到那只笔。但说实话,这没什么大不了的,重要的是它捕捉到了整体场景,并正确识别出了大部分主要物体。 好的,现在轮到测试更大的模型了。为此,我将使用我的台式机快速介绍一下。我将运行 jam 四两百六十亿参数版本的机器配置。 它配备 amd ryzen 七处理器,一百二十八 gb 内存以及带有十六 gb 显存的 gforce rtx 四零六零钛显卡。好了,模型已启动并运行。让我们给它在 macbook 上执行和小模型相同的任务。 编写一个 python 函数来对字典列表进行排序。这将帮助我对比 jam 四第二十六版在我的台式机上的性能。在此,我会加速生成过程,但稍后会分享总耗时。 在生成回复的同时,看看系统覆盖。右上角我运行的是 mv top, 我 用它来监控 gpu 使用情况。深黄色线条显示显存使用情况,浅蓝色线条显示 gpu 利用率。右下角我运行了 hto p 来监控 cpu 覆盖和内存使用情况。 这两个工具都是免费且开源的。由于完整的 jam 四模型无法完全放入我的显存,因此它严重依赖 cpu 和系统视频内存。但这并不是真正的问题,关键在于响应速度是否可接受。 好了,模型已完成响应生成耗时一分三秒,比小模型稍慢一些,每秒 token 数也显著更低。正如你所见,它大约是每秒十二个 token, 那 比小模型慢了将近三倍。但这并非公平的直面对比。 由于这些模型的能力差异很大,不过现在我对这台电脑上这个模型的预期有了清晰的了解。顺便提一句,这台台式机运行的是 linux 系统,我偶尔用它来做些项目,但我很少把它当做传统台式机用。它主要是一台高性能服务器。 由于它连接到了我的家庭网络,当我需要时,通常可以从任何其他电脑通过 s s h 访问它。我用来与一切交互的主机依然是我的 macbook, 而且好处是你并不需要太多设置就能让它跑起来。厅 l m studio 已经内置了一个可以通过网络访问的 api。 好的,现在让我们切回 macbook, 给模型布置一个更有挑战性的任务。如果你看过我之前测试千三点五和千 code next 的 视频,可能会记得,我准备了一个任务文件,让模型去可示化一个排序算法。 今天让我们给 jama 司同一个任务。在生成回复的过程中,我再给你们看看系统赋载。这和以前差不多, 几乎所有 cpu 核心都已满载,现存也达到极限。好的模型完成了。正如所要求的,它生成了一个可示化排序过程的 html 文件。让我们看看。乍一看,一切看起来都正确无误。我没看出什么明显问题, 现在我要在浏览器中打开它,看看最终效果。哦,这看起来相当不错,它甚至使用了自定义字体,让我试着运行一下。没错,一切正常,速度滑快,可实时更新。动画 不错,总体而言非常扎实。所以今天测试完 demo 四系列后,我可以肯定的说,这些模型真的很棒,我肯定会经常使用它们。 但再次强调,为了明确起见,我并非打算用这个来替代付费模型,我把 demo 四视为付费模型的补充,适用于简单任务或我不希望数据离开本期的情形是,好了,今天就到这里,如果你喜欢这个视频,别忘了点赞订阅,以免错过下一个,回头见。保证。

不久前,谷歌发布了 jam 四系列,它不仅是一款开源模型,更是一次关于如何把超级大脑装进手机的工程奇迹。今天我们一起来看一下它是如何用不到四 g b 的 显存,跑出大模型的效果。 这里我们做了一个测试,使用三台手机在本地离线跑 jam 四 e 二 b, 屏幕上呈现的是这三台手机的测试数据,下面给大家看一下实际运行的情况。第一个加油问题, 第二个 g two 铜龙问题, 第三个字母出现次数问题。 可以发现,关于对常识的判断仍然是小模型的短板。然后这三台手机中, iqoo 十五的运行速度最快。 simon 四一共四款,覆盖从手机到工作站的所有场景。 a dos base 最轻量手机和树莓派都能跑,自带语音识别,量化后只要四 g 显存。 a, 跨出白瓷笔记本甜品级, 速度和能力之间的平衡点。二十六 b, 混合专家架构,总参数二五 b, 但每次只激活三点八 b, 用小模型的成本干大模型的活。最后是三 e b 单词,旗舰级模型,全参数推理,开源模型排行第三,适合有好显卡的用户。这里要讲一个关键的概念,单词和猫的区别, 单词密集型。你看屏幕上这些格子,全不在闪,因为每次推理所有参数都参与计算,三十一币就是三百一十亿次,运算一个不少。它的优点是稳,缺点是慢,而且吃显存。 切换 m o e 模式,注意看大部分格子暗了,只有几个在亮,这就是混合专家的精髓,模型里有一百二十八个专家,每次只派八个上场,剩下的待命。 最后说说它的边界,左边是强项,文档识别,发票解析,代码补全,长文档,问答 agent, 自动化任务,这些它都能做,而且跑在本地,意味着你的数据永远不用上传到别人的服务器。 右边是它的短板,如果你问它能否替代跨腾或 gpt, 答案显然是不行的,那能否进行高质量写作?这里我的回答是勉强可以,至于大规模的代码重构,那以它的能力还差得很远。 说白了, jam 四是一个极其出色的本地工具型 ai, 你 把它当高效工具用,它不会让你失望。如果你把它当全能大脑用,那你就会很失望。 想试的话,这里有两种方式,手机用户可以直接去 google 的 a i h gallery 上下载使用,电脑用户更简单,欧拉玛一键运行。下面我们来看如何用欧拉玛本地部署 jamal 四 e 四 b 模型,并使用 clogot 调用它。在 clogot 直接提问它是什么模型, 它是由谷歌训练的大语言模型,欧拉玛在首次请求时加载模型,加载耗时三十八秒,显存系统分配总计实际首先确保电脑上已经下载过欧拉玛,只需执行一行命令,欧拉玛 round gemma 四冒号意思币,等待模型下载完成,总计约九点六 g 币。成功后在终端测试。问答, 它是一个大语言模型,名字是 gemma 四,由 google deepmind 的 开发,属于一个开放权重模型系列。复制这个模型 id, 克隆项目源码, 进入项目目录,运行安装命令,下载完依赖后进入引导界面,颜色模式随便选。第四个是我们做的国产模型适配选择第三项,本地欧莱玛模型, 然后粘贴刚刚复制的模型 id 回车。确认到这一步配置成功。我们问个问题测试一下,现在已经调用成功已经登录的用户,想要切换模型,输入 logo, 退出登录,然后运行帮人 devi, 即可重新配置。我们最新版的 cloud code 已开源,大家关注评论获取。 目前呢,该模型权重在 hackin、 face 和 kaido 上都能下载。以上便是我对 gmail 四的实测解读,如果你觉得有用,不妨点个关注,我们下期再见。

今天我将跟着大家一起本地步数加码四,接入 open core, 彻底告别托肯焦虑,接下来跟着我操作。 这里我们先进入 elama 的 官方网站,进入官方网站过后,我们直接点右上角的 download 下载,我们这里是 windows 系统,选择下载 for windows, 点击这里, 这里就等它下载好。下载好之后,我们这里就直接双击运行,这是它的安装界面,我们直接点安装这里,等它默认安装好。 好了,这里 elama 就 安装好了。然后我们到这个地方 elama 的 官方网站,选择 models, 这个地方选择 command 四, 然后这里我们选择我们的模型,这个模型的选择我们根据我们的显卡显存大小来选择。我们这边看一下我们的显存是多少, 这里看到我使用的是四零七零的显卡,显存是十二 g b 的 显存,十二 g b 的 显存的情况下,我们可以选择这个九点六 g 的 模型,这个一四 b, 这个我们直接点进去,选择一四 b。 点击进去过后,我们直接复制这条命令,然后运行一个 cmd 窗口, 直接粘贴这里,它就会欧拉玛会自动地给我们安装这个模型。呃,这里等的时间是比较长的, 这里模型已经下载下来,并且运行起来了,我们向它发送一条消息,试一下你是谁, 反应还是可以的,这就跟了我们信息回答了。好了,在这里过后呢,我们就可以把这个窗口关闭掉, 关闭掉过后,在 lama 这个地方我们去选择这个模型,在这个位置也就可以和它进行通话了。 比如我们问他一句,你可以帮我做些什么, 他已经帮我回答了,在这里呢,我们因为我们是在本地虚拟机上安装的,所以而且我们为了方便以后可以在其他计算机上也可以调用,我们在这地方设置这个位置 点,这个位置点设置这个允许在网络上运行,把它开起来点了就可以了。 好了,我们下一步就开始配在 open core 上配置啊,在这里我们进入虚拟机之后,我已经执行了 npm i, 刚接 open core 全曲,安装 open core 的, 我们这里可以执行一下 mini, 看下我们安装的版本。 openclock 杠 v 是 安装的最新版本二零二六点四点五版本,然后我们执行 openclock on, 在 这里我们进行一个调试,这个地方我们 yes, 这里选择快速,这个地方它是让我们选择大模型,呃,大模型它这里有,我们选择本地的这个位置点确定 这里我们直接就选择本地的,不要选云,上面是带云端的,就选择本地模型。 这地方让我们选择模型,我们选择这个,这就是我们刚刚这个就是我们刚刚下载好的模型,就是 直接回车。等一下, 这里让我们选择通讯工具,我们这直接跳过,暂时不管这个,直接跳过。 呃, scale, 我 们这边也选择否先进行最简单的安装 网关,我们就直接重启, 选择 open ray web ui 好 了,我们看一下 open core 运行起来了没有。 open core getaway style sta 好了,已经运营起来了,我们进去看一下, 这边需要 token, 我 去看一下 token 是 多少,关于 token 的 话就是我们,我现在是在虚拟机里面安装的, 我要重新打开看一下,在虚拟机里面安装,我们就直接去通过这条 mini 访问我们的虚拟机, wsl 的 虚拟机访问,然后无斑图选择 home 目录,选择我们的用户, 然后这里选择点 opencloud 这个文件夹,然后这一个 opencloud json 让我们看一下,到 git 里面去,这个地方就是我们的 talking, 复制粘贴下来到这个地方,点连接好了,我们尝试给他发一条消息,你是谁? 在主位置这个地方,我们可以看到这地方是我的模型。 我再问他一条消息,你现在使用的是什么模型? 看这里已经是我当前运行的模型 工具,在这里我们就可以看到了,我们现在整个 open call 来使用的是我们本地模型,就不需要去购买 token 了。好,今天内容就这么多,谢谢大家。