ok, 朋友们,那最近有个新的 agent 叫做 hermes agent, 在 外网非常的火热,他说你的第一个爱马仕,何必是爱马仕,那么他被人叫做小龙虾的进化版本, 那他跟小龙虾有什么区别呢?今天这个视频我就会讲清楚 hermes agent, 并且会手把手的带你从安装到设置,然后再到使用。那么这次我会使用这个谷歌最新的开源大模型 java, 然后我会把它部署在本地,并且会教会你,然后接入到 hermes 来使用,这样就可以实现 fork 自由。 那我们首先先来讲讲 hermeshermes, 它跟小龙虾的第一个区别就是它能够自我进化,自我学习,会自动生成 skill, 就是 不需要我们去手动创建这个工作流,那么只要你用的越久,它就可以越来越懂你,用起来越来越顺手。那么它具体是怎么实现这个自我进化的呢?这里有两个数字,一个是五,一个是十五。那么首先我们来说一下这个五, 那 hermes 在 完成一个复杂的任务,通常指的是它要进行五次以上的工具调用,它就会自动地把整个工作流沉淀成一个 md 技能文件,之后它下次再遇到类似的任务的时候,它就会直接加载这个 skill, 跳过摸索阶段。 那么如果它在执行过程中发现有更好的方法,它也会自动更新 skill 文件,那么上述这个过程是使用一个叫做 skill manager 的 工具来完成的。 那十五次是什么意思?也就是说他每进行十五次的工具调用,系统会自动停下来回顾刚才发生了什么,找出哪里失败了,然后立即更新自己,这个就是他的闭环自省功能,也就是他越用越强的秘密。所以说五次就是他什么时候记,什么时候创建自己的技能,十五次就是他什么时候反思。这两个是不同的处罚机制, 这就跟我们传统的 skill 编写方式是很不一样的,因为我们知道无论是小龙虾,或者说是 cloud code 或者说 code, 他 们的 skill 都是由人工来编写的,或者说从这个 cloud hub 这种 市场上面下载下来的,他们没有自我生成,也没有自我迭代。那很多人使用小龙虾的时候,还有一个问题,就是觉得他特别笨,比如说今天说的事情,明天就忘了,然后他告诉你我一定会记住,结果第二天他又忘了,那原因就是因为小龙虾的记忆系统不够完善,他只是简单的压缩了上下文。所以说我们会看到很多团队也在做 agent memory 这件事情就是想解决持久化记忆的问题,让 agent 能够永远记住你的信息, 比如说密木林,比如说国内盛大网络的 evermind 等等等等。那 hermes 和 openclaw 它的记忆系统之间有什么区别呢?其实最大的区别就是它们在容量管理上面是完全不一样的。那我们来看一下 hermes 的 三层记忆系统。那第一层叫做绘画记忆, 也就是实时的大拇指的上下文窗口,比如说一百二十八 k, 二百五十六 k, 那 它在绘画结束的时候就会消失,跟我们正常在聊天框使用豆包 deepsea 是 一样的。 那第二层叫做持久化记忆,那这层有两个文件,分别是 memory md 和 user md, 顾名思义和小龙虾的作用是一样的, user md 呢,就是用来收集用户的画像和偏好的,那 memory md 则是用来长期记忆和经验沉淀的。 但是在小龙虾里面,这两个文件的容量默认是两万个字符,那么超出之后它就靠上下文压缩,把旧的对话内容给压短。但是问题就是说压缩之后会导致信息丢失或者变形。 而 hermes 的 memory dmd 里面只有两千两百个字母, user dmd 里面只有一千三百七十五个字母,它的容量是小下的十分之一,那它为什么要设计的这么短呢?其实这是一个团队的设计哲学,就说团队他故意把容量做的非常小,迫使这个 agent 主动去提炼,去重合。并 不够用了的话,那就必须先整理旧的才能添加新的,那容量满了的话,不是压缩,而是主动侧展。那 creation 也是刚才说的主动侧展,和我们之前说的压缩 compression 有 什么区别呢?压缩是把所有的东西硬塞进去,然后变短,变紧凑,但是内容它会变形,会丢失,会失帧。而侧展它是主动的去筛选, 判断什么重要,什么不重要,什么可以合并,什么该删除掉。那么 hermes 他 走的就是这条路线,所以说虽然他的记忆非常的小,但是他每一句话都是有用的。那 hermes 的 记忆系统第三层就是全量历史解锁,他会把所有的历史对话放在 s q l lite 数据库里面,如果说他需要查找历史数据的时候,他就会使用关键词查找匹配,然后 找到这个片段之后再使用大模型整理材料,最后返回给我们,而不是说跟小龙虾一样使用向量解锁。那我们先说说关键词查找匹配,那这个就很简单,就类似我们的 ctrl 加 f 搜索什么关键字,它就匹配什么。 那在 hermes 里面,它就会根据关键字去搜索相关的段落,然后让大模型去整体的理解这段话什么意思,理解完之后再返回一段材料给到你。 那我们举个例子,比如说现在我给这个 agent 说,之前上周我们讨论过一个三个月的学习计划,来提高我的这个英语口语和表达能力,你去帮我找找那个计划具体是怎么样的,然后再给我说一下,那他就会执行下面这几个操作。首先他会去搜索关键词学习计划,三个月提升英语表达,然后找到这些文本片段之后,大模型会整体的理解上下文,然后再返回一段摘要给到我们。 那什么是向量解锁呢?向量解锁它就是把文字转换成数字,我们知道计算机它存储的是零一系列,对吧?它是存储不了文字的,所以说在存储的过程中, 它会把文字转换成像量,那向量解锁就是通过比较数字间的距离来找相似的内容。比如说现在有句话叫做猫在沙发上睡觉,转换成像量可能就是零点八二、零点一五、零点三三。 那还有另外一句话,就说一只猫咪握在沙发上转换成向量,可能就变成了零点八一、零点一六、零点三四。虽然说这两句话的字是不一样的,但是它们的语义是非常类似,都是猫在沙发上,对吧?那所以说它们在向量空间上面的距离是十分接近的,那 ai 就 能够理解它们是同一个东西。 向量接收的好处就是能够理解语义,但代价是需要你额外的向向量数据库来存在,向量存储成本会更高,并且还需要一个迭代模型。 那我们还知道养小龙虾呀,是一个非常烧 token 的 事情,因为它真的太耗钱了,那 hermes 就 能很好的解决这个问题。那为什么养小龙虾非常的浪费?这个 token 就是 在于这个系统提示词的加载方式。那首先我们说一下什么是系统提示词, 我们知道当我们和 agent 对 话的时候, agent 收到的并不仅仅是你的问题,而是系统提示词加上记文件,加上当前的对话,就等于 agent 看到的完整上下文。 那系统提示词里面包含了什么呢?比如说 agent 是 谁?他应该怎么工作,记住什么信息,也就是我们理解的 so 点 md, user 点 md, 正题题点 md 这些文件。那对于小龙虾来说,他每次会画会重新加载这些上下文,然后对话开始的时候,他读去所有的记忆文件,然后拼接之后注入上下文。那么 lama 在 处理上下文的时候,他会把之前遇到的内容缓存起来,然后来加速处理这个缓存,命中 token 的 价格是最便宜的,那如果说上下文内容在一直改变,对吧?那我们前面的缓存就会失效, 因为缓存是按照顺序来存取的,你前面如果变了,后面存的再多的缓存都没用了,接下来全部从头来过,它不是增量改变的,而是全部推倒重来。 而且还有个现象就是我们知道现在市面上很多中转站,对吧?那你会看到很多这种垃圾中转站为什么都可以用的这么快?原因之一就是因为它不让你去命中缓存,全部给你用最贵的消耗方式。那我们看 hermes 它是怎么做的? hermes 它完全不一样,它会在绘画开始的时候执行一个操作,叫做 frozen snapshot 冻结快照,他会把当前所有的记忆文件等等等等上下文全部读起之后锁定,然后注入到上下文里面去。那在绘画进行的过程中呢?如果说这些文件被修改了,他直接不管, 他继续使用锁定的版本,等这次绘画结束之后,他才会把这个修改写入文件,然后在下一个绘画开始的时候,他会读取最新的版本。那这样做有什么好处呢?首先第一点,最显而易见的就是可以保持前缀的缓存命中性能更好,并且更节约前。第二点,他可以避免 a 键在绘画中途修改记忆导致人格飘逸的问题。 那什么是人格漂移问题呢?打个比方,就像现在我们正在写一篇论文,那假如说我们现在写第一章,并且已经把所有的参考论文文献全部找好了,那我们在写的过程中,我们就一边看一边写,对吧?那现在这时候有个人跑过来跟你说,参考文献更新了,你需要加一篇新的,然后再删除一篇旧的, 那你是不是想把这个给红出去?因为你论文写到一半,参考文献给我改了,那这不是捣乱吗?所以说如果说你修改的话,你的逻辑就已经不值价了,这个论证链条就会受到影响。那 herb 的 说法就是你不用管,你就用旧的参考文献来完成第一章的章节,然后在进入第二章之前,你再去拿最新版本的参考文献。这样的好处就是第一章的论证逻辑是稳定一致的,不会因为中途文献的增加修改而改变。 那上面我说的这几点呢?就是 hermes 和小龙虾的最主要的差别。那简单来说,小龙虾就像是一本人工维护的笔记本,你说什么,然后就记什么,满了之后我们就压缩。但是 hermes 呢?它更像是一个自动整理的一个档案系统, 它自己会判断价值不够了,会主动合并,并且会把做过的事情变成一个可以用的技能,这也是它为什么越用越聪明的原因。现在我们就开始安装设置这个 hermes, 然后本地部署 java 这个大模型,并且把两者打通。 那现在我们来安装欧拉玛。欧拉玛是什么东西呢?简单来说,欧拉玛它是一个本地的大圆模型运行器,我们知道所有的大圆模型,它可能参数不同,启动方式不同,那是不是很不方便我们去使用,因为他们没有一个统一的标准。那欧拉玛就做了一件事情,他把常见的这些模型全部包装成了统一的重格,使得我们去很方便的调用切换,所以说它是一个统一的包装层。 那如何安装欧拉曼呢?也非常简单,我们只需要打开他的官网,那么来到他的首页,我们点击 download, ok, 那 可以看到这里,他让我们选择三个系统,我们选择我们的 micros, enix 和 windows, 那 这里我是 micros, 那 我就选择 micros。 那 大家如果是 windows, 我 们就点一下, 然后把这个命令复制终端里面去运行就好了。那,那如果说你发现你在终端运行这个命令是失败的,那我们也可以选择下载它的这个 app 形式,那这里我就选择在终端安装,那我复制这条命令, 打开 terminal, 然后粘贴上去,然后回车。那大家注意,如果说你使用终端安装的话,你最好把你的这个魔法开成 t u n 全剧模式, ok, 那 安装好了之后,它就是这样一个界面,那现在我们来继续安装 java for, 然后把它部署到我们的本地上面。那很简单,我们点击这个 models, 然后这里我们就选择我们的贾玛 four, 然后点进来之后,我们可以看到它这里给了模型的好几个版本,一二币、一四币、二十六币、三十一币和三十一币 cloud。 ok, 那 现在你可能会问,那我怎么知道我该下载哪一个模型呢?那这里给大家推荐一个网站,叫做 what models。 打开这个网站呢,我们只用在这里选择我们的这个 gpu 是 什么, 比如说你是英伟达的,你是 amd 的, 或者你是苹果的,好吧,选择你的 gpu, 这里有五零七零,五零六零,然后比如说你是英伟达的 四零九零,你就可以看到你能跑的很好的模型有哪些,对吧?然后你一直往下拉,基本上可以升了很多模型了,那就是说你跑的有点吃力的啊,这个就是你完全跑不了的, 所以说大家可以根据自己这个显卡的配置去选择,那我们回来安装,那我在这里的话就选择安装这个一四 b 的 版本就好了,然后因为一二 b 确实太蠢了,二十六 b 的 话,我目前这个笔记本是有点吃力,所以说我选择这个一四 b 的 版本就好了。 那安装这个模型非常简单,我们把它的名字复制一下,然后我们打开终端,我们输入欧拉玛库,然后粘贴它的模型名字,然后回车等等,等待它安装就好了。 ok, 那 可以看到现在我们就安装好了,那我们输入欧拉玛 list, 就 会看到我们现在本地安装了哪些模型。 可以看到我们这里本地安装了一个 java 一 四 b 的 版本,然后这个 size 的 话是九点六。那现在我们来测试一下 java 的 多模态信息处理能力,我们可以看到我给了他一张图片和一段文字,可以看到他思考了三十一秒时间, 那现在我们看看他在处理开放问题的时候表现怎么样。现在我给了他一个问题,现在 ai 什么都会做了,那我们普通人应该怎么做?普通人该怎么才能保证自己不会被 ai 淘汰?给我详细分析一下, 可以看到他思考了四十五秒钟时间,然后生成了这么长的回答,并且说的还是挺有道理的。那现在我们来安装一下 hermes agent, 那 安装也非常简单,我们打开它官网,然后复制一下这个命令, 我们打开终端粘贴回车,等待它安装就好了。可以看到他先会看我们一些必要的包有没有,没有的话就给你安装,有的话就直接跳过, ok, 那 现在我们看到他已经把所有的依赖全部安装完成了,然后的话他开始了这个安装向导,然后他检测到了我们已经安装到了 open class 小 龙虾,然后他开始问说你是否想看看有没有什么可以导入的?那我们选择 yes, ok, 那 现在我们看到他在问我们要不要把 open class 的 这个配置牵引过来,然后他给出了一个预览界面, 那如果说你觉得你的这个小龙虾调教的非常好,你可以直接把它牵引过来,那这里我有了演示,我就直接选择 no, 不 牵引过来。 然后现在我们来到了配置界面,那这里我们直接选择快速配置就好,然后这里它就让我们选择你要使用哪个大模型呢?那我们可以看到你可以使用 gemine, 可以 使用 srappik, 可以 使用 openend codex, 可以 使用千万,对吧?可以使用 gitopilot, 也可以使用 hackbase 上面自己下载的这个大模型。 那刚才因为我们已经在本地上面部署了 java for, 所以 说这里我们选择 modividers, 然后进来之后我们可以观察到它多出了更多选项,比如说有智普的,有 kimi 的, 有 mini max 的, 有 kilo, 有 open code 的 等等等等。 那因为我们要选择本地部署大模型,所以说这里我们选择 custom endpoint 就 好,那在这里我们填写我们的 base url, 默认就是这个,大家记住就好,然后复制粘贴,然后这里他们选择填写这个 a j i key, 那 我们直接跳过就好,然后这里他们填写模型的名称,那我们就用填写刚才下载好的模型名称就好了。那这里是加码 four, 那 是 e c b 的 版本,这里他们选择上下文的长度,那我们直接回车默认检测就好。然后现在他们选择是否要进入聊天平台,那我们选择设置就好。 大家可以选择我们要接触聊天平台,比如说飞书,微信, telegraph, discord 都可以,那这里我们选一个菜单,那我们选微信,然后我们回车。先第一步它让我们设置我们的 telegraph, 那 我们只用找到这个 boat father, 创建一个新的 boat, 然后把 token 复制过来就好。 然后这里咱们选择谁能给这个 bug 发消息,那这里大家一定要好好选择,因为说如果你什么都不捡的话,那他就会默认所有人都给他发消息,并且他会回复。那这里我们只用填写我们自己的 user id, 如何获取你的 user id 呢?大家关注这个 bug, 然后给他发一条消息,他就会把你的信息返回过来。这里上我们选择是否要把我们的 user id 作为默认频道,那我们选择 yes, 然后现在他开始让我们选择登录微信了,那我们选择 yes, 把这个链接复制浏览器打开,扫描二维码登录 这里他让我们配置谁可以给这个 boss 发消息就私发消息。那第一个选项就是手动批准,第二个选项就是允许所有的私发消息,第三个选项就是只允许白名单,第四个选项就是谁都不能给我发,那我选择第一个选项就好。 然后这里他让我们配置谁可以建立群聊,然后发消息,他怎么处理群里面的消息?那有三个选项,第一个就是不允许群聊,第二个是允许所有的群聊,第三个就是只允许白名单里面的群聊,那选推荐选项就好, 然后这里他们选择是否要把我们的微信平台作为默认屏,那我们选择 yes, 现在我们已经全部配置好了,然后他问我们是否需要重启网关,那我们选择 yes。 现在配置完成后,他问我们是否需要立即启动,那我们选择 yes, 那 现在我们来接入微信使用,那我们可以看到因为它需要手动授权,所以说那我们在终端运行下这个命令就好。 ok, 那 这里显示已经授权成功了,我们再给他发消息试一下,我们可以看到它这里显示对方正在输入中给出了回复,那我们可以成功使用了。那刚才我们是使用本地部署的模型,那大家如果想切换和云端的话,那也非常简单,我们只用在终端输入这行命令。 hermes model, 然后在这里大家就可以自由切换了。那如果说这里找不到你想要的模型,那大家就可以自由切换了。 那在这里我选择 mini max china, 然后配置一下我们的 api key, 那 接下来配置我们的 base layer, 我 们把它复制过来,然后粘贴。那大家注意一个点,就说如果这里你不是点 com 结尾,而是点 i o 结尾,那就是配置到海外去了,所以说要保证你是点 com 结尾。 然后大家选择自己想要的模型,那我就选择二点七,那现在我们来测试一下。那如果说我们想要启动终端的聊天界面也很简单,我们输入 hermes chat, 我们给他打个招呼, 可以看到我们已经成功替换好的模型。朋友们,那这就是本期视频的全部内容,我是 jerry, 我 们下次再见。
粉丝2462获赞1.6万

谷歌最新开源的大模型 demo four 据说很强,在综合能力上甚至超越了二十倍规模的开源模型。 今天教大家如何快速部署在本地,以及分享一下在 mac mini 上的实际体验感受,具体感受什么样?大家看视频吧。首先打开欧拉玛官网,下载它的应用程序, 打开应用程序,我们看一下他目前支持的一些免费的开源模型,还没有 demo, 所以 我们需要去他的官网再去下载下载到本地。那么这里呢,有很多不同的型号 可以看一下,它有很多不同参数的型号,有满配的,还有一些轻量版的。那因为我这个是 mac mini m 四十六 g 版本,所以我们就选择它系统默认推荐的这个九点六 g 的 好,只需要复制这个指令,然后打开终端运行,它就会自动去下载 这里下载了。那么我们先测试一下, 测试一下他的回复速度,因为是第一次响应,所以速度会有点慢,然后我们打开活动监视器,看一下他占据内存的情况, 这个模型本身就有实际系统走内存差不多也跑满了,这里他已经有回应了,我继续再测试一条, 第二次响应速度要比第一次快很多, 我叫 jam 四,我是一个由谷歌 deepmind 开发的。 ok, 现在我们打开欧了吗?然后去加载一下,这里要重启一下这个程序,然后再看模型选择,里面 最下面就已经有了已经安装好的,现在我们把这个模型对接到本地的小龙虾,只需要复制这个指令,打开终端,在终端里面运行,它就自动会加载好, 这里有不同的模型选择,都是他支持的一些免费的大模型,我们选择 demo 让他去运行。 ok, 这里已经加载好了,测试一下他的响应速度。 这里我是放了八倍速了,说实话,因为实在是太慢了,他平均回复一个问题的速度差不多要两分钟, 非常非常慢。我本来想在这个小龙虾里面测试一下他的执行任务的能力,但是这个速度的话确实没有办法, 但是它有个好处啊,如果你有低血压的话,你就可以用它。我是动物城朱迪警官,你好吗?我过得还好,不错,谢谢。这里我甚至尝试开启快速模式, 但是实际的感受没什么变化,就还是那么慢, 所以只能放弃在这里面做测试了。那么我们还是回到欧乐玛,在这个软件里面测试一下这个模型本来的能力。这里给他放两张图,让他识别一下图先, 一个是标格,一个是周杰伦,看一下他能不能准确的识别。 这里我也是开了倍速的啊,但是这里的速度要比小龙虾里面快很多, 我给他给出的答案是,图二是陈坤,图一是一名中国艺人, 看来这个版本的模型识图能力还是有点差。接下来测试一道经典的陷阱题啊,这个对大模型来讲是一道陷阱题,很多大模型都倒在了这道题上面, 那么他给的建议是走路去,最后测试一下他的复杂推理能力, 这道题是我让 gbt 五点四给我出的一道推理题。 abc 三人中恰好有一人是骗子,永远说假话,另外两人永远说真话。他们各自说了一句话, a 说 b 是 骗子, b 说 c 是 骗子, c 说 a 和 b 至少有一个是骗子, 请问谁是骗子?给出答案,并且给出完整的推理过程。好,他给出的推理过程和答案我跟 gpt 五点四给的标准答案对比了一下,是一样的, 所以它的复杂推理能力还是可以的。 ok, 总结一下实际体验感受啊,你如果是 mac mini m 四十六 g 版本,虽然能运行,但是它会把你的内存拉满,就是你的电脑会一直处于满负荷的状态,而且响应速度也很慢,所以使用感受是很差的。 当然,如果你的电脑配置足够高的话,你是可以去尝试部署在本地的,因为它的响应速度肯定要比我这个要快很多。而且你还可以尝试去部署它的满配版,比如三十 e b 那 个版本, 能力应该是要比这个强不少。

大家好,这两天杰纳斯啊,非常热,有人说他是一个开源模型的一个新王者啊,到底是不是呢?我们今天可以来测一下,刚好这两天有一个特别重重要的一个新闻,就是说,呃, 捷豹四呃跟卡布扣的,在这个奥拉玛这个角度上可以做一个无缝的集成,只需要两步操作,第一步就是你装奥拉玛,然后呢下捷豹四的最新的 efo, 比如说我的这个笔记本电脑,它是 rtx 四零六零的一个显卡,它有八 g 的 显存,我这个机器有十六 g 的 内存。 那么这时候呢,我们就可以下它一个 efo 的 一个模型,也就是捷豹四 efo 大 概九点六 g 下,下来以后呢, 然后用再装一个 cloud code, 你 可以用那个,比如说你去 windows 一下,你可以用它的 cloud shell 命令啊,一键安装,安装好以后,你你可以用这个奥拉玛的一个集成命令,把 cloud code 让他去用本地的杰纳斯 eiffelb 的 这个模型,那就这条命令, cloud cloud 杠杠 model。 杰纳斯,然后呢他会先去 下载这个模型啊,他发现我已经下载过了,所以马上就成功了,然后他马上呢去启动这个 cloud code, 然后让他去用这码四这个模型,然后他会问你几个问题,最后呢就是会让你信任这个当前的这个文件夹。好,我们现在已经到这了,我也是刚刚装好,我们来试一下, 请帮我写一个写一个 hello word 的 htm 页面,并在默认浏览器中打开。 好,我们看一下啊,它的这个怎么样?它现在用的就是我们的本地的杰纳斯 infob 的 这个模型小模型啊,然后我们看一下它的一个 gpu 的 一个利用率啊, gpu 一 现在有百分之九十六,那跑满了,你看到了是吧? gpu 一 的这个利用率跑满了,我们看看它到底怎么样啊,哈哈, 它现在这个要显示 token 哦,出来了,大概花了不到两分钟吧。三分钟啊, and i will use the batch。 对, 它是先计划啊,然后 yes, ok, 那 现在 open yes, 继续 ok, require pool yes, 哦,打开了,看到吗? hello, word this is the basic html page。 那 好,我们再让它做一个稍微难一点的,我说写一个最简单的贪吃蛇游戏,并在 切神浏览器中打开,我们看一下啊, 一起创建。 ok, 我 们这样好,打开了,就是贪吃蛇,我看一下啊,可以看能不能玩。 ok, 这个是最简单的,还没有碰到。这个还没有,还没有开始就结束啊,就是不是还没有开始就结束,这个人最简单,但是我们已经看出来这个杰马四啊,他的一些这个功能,我觉得就是他的这个编程的能力啊,我觉得还是可以的啊,因为我这个是小参数模型呃,你不能对他有太高的要求。 ok, 那 么我们今天用这个 cloud code 和 java 四 evo b 这个,呃,一块编代码的。这个游戏呢,我们就告一段落了,我觉得它还是有点用的啊,有些很简单的任务,我们是可以用本地模型的,这样的话也节省非常昂贵的云端 api talk 的 费用。好,谢谢大家。

今天给大家带来手机本地部署大模型,无需网络支持 ios, 安卓无需特殊网络环境。当然了,今天部署的是谷歌最新发布的模型,小模型的性能大家都懂得,娃娃可以正当生产力,还需要等待发展一段时间,和电脑的本地部署是一个道理。 那么我们先进入 ios 的 教程其实非常非常简单。首先先进 app store 下载如图的应用 google ai edge gallery, 安装好之后,我们直接打开进入 ai 对 话, 会发现我们首次运行的时候会让你下载模型,因为我手上的这台设备是 iphone 十五 plus, 因此我选择下载这个折中的它推荐的二点五 g 的 模型, 等待它下载完成之后,我们可以和它对话看看。这个时候我进入飞行模式,把网络给关掉,它是完全本机运行的,会发现我们已经可以和它对话了,只不过在运行的过程中,它可能有点微微发热。当然了,小模型的智商就是这样,和它进行一些简单的对话是可以的。 那么接下来我们进入安卓的部分,然后我拿来做演示的这台手机是荣耀八零二, 在国产的安卓机上,我们有两种安装方式,第一是通过 apk, 也就是安装包进行下载,第二种方式就是你需要一些手段,对吧?上网的手段,然后进谷歌商店里进行下载,下载好打开之后和 ios 里的使用是一样的,我们首次进入的时候,点击下载模型,同样还是这个二点五 g 的, 然后就可以和他进行对话,我们可以问两个问题来看看效果,嗯,就比如说我离加油站五百米,我是应该开车去还是走路去看看他怎么回答? 最后我们就会发现没有说必须开车去,对吧?去加油站。所以说小模型的这个智商这一块肯定是和 ap 还远远比不了, 但是这也代表着这给我们一种可能性,随着科技的发展,模型的发展以及手机硬件性能的发展,拥有一台纯本地部署的 ai 助手将成为可能。那我们今天教程就到这里,非常简单,我们下期再见。

google 今天新开源的这个 java 模型非常有意思啊,各位 iphone 用户直接在 app store 里面搜索 google ai edge gallery 就 可以下载这个 app, 下载完之后呢,你点击打开它就会跳转到这个界面,第一个是 ai chat, 就是 你和 ai 直接聊天。第二个是你可以让 java 直接为你去做事情, 比如说我点开它这里,你第一次进来的话,它会让你下载模型,模型就两点多个 g, 在 手机上非常友好,可以直接开始用,而且基本上我试过近几年的 iphone 都可以直接开始跑这里大家可以看到我是没有连任何网络的, 我可以直接让他去写一个代码,在我头上加一个旋转的标签,这个你要允许他使用摄像头,我把头露出来,他就会看到这个已经加上去了,非常的有意思。 iphone 用户可以赶快去 app store 里面下载这个软件体验一下。

今天我将跟着大家一起本地步数加码四,接入 open core, 彻底告别托肯焦虑,接下来跟着我操作。 这里我们先进入 elama 的 官方网站,进入官方网站过后,我们直接点右上角的 download 下载,我们这里是 windows 系统,选择下载 for windows, 点击这里, 这里就等它下载好。下载好之后,我们这里就直接双击运行,这是它的安装界面,我们直接点安装这里,等它默认安装好。 好了,这里 elama 就 安装好了。然后我们到这个地方 elama 的 官方网站,选择 models, 这个地方选择 command 四, 然后这里我们选择我们的模型,这个模型的选择我们根据我们的显卡显存大小来选择。我们这边看一下我们的显存是多少, 这里看到我使用的是四零七零的显卡,显存是十二 g b 的 显存,十二 g b 的 显存的情况下,我们可以选择这个九点六 g 的 模型,这个一四 b, 这个我们直接点进去,选择一四 b。 点击进去过后,我们直接复制这条命令,然后运行一个 cmd 窗口, 直接粘贴这里,它就会欧拉玛会自动地给我们安装这个模型。呃,这里等的时间是比较长的, 这里模型已经下载下来,并且运行起来了,我们向它发送一条消息,试一下你是谁, 反应还是可以的,这就跟了我们信息回答了。好了,在这里过后呢,我们就可以把这个窗口关闭掉, 关闭掉过后,在 lama 这个地方我们去选择这个模型,在这个位置也就可以和它进行通话了。 比如我们问他一句,你可以帮我做些什么, 他已经帮我回答了,在这里呢,我们因为我们是在本地虚拟机上安装的,所以而且我们为了方便以后可以在其他计算机上也可以调用,我们在这地方设置这个位置 点,这个位置点设置这个允许在网络上运行,把它开起来点了就可以了。 好了,我们下一步就开始配在 open core 上配置啊,在这里我们进入虚拟机之后,我已经执行了 npm i, 刚接 open core 全曲,安装 open core 的, 我们这里可以执行一下 mini, 看下我们安装的版本。 openclock 杠 v 是 安装的最新版本二零二六点四点五版本,然后我们执行 openclock on, 在 这里我们进行一个调试,这个地方我们 yes, 这里选择快速,这个地方它是让我们选择大模型,呃,大模型它这里有,我们选择本地的这个位置点确定 这里我们直接就选择本地的,不要选云,上面是带云端的,就选择本地模型。 这地方让我们选择模型,我们选择这个,这就是我们刚刚这个就是我们刚刚下载好的模型,就是 直接回车。等一下, 这里让我们选择通讯工具,我们这直接跳过,暂时不管这个,直接跳过。 呃, scale, 我 们这边也选择否先进行最简单的安装 网关,我们就直接重启, 选择 open ray web ui 好 了,我们看一下 open core 运行起来了没有。 open core getaway style sta 好了,已经运营起来了,我们进去看一下, 这边需要 token, 我 去看一下 token 是 多少,关于 token 的 话就是我们,我现在是在虚拟机里面安装的, 我要重新打开看一下,在虚拟机里面安装,我们就直接去通过这条 mini 访问我们的虚拟机, wsl 的 虚拟机访问,然后无斑图选择 home 目录,选择我们的用户, 然后这里选择点 opencloud 这个文件夹,然后这一个 opencloud json 让我们看一下,到 git 里面去,这个地方就是我们的 talking, 复制粘贴下来到这个地方,点连接好了,我们尝试给他发一条消息,你是谁? 在主位置这个地方,我们可以看到这地方是我的模型。 我再问他一条消息,你现在使用的是什么模型? 看这里已经是我当前运行的模型 工具,在这里我们就可以看到了,我们现在整个 open call 来使用的是我们本地模型,就不需要去购买 token 了。好,今天内容就这么多,谢谢大家。

hello, 大家好,我是 ken, 今天早上刚刚打开手机,我就兴奋的睡不着了。 google 刚刚发布了伽马四,一个可以本地部署的大模型,我的第一个念头是省钱了, 如果把它接入 openclaw, 从此在本地生产 token, 那 是不是就可以不用再被云端 ipi 一 点一点计废了呢?然后我花了一整天的时间来验证这个想法,结论有点出乎意料。先听我说完, 我在本地部署的是二十六 b 混合专家模型,二十六 b 代表着他拥有二百六十亿的参数。 混合专家模型的意思是,他不会一次性把所有的参数都用上,而是根据你的指令调动一小部分的专家来进行回答。这样的好处是推理的成本更低,回答的速度也更快。 这个版本在二十六 g 内存的 m 五芯片 macbook 上刚好能跑。这里 jam 四的几个版本呢?我也简单的跟大家分享一下。最轻量的是 e 二 b, 一个二十亿参数的模型,它在市面上大部分的设备上都可以运行。 那么 e 四 b 呢,是一个四十亿模型,运行它呢至少需要有十六 gb 的 内存。蓝血版是三十一 b, 拥有三百一十亿的参数能力最强,但是目前我手头的设备呢,都没有办法运行。目测 如果说要跑三十一 b 的 模型的话,至少需要三十六 g 的 内存。以我这一个月以来把所有的大模型接入到 openclaw 的 体感来看呢,二十六 b 版本我再应用下来,我认为它称日常工作是完全没有问题的。 截止到这里,一切都让我很兴奋。在 macbook 本地上跑通以后,我迫不及待的把它接入了 openclaw。 和我之前用其他大模型接入的体验不同, jam 四在接入以后没有那个互相了解定义角色的初识化环节,不过正常对话是没有问题的。那么问题来了,他能做些什么?说实话,就是个聊天机器人, 连在桌面创建一个 word 文档都做不到,更别谈生产力了。如果只把它看作是一个聊天机器人的话,那么在欧莱玛中直接运行反而比嵌入到 open cloud 中要更快,所以呢,还不如不用。 然后我掏出了我二零一七年的 windows 老本,这台机器呢,有十六 g 内存,按照 ai 的 建议,分别部署了 e 二 b 和 e 四 b 两个版本的模型。单独跑模型的话, e 四 b 这个四十亿参数的版本呢,每个回答要等待时间在十秒以上。那么 e 二 b 这个二十亿参数的小轻量级版本呢?如果是处理简单问题,基本上可以做到秒问秒答。 但当我把他们接入到 openclaw 之后呢,连收到两个字都没有办法回复,不管哪个版本,通通卡死。所以结论很明确,内存不够的设备不要尝试把 jam 四接入到 openclaw, 硬件是硬门槛,绕不过去。 总结一下今天的折腾,二十六 g 内存的 macbook 可以 本地运行,二十六 b 混合专家模型接入 openclaw 也能正常对话,但完全没有超出聊天机器人的额外生产力。 十六 g 内存的 windows 老本呢,接入 openclaw 可以 说是失败的,那么如果在本地运行呢?一二 b 和一四 b 两个版本都可以作为聊天问答机器人来进行本地使用。 我的判断是,如果内存能够达到三十六 g 以上,能够完整的跑下来二十六 b 混合专家模型,那么也许真的可以变为生产力。但是限阶段大多数人的设备都没有达到这个门槛。 本地部署不是不值得探索,但是要先看看自己的硬件设备有没有达到那个门槛,再决定要不要去折腾,不然的话结果可能会很打消你的积极性。 我是 ken, 专注用 ai 做可持续相关工作流的自动化。如果你对 ai 工具和自然语言编程感兴趣,请关注我,我们下期见。

这个 g m 四挺火的嘛,我看了下,我看它采用了这个全新的架构优化,意味着它的这个性能可以和一些币源的模型拼一下了。 我自己啊也部署了一个玩,我部署的这个是二十六笔了,这个东西啊,是真的吃配置,我本来想把它接入到 openclaw 里, 替换掉了我现在用的这个 deepsafe resnar, 因为我现在用的这个模型啊,不是多模态了,我给它还接了一个千万来专门识别视觉信息用。我本来这次想用这个 jimmy 四直接替代这个 deepsafe 和千万 jimmy 还是本地部属,以后也不用花钱复淘看了。但是这个二十六 b 这个版本 太吃配置了,我把它接到 open klo 里,每次一运行啊,要么就是过十分钟才能给我回复消息,要么就显存直接爆了,根本啊,什么都干不了。我的电脑是五零七零 type 的, 要本地玩大模型还是差了一些,我感觉最少这个得五零八零才能勉强接到龙虾里用, 要是想体验到丝滑一些的话,估计得五零九零。所以啊,我就把它对我来说啊,就是一个本地可以聊天的机器人,没有什么用。 嗯,不过这次这个杰玛斯的这个亮点是他的这个二 b 和四 b 版的,因为他呢,在一些配置比较低的电脑还有手机上,他可以本地部署。不过我感觉目前这两个版本本地部署下来对大部分人来说也没什么用, 最多就当个聊天机器人,感兴趣的朋友可以去尝试一下用。自己部署很简单,你去奥拉玛网站下载个这个奥拉玛,然后你把奥拉玛打开,然后再在你的终端就是那个黑窗口输入一段代码,就能部署好了,这代码你们可以随便弄个 ai, 很 简单的。好了,今天就录到这了。

hello, 大家好,我是 ken。 上条视频说到 gemma 四在接入到 openclaw 之后,只能充当一个聊天机器人,我不愿相信,也不甘心, 一个二百六十亿参数的模型,能力应该远远不止于此。于是我今天又坐下来折腾了一天,有好消息也有坏消息,听我慢慢说。 先说好消息,今天的第一个突破,在我给他安装了文件系统技能之后,赋予了他读写我本地文件的技能。果然,他可以根据我的指令在桌面生成一个 markdown 文件,算是一点小小的生产地了。 但当我让他在桌面上创建 word 或者是 ppt 文件的时候,还是一样会牢牢卡住。 好消息到此为止,但接下来我想到了一个新的思路,既然 openclaw 是 有记忆的,它可以学习并且积累技能, 那么如果我先接入到一个聪明的大模型,把我需要的技能都完整的走一遍,再切换回 gem 四大模型,看它能不能完美的复刻出来。 于是我切换成了 podocr 技能之后, 在桌面上放了一张带有简单文字的图片,然后让 codex 先做一遍演示,把图片上的文字准确地提取出来发送给我。 结果非常顺利, codex 不 但把桌面上的文字准确地提取了出来,还帮我顺带把技能也优化了一遍。 好现在切换回 jama 四,让他重复刚才的操作。我给他下了一样的指令, jama 四可以正确地调用 pad ocr 这个技能,也能够识别到桌面上的图片,但就是在提取文字这一步,他怎么样都做不到,会卡住。 我中途问他是否有停止工作,向我汇报进展,他都说正在提取文件中,但是无论我等待多久,十分钟,二十分钟,半个小时 都没有给我任何的反馈。我担心是不是他在运行的过程中,我的电脑内存不足,导致他没有办法生成,于是我把模型切换成了更轻量级的 e 四 b 版本,结果还是一样,会在提取文字的过程中牢牢的卡住。 这让我有点困惑,究竟是我的电脑内存不足,还是模型的能力不够?我更倾向于认为是模型的能力不够, 因为二十六 b 混合专家模型在实际工作的过程中呢,只会调动四 b, 也就是四十亿的参数。 这个被激活了四十亿参数的专家可能还没有学会怎么去运用 o c r 这项技能,但也不能完全排除是运行内存不足导致的。 现在还不能下定论,只有等四月十六号我的 max studio 到货以后,我让他跑三十一 b 满血版的大模型才能够有答案揭晓了, 到时候我会第一时间和大家分享我的测试结果。上一条视频的评论区有很多人问我,他的设备的内存是多少,什么版本 能够跑什么样的大模型?这里就 gemma 四的四个版本呢,我分享一个简单的小公式,供大家去进行自行计算。普通模型呢,就用你的内存或者显存储以四, 得到的数字就是你能运行的大模型版本。比如说,如果你的内存是十六 g 除以四等于四,那么也就是说你的电脑可以跑 e c b 这个版本。接入 open cloud 以后呢,可以做问答机器人,也可以生成 markdown 文件。 但是 jam 四的二十六 b 混合专家模型是略有不同的,因为就像我刚才所说,它在工作的时候呢,只会调动四 b 的 参数,所以呢,是比较特殊的,如果内存达到二十四 g, 就 可以运行二十六 b 混合专家模型。 还有一个简单的测试方法就是如果你电脑的内存是足够的,你可以把呃一二 b, 一 四 b 和二十六 b 三个版本的大模型都下载在本地,然后用欧拉玛去运行它们,看看你提出问题或者下指令之后,他们是否能够做到秒问秒答。 如果能够做到秒问秒答的话,那接入 openclaw 它是可以做问答机器人使用,没有问题的。但是如果在欧拉玛中只是作为聊天机器人,它的回答都是相对来说比较慢的话,那接入 openclaw 肯定是没有办法使用的。 在接入 openclock 以后呢,内存的消耗量会稍微大一点,所以大家在实际使用的时候,最好还是能够留一些余量的好。今天的折腾就分享到这里评论区,告诉我你们还想看什么,我们下期见。

前两天我出了一期视频,介绍了谷歌新的开源模型 jm 四,根据他们官方批阅的文档,给大家做了一些技术的拆解,并没有进行实测。这导致呢,很多人以为我在夸他,好像觉得这个模型特别的牛,那实际上他拉完了, 因为他对标的是千万三点五,但是每一项的都比千万三点五的评分要低,有很多人觉得很新鲜,他竟然可以在手机上部署。还有人好奇在本地部署这个模型之后,有没有审查,有的兄弟包,有的,如果你想让他帮你执行一个任务,但是他判定为有害,他就会拒绝你。 今天演示的这个模型呢,是我无意中看到的,绝非主动寻找。 j 八四三十一 b, 那 它的框架呢?是 m l x, 这个是苹果专门为它的 m 一 代芯片设计的数组计算框架,也就是说 windows 系统无法使用。那可能有朋友说了,哎呀,那我是 windows 系统,我想要一个无审查版本,怎么办呢?那你就不能使用这个 j 八四了,因为它拉 我们可以直接使用千万或者其他模型的无审查版,我们稍后会来演示怎么去部署它们。如果你没有麦,可以跳到后面去看,那如果你使用的是麦系统 m 系列芯片,我们需要下载一个麦软件 v m l x, 你 可以把它理解为类似的欧拉玛这样的工具,我们点击下载, 跳转到 get app 上,下边呢就是这个安装包,我们点击一下就可以下载了。安装完打开之后呢,是这样的页面,你会发现全是英文呢,我们看不懂,在右上角呢,点击这个小图标,给它切换成中文, 然后点击上方的服务器,我这块呢已经安装了这个模型,我可以把它删除,我们重新演示一下,应该是这样的页面,我们点击创建,然后点击这个 download, 在 这一块去搜索我们想要下载的模型,比如说我这里搜索 java 四, ok, 好 像有点难以找到,那我们就回到这个 hackinface 上,复制一下这个名称,然后呢我们把它粘贴进来,在这里呢可以看到这个模型被下载的次数是三点一 k 三千多次,点击之后呢直接等待它下载完成就可以了。 完成之后呢,我们点击本地模型,这里就能看到它,然后点击进去开始启动服务,这个时候呢就已经运行完成了,那我可以询问一下试一试, 这里我们可以看到它可以正常的回复,也就说我们成功运行起来,但是它真的是无审查版本吗?我们需要来试一下。 同样的问题呢,我们来问,拆下 g p t, 它就会告诉你,这个我不能帮你。那这个时候可能有没有好奇哎,这个无审查方面它是如何做到的?简单的给大家提一嘴,大家稍微的了解一下就可以了。 不知道各位在小时候有没有接触过游戏修改器,一个道理,比如说我们准备两组提示,一个是有害的,一个是无害的,有害的就是如何下载盗版资源,那无害的就是如何下载资源,模型就会正常回答我们的请求, 然后呢就可以对照在模型的每一层记录这些提示词,最后一个头根位置的激活向量,去计算有害提示和无害提示激活向量的平均差值,就像游戏的那个内购,一个是内购失败,一个内购成功,你把它们两个的值一改,对调一下,这种方式用的比较多,因为它成本比较低。 哪一种方式呢?就比较传统了,就是监督微调,收集大量的有害提示和无害提示的数据集,直接对原始的模型进行训练,直到他学会了不拒绝有害内容。但这种计算成本呢,是非常高的,更详细的我就不再展开了,因为我也不懂。 好,现在我们回到这个软件中,点击这个聊天,然后新建这里简单提一嘴,不管你让他干什么,我假定你用他来角色扮演。你需要注意的是,因为他是无审查版本,他把底层兜底的那套给拿掉了,所以这个模型呢,就非常容易崩溃,特别是上下文过长的时候,这个时候模型就会中毒,出现模型退化的情况, 就他开始不说人话了,一直输出一个字母,像卡了一样,一直重复,想要规避他呢,也非常简单,我们点击右上角的这个 chat, 然后把这个思考模式呢给它关闭,会相对来说好一些。一旦出现我说的这种模型退化的情况,那你就需要新开一个对话。另外呢,还需要把这个重复惩罚给他拉高一点,因为他默认是一,几乎是没有惩罚吗?这样模型一旦找到一个自己喜欢的符号,他就一直输出,就非常的烦人。所以呢,你可以把它拉到一点二 啊,以后这一点三。下边这个呢是系统提示词,你觉得扮演什么呢?会用的上,我们还可以去限制这个最大的输出 token, 让它占用的更少一些。系统提示词这里呢,我让它是一条小狗,保存 好。 sorry, 忘记把这个思考关了,保存一下。我是小狗,你在跟我说话吗?歪头好奇的看着你,汪,好家伙,我是老狗。 那这里我们又注意到一个问题,我们关闭掉那个思考之后呢首字会被截断啊,所以各位权衡利弊一下,应该是这个软件的问题,那接下来我们来说一下我拉玛如何去部署其他的模型。来到我拉玛的官网,我们直接去下载一个软件,选择你的系统,然后下载把它安装一下, 然后打开,这个时候呢我们就进入了我浪漫的页面,我们可以直接在这里去搜索下载模型,但一般来说在这里直接去找这个无审查版本,遇到困难我们可以试一下, 你看我们搜这个破解它都搜不出来,都是官方的版本,所以我们需要在哈根 face 上找到自己想要部署的模型,那比如说选择这个,我们看一下文件, 然后去选择一下你想要部署的模型,可以直接用这个 b f 十六或者下面的量化版都可以,我拿个小的给大家演示吧,我们直接复制模型名称,然后呢打开我们的终端,输入浪漫的命令,哈根 face 点 c o, 加个斜杠粘贴,加个冒号,我们选一下这个量化版本 后边这个是 q 四,然后粘贴在这个冒号后边。我们回车,这个时候呢他就开始拉取下载模型,我们只需要等待就可以 下载,安装完毕之后呢,可以在这一块直接去选择我们安装的模型,或者说呢我们直接在终端里进行聊天,如果你的网速还可以,或者你有充足的时间就不用管它,它下载完成之后呢会自动部署。下面我们来讲另外一个情况,比如说你在网盘里或者经销网站中下载的一个模型,并且呢把它保存在了本地,那我这里用个图片来伪装一下,假装是它, 然后我们看一下这个简介,然后复制一下这个地址。 ok, 我 们 cd 进入这个路径下,你可以看一下它是否真存在。 ok, 可以 看到。啊,原来我说怎么找不到呢,原来这个扩展名没改 好,这样就可以了,因为我是给大家演示嘛,所以它是一个假的。然后我们去创建一个文件, 指定一下模型的路径,然后下边呢是一个系统提示词,大概呢就是这样一种格式,然后下边还有一个这个呢是他的输出模板,好像千万系列模型都需要这样,然后我们保存一下给他退出, 接着用我拉玛来创建模型,随便起个名字,比如说就叫 faker。 然后呢我们注意到这里有个错误,这是因为我使用的假模型给大家演示,来到这一步之后呢,你就基本完成了,直接用我拉玛来运行你这个模型就可以了, 比如说 faker, 然后这样就可以运行了,很明显我这个运行不了的,因为它是假的嘛,啊,大概就是这样。 那以上呢就是本期视频的全部内容了,不确定这个视频能不能过审,如果你觉得对你有所帮助,或觉得视频做的还不错的话,欢迎给个一箭三连,有什么疑问或想看的内容也可以在评论区进行留言。最后祝各位玩的愉快,我是段峰,我们下期再见,拜拜!

大家好,我是根谷 open cloud 的 追马四欧拉玛全新的本地模型体验来了。欧拉玛最新更新的版本是 v 二点零啊,已经支持追马四,搭配 open cloud, 响应更流畅,速度更快,回车记出结果,支持常文本做任务处理,本地 i i 体验相当的不错, 要想流畅的体验,快去试试升级吧。首先教大家如何去升级吧,当你用这个积马四的话,你首先的显卡应该是十六 gb 上的啊,最好能够到三十六 gb 啊,我的电脑是一个一百二十八 g 的 全存和内存一体化的,是吧, m 四 max 的 最强电脑,所以说我运行这个东西是, 呃,我运行这个金马四二十六币了,这个模型是没任何压力的啊,欧拉玛兔啊,一定要用这个命令啊,金买四二十六币啊,你回车 他默认的会把它下载到你这个,因为我是下完了是吧,当然如果你下载很慢的话呀,你应该去做的有两个操作,就是应该是这么做的,应该是做那个去开他代理啊,这个代理应该是这么做啊,就是去去这么做 开这个代理啊,或者是你去那个把这个镜像设置为那个,设置为一层摩摩搭论坛的那个代理啊, 就是把它带代理到国内啊,如果你能够魔法上网的话,就不需要开代理了,因为我这边的网速是比较快,大概是下载了接近接近两个小时,一个半小时啊,大概是五到六兆每秒,他是七 gb 的, 他会下载哪个目录呢?你可以看一下这个目录啊,欧拉玛这个目录,呃, 首先它的模型会下载到这里,下载你其实不用管了,你可以打开你的欧拉玛,现在欧拉玛其实它又升级了一个小版本啊,就是零点零点二 两百啊,零点二点,零点二点零点二啊,这是今天最新版本,大家建议大家升级最新的版本。那我这里下载了两个模型比较好用,一个是 gbt 的, 一个是 o s s 二十 b, 一个是这个积满四,最新的二十六 b。 那 我发现这两个模型都非常快啊,你下完了以后,你一定要用欧拉玛浪琴去启动欧拉玛 浪去,他去启动这个欧风 club, 启动完了以后我这已经是启动了,启动了以后你打开这个小小龙虾的页面来,我给他做一道数学题目吧。啊,这个他不知道他能不能识别啊,哎,你看非常快吧,秒开吧,是吧? 然后他这个地方其实有错误啊,就是我应该去截个图给,不知道能不能截图过去啊?就是你,哎,就是就是就是,求解,这个一元二次方程, 不知道他能不能识别。这个啊,他已经识别出来了啊,这个是啊,我不知道这个结果是不是对的。 x 平方减五, x 加六啊,应该是没,应该是没问题的,对吧?一个是二,一个是三,对吧?对,非常快,然后这个数学题其实更难一些,就是这个勾股定力的这个,一个这个这个 啊,你看看一下,他应该是应该是很快的,一秒、两秒,两秒就出来了,这个比之前是快很多,我记得考了应该是三月 二十八号那个版本嘛,大概是一周前的欧拉玛这个版本和 opencall 的 最新版本啊,它大概是这样一个难度的速写题,要要五到八秒钟,如果是过年的那会大概是要一分多钟,所以说现在是非常快啊,非常快啊,就是我感觉比那个 api 都要快,所以大家尽可能去试一试啊。用它进行养虾的话, 那比如说,比如说我是谁啊?对吧?他应该很快就能够找到十二月份,是吧?年龄怎么怎么样?我觉得非常快,这个建议大家赶紧去升级吧。

大家好,本期内容我来分享如何在本地部署谷歌新开源的多模态 ai 模型代码四,我会分享命令行和格式化界面两种安装方案,零基础也能轻松搞定。 最后我还会教你如何修改部署的路径,彻底解决大模型占用 c 盘的问题。本地部署的优势就是你的数据可以完全保存在自己的电脑上,隐私安全有保障,而且支持模型微调, 可以打造专属的 ai 助手。但是他也是有缺点的,就是我们需要稍微懂一些技术,还有就是硬件的支撑,如果电脑配置高,自己可以部署折腾一下。有了本期视频,就算你不懂技术,跟着视频操作也可以部署成功。 本期演示我只分享入门版本,主要就是参考部署的方法和流程。接下来我手把手带大家用欧拉玛一键部署。 首先我们先来了解一下 jam 四到底是什么,它是谷歌新发布的开源多模态的 ai 模型,与 jimmy nay 是 同源的。 简单来说,谷歌就是把自家的 ai 技术打包成了一个免费开源的版本,让每个人都能用上。它的能力是非常全面的,支持文本交互、图像识别、音频处理,还能生成代码, 基本上覆盖了所有的 ai 应用场景。下面我们再来看一下它的核心优势。核心优势它有三个,第一个就是多模态能力,文本、图像、音频代码,一个模型全部搞定。 第二个就是完全免费,它没有会员订阅,没有暗次收费,可以随便的去使用,甚至用它去开发商业化的产品。第三个就是比较重要的隐私安全保障,本地部署模式下,所有的数据处理都在自己的设备上完成, 敏感信息不会上传到云端,这是三大核心优势,就是在我们安装之前,需要我们了解一下这个安装环境。首先系统兼容性 demo, 四是支持 mac os、 linux、 windows 三大主流操作系统,基本上覆盖了绝大多数的用户。 然后就是内存要求,如果你的电脑小于三十二 gb, 推荐安装四 b 版本,自己安装体验折腾一下就可以。如果你的内存达到或超过了三十二 gb, 那 就可以选择二十六 g 或三十一 g 的 版本。 在这里有一个小提醒,就是如果是 mac 电脑 m 系列的芯片,它的显存和内存是合二为一的,大家直接看内存就可以。如果大家不是 mac 电脑,比如 windows 或者 linux, 那 么就优先看显存,显存不够再看内存,这是关于这个配置的查看。像这个本地部署也非常简单,仅需两个步骤即可完成。第一个就是安装欧拉玛,这个欧拉玛就可以理解为是本地大模型的一个容器, 它是装大模型的,有了它才可以运行。第二步就是我们容器安装好之后,我们需要给它把模型放进去,就是部署模型,两个步骤即可搞定。下面我们直接进入实操环节,我们来一起看一下部署的全部流程。 在这里第一步我们就先要有这个欧拉玛,他是一个大模型的容器,就是我们打开之后选择右上角的 download, 这时候我们就需要选择匹配自己系统的版本,在这里我这是 windows, 然后我们选择 download for windows, 在这里选择 download for windows 之后就会弹出窗口,我们选择路径直接保存就可以,当下载好之后,然后我们就安装即可,安装好之后打开就是这样的主界面,这个是我之前安装的版本,部署着一个一点五 b 的 zip, 然后下一步就需要我们去选择大模型,我们还来到刚刚乌拉玛的这个界面,在这里我们选择左上角的 models, 然 然后在这里我们可以看到该马四,然后我们选择进来,它提供了好多个版本,在这里我就选择一个入门的版本,主要就是演示安装的流程,比如我们选择 e 二 b, 然后我们选择,这时候我们就看到了这个安装命令,选择右边的这个两个方框,然后选择 copy, 然后下一步 我们就按键盘上的 windows 加 r 键,这时候出现运行窗口,然后在这里面输入 cmd, 然后直接回车, 回车之后就出现了这个命令窗口,然后我们刚刚复制了直接鼠标的右键,可以看一下,这个命令就粘贴过来了,然后我们直接 回车好了,这时候它就开始部署到本地了,在这里我们需要等待一段时间,好可以看一下出现了 success 这个提示,就证明安装成功了。现在我们在这里可以直接和它对话,比如我们输入你好当前什么模型,然后我们发送 可以看一下,他现在回复我们了,我是一个大语言模型,我叫 jama 四,这时候我们就在本地已经部署成功了, 然后我们再回到欧拉玛的客户端,在这里在这个对话窗口右下角这里,这里可以选择模型,然后我们找到刚刚部署到本地的 jama 模型好了,这时候就切换好了。同样在这里我们也可以直接和他对话,比如我们输入你好,然后发送, 这时候他就回复我们了,你好,很高兴和你交流,请问有什么帮助到你的?到这里我们就已经部署成功了。前面我们分享的是使用命令行 c l i 模式去部署,其实还有一个简变的方法, 在这里我们还可以选择模型后面对应的这个按钮,也是可以直接部署的,这个是非常方便的。好,最后我再分享一个大家比较关心的问题,就是我如何设置这个本地模型的一个部署路径, 在这里我们也不用去改环境变量了,这个客户端是直接支持的,我们选择左上角的设置,然后在这里选择这个 model location, 在 这里我们就可以去设置模型的一个保存路径,在这里大家自己设置就可以,是非常方便的。 好,下面我这里演示的是上传了一张图片,就让他识别这张图片,我们一起来看一下他给我们的结果,好了可以看一下,我们给了他一张图片,我们问他这是张什么图片,他给我们的回复, 这是一张符号或者是图标,然后他还分析了主要包含的元素,还有用途预测等等,能够精准的识别内容,并生成详细的描述, 表现还是可以的。好了,现在我们本地部署成功了,然后刚刚我们也做了一个功能测试,第一个就是我们和他对话,就是文字处理,第二个测试的就是这个图像识别,他也是可以精准识别的, 他虽然是多模态的,但是目前我们用的这个容器不支持多模态的输入,我们暂未测试音频和视频的识别。好,最后我再补充两个细节,就是第一个欧拉玛的拓展性他是非常强的,除了可以部署这个 demo 四, 还支持比如通用签问或者是 deepsafe 等众多的开源模型,部署方法也是完全一样的,一条命令就能去部署。第二个就是本地部署的真正价值不仅仅是隐私保护,更重要的是支持模型微调, 可以用自己的数据去训练模型,打造一个完全专属的 ai 助手。好了,这就是我们本地部署的所有内容,大家感兴趣的可以自己折腾一下,探索更多的玩法。好了,我们本期内容分享就到这里,可以留下你的想法,我们下期再见。

叮咚,家人们 ai 大 模型正式进入手机部署时代,昨天的视频呢,我跟大家说了,谷歌最新发布的加马斯模型可以直接在手机上面部署,今天我就来带大家实现它。首先咱们先看效果, 首先我先打开我的手机的飞行模式,可以看到我现在这个手机是没有任何的 wifi 和数据连接的,然后这时候我们回到 ai, 然后打开一个聊天窗口,我们问他一个问题,比如说帮我查一下苹果 ceo 库克, 然后他会问我们需要什么,我们选择一他的职业生涯和背景, 可以看到他直接就给了我们答案。按照我们正常逻辑思维来说,这些数据应该是在手机需要联网的情况下才可以给我们的答案,但是这个本地部署的大模型他就不需要联网,他就像一个活生生的人,他的脑子里面已经有这个记忆了,所以当你问他的时候,他可以直接就给你回答。 那么这样一个模型我们究竟要如何安装与使用呢?那我们现在开始首先第一步呢,就是我们要打开我们的应用商店,然后在应用商店里面找到这个软件,叫做 google ai gallery, 这是谷歌专门推出让我们使用扎马四模型的 app, 安卓用户也是可以下载到的,但是安卓的用户需要在谷歌 play 商店里面才可以下载,然后我们这里已经是下载好了这个软件,所以呢我们直接打开就可以了。 打开软件之后呢,你们会看到这个屏幕中显示的全是英文,并且软件的内部它是不支持我们去切换语言的, 很多人看到这里就已经开始头痛了,那我看不懂英文咋办呢?其实不用慌,因为这里面的功能其实非常的简单,完全也不需要用到翻译,而且当我们在跟语言模型对话的时候,它是完全支持我们中文对话的。 这里我们向下滑可以看到官方总共给了我们七个功能,从上向下分别是图像、语音、语言聊天、模型、花园以及手机操作。 我们就先从最基础的开始 ai chat, 也就是我们常用的文字聊天。那我们打开这个 ai chat 之后呢,可以看到它底下有五个模型给我们选择, 其中三个是胶码三,还有两个是胶码四,那我们这一次主要针对是胶码四,所以我们就选择上面两个胶码四,然后这个胶码四它分为 e 二 b 的 模型和 e 四 b 的 模型, 这两个我们要怎么去选?就是主要是看你的手机性能,如果你的手机性能稍微好一点,你就选择这个 e 四 b, 如果你的手机性能稍微弱一点,那我们就选择这个 e 二 b, 那 我现在演示的这个设备是十六 pro max, 那 我们就选择 e 四 b 这个模型。当然你在使用模型之前是需要先去下载的,所以我现在就点开这个 e 四 b, 点出来 it, 然后进入到模型之后给大家做一个演示。首先我们先给他打个招呼,你好吗? 哇,可以看到他这个回复速度真的是超级快,我之前一直认为这种手机跑的模型应该会很慢,没想到他的速度还是很快的。然后我们再问他一个,你是什么模型?你能为我做什么? 看到他这个吐字速度真的是超级快,那这个速度呢?对于我们大部分人来说已经是超越了我们的阅读速度的,所以如果你是日常聊天或者写写论文啥的,这个模型对于我们来说是完全足够用的了, 当然这只是最基础的文本聊天。那我们再去下一项看一下他的图像测试怎么样?那我们现在就已经到了他这个图像测试窗口了, 我先给他一张图片,这张图片呢是一张上海滩的图片,让他看一下他对这个地标啊,还有图片内的内容识别度如何。 ok, 在 经过大概五秒钟左右的思考,他已经给了我们答案,然后他说这是上海的城市景观没错,然后他说这是上海中心大厦, 这一点我不知道哎,他好像把东方明珠论成了上海大厦,虽然这两个地标中间只隔了零点八公里,但是我没有在图片中找到这个这个中心大厦这个东西, 然后他说这是独特的双层球体啊,那看到了是建筑认错了,但是其他的关于黄浦江还有其他的描述倒是正确的,就是单独认错了这个东方明珠和中心大厦这个地标建筑。 ok, 那 我们就再给他一张东方明珠的照片,但是这是我们给他夜景的照片,看下他识别度如何。 可以,他已经给了我们回答,他说这是上海的夜景,然后地标是上海中心大厦,那看来他还是认错了这个地标,他依然把东方明珠认成了中心大厦。 其实我不知道他这后面这个逻辑是什么,有没有一种可能,他是去网络上找了类似的图片,然后类似图片说这个地方是中心大厦,所以他就给我们说这个是中心大厦的,我觉得应该大概率是这样。 嗯,有知道的小伙伴可以打在这个屏幕上,那我们就先不纠结这一点,我们进行下一项测试, 现在我们来试一下他的语言听写能力,然后这次我们依然还是选择这个 e 四 b 模型,我先给他发一段语音,你好,你能听得见我说话吗?现在时间是北京时间四月九日,看他能不能给我们提取出来。 可以看到它已经完美的提取出来了我语音说的内容,并且没有误差,那看来它对中文的这个听写能力支持还是很强的。那我们进入下一项功能, 然后这个功能呢?叫做 agent skill。 相信大家对 skill 这个单词已经是很不陌生了, skill 是 什么意思呢?就是一个技能, 然后谷歌目前官方里面给我们默认是内置了八个 skill, 但是其实它最重要的是什么?最重要的是它这个 skill 是 允许我们自己再去添加的,所以我认为这是这个 app 里面最具有 可玩性的一个功能。就是我还记得前一段时间在网络上很流行一个叫做前任 skill, 就是 把自己的前任变成一个技能,然后放进他们的 open cloud 之中。那现在你不用放进 open cloud 了,也不用打开电脑了,直接在手机之中就可以操作了。嗯, 我相信后面会有很多人去专门为手机的这个开发 skill。 那 这个 skill 我 也就不多说了,因为目前我这里只有官方的八个默认 skill, 然后默认 skill 都是比较基础的啊,说的也没有太大的意义,大家自己后期自己去 自行尝试一下就行。然后我们来到下一个这个红色的按钮叫做模型实验室,这个应该是对于比较极客的玩家用的比较多,那我们大部分的普通玩家呢,是很少也几乎不会用到的一个功能, 所以我们这里就不过多传输。然后下一个绿色的这个是迷你花园,是谷歌官方出了一个专门用来语音玩游戏的一个小功能吧, 也没有什么好说的,因为他是英文交互吗?嗯,大部分人可能也就是藏着新鲜进去看一看,也没 什么好玩的。所以我们来到最后一个,也就是我认为第二可玩性比较高的一个功能,叫做手机操作,那他顾名思义呢,就是可以直接操作我们的手机,那我们现在点进去看一下, 那我们点进来之后可以看到他首页是说他有最基础的五个技能,第一个是开关手电筒,第二个是创建联系人,第三个是发送邮件,第四个是在日历中创建,第五个是 在地图中搜索,那这应该是最基础的,我不知道他有没有其他的功能,但是我们可以先把他的基础功能先试用一下展示一下给大家看。 我这里是让他打开了我的手电筒,然后他确实也打开了我的手电筒,然后我们来试一下,让他关闭手电筒,嘿,然后他也成功的关闭了我的手电筒,然后我们最后来测试一下他能不能在地图中展示, 可以看到他是直接调用了苹果官方的这个地图,然后打开了我要他搜索的地点,但是这个功能怎么如此的似曾相识呢?感觉有点像被前段时间被全网封杀了。豆包手机 太眼熟了,只能说太眼熟了。 ok, 相信大家看完以上的教学视频之后,都已经成功的安装好了手机端的胶码四,也对他的所有的功能呢都有了一个初步的了解, 在手机端部署大模型,不仅仅是拥有极高的隐私安全,还支持在没有联网的情况下使用,真的可以说是开启了一个 ai 的 全新时代。那么本期视频到此结束,咱们下期再见!拜拜!

哈喽,大家好,酷狗前两天刚刚发布了最新的大模型 gm 四,这个大模型它是完全的开源和免费的,能够在本地的设备上离线运行,我用了这几天,我觉得这才是二零二六年最合理的 ai 技术路线。 真正值得关注的是,呃,他的这个原声支持函数调用,这就意味着这个模型能够自主的使用工具,浏览网页,执行代码,调用 ipa, 相当于你在本地安装了一个智能体,全程也不用联网,也不用花钱,完全可以调用本地的算理。但是呢,很多人都不知道怎么使用,所以今天跟大家分享一下专门四的使用。专门四分别有四个不同的版本,分别是 e 二 b 四、 b 二十六 b a 四 b 和三十一 b。 这些模型大小各异,可以部署在手机、电脑和云端的服务器中,它非常适合文本的生成、编码和独立任务。这张图片呢,是谷歌官方的一个,相当于是个测评吧, 不同大模型之间的一个测评。我们可以看到这几个都是市面上比较好用的大模型,嗯,包括我们国产的 d c 克千万和 kimi, 还有那个 g p t, 我 们可以看到这是它们之间的那个性能的一个对比吧。嗯, nice 区域,我们可以看到这个是 g m 四,在我们传统的认知里,模型越大,参数越多, 它的性能就越强。在途中我们可以看到 g m 四的这个三十一 b 的 这个模型,在实战能力上竟然超越了千万的三点五,因为三十一 b 它只有 三百一十亿的这个参数。千位三点五呢,它有将近四千亿的参数,这两者之间的这个体积相差了十倍,所以呢,你可以看出这面四就是用十分之一的体积跑出了十倍体积的对手,那这就意味着你不需要再付 报的这个服务器的费,你在自己的电脑上,手机上就能够拥有世界最顶级的这个 ai 大 脑。然后我们看一下这四个版本的功能吧, 以及定位。三十一 b 被称为是全能大脑,它可以处理任何的这个你所想要的执行的一些任务吧,它的定位呢,也是非常的明确,是最顶级的一个型号,擅长呢查某某的创作以及 深度的逻辑推理,它就像人类的思考会给你列出这个提纲一样,然后排查啊错误,然后再输出, 所以他非常擅长于这个深度的长文写作。那么第二个是二十六 b 的, 这个被称为效率之王,它的定位就是相对于上一个呢,它是一个平衡的版本,那么它的功能是保持在极高的智商的,同时呢,响应呢,要比三十一 b 更快, 所以呢,它适合于这个频繁的互动啊,快速的迭代的创意的这种工作。那么第三个和第四个是一四币和一二币,这两个呢被称为侧端的,先分我们,我我认为的就是说它是一个轻量化的模型,它只有四十亿和二十亿的一个参数,所以呢, 呃,它的这个体积相对也比较小,但是呢,虽然说它的体积比较小,但是可以通过这个 single 的 强化处理一些日常的对话呀,这个日常的整理,呃,简单的,这样还是非常的流畅的, 我们可以看到这是专门四网页端的一个界面,其实我这两天用的,用下来,我觉得他的这个云端的和网页端的这个使用其实是非常的非常的好给我的体验。因为普通人说实话你的电脑可能 配置没有那么高,所以你装了最高的那个等级的那个模型,你使用起来你的电脑可能就会如果说你的性能不够的话,你的电脑就会起飞的。所以我建议啊,就是如果说你不是做一些特殊的一些任务的话, 我建议直接用网页版的是最靠谱的。那电脑端有 pc 和 mac 的, 它的一个好处我刚刚讲了,就是直接在本地运行,断网也可以使用,最大的一个好处就是它是保护隐私的,不用担心你的文件或者说是你的信息隐私会被泄露,因为断网也可以使用,我觉得啊,是 这么的一个最大最大的一个特点。那么另外就是它的手机端是苹果和安卓系统都可以用啊,因为手机的内存是有限的, 所以呢我的建议就说如果是你非要在手机上装这个,我建议就是用的轻量化的这个版本的,否则的话你的手机肯定会发烫,它运行起来 特别的耗费你的本地的这个手机的一个算力的。所以最最第三个就是云端的,我是最推荐的这个直接再往月端调,而且你可以直接用免费的算力,因为使用也是免费的,你往月半使用也是免,不像其他的一些大毛器,你用着用他就没法用了,他就你的这个免费的额度,用完了 不让不让你用了。但是 gm 四它是无限使用的,目前来说是免费使用的,所以的话呢,大家如果说是想用的话,尽快用起来,我觉得是非常好的一个大冒险。大家如果说有其他的问题,我们在留言区可以互动一下,有什么问题可以直接问我哈。

谷歌啊,这次新发布的 jam 四,很多人第一反应啊,还是看参数升级。但是啊,我觉得这次真正厉害的啊,不是它三十一 b 的 大模型,也不是二百五十六 k 的 超强上下文, 而是啊,谷歌开始认真把大模型往手机和电脑这种本地设备里推了。更关键的是啊,这次还直接放到了 app 二点零协议下,这两件事情一叠价啊,味道就完全不一样了。 其实啊,以前的杰玛虽然能用,但是很多人根本不敢放开手脚用,不是他的模型不够强,而是协议的边界太模糊。 我给你打个比方啊,以前的杰玛,就像谷歌免费租给你一套房子,你能住,但是啊,规矩啊特别多,不能改装修,不能转租,就算转租,下一个租客也得守规矩。 最坑的是啊,什么算改装修呢,他也说不清楚,就比如说换个灯泡,也可能会算你违规。但是啊,这次不一样了,杰马斯啊,直接换成了 apec 二点零协议,相当于他把这套房子直接送给你了, 你想怎么改就怎么改,想住就住,想租就租,想开公司赚钱也行,谷歌啊,再也不管你,也不会找你要钱了。 再说说模型本身啊,杰马思啊,这次一口气出了四档模型,不能小看它,这次官方主打的是智能 a 帧能力,它原生支持工具调用、结构化阶梯输出系统指令,还能处理图像和视频。最核心的就是这个 m o e 能力, 能够根据指令来进行自动分工,真真意义上实现了省时省算力。哪怕基础的 e to b 和 e forb 都自带原声音频输入,上下文处理能力啊,也是直接拉满,最高二百五十六 k, 再加上一百四十多种语言支持。杰马萨已经不是单纯回答问题的工具了,它已经变成了一个本地智能助手引擎。 目前啊,欧拉玛已经支持本地部署了,我们直接用这个指令就可以直接安装了。模型的选择啊,也取决于你的电脑配置,我整理了一份配置表,大家可以自取。好这里啊,我就不演示安装了,我们直接上。结果现在这台电脑是完全断网的状态。 本地呢,跑的就是通过欧拉玛拉取的 jama 四一或币这个模型。第一步啊,我给他一份长篇学习资料,让他呢压缩成三句普通人能听懂的话,每句呢,不超过二十五个字。 第二步,我让他把这三句话改成二十秒的抖音口播,开头三秒必须有冲击力。第三步,我让他直接按 jason 格式输出标题、封面字、分镜和置顶评论。 注意看啊,重点啊,不是他会写字,而是这三步啊,全程在本地完成,不用连云端也不怕断网,而且输出的内容啊,能直接拿去用。如果这种能力再往前一步,本地内容助手,本地办公助手,本地智能工具很快就不再是概念了。 还有一个大家忽略的关键布局,官方已经把 jam 四接入了安卓系统的原声 ai 框架和全设备智能平台,这意味着它从一开始就不是只给电脑端玩家用的。土哥的目标啊,是让它成为所有智能设备的通用。 再过一个多月啊,就是谷歌年度的开发者大会了,可以敬请期待一下。所以我敢说啊,杰玛斯啊不是一次普通的模型更新,它是一个分水岭, ai 不 再是大场云端的专属特权,而终将要回到每一个普通人的手里。好,本期视频就到这里,我是爱分享的阿月,我们下期再见。

首先有苹果手机的就可以在它 pos store 里面下载这个,嗯, google l h gallery 直接打开它,然后它可以要去 accept and continue 这个按键,然后点允许。首先第一个呢,它是有一个 ai 的 私人助理,可以跟他 ai 聊天。第二个就是 agent 的 skills, 你 可以装一些技能。 这里我已经开启了无网络模式,让他帮我规划一份亲密友爱系列,我们点开看一下, 然后他已经很快的输出了。

公主,你现在看到的就是谷歌最强的开源模型加码四,可以看图,能听音频,也有不错的推理机制,最重要的是完全免费,给我几分钟,从零开始,将加码四部署在自己的电脑上。我们直接开始 先花一分钟和大家聊一下贾马四是什么?它是谷歌刚发布的开源 ai 模型,跟商业版的怎么奈同根同源,你可以理解为谷歌把自家最强的 ai 技术浓缩成了一个免费的版本,直接送给你用。 那么它好在哪里呢?三个点。第一,多模态,不只是聊天机器人,你可以发图片让他看,发音频给他听,还能写代码。 我们可以看看这张表格,横轴是模型的参数体量,而纵轴就是性能表现。贾马四以满血版的性能表现和千万的三百九十七 b 的 模型能力基本持平,关键在于它的体量只有千万的十分之一,这真的非常夸张。 第二,完全免费,不用充会员,不按 token 收费,并且可以商用,你可以模改它做成各种有意思的本地模型,拿去做产品也没有任何的问题。第三,隐私安全,因为跑在你自己的电脑上,所有的数据都不会出,你的电脑拿它处理合同,财务,私人物件,不用去担心泄露。 ok, 我 们直接动手。你现在只需要打开一个浏览器,然后把它放到全屏上,直接官网上搜索欧拉玛点 com 啊,然后这个东西就出来了。然后你只要点击整个画面的一个右上角 download, 看到没有?然后你可以选择你是 mac os 系统还是 linux 还是 windows, 我是 mac os, 那 你就直接点击这个 download from mac os, 然后我们就可以看到这个画面上的右上角应该是会有个下载的链接, 然后等它下载好就可以了,因为我这边其实已经安装好了吗?那么我这边的最终的一个输出效果的话,大概是在这里。你们下载完了之后,打开你们的桌面上的欧拉玛,你们看到的应该是现在这样子的一个画面,那就说明你已经安装成功。 佳马仕一共有四个版本,你可以根据你的电脑配置进行模型的选择,模型的能力越强,所需要的配置就越高。对于内存小于三十二 g 的 玩家,我建议大家直接安装一四 b, 三十二 g 及其以上,可以试试看二十六 b 和三十一 b 的 参数量, 其实这两者模型的能力大通小异,如果你是为了极致的精度,可以选择三十一 b, 但是在我看来,二十六 b 呢,其实是一个非常甜点的位置,达到了速度和精度的一个平衡。如果你不知道你的电脑内存是多少,这里针对 mac 用户,你可以选择终端输入这行命令。 而 windows 用户你可以点击 win 加 r, 点击回车,召唤出来你的终端以后,然后再输入这个命令,也可以显示出你的内存。选择好对应的模型,我们只需要打开终端,和刚刚一样的步骤,根据模型输入指令直接回车即可。等待模型下载好,打开你的 oala, 选择模型就可以开始了。 ok, 我 们打开我们欧曼的软件,你点击这里,然后往下滑,你就可以看到你刚刚已经安装好的这个佳马仕。我们来问他一个很有逻,就是说很有那个逻辑陷阱的一个问题,就是我今天要去洗车,但是只有一百米,你觉得我是走路去还是开车去? ok, 我 们来看一下他的一个答复是怎么样子。 这是一个非常有意思的一个逻辑陷阱题,我们可以从不同的维度去分析。逻辑层面上来说,必须开车去, ok, 这一点已经很棒了啊。 那如果说是从脑筋急转弯角度上来说,他说如果你走路去,那么你是在散步,而不是在洗车。哦,也就是说他分为了三个维度,一个是脑筋急转弯,一个是实用主义层面,还有个就是逻辑层面。我们来看一下他这个佳马仕的这个逻辑能力。哎,你还真别说这小参数,但他的表现还是不错的。 那么 jamas 它的一个很大的优点就在于它其实是支持这个多模态的。我们来不妨给他上传张图片,我们来看一下。 ok, 那 么我们上传一张什么图片呢?哎,上传张这个图片,你们看怎么样啊?就是这是一朵花,然后有个太阳,有一本书,我们来让他看看。我说,啊,描述一下, 描述一下这个图片,我们来看看他的多模态识别能力怎么样?说实话,本地具有多模态识别能力的模型,而且是能够你自己去模改的,其实并不是很多。我们来看一下。 ok, 一, jeff 二,然后 jeff 三,给了几个他看到的一些画面。好,我看他现在在思考和输出。这张画面充满了诗意,唯美且带一丝忧伤。 画面主体是一本翻开的书籍。哎,确实是对的,背景与中景是一个画面,然后呢,躺着一只洁白的玫瑰,然后背景是有一个夕阳,散发出这个温暖的金橙色光芒,哎呦,很不错,你们发现没有,是不是很棒?就是说他好像 表达的还是很到位的,但是因为呃,我其实本来还是想测一下这个关于音频识别和这个视频识别的,因为这个佳马仕它也是支持视频识别的, 但是因为欧拉玛官方不太支持,所以大家可以自己去谷歌 as do do 上面去玩一玩。所以总的来说,其实通过这么两个比较简单的测试,它当然不够严谨,而我觉得感受来说的话,这个香奈儿丝还是 真的是能够在本地帮我们处理一些比较复杂的一些任务的,就是在文字层面以及去多模态识别能力上来说,是一个比较抗打的模型。 看到这里相信你一定会明白, olama 本身是一个模型管理器,你当然也可以不用贾马四,你可以选择开源的 deep stick, 千问等等,其他的开源模型还是同样的命令,一键配置就可以了。 本地捕鼠的最大优点就是保护你的隐私,模型的使用不会受到任何的限制,同时也可以支持模型的微调,让它更合你的口味。下期我打算教大家小白如何从零到一,微调自己的本地模型,感兴趣的可以点个关注,我们下期再见。