粉丝7.6万获赞85.6万

内存搞了四根八 g 的, 这个是显卡,联想的幺零六六涡轮卡,他在电脑上安装一个谷歌的这个 ai, 他 叫 jam 四,这是个本地的模型,可以离线跑, 就不需要联网。最开始我也疑惑,你这个 ai 怎么能离线跑呢?跟我们用那个豆包一样,不联网。他怎么回答问题呢?看了下这个文件大小,四点二 g, 五点九 g 的 不同的版本,十七 g, 十九 g, 这个本身是训练好的,各种乱七八糟的数据都存好了, 当然也有代价吃硬件嘛,他这个运转吃你的内存跟显卡,在线型的那种 ai。 gpt 豆包,他的安装文件很小,两百兆,三百兆,他让你问问题之后发给了云端服务器,消耗的是服务器的硬件资源,他运转好了之后再把结果顺着网线给你。反过来 这么一个过程当然有代价, gpt 可能要交钱,这离线模型你不用花钱买,那个什么头盔免费的。这里面四个版本,一二 b, 一 四 b, 还有三幺 b, 他的硬件要求都不一样,这个要求是最低的, 还可以在手机上面跑。搜了一下,主要是吃内存跟显卡,对 cpu 要求不高。我搞了个幺零六零六 g 的 显卡,就跑这个模型,一四 b 的。 到这个网站去下载 lm studio studio studio studio 工作室软件里面叫工具级的意思, lm studio stu d i o 回车第一个就是这个官网,打开好,这个是全英文的,右上角 download, 先给他下载下来, 点这个 download 和 windows 下载五百八十兆了,下载速度五点七兆还行。好,这个下载完了直接安装中文界面的,为所有人安吧。下一步路径我也不改了,直接安装 好,安装完成直接运行英文界面的,点这个 get start, 开始 我 gmail 四模型,不用专门下载,直接就跳出来了。还是一四 b 的, 直接点这个蓝色按钮, dongle 的 gmail 四一四 b 大 小六点三三 g 让它下载就可以了。这个速度还挺快的,可以让它后台下载,直接继续, 把它忘了删掉,不管他直接继续,这就是他的聊天界面。下载进度在这调成中文,点左下角这个小齿轮, app 浪轨迹,默认英语, 选简体中文关掉。啊,已经变成中文了。这下载速度一秒两兆多。还行,刚才那个界面没有这个模型的话,你可以直接搜这个小人头,点一下 搜索模型,加满四一 b, 一 二 b 都有看下载按钮不就在这吗? completed 下载完成。怎么加载?很简单,点一下这个播放按钮, load model 加载模型,这不就出来了,测一下这个识图功能怎么样啊? 这个 d 轮的话也是完成 paste 粘贴。这是啥发送?这在思考好,结果出来了, pet 聚酯纤维,没问题,没毛病。

叮咚,家人们 ai 大 模型正式进入手机部署时代,昨天的视频呢,我跟大家说了,谷歌最新发布的加马斯模型可以直接在手机上面部署,今天我就来带大家实现它。首先咱们先看效果, 首先我先打开我的手机的飞行模式,可以看到我现在这个手机是没有任何的 wifi 和数据连接的,然后这时候我们回到 ai, 然后打开一个聊天窗口,我们问他一个问题,比如说帮我查一下苹果 ceo 库克, 然后他会问我们需要什么,我们选择一他的职业生涯和背景, 可以看到他直接就给了我们答案。按照我们正常逻辑思维来说,这些数据应该是在手机需要联网的情况下才可以给我们的答案,但是这个本地部署的大模型他就不需要联网,他就像一个活生生的人,他的脑子里面已经有这个记忆了,所以当你问他的时候,他可以直接就给你回答。 那么这样一个模型我们究竟要如何安装与使用呢?那我们现在开始首先第一步呢,就是我们要打开我们的应用商店,然后在应用商店里面找到这个软件,叫做 google ai gallery, 这是谷歌专门推出让我们使用扎马四模型的 app, 安卓用户也是可以下载到的,但是安卓的用户需要在谷歌 play 商店里面才可以下载,然后我们这里已经是下载好了这个软件,所以呢我们直接打开就可以了。 打开软件之后呢,你们会看到这个屏幕中显示的全是英文,并且软件的内部它是不支持我们去切换语言的, 很多人看到这里就已经开始头痛了,那我看不懂英文咋办呢?其实不用慌,因为这里面的功能其实非常的简单,完全也不需要用到翻译,而且当我们在跟语言模型对话的时候,它是完全支持我们中文对话的。 这里我们向下滑可以看到官方总共给了我们七个功能,从上向下分别是图像、语音、语言聊天、模型、花园以及手机操作。 我们就先从最基础的开始 ai chat, 也就是我们常用的文字聊天。那我们打开这个 ai chat 之后呢,可以看到它底下有五个模型给我们选择, 其中三个是胶码三,还有两个是胶码四,那我们这一次主要针对是胶码四,所以我们就选择上面两个胶码四,然后这个胶码四它分为 e 二 b 的 模型和 e 四 b 的 模型, 这两个我们要怎么去选?就是主要是看你的手机性能,如果你的手机性能稍微好一点,你就选择这个 e 四 b, 如果你的手机性能稍微弱一点,那我们就选择这个 e 二 b, 那 我现在演示的这个设备是十六 pro max, 那 我们就选择 e 四 b 这个模型。当然你在使用模型之前是需要先去下载的,所以我现在就点开这个 e 四 b, 点出来 it, 然后进入到模型之后给大家做一个演示。首先我们先给他打个招呼,你好吗? 哇,可以看到他这个回复速度真的是超级快,我之前一直认为这种手机跑的模型应该会很慢,没想到他的速度还是很快的。然后我们再问他一个,你是什么模型?你能为我做什么? 看到他这个吐字速度真的是超级快,那这个速度呢?对于我们大部分人来说已经是超越了我们的阅读速度的,所以如果你是日常聊天或者写写论文啥的,这个模型对于我们来说是完全足够用的了, 当然这只是最基础的文本聊天。那我们再去下一项看一下他的图像测试怎么样?那我们现在就已经到了他这个图像测试窗口了, 我先给他一张图片,这张图片呢是一张上海滩的图片,让他看一下他对这个地标啊,还有图片内的内容识别度如何。 ok, 在 经过大概五秒钟左右的思考,他已经给了我们答案,然后他说这是上海的城市景观没错,然后他说这是上海中心大厦, 这一点我不知道哎,他好像把东方明珠论成了上海大厦,虽然这两个地标中间只隔了零点八公里,但是我没有在图片中找到这个这个中心大厦这个东西, 然后他说这是独特的双层球体啊,那看到了是建筑认错了,但是其他的关于黄浦江还有其他的描述倒是正确的,就是单独认错了这个东方明珠和中心大厦这个地标建筑。 ok, 那 我们就再给他一张东方明珠的照片,但是这是我们给他夜景的照片,看下他识别度如何。 可以,他已经给了我们回答,他说这是上海的夜景,然后地标是上海中心大厦,那看来他还是认错了这个地标,他依然把东方明珠认成了中心大厦。 其实我不知道他这后面这个逻辑是什么,有没有一种可能,他是去网络上找了类似的图片,然后类似图片说这个地方是中心大厦,所以他就给我们说这个是中心大厦的,我觉得应该大概率是这样。 嗯,有知道的小伙伴可以打在这个屏幕上,那我们就先不纠结这一点,我们进行下一项测试, 现在我们来试一下他的语言听写能力,然后这次我们依然还是选择这个 e 四 b 模型,我先给他发一段语音,你好,你能听得见我说话吗?现在时间是北京时间四月九日,看他能不能给我们提取出来。 可以看到它已经完美的提取出来了我语音说的内容,并且没有误差,那看来它对中文的这个听写能力支持还是很强的。那我们进入下一项功能, 然后这个功能呢?叫做 agent skill。 相信大家对 skill 这个单词已经是很不陌生了, skill 是 什么意思呢?就是一个技能, 然后谷歌目前官方里面给我们默认是内置了八个 skill, 但是其实它最重要的是什么?最重要的是它这个 skill 是 允许我们自己再去添加的,所以我认为这是这个 app 里面最具有 可玩性的一个功能。就是我还记得前一段时间在网络上很流行一个叫做前任 skill, 就是 把自己的前任变成一个技能,然后放进他们的 open cloud 之中。那现在你不用放进 open cloud 了,也不用打开电脑了,直接在手机之中就可以操作了。嗯, 我相信后面会有很多人去专门为手机的这个开发 skill。 那 这个 skill 我 也就不多说了,因为目前我这里只有官方的八个默认 skill, 然后默认 skill 都是比较基础的啊,说的也没有太大的意义,大家自己后期自己去 自行尝试一下就行。然后我们来到下一个这个红色的按钮叫做模型实验室,这个应该是对于比较极客的玩家用的比较多,那我们大部分的普通玩家呢,是很少也几乎不会用到的一个功能, 所以我们这里就不过多传输。然后下一个绿色的这个是迷你花园,是谷歌官方出了一个专门用来语音玩游戏的一个小功能吧, 也没有什么好说的,因为他是英文交互吗?嗯,大部分人可能也就是藏着新鲜进去看一看,也没 什么好玩的。所以我们来到最后一个,也就是我认为第二可玩性比较高的一个功能,叫做手机操作,那他顾名思义呢,就是可以直接操作我们的手机,那我们现在点进去看一下, 那我们点进来之后可以看到他首页是说他有最基础的五个技能,第一个是开关手电筒,第二个是创建联系人,第三个是发送邮件,第四个是在日历中创建,第五个是 在地图中搜索,那这应该是最基础的,我不知道他有没有其他的功能,但是我们可以先把他的基础功能先试用一下展示一下给大家看。 我这里是让他打开了我的手电筒,然后他确实也打开了我的手电筒,然后我们来试一下,让他关闭手电筒,嘿,然后他也成功的关闭了我的手电筒,然后我们最后来测试一下他能不能在地图中展示, 可以看到他是直接调用了苹果官方的这个地图,然后打开了我要他搜索的地点,但是这个功能怎么如此的似曾相识呢?感觉有点像被前段时间被全网封杀了。豆包手机 太眼熟了,只能说太眼熟了。 ok, 相信大家看完以上的教学视频之后,都已经成功的安装好了手机端的胶码四,也对他的所有的功能呢都有了一个初步的了解, 在手机端部署大模型,不仅仅是拥有极高的隐私安全,还支持在没有联网的情况下使用,真的可以说是开启了一个 ai 的 全新时代。那么本期视频到此结束,咱们下期再见!拜拜!

最近这两天,大家应该都被谷歌 gmail fold 的 模型发布刷屏了,但是我在想一个问题,谷歌 gmail fold 小 模型的应用场景是什么?我们直接使用语音上的模型不就好了吗?特别是那些能够部署到手机上的模型,它们的使用场景是什么? 首先我们需要去 app store 里边去下载 edge gallery 这个软件,打开了之后,在首页有 ai chat 这个页面,这里头会有对应的模型下载。我们在手机上能跑的就是 gmail for e2b 和 gmail for e4b 这两个版本。 现在我们找一张图片来让它试着去理解一下,我们先拍摄一张, 我们看它里头的关键信息,提取的没有问题的。好,现在我们来试一下关闭掉网络之后 好了,这个就是在飞行模式下的一个体验。我能想象到的一个场景是,离线辅导孩子写作业,不会做题,没有网络,不想登录各种 app, 也不想把数据上传。 这个时候手机里头的 gmail 模型就可以拍照识别题目分布进行讲解,不联网,不泄露数据,秒即响应。另外一个场景是无网络翻译,在国外旅行,地铁没信号,山区没网络漫游还很贵。看到一句话,直接打开手机 app, 用本地模型进行扫码翻译。 所以这是小模型的一个核心价值,离线的能力。另外第三个可能的是隐私的场景,比如我们平时的聊天记录,家庭信息,工作内容,甚至于医疗育儿的数据,以及一些养老的场景。 如果我们用云模型,数据必须上传,如果用本地的基码模型,那数据永远在你自己手里。当然以上的场景可能大多都是个人使用的情况, 另外还有一种就是公司级别的使用,如果通过小模型能够解决,那么就不需要消耗大量的投款费用,同时也能够保证模型使用的时效性以及数据的安全性。

不久前,谷歌发布了 jam 四系列,它不仅是一款开源模型,更是一次关于如何把超级大脑装进手机的工程奇迹。今天我们一起来看一下它是如何用不到四 g b 的 显存,跑出大模型的效果。 这里我们做了一个测试,使用三台手机在本地离线跑 jam 四 e 二 b, 屏幕上呈现的是这三台手机的测试数据,下面给大家看一下实际运行的情况。第一个加油问题, 第二个 g two 铜龙问题, 第三个字母出现次数问题。 可以发现,关于对常识的判断仍然是小模型的短板。然后这三台手机中, iqoo 十五的运行速度最快。 simon 四一共四款,覆盖从手机到工作站的所有场景。 a dos base 最轻量手机和树莓派都能跑,自带语音识别,量化后只要四 g 显存。 a, 跨出白瓷笔记本甜品级, 速度和能力之间的平衡点。二十六 b, 混合专家架构,总参数二五 b, 但每次只激活三点八 b, 用小模型的成本干大模型的活。最后是三 e b 单词,旗舰级模型,全参数推理,开源模型排行第三,适合有好显卡的用户。这里要讲一个关键的概念,单词和猫的区别, 单词密集型。你看屏幕上这些格子,全不在闪,因为每次推理所有参数都参与计算,三十一币就是三百一十亿次,运算一个不少。它的优点是稳,缺点是慢,而且吃显存。 切换 m o e 模式,注意看大部分格子暗了,只有几个在亮,这就是混合专家的精髓,模型里有一百二十八个专家,每次只派八个上场,剩下的待命。 最后说说它的边界,左边是强项,文档识别,发票解析,代码补全,长文档,问答 agent, 自动化任务,这些它都能做,而且跑在本地,意味着你的数据永远不用上传到别人的服务器。 右边是它的短板,如果你问它能否替代跨腾或 gpt, 答案显然是不行的,那能否进行高质量写作?这里我的回答是勉强可以,至于大规模的代码重构,那以它的能力还差得很远。 说白了, jam 四是一个极其出色的本地工具型 ai, 你 把它当高效工具用,它不会让你失望。如果你把它当全能大脑用,那你就会很失望。 想试的话,这里有两种方式,手机用户可以直接去 google 的 a i h gallery 上下载使用,电脑用户更简单,欧拉玛一键运行。下面我们来看如何用欧拉玛本地部署 jamal 四 e 四 b 模型,并使用 clogot 调用它。在 clogot 直接提问它是什么模型, 它是由谷歌训练的大语言模型,欧拉玛在首次请求时加载模型,加载耗时三十八秒,显存系统分配总计实际首先确保电脑上已经下载过欧拉玛,只需执行一行命令,欧拉玛 round gemma 四冒号意思币,等待模型下载完成,总计约九点六 g 币。成功后在终端测试。问答, 它是一个大语言模型,名字是 gemma 四,由 google deepmind 的 开发,属于一个开放权重模型系列。复制这个模型 id, 克隆项目源码, 进入项目目录,运行安装命令,下载完依赖后进入引导界面,颜色模式随便选。第四个是我们做的国产模型适配选择第三项,本地欧莱玛模型, 然后粘贴刚刚复制的模型 id 回车。确认到这一步配置成功。我们问个问题测试一下,现在已经调用成功已经登录的用户,想要切换模型,输入 logo, 退出登录,然后运行帮人 devi, 即可重新配置。我们最新版的 cloud code 已开源,大家关注评论获取。 目前呢,该模型权重在 hackin、 face 和 kaido 上都能下载。以上便是我对 gmail 四的实测解读,如果你觉得有用,不妨点个关注,我们下期再见。

整个恢复的速度相当的快,这是在手机上,而且大家看现在完全的没有联网。哈喽,大家好,那今天跟大家分享一下,基本上可以说是 iphone 上面最强大的免费本地 ai, 完全不需要联网,搭载的是 game 四啊,非常的强大, 大概就这个软件啊。 edge gallery 点开之后点击这边,我们可以选择我们的 model 子啊,这边有非常多的什么 jimmy 三呐, jimmy 四, jimmy 四是 google 推出的啊,给迷迷同样也是 google 推出的, 但是他不想给咪咪,给咪咪那是付费的,这个是完全的免费的,这里面我是下载了一二 b, 一 二 b 它是二十亿参数,一四 b 是 四十亿参数。那真马四相比于过去的真马三,主要有这么几个特点啊,首先第一个就是它整个脑细胞啊,整个容量会更加的高 啊,就是模型架构进行了一个非常大的优化。苹不是苹果啊, google 通过非常高效的蒸馏技术 distillation, 可以 让四十亿参数,就这个一四二 b 啊,可以达到过去一百亿二百亿模型那 这种水平,所以它整体智商就更加的高了,但是它占用的内存却没有变,所以它就可以让我们使用这个 iphone 十七 pro max 这种十二个 gb 内存的手机,也可以非常流畅的使用,而且它现在是支持了多模态原生支持,就是它可以理解我们拍摄的图片,逻辑和语言都是同步 的,识别精度跟上一代比啊,提高了大概百分之四十,而且它整个记忆力也增长了,整个智商更加的高了。过去我们在使用手机端的模型的时候,哔哔几句,他就忘了前面哔哔啥了,所以这个是一个非常大的痛点,但是这次 jam 四它每秒可以达到一百二十八个头肯, 所以我们把一整页的,比如说五百页的这种 pdf 啊,这种文章丢不进去,它也可以在几秒内看完,然后回答我们。再有一个就是 iphone 上为什么使用它会更加的好用,就是因为 iphone 它独特的架构就是 m r x, 反正就是统一内存啊,什么 cpu, gpu 啊,这几个都是统一使用内 存,所以在这个 a 十九 pro 里面使用这个加速单元,再配合上 g 八四,整个发热更低,跑得更加的快。那 所以我们简单的给大家演示一下啊,首先这个 ai chat 啊,这个是完全在本地的,所以我们现在打开飞行模式,关闭蓝牙,关闭 wifi, 都是可以正常的使用的。 这边有什么 e 二 b 啊,它有一个 best overall 最推荐使用的这个啊,我们试一下这个 e 二 b 就 可以整个大小容量也就是二点五四个 cb, 然后 ch 你 是谁? 马上就回复了,我是战马四,一个由 google dmind 开发的开放群众的大型语言模型,你有没有意识,整个回复的速度相当的快,这是在手机上,而且大家看现在完全的没有联网飞行模式,所以我们在飞机上在 处理这种文档,我突然有一个呃,突发奇想,想要咨询的时候,就我们直接在手机上跟它逼逼就可以,它就会给我们一个非常不错的答案啊,整个推理模型也相当不错。然后我们在这边点击这个之后,我们可以选择 max token 啊,我们可以进行选择 topk, 说实话,这个我也不知道它是啥意思啊,哈哈,然后我们点击 ok, 我 们可以再问一下啊,根据哥德尔不完美的系统,它都是有一个缺陷的,那么宇宙它作为一个系统, 他为了解决内部的这种无法解决的矛盾,所以他创造了生命,他看本地啊,在本地这么深刻的问题,他触觉了哲学系统论,生命起源,噼里啪啦, 哎呀,生存压力,适应性创造的本质有很多,在本地这个速度我个人感觉已经非常的够用了,还哔哔呢。 ok, 他 最后来了一个总结,一个看似完美的系统, 其内在的动态张力矛盾是其演化的燃料,生命正是这种内在张力的一种具象化和解决机制。他不是为了追求绝对的完美,而是为了在既定的有缺陷的宇宙框架内,实现一种动态的,有目的的存在。人生的哲理根本就是存在,扎斯的存在就是他们 关于这个歌德尔的不晚辈定律啊啊,我再找一期视频单独跟大家分享一下啊,今天我们就先跳过,总之我们在这边可以跟他比一遍,然后点击加号,之后我们看,我们可以看他的 history, 然后点击这边右上角的小加号,我们可以创建一个新的聊天,这个都是可以, 然后我们后退,后退之后这个是 ai chat, 唯一比较不满的就是它整个功能是比较分离的啊。当我们想要 ask a mage 用图片进行交流的时候,我们必须要到下面这边啊, explore other use cases 有 各种 使用的场景啊, ask a mage, 我 们可以让他啊回答我们拍摄的照片和图片。在这边点击加号之后,我们可以选择 photo library, 选择我们的照片,选择 camera 啊,这都是可以的。 我选择 camera 拍一个,呃, use photo, 然后我让他逼逼。这个是什么?有哪些特点啊?这个失误了。哎,这个失误了。这是 playstation port。 差一点啊,等会啊,我们刚才是使用的二 b, 我 们使用四 b 试一下。二 b, 他 可能智商没那么高 啊。使用这个二 b 啊,使用四 b 来试一下。这是什么?有哪些特点?嗯, yes 哦,他把旁边的 major sense 控制特点,触觉反馈,自适应班级, l two, r two 可以 根据游戏内的动作提供不同的阻力。 啊,噼里啪啦,还有例子呢啊,荔枝麦克风和扬声器设计和人体工程学啊,这些都有了。 ok, 这是什么花哦?金樽花,万寿菊。我们再换一个,让他翻译一下,翻译成中文,重新打开飞行模式, wifi 关闭。大概 它同样可以在本地完全免费的进行翻译,相当不错。所以我们在飞机上啊,都可以用注意力焦点, attention, focus, injection, 汇聚所需信息的过程。第一段,第二段它都会进行一个分段,第四段,第五段原文都有此处文字被遮挡,这种细节 相当不错。 very good。 然后这里面呢,还有一些比较简单的,什么 ask, 你 major 啊,什么 audio square, 但是没有特别大的鸟,用什么 prompt lab 啊, tiny garden, 这是一个小的游戏 mobile actions 啊,它可以用这个小的模型来操纵我们的电脑啊,不,是操纵我们的手机,比如说, turn on flashlight, 可以打开我们的闪光灯, turn off, create contact, send, email 这些,但是我用了一下,不是特别的好用,实际来讲比较好用的可能是这个 agent skills, 在 这边我们选择四 b 的 模型,什么 generate, q r code 呀,粘贴进来之后生成 q r 码, loading skill, 它是可以使用我们的 agent skill 的, 我们可以让它生成一个 q r 码完全离线的状态。另外这边啊,还有其他的什么 interact, map 啊 这些用起来感觉就那样啊。然后这个比较有趣, text spinner, 它需要一个访问的权限,大概是这样的一个效果,我们可以更改它的文字啊, spin 使用中文给它相机权限。呃呃,任何文字都可以,就这种效果,虽然没什么鸟用,但是 还挺有意思啊,就是这样的一个为的。这个呢,就是 google ai h 格兰瑞,我们可以使用 google 最新推出的振马四,高效的二 b, 高效的四 b, 我 们都可以在这边使用。但是这个软件呢,说实话,目前它整个 bug 还是有一点多啊,就是用的时候卡住的情况是,呃,挺多的,挺平板的。对大家有兴趣的话啊,想要免费使用的话,可以试一下,再等一下它们的更新吧。 啊,可能我现在是使用的艾弗莎士六点五 bug 版本,所以它整个匹配度不是特别的好啊,大家可以试一下。

一分钟让你搞清楚关于全球最强开源模型 jam 的 一切。最近谷歌开源了 jam 四,我将用四个问题 让你清晰了解关于 jam 的 一切。 jam 各版本的区别,我家的电脑能用吗?模型怎么部署安装?普通人用来干什么?先说他的四个版本,三一 b 直接冲上全球开源 ai 榜第三名,以前要机房才能跑的能力,现在你家里的高端游戏显卡就能搞定。 轻量版的一二 b 和一四 b 为手机、平板以及中低端电脑设备打造,性能虽不是最顶级,但是绝对好用够用。而二六 b 猫号称总参数两百六十亿,但实际每次思考只用其中三十八亿个,最相关的效果却能媲美两百六十亿, 能理解超长文章以及视频。简单说,无论你是用手机、笔记本还是高性能电脑, jam 四都能给你免费安全强大的顶级模型体验。再说你家里的设备是否能用上?一张图告诉你 jam 四个版本的最低要求。 对于多数人而言,家用的电脑设部署一二 b 一 四 b 完全够用,基本能满足百分之九十的使用场景。另外两个版本对内存要求较高,但是性能出众,属于好马配好鞍。 再说模型安装,整个过程大概十分钟左右。首先下载 lm studio, 然后打开 opencool 或者 id 工具,让它查找你本地配置,给你推荐安装哪个版本。之后在 lm studio 里下载,运行搜索推荐的模型名点下载,最后接入 opencool 或者 i d e l m studio, 提供 open ai 兼容 api, 在 open 框里把 api 地址改成, h t t p l o c a o s t colon twelve three four slash vivo 就 能用 jama 四驱动你的 ai agent 了。 网上攻略一大堆,这里就不展开了。最后说下所有人最关心的能用 jama 做什么?这里推荐三个场景,可以去试试。第一, 构建本地知识库,把工作和学习相关的文件丢给本地 jama, 让他帮你形成系统化的知识。构建个人知识库时进行向量缩影和 anitive, 解锁数据不出本地,安全合规。第二,给家人搭建一个 ai 助手,下载好模型,配个界面,电脑手机都可以直接对话,不花钱不泄露隐私。第三,内容创作 最大优点是无限额度,即便不如部分付费模型,但可以靠大量尝试提升优质内容的概率。千马寺会改写国内企业及政府客户的私部模型格局吗?欢迎在评论区发表你的观点。

大家好,今天来给大家实测一下,把 jam 四部署到手机上,到底能实现些什么?视频内容有点多,感兴趣的可以慢慢看完。首先是 ai 聊天,我先把手机切到飞行模式,全程离线使用,可以看到我问他能做什么,他回复的很流畅,反应速度也很快,注意回复这里我全程无加速。 然后是图片识别功能,我随手拍一张照片,问他看到了什么,他能很精准的识别出画面里的细节,解析的特别清楚。还有这个手机指令控制,我直接语音说在地图里找到北京,他立刻就能理解我的意思,自动打开地图应用。虽然现在没网加载不出来, 但整个指令识别和调用应用的过程都是在本地完成的,体验很惊艳。唯一不足的是他听不懂中文,只能英文沟通。还有这个小花园互动游戏, 我说在八号坑种植物,它就能听懂并执行操作说明模型,对自然语言的理解和交互能力都很强。这里依旧听不懂中文,只能英文沟通。最后是提示词工具箱,不管是改写文案、总结文本,还是写代码, 离线状态下都能直接生成,非常方便。整体体验下来, jam 四把 ai 能力真正做到了手机端本地化,不用联网,隐私性更好,功能也足够实用,未来手机端 ai 的 体验真的会越来越强。

今天我将跟着大家一起本地步数加码四,接入 open core, 彻底告别托肯焦虑,接下来跟着我操作。 这里我们先进入 elama 的 官方网站,进入官方网站过后,我们直接点右上角的 download 下载,我们这里是 windows 系统,选择下载 for windows, 点击这里, 这里就等它下载好。下载好之后,我们这里就直接双击运行,这是它的安装界面,我们直接点安装这里,等它默认安装好。 好了,这里 elama 就 安装好了。然后我们到这个地方 elama 的 官方网站,选择 models, 这个地方选择 command 四, 然后这里我们选择我们的模型,这个模型的选择我们根据我们的显卡显存大小来选择。我们这边看一下我们的显存是多少, 这里看到我使用的是四零七零的显卡,显存是十二 g b 的 显存,十二 g b 的 显存的情况下,我们可以选择这个九点六 g 的 模型,这个一四 b, 这个我们直接点进去,选择一四 b。 点击进去过后,我们直接复制这条命令,然后运行一个 cmd 窗口, 直接粘贴这里,它就会欧拉玛会自动地给我们安装这个模型。呃,这里等的时间是比较长的, 这里模型已经下载下来,并且运行起来了,我们向它发送一条消息,试一下你是谁, 反应还是可以的,这就跟了我们信息回答了。好了,在这里过后呢,我们就可以把这个窗口关闭掉, 关闭掉过后,在 lama 这个地方我们去选择这个模型,在这个位置也就可以和它进行通话了。 比如我们问他一句,你可以帮我做些什么, 他已经帮我回答了,在这里呢,我们因为我们是在本地虚拟机上安装的,所以而且我们为了方便以后可以在其他计算机上也可以调用,我们在这地方设置这个位置 点,这个位置点设置这个允许在网络上运行,把它开起来点了就可以了。 好了,我们下一步就开始配在 open core 上配置啊,在这里我们进入虚拟机之后,我已经执行了 npm i, 刚接 open core 全曲,安装 open core 的, 我们这里可以执行一下 mini, 看下我们安装的版本。 openclock 杠 v 是 安装的最新版本二零二六点四点五版本,然后我们执行 openclock on, 在 这里我们进行一个调试,这个地方我们 yes, 这里选择快速,这个地方它是让我们选择大模型,呃,大模型它这里有,我们选择本地的这个位置点确定 这里我们直接就选择本地的,不要选云,上面是带云端的,就选择本地模型。 这地方让我们选择模型,我们选择这个,这就是我们刚刚这个就是我们刚刚下载好的模型,就是 直接回车。等一下, 这里让我们选择通讯工具,我们这直接跳过,暂时不管这个,直接跳过。 呃, scale, 我 们这边也选择否先进行最简单的安装 网关,我们就直接重启, 选择 open ray web ui 好 了,我们看一下 open core 运行起来了没有。 open core getaway style sta 好了,已经运营起来了,我们进去看一下, 这边需要 token, 我 去看一下 token 是 多少,关于 token 的 话就是我们,我现在是在虚拟机里面安装的, 我要重新打开看一下,在虚拟机里面安装,我们就直接去通过这条 mini 访问我们的虚拟机, wsl 的 虚拟机访问,然后无斑图选择 home 目录,选择我们的用户, 然后这里选择点 opencloud 这个文件夹,然后这一个 opencloud json 让我们看一下,到 git 里面去,这个地方就是我们的 talking, 复制粘贴下来到这个地方,点连接好了,我们尝试给他发一条消息,你是谁? 在主位置这个地方,我们可以看到这地方是我的模型。 我再问他一条消息,你现在使用的是什么模型? 看这里已经是我当前运行的模型 工具,在这里我们就可以看到了,我们现在整个 open call 来使用的是我们本地模型,就不需要去购买 token 了。好,今天内容就这么多,谢谢大家。

今天给大家带来手机本地部署大模型,无需网络支持 ios, 安卓无需特殊网络环境。当然了,今天部署的是谷歌最新发布的模型,小模型的性能大家都懂得,娃娃可以正当生产力,还需要等待发展一段时间,和电脑的本地部署是一个道理。 那么我们先进入 ios 的 教程其实非常非常简单。首先先进 app store 下载如图的应用 google ai edge gallery, 安装好之后,我们直接打开进入 ai 对 话, 会发现我们首次运行的时候会让你下载模型,因为我手上的这台设备是 iphone 十五 plus, 因此我选择下载这个折中的它推荐的二点五 g 的 模型, 等待它下载完成之后,我们可以和它对话看看。这个时候我进入飞行模式,把网络给关掉,它是完全本机运行的,会发现我们已经可以和它对话了,只不过在运行的过程中,它可能有点微微发热。当然了,小模型的智商就是这样,和它进行一些简单的对话是可以的。 那么接下来我们进入安卓的部分,然后我拿来做演示的这台手机是荣耀八零二, 在国产的安卓机上,我们有两种安装方式,第一是通过 apk, 也就是安装包进行下载,第二种方式就是你需要一些手段,对吧?上网的手段,然后进谷歌商店里进行下载,下载好打开之后和 ios 里的使用是一样的,我们首次进入的时候,点击下载模型,同样还是这个二点五 g 的, 然后就可以和他进行对话,我们可以问两个问题来看看效果,嗯,就比如说我离加油站五百米,我是应该开车去还是走路去看看他怎么回答? 最后我们就会发现没有说必须开车去,对吧?去加油站。所以说小模型的这个智商这一块肯定是和 ap 还远远比不了, 但是这也代表着这给我们一种可能性,随着科技的发展,模型的发展以及手机硬件性能的发展,拥有一台纯本地部署的 ai 助手将成为可能。那我们今天教程就到这里,非常简单,我们下期再见。

兄弟们,欧拉玛已经更新好了,杰玛斯的大模型也不朽完成了,一共四个模型,接下来挨个测试一下,所有的测试都是在这个电脑配置下完成的。第一个问题,介绍一下自己, 第二个问题,用李白的风格写一首 诗。 最后一个问题,经典的喜鹊问题 总结一下,四个模型都测了,最快的是一二 b, 最慢的是三十一 b, 四个模型第一次启动都有点慢,后续速度都还可以。 总的来说,回答质量最好的是三十一 b, 包括最后的一个洗车逻辑陷阱也自动识别出来了, 就是我这个配置运行起来实在是太慢太慢了,所以性价比最高的应该是这个二十六 b 模型。回答速度,回答质量都还可以,可以用在部署小龙虾,用来做个人的 a 键,挺好用的。后续再和千万三点五做个横向对比,记得点个关注。

大家好,本期内容我来分享如何在本地部署谷歌新开源的多模态 ai 模型代码四,我会分享命令行和格式化界面两种安装方案,零基础也能轻松搞定。 最后我还会教你如何修改部署的路径,彻底解决大模型占用 c 盘的问题。本地部署的优势就是你的数据可以完全保存在自己的电脑上,隐私安全有保障,而且支持模型微调, 可以打造专属的 ai 助手。但是他也是有缺点的,就是我们需要稍微懂一些技术,还有就是硬件的支撑,如果电脑配置高,自己可以部署折腾一下。有了本期视频,就算你不懂技术,跟着视频操作也可以部署成功。 本期演示我只分享入门版本,主要就是参考部署的方法和流程。接下来我手把手带大家用欧拉玛一键部署。 首先我们先来了解一下 jam 四到底是什么,它是谷歌新发布的开源多模态的 ai 模型,与 jimmy nay 是 同源的。 简单来说,谷歌就是把自家的 ai 技术打包成了一个免费开源的版本,让每个人都能用上。它的能力是非常全面的,支持文本交互、图像识别、音频处理,还能生成代码, 基本上覆盖了所有的 ai 应用场景。下面我们再来看一下它的核心优势。核心优势它有三个,第一个就是多模态能力,文本、图像、音频代码,一个模型全部搞定。 第二个就是完全免费,它没有会员订阅,没有暗次收费,可以随便的去使用,甚至用它去开发商业化的产品。第三个就是比较重要的隐私安全保障,本地部署模式下,所有的数据处理都在自己的设备上完成, 敏感信息不会上传到云端,这是三大核心优势,就是在我们安装之前,需要我们了解一下这个安装环境。首先系统兼容性 demo, 四是支持 mac os、 linux、 windows 三大主流操作系统,基本上覆盖了绝大多数的用户。 然后就是内存要求,如果你的电脑小于三十二 gb, 推荐安装四 b 版本,自己安装体验折腾一下就可以。如果你的内存达到或超过了三十二 gb, 那 就可以选择二十六 g 或三十一 g 的 版本。 在这里有一个小提醒,就是如果是 mac 电脑 m 系列的芯片,它的显存和内存是合二为一的,大家直接看内存就可以。如果大家不是 mac 电脑,比如 windows 或者 linux, 那 么就优先看显存,显存不够再看内存,这是关于这个配置的查看。像这个本地部署也非常简单,仅需两个步骤即可完成。第一个就是安装欧拉玛,这个欧拉玛就可以理解为是本地大模型的一个容器, 它是装大模型的,有了它才可以运行。第二步就是我们容器安装好之后,我们需要给它把模型放进去,就是部署模型,两个步骤即可搞定。下面我们直接进入实操环节,我们来一起看一下部署的全部流程。 在这里第一步我们就先要有这个欧拉玛,他是一个大模型的容器,就是我们打开之后选择右上角的 download, 这时候我们就需要选择匹配自己系统的版本,在这里我这是 windows, 然后我们选择 download for windows, 在这里选择 download for windows 之后就会弹出窗口,我们选择路径直接保存就可以,当下载好之后,然后我们就安装即可,安装好之后打开就是这样的主界面,这个是我之前安装的版本,部署着一个一点五 b 的 zip, 然后下一步就需要我们去选择大模型,我们还来到刚刚乌拉玛的这个界面,在这里我们选择左上角的 models, 然 然后在这里我们可以看到该马四,然后我们选择进来,它提供了好多个版本,在这里我就选择一个入门的版本,主要就是演示安装的流程,比如我们选择 e 二 b, 然后我们选择,这时候我们就看到了这个安装命令,选择右边的这个两个方框,然后选择 copy, 然后下一步 我们就按键盘上的 windows 加 r 键,这时候出现运行窗口,然后在这里面输入 cmd, 然后直接回车, 回车之后就出现了这个命令窗口,然后我们刚刚复制了直接鼠标的右键,可以看一下,这个命令就粘贴过来了,然后我们直接 回车好了,这时候它就开始部署到本地了,在这里我们需要等待一段时间,好可以看一下出现了 success 这个提示,就证明安装成功了。现在我们在这里可以直接和它对话,比如我们输入你好当前什么模型,然后我们发送 可以看一下,他现在回复我们了,我是一个大语言模型,我叫 jama 四,这时候我们就在本地已经部署成功了, 然后我们再回到欧拉玛的客户端,在这里在这个对话窗口右下角这里,这里可以选择模型,然后我们找到刚刚部署到本地的 jama 模型好了,这时候就切换好了。同样在这里我们也可以直接和他对话,比如我们输入你好,然后发送, 这时候他就回复我们了,你好,很高兴和你交流,请问有什么帮助到你的?到这里我们就已经部署成功了。前面我们分享的是使用命令行 c l i 模式去部署,其实还有一个简变的方法, 在这里我们还可以选择模型后面对应的这个按钮,也是可以直接部署的,这个是非常方便的。好,最后我再分享一个大家比较关心的问题,就是我如何设置这个本地模型的一个部署路径, 在这里我们也不用去改环境变量了,这个客户端是直接支持的,我们选择左上角的设置,然后在这里选择这个 model location, 在 这里我们就可以去设置模型的一个保存路径,在这里大家自己设置就可以,是非常方便的。 好,下面我这里演示的是上传了一张图片,就让他识别这张图片,我们一起来看一下他给我们的结果,好了可以看一下,我们给了他一张图片,我们问他这是张什么图片,他给我们的回复, 这是一张符号或者是图标,然后他还分析了主要包含的元素,还有用途预测等等,能够精准的识别内容,并生成详细的描述, 表现还是可以的。好了,现在我们本地部署成功了,然后刚刚我们也做了一个功能测试,第一个就是我们和他对话,就是文字处理,第二个测试的就是这个图像识别,他也是可以精准识别的, 他虽然是多模态的,但是目前我们用的这个容器不支持多模态的输入,我们暂未测试音频和视频的识别。好,最后我再补充两个细节,就是第一个欧拉玛的拓展性他是非常强的,除了可以部署这个 demo 四, 还支持比如通用签问或者是 deepsafe 等众多的开源模型,部署方法也是完全一样的,一条命令就能去部署。第二个就是本地部署的真正价值不仅仅是隐私保护,更重要的是支持模型微调, 可以用自己的数据去训练模型,打造一个完全专属的 ai 助手。好了,这就是我们本地部署的所有内容,大家感兴趣的可以自己折腾一下,探索更多的玩法。好了,我们本期内容分享就到这里,可以留下你的想法,我们下期再见。

公主,你现在看到的就是谷歌最强的开源模型加码四,可以看图,能听音频,也有不错的推理机制,最重要的是完全免费,给我几分钟,从零开始,将加码四部署在自己的电脑上。我们直接开始 先花一分钟和大家聊一下贾马四是什么?它是谷歌刚发布的开源 ai 模型,跟商业版的怎么奈同根同源,你可以理解为谷歌把自家最强的 ai 技术浓缩成了一个免费的版本,直接送给你用。 那么它好在哪里呢?三个点。第一,多模态,不只是聊天机器人,你可以发图片让他看,发音频给他听,还能写代码。 我们可以看看这张表格,横轴是模型的参数体量,而纵轴就是性能表现。贾马四以满血版的性能表现和千万的三百九十七 b 的 模型能力基本持平,关键在于它的体量只有千万的十分之一,这真的非常夸张。 第二,完全免费,不用充会员,不按 token 收费,并且可以商用,你可以模改它做成各种有意思的本地模型,拿去做产品也没有任何的问题。第三,隐私安全,因为跑在你自己的电脑上,所有的数据都不会出,你的电脑拿它处理合同,财务,私人物件,不用去担心泄露。 ok, 我 们直接动手。你现在只需要打开一个浏览器,然后把它放到全屏上,直接官网上搜索欧拉玛点 com 啊,然后这个东西就出来了。然后你只要点击整个画面的一个右上角 download, 看到没有?然后你可以选择你是 mac os 系统还是 linux 还是 windows, 我是 mac os, 那 你就直接点击这个 download from mac os, 然后我们就可以看到这个画面上的右上角应该是会有个下载的链接, 然后等它下载好就可以了,因为我这边其实已经安装好了吗?那么我这边的最终的一个输出效果的话,大概是在这里。你们下载完了之后,打开你们的桌面上的欧拉玛,你们看到的应该是现在这样子的一个画面,那就说明你已经安装成功。 佳马仕一共有四个版本,你可以根据你的电脑配置进行模型的选择,模型的能力越强,所需要的配置就越高。对于内存小于三十二 g 的 玩家,我建议大家直接安装一四 b, 三十二 g 及其以上,可以试试看二十六 b 和三十一 b 的 参数量, 其实这两者模型的能力大通小异,如果你是为了极致的精度,可以选择三十一 b, 但是在我看来,二十六 b 呢,其实是一个非常甜点的位置,达到了速度和精度的一个平衡。如果你不知道你的电脑内存是多少,这里针对 mac 用户,你可以选择终端输入这行命令。 而 windows 用户你可以点击 win 加 r, 点击回车,召唤出来你的终端以后,然后再输入这个命令,也可以显示出你的内存。选择好对应的模型,我们只需要打开终端,和刚刚一样的步骤,根据模型输入指令直接回车即可。等待模型下载好,打开你的 oala, 选择模型就可以开始了。 ok, 我 们打开我们欧曼的软件,你点击这里,然后往下滑,你就可以看到你刚刚已经安装好的这个佳马仕。我们来问他一个很有逻,就是说很有那个逻辑陷阱的一个问题,就是我今天要去洗车,但是只有一百米,你觉得我是走路去还是开车去? ok, 我 们来看一下他的一个答复是怎么样子。 这是一个非常有意思的一个逻辑陷阱题,我们可以从不同的维度去分析。逻辑层面上来说,必须开车去, ok, 这一点已经很棒了啊。 那如果说是从脑筋急转弯角度上来说,他说如果你走路去,那么你是在散步,而不是在洗车。哦,也就是说他分为了三个维度,一个是脑筋急转弯,一个是实用主义层面,还有个就是逻辑层面。我们来看一下他这个佳马仕的这个逻辑能力。哎,你还真别说这小参数,但他的表现还是不错的。 那么 jamas 它的一个很大的优点就在于它其实是支持这个多模态的。我们来不妨给他上传张图片,我们来看一下。 ok, 那 么我们上传一张什么图片呢?哎,上传张这个图片,你们看怎么样啊?就是这是一朵花,然后有个太阳,有一本书,我们来让他看看。我说,啊,描述一下, 描述一下这个图片,我们来看看他的多模态识别能力怎么样?说实话,本地具有多模态识别能力的模型,而且是能够你自己去模改的,其实并不是很多。我们来看一下。 ok, 一, jeff 二,然后 jeff 三,给了几个他看到的一些画面。好,我看他现在在思考和输出。这张画面充满了诗意,唯美且带一丝忧伤。 画面主体是一本翻开的书籍。哎,确实是对的,背景与中景是一个画面,然后呢,躺着一只洁白的玫瑰,然后背景是有一个夕阳,散发出这个温暖的金橙色光芒,哎呦,很不错,你们发现没有,是不是很棒?就是说他好像 表达的还是很到位的,但是因为呃,我其实本来还是想测一下这个关于音频识别和这个视频识别的,因为这个佳马仕它也是支持视频识别的, 但是因为欧拉玛官方不太支持,所以大家可以自己去谷歌 as do do 上面去玩一玩。所以总的来说,其实通过这么两个比较简单的测试,它当然不够严谨,而我觉得感受来说的话,这个香奈儿丝还是 真的是能够在本地帮我们处理一些比较复杂的一些任务的,就是在文字层面以及去多模态识别能力上来说,是一个比较抗打的模型。 看到这里相信你一定会明白, olama 本身是一个模型管理器,你当然也可以不用贾马四,你可以选择开源的 deep stick, 千问等等,其他的开源模型还是同样的命令,一键配置就可以了。 本地捕鼠的最大优点就是保护你的隐私,模型的使用不会受到任何的限制,同时也可以支持模型的微调,让它更合你的口味。下期我打算教大家小白如何从零到一,微调自己的本地模型,感兴趣的可以点个关注,我们下期再见。

我的手机在飞行模式下,正在流畅的跟 ai 对 话,这不是魔术啊,这是 google 刚刚开源的伽马四, 今天呢,将你零成本把它装进手机,永久免费,永不掉线。整个过程其实非常简单啊,三步就搞定了。第一步呢,下载一个 google 官方的 app。 第二步啊,在里面安装伽马四模型,大概二点五 g, 三步你就可以开始对话了,飞行模式也能用 来我们直接上手操作。大家看一下我的实践过程啊。打开 app store, 搜索 google 的 ai edge gallery, 这是 google 官方出的应用。打开之后呢,进入 ai chat, 你 可以看到啊,这里面有好几个模型可以选,我们选 jama 四的 e to b 杠 it。 这个模型点击安装啊,大概呢是二点五四 gb, 等待下载完成就好了。 端好完成之后,重点来了,我们来验证他是不是真的离线能跑。注意看,我现在打开的是飞行模式,完全断网。然后我问他一个数学问题,三点三和三点二一谁大? 哎,你可以看到吗?他只需要五点四秒,他就给出了完整的推理过程,而且看到他的思考链是真的一步一步在推理,不是在湖州的。这就是本地模型的厉害之处,所有的算力都在你的手机上,完全不依赖云端。 但你可能会问啊,我用 chat gpt 或者其他的 ai 模型不也挺好的吗?为什么要折腾本地模型呢?其实这里面核心有三个优势,第一就是隐私,你的对话数据完全留在手机上,不会上传到任何的服务器。第二就是成本, chat gpt 每月二十美元,而这个呢,是永久免费的。 第三就是可用性,即使没有网络也可以用,在地铁、飞机、出国旅游等等,随时随地都可以去使用。当然,我们也得客观的跟大家说说它的局限, 在数理逻辑推理、日常对话、文本写作、代码生成片段这些方面呢,表现都还不错。但是啊,实时热点他就不知道了,因为他是离线的嘛,实时的搜索调研做不了。如果是特别长的文章生成质量啊,也算一般。所以啊,它更适合当你的随身助手,而不是替代云端的大模型。 所以你看, google 开源了,就意味着完全免费。对于隐私敏感,在意数据安全的场景,本地 ai 就是 最优解。 感兴趣的话就可以现在试一试 app store, 去搜索 google ai edge gallery 就 能找到。那如果这期内容对你有帮助,点个赞,收藏一下,有问题我们可以在评论区聊,我是秋阳,我们下期再见。

就在四月二日,谷歌发布了 gmail 四,这是一个完全开源的多模态大模型系列,支持文本、图像和音频交互,而且采用 ipatch 二点零协议,可以免费商用,没有任何授权费用。 你有没有想过,把谷歌最新的大模型装在自己手机里,完全离线使用,不用花一分钱,还能保证自己的隐私,绝对安全。 就在四月二日,谷歌发布了 gms, 这是一个完全开源的多模态大模型系列,支持文本、图像和音频交互,而且采用 apache 二点零协议,可以免费商用,没有任何授权费用。 首先咱们得搞清楚 gammas 到底是什么,它和谷歌闭源的旗舰模型 gamem 三,共享底层技术,一共四个版本, e 二 b、 e 四 b 二十六 b 莓 e 和三一 b dens。 咱们普通人能用的就是前两个 e 二 b 和 e 四 b, 因为它们能在手机上直接运行,完全离线,而且不占太多空间。 e 二 b 大 概需要三点二 gb 的 存储空间, e 四 b 需要五 gb 左右。对现在的手机来说,这个空间压力不算大。 那要在手机上部署 game 四,需要什么样的条件呢?安卓手机需要安卓的十二以上,苹果手机需要 ios 十六以上,内存方面 至少八 gb ram, 六 gb 的 话可能会闪退。机型上,苹果推荐 iphone 十二级以上,安卓最好是中高端机型。有个特别提醒,华为手机不支持,因为谷歌服务的限制,这个得记清楚。 接下来是安卓端部署步骤,有两个方案可以选。第一个是官方推荐的谷歌 ai edge gallery, 你 可以在公共 play 里搜索下载,或者去 apk mirror 下载 apk 安装包, 打开应用后进入模型库搜索 j m 四,选择 j m 四 e 二 b 杠 it 或者 j m 四 e 四 b 杠 it 点击下载。下载的时候建议用 wifi, 毕竟文件有两到四 g b 流量,下载不太划算,下载完成后会自动激活,之后就能离线使用了。 第二个方案是开源的 m l c chat, 你 可以从 tapp 上下载这个应用,打开应用后点击加号,添加模型,选择 gemas 的 e 二 b 或者 e 四 b 版本,等待下载完成就可以了。不过国内用户可能会遇到问题,因为模型默认从 hugen face 下载,国内有时候访问不了。 这时候有两个办法,一个是用电脑访问 h f 杠 m 二二 o r 点 com 下载,点 g g u f 格式的文件,然后传到手机的 android data ai dot m l c dot m l c chat slash files 目录里,再在 app 里导入。 另一个办法是直接用手机访问镜像站下载。苹果手机的部署就更简单了,直接在 app store 搜索 m l c chat 下载安装, 打开应用后点击 download models, 找到 gamma 四系列,选择 e 二 b 或者 e 四 b 版本,下载完成之后就能直接离线对话了。 咱们再说说性能表现。 pixel 八 pro 运行 e 二 b 版本,每秒大概能处理十五个 tokens, 内存占用三点五 gb。 iphone 十五 pro 运行 e2b 的 话,每秒大概十二个 tokens, 内存占用三点二 gb。 小 米十四的速度稍微慢一点,每秒十个 tokens, 内存占用三点八 gb。 第一次运行的时候,系统会对模型进行优化,可能会有点慢,但是之后就会快很多。 这个模型最大的优势就是完全离线运行,不需要联网,所有数据都留在你自己的手机里,隐私绝对安全。而且它支持文本、图像和语音交互功能,和云端的大模型差不多,但不需要花一分钱,也没有 api 调用费用,可以永久免费使用。 最后给你几个注意事项, e to b 更清亮,速度更快,适合基础的对话需求。 e 四 b 的 推理能力更强,支持多模态任务,比如分析图像或者处理复杂问题。下载模型的时候建议用 w wifi, 这样能省不少流量。使用的时候最好把后台的其他应用关掉,这样能提升运行的流畅度。 现在的版本中文支持已经很好了,还支持一百四十多种语言,你不用担心语言障碍的问题。好了,今天的部署指南就到这里,你现在就可以按照我给的步骤,把 gms 装到自己的手机里,体验一下完全离线的 ai 大 模型。行动起来,把 ai 装进你的口袋。