又发现个很屌的网站,这简直是硬件版的叉 gt 只需要描述一个你想做的东西,它就能帮你生成规范的 diy 建造文档,包括物料清单、组装指南以及各种连接表。在这里,你可以 diy 无人机、机器狗,甚至 ai 眼镜。 比如我想做一个内置了 open clone 的 机器人,把需求告诉他以后,他立马把机器人的选型逻辑和骨骼全部代码化了,帮我生成了所有技术细节,然后用什么芯片,什么显示器,什么摄像头都帮我匹配好了,一个清单直接搞定之后还可以渲染成三 d 模型,最后会帮你计算成本。我打算要把这个 open clone 机器人做出来了,等我消息。
粉丝7.6万获赞69.7万

如果说你想部署像 gbt 这种大冒险啊,像我们声音克隆或者数字人这种项目到本地的话,本地部署硬件配置要求,这个是最低标准好不好?最低标准? 首先我们看下这个是显卡啊,三零六零,它是显卡的算力速度,当然四零一定比三零快,对吧?啊?如果说你是二零也没有关系,但是这个是最重要的,这个是代表着显卡的现存十二 g 最低标准 不要低于十二 g, 很多大模型说他八 g 就 能跑,实际上在你电脑上运行的时候,你的电脑系统会占用很多的。这个现存实际上分给大模型的啊,比如说你是八 g, 可能是大模型只占四 g, 对 不对?你是十二 g, 大 模型可能就只占八 g 啊,刚刚好, 如果你的显存不够,你的运算的这个精度啊,包括你的这个速度会慢很多啊,这个呢是我们 cpu 的 内存十六 g, 这个必须是十六 g 起步,如果说你是八 g 内存的话,你很可能大模型你没有办法启动啊,这是第一个。 如果说你的这个能启动大模型啊,可能会说你的这个电脑会出现卡顿蓝屏啊,对不对?所以说如果说你想跑本地部署大模型,这个配置啊,最低配置好吧?

deep c q v 四呢,终于发布了,各方面的参数啊,看起来都很不错,但实际使用起来又是什么水平呢?正好最近两周啊, g p t 五点五, opt 四点七, kimi k 二点六也都刚更新了,再加上之前的 g r m 五点一呢,凑齐了一大批的这个千元模型。很多朋友啊,都在纠结说自己的智能体里面到底应该用哪个模型呢?今天这个视频啊,我就会从价格,从速度, 从完成任务的质量几个角度来跟大家聊一下这几个模型,能够让大家在选这个模型的时候啊,会有个参考。我们首先来看一下各家模型 token 接口的这个价格,按照 token 输入输出七十比 七比二的这个比例来加全,这个呢大家可能如果不清楚的话,也不用特别的去计算,我是按照我自己的平时的账单的统计,然后调用的这个比例算出来的,每个人呢都或多或少会有些不同,但大概呢就是这样一个比例,然后用它来算出每百万 token 的 一个综合的价格,方便我们去比较。我们看到 v 四 flash 呢,零点三二元, v 四 pro 呢,原价是二点五六元,然后加上当前二点五折的发布活动啊,价格大概是零点六四元。 kimi k 二点六呢二点二三元。 jimmy k 二点一呢二点二九元。 opus 四点七十点六三元。 gpt 五点五呢十一点五二元。国产模型啊,大家看到大致呢都在同一个价格袋里面, opus 跟 gpt 呢,价格直接贵了一个数量级, 一次 flash 啊,价格最低,因为它的模型尺寸呢,也是最小的一次 pro 呢,能把一百万的上下文做到这个价格,是采用了新的注意力机制,一百万上下文呢,大概只需要前代的百分之二十七的算力, 百分之十的显存就够了。列出这个综合价格啊,是方便大家去理解,去比较,然后给大家做一个自己选择的参考。然后来介绍一下这次的这个对比的任务设计啊,我这次呢,是想让智能体啊去抓 hack news 上面前一百条的热贴,挑两到四条呢,值得说的话题,查背景, 生成图片,配音,最后用 hyperframe 这个 skill 呢,制作一条三十到六十秒的中文视频报告,中间怎么去完成啊?怎么去这个一步步的定任务呢,完全交给智能体自己去定,每家过程啊,稍有不同, 但大致的内部的流程啊是一样的。先写 python 脚本呢,抓帖子,做数据统计,再写分镜跟旁白,然后呢,生成语音跟图片。语音出来之后呢,来计算一下实际的长度, 重新去调整一下分镜,如果太长呢,就压缩一点,如果太短呢,就扩展一点。最后呢,再用 hyperframes 以代码的形式把这个视频完整的做出来。每个模型的任务呢,我都给它们建立一个独立的空白的文件夹,然后用 skill 去扩展它们 agent 的 能力。比如说像我这里用到了几个 s 册去查资料, gpt, imager 去申图,然后 edge tts 做中文的旁白, hyperframes 负责视频的合成等等,基本上就是四个。如果产出有明显的缺陷啊,我会反馈给 agent 一 次,但只给这一次的机会,只做一次的人工干预,还有一个比较重要的细节来跟大家分享一下。 这次实验用的 agent 啊,是叫做派,大家肯定没听说过,因为在国内还比较冷门。它是一个极简设计的 agent, 几乎不做任何额外的封装。我们平时用的比如说像 cloud code 啊 or codex 这种框架,它约束多,然后规划层比较厚,好处呢就是把那些比较弱的模型啊,能多浮起来走两步, 代价呢就是那些比较强的模型的判断力呢,可能也被一定程度上牺牲掉了。反过来说呢,薄的框架就是让弱的模型一步步能露出马脚,也让强的模型完全能够展示自己的规划跟纠错的能力。我们来大概的这个判断一下,这次一整条的这么长的这个工作流任务啊,需要用到这大模型的工具调用,多步骤规划 上下文,然后选题,判断出错的自己修复,单次跑下来我估计会用到上百次的工具调用,所以这六个模型的推理强度全部拉满,能够真实的展现它们在整个过程中的综合能力。 在最后比较这六个模型的这个能力之前,我们要先来看一下这次任务我们实际使用的账单跟这个生成的速度。 gpt 五点五呢,最快十六分钟 up, 四点七,二十九分钟 up, 开启了 x high。 这个之后啊,花费也是高的离谱, 比 g p t 五点五还贵了三倍多。然后其他的像 deepsea v 四 pro, 然后 kimi k 二点六, g r m 五点一,消耗的 token 呢,差不多,所以成本呢,也几乎差不多。但是 g r m 五点一啊,速度上比较慢, 花了四十四分钟才完成,这个原因呢,就是因为 token 接口的吐字速度太慢。因为之前就听说啊,这智普是国产模型里面比较缺算力的这个一家公司账单讲完之后啊,我们来看一下最终的成品到底是长什么样子。我想按两个维度来评价这次的任务啊, 就是排版跟内容,排版呢,是排版的结构,然后图案的比例,动画字幕这些内容呢,就是指选择题啊,旁白啊,判断力啊这些。然后六个模型呢,按照这两个维度的综合表现,我可以分成三档,第一梯队呢,就是 up 四点七和 gpt 五点五,大家可以看一下它们生成的视频啊。 h n 今日速览 top 一 百里三件事不讲废话第一件 deep c v 四,一千九百八十九分一千五百一十六条评论全列录零抠的跑在华为升腾上 pro 模型每百万输出 token 三点四八美元。 h n 原话从黑客到黑客 第二件, open a i 当天甩出 gpt 五点五,一千五百五十三分。记者分拣封顶贴 andropet missus, 但社区泼水幻觉率百分之八十六,是 opus 两倍多。第三件,最游戏九百零六分的热铁,在 bug 质量下滑。同一天, google 宣布向 andropet 注资最多四百亿美元,社区点透循环贸易, andropet 拿钱回头买 google 的 tpu。 全剧看 top 一 百 ai 话题十五条,却吃掉百分之三十一,得分百分之四十一。评论 谷里四条是 ai 域名榜第,靠十六次领跑。数据采自四月二十五日 h n 热榜,今天 h n 前一百条里, ai 大 模型占三十二条,合计一点一万分七千二百五十七条评论,榜首讨论集中在 deepsea v 四 g p t。 五点五和科沃质量风波。 deepsea v 四拿到一千九百八十九分,一千五百一十六条评论,社区最在意的不是发布会,而是低价好文档,以及跑在华为芯片站上的完整 阅帖。评论里的核心质疑是, ai 编程下的写代码时间是否又变成了独代码和审查成本工作计划最高头 n 四百亿美元, 把它看成供应商融资前 tpu 云和同要成闭环。如果模型商品化,真正的利润可能在算力入口比特和 c i l 供应链攻击,无科技拖拉机走红也只向同一个情绪。技术越强,社区越想要可验证,可修,少锁定系统。今天的关键词是可信。 从排版角度来讲啊,这一档的模型有完整的编辑自觉分进脚本呢,会自动标注 t t s。 实测的时长精确到秒,然后再去反推画面的时长。 g p g。 五点五的定稿啊,甚至自己列了这个时间码的对照表,图文的重点分明,然后动画的节奏也很合理。 t p t。 五点五的短板是首页的,这个数据格式化,没有正确的去渲染。然后从内容角度来说呢, oppo 四点七旁白其实是最讲究的,这可能跟大家的直觉上也比较吻合。 开场四秒钟就切入了三件事情,每一件呢都有具体的数据,加上一句这个嗨客女子原话做压轴,结尾呢,还单独留了十几秒钟做整体的这个全局的数据的复盘,然后这六个里面是唯一一个自己做了 结构化数据分析的这个模型, g p t 五点五呢,选题抓到了这个资本与算力的闭环这个独特的视角。别人都在讲模型本身,然后他呢,在讲生态,在讲一个大的宏观的这个这个角度,但结尾啊,那句就是今天的关键词,是可信。这样句话呢,我觉得就比较仓促了,像他感觉到时间快到了,然后硬切了一个结尾,这种感觉 怎么说呢,就是五十七块钱的 office 啊,贵是真的贵,但能力呢,确实也是最顶尖的。中间党的两个模型呢,就是 dipstick v 四 pro 跟 gim 五点一这一党的模型啊,都只是完成了整个工作的一半,但只是完成的一半不同。 v 四 pro 呢,赢在内容。 r m 呢,赢在了排版。 v 四 pro 的 排版呢,主体是左右结构的,图片被挤得比较小,文字也比较小,远不如第一梯队的那种舒展的,然后清楚的感觉,但有亮点啊,就是首页它做了一张热力图,是这六个模型里面我觉得最具设计感的这个开场,然后结尾这个转场,还用了这个色块动画,看得出来很有这个设计的意图啊。 然后字幕显示呢,我觉得就是比较正常。 v 四 pro 的 内容啊,我觉得它写的旁白是六个模型里面最像写给人看的一份。 d c v 四,近两千顶铁, 完全开源零抠的纯华为 samsung 芯片社区最镇的不是跑分式文档,开发者说比 open a i 好 太多。有人留了四个字, from hackers to hackers。 敢直接把这个 hacker news 的 评论原话当京剧引进来。 from hackers to hackers, 然后循环贸易 中表达呢,保留得很完整,四个镜头的每一个都有一句压得住的短句,然后开源再追,闭源再堵,开发者用脚投票。这句收尾呢,比 opus 我 觉得是最接近第 题。对的,开头有数据统计,然后文字跟图片都足够大,排版很舒服。唯一的问题呢,就是字幕遮住了这个皱纹。我反馈了一次之后呢,也没有修好,但是 g r m 五点一的内容啊,就差强人意了,基本都是新闻播报, 每个镜头的结构呢,都是谁发布了什么数据,多少社区说了什么东西,没有一句呢是自己的这个视角,自己的判断,也没有把几件事串联起来一起的。这个整体的视角只看排版呢。 g r m 真的 厉害,但是把旁白跟分镜如果也算进去的话呢,我觉得 v 四 pro 可能更好一点,所以我把这两个呢,都放在第二档。第三档呢,就是 v 四 flash 跟 kimi k 二点六这一档啊,为什么放在第三档呢?就是因为我觉得它在排版跟内容上面都有些硬伤。你比如说啊,像 v 四 flash 的 这个排版,所有的页面呢,都是同一个上下结构, ppt 模板, 十六比九的图呢贴在上面,然后有大片的空白,字也偏小,开头的数据呢没有渲染出来,字幕也缺失,反馈之后呢,还是没有修复好。至于 vs flash 的 这内容呢,它的旁白基本上也就是在复读这个帖子标题,然后像 deepsea vs 那 段,讲到 sweetband 突破百分之八十,适配华为升腾,这现在都是标题的原话。还有的那段呢,也只是把世界名完成了念一遍, 完全没有自己的这种视角跟判断。然后 kimi k 二点六的排版呢,深图有浓郁的这种 ai 的 味道,深图的提示词呢,也是比较差的,图片也被裁切了,没有完整的展示,然后字呢,也偏小。 kimi k 二点六的内容啊,比 vs flash 我 觉得稍微强一点。选题呢,选了卡尔的信任危机,然后谷歌的助资 把续命和买保险两层的意思呢,都点到了旁白,比较有节奏感。不过相比第二档的 v 四 pro 啊,我觉得还是有点差距的,大家也可以自己看这两视频对比一下。最后来跟大家总结一下,就 gbt 五点五跟 oppo 四点七呢,排版跟内容两件事啊,都非常在线,贵呢,确实有贵的道理。 然后像 v 四 pro 跟 g m 五点一呢,都只能做到一件事,然后卡在中间。然后 v 四 flash 跟 kimi k 二点六呢,在我这个测试当中,两件事都没做到,所以我只能把它排在第三档了。收回这个 dipstick, v 四本身啊,国产第一梯队我就完全是没有问题的。 v 四 pro 一 百万的上下文,性价比也非常的高, 从内容上来说呢,甚至有时候可以超过 g p t 五点五,但综合实力呢,跟 opus 跟 g p t 五点五我觉得还是稍微有点差距。但你聊一下这次测试的本身的局限性,因为六个模型都只跑了一次,会有很大的这个随机性,换一次呢,可能结果又不一样了。 任务设计啊,我这次也是比较偏重于这个视觉方面跟代码能力的,对纯文本推理能力啊,其实不是特别的敏感。真正严谨的测试呢,应该每个模型都去跑 n 次,然后去它的分布,然后再叠加这个盲测打分。这期视频呢,算一个不太严谨的这个测试, 给大家一个基本的这种参考。最后再跟大家说一下,这次测试呢,用的 agent 是 派,在国内还比较冷门,但我现在自己啊,就是内部几乎所有非代码的任务呢,都在它上面跑,非常的顺手,非常的听话,非常的爽。它是个开源项目,完全不是广告,感兴趣的朋友呢也可以自己去学习一下,自己去体验一下。好了,今天视频就到这里,我是李总,黑经理超,我们下次见。

一个插件让你的拆地 g p t 啊,瞬间好用一百倍!首先呢,可以让你的三点五变成四点零,而且还可以建立文件夹分类管理你的所有历史对话,再也不怕找不到历史对话和答案了。还能预设你回答问题的语气风格和语言。 最牛的是呢,还可以保存你的咒语指令,也可以把你常用的指令设为新标。下一次再用啊,我们直接点 点一下就可以了,再也不用复制粘贴,真的特别的方便。它还有一个指令社群的功能,你也可以去找一些更好玩更有用的指令。我强烈推荐这个保障工具啊,需要的朋友赶紧在评论区给我留言。我是欣姐,每天都在研究 ai 工具和使用方法,关注我,一起拥抱 ai 新时代!

哈喽,大家好,欢迎收听我们的播客,然后今天我们要聊的呢,是这个本地部署 open log 的 一些让人哭笑不得的经历啊。对,整个这个过程当中啊,会遇到各种各样的问题,包括他的这个使用体验上,也会有很多让人抓狂的地方啊,最后我们也会反思一下,到底值不值得花这么多精力去做这件事情。是没错,对,这个也是很多朋友都 头疼的一个问题啊,那我们就直接开始今天的分享吧。咱们先来讲第一大块啊,就是这个部署的过程啊,问题频发,困难重重啊。第一个问题啊,就来了, 本地部署 openclive 最容易踩的坑都有哪些?其实就是这个呃,环境依赖这块吧,就很容易出错,比如说你这个 note gs 不是 最新的, 然后或者说你这个 get 没有装啊,这个是最常见的,就直接装不上,或者说启动就报错,嗯,还有就是,嗯,它这个有些 npm 的 包啊,它是要去国外的园去下的, 所以你这个网络如果不好的话,它经常就是下一半卡住了,这是很折腾人。对,没错没错,而且就是呃安装路径啊,不能有中文,然后你的这个系统的权限啊不够,都会导致它写文件失败。 还有就是这个端口占用啊,这个也是经常会碰到的,就是你这个本地有其他的服务在用这个端口,包括你这个,呃,有的时候这个配置文件里面的这个模式啊,你没改 它就会导致你这个服务起来了,但是你就是连不上,就你会很抓狂,那就是说,呃,如果我们在本地部署 open club 碰到了这些麻烦,我们通常可以怎么来解决呢?其实你要做的事情就是首先保证你的这个 node js 和 git 都是装好的,然后版本是对的,网络如果不好的话,你就换一个国内的镜像源, 你的这个安装路径啊,不要有中文,包括你的这个系统的权限啊,要给够这些步骤听下来就已经很容易出错了,没错没错,然后就是呃端口冲突的话,你就杀掉那个进程,或者是你换一个端口,还有就是这个配置文件里面的这个模式啊,你要改成 logo, 如果你是在 虚拟机或者是说这个容器里面的话,你还要去设置一些缓存量,还有就是如果你这个系统内存不够的话,你还得去增加一些 swap 空间, 就整个这个过程就是非常的折腾,而且你要对这个系统底层有一些了解,你觉得就对于普通用户来讲,本地部署 openclog 会是一个什么样的体验?就我觉得呃,虽然官方说的是非常的简单,一键就可以搞定, 但是其实在实际操作的过程当中,你会发现有很多环境的依赖啊,包括网络啊,包括权限啊等等的一些问题,都会让你,特别是对于新手来讲就是寸步难行,你可能要去查很多资料,然后要不断的去尝试才能够最终成功, 所以整个这个过程对技术还是有一定的门槛的,所以这个也是大家在动手之前要有心理准备的。我们来聊一聊本地运行的时候,大家最关心的一个问题啊,就是 openclog 到底在哪些方面会让你觉得慢或者说不流畅,就是它其实在处理一些简单的请求的时候啊,有的时候都要等个几秒, 然后如果你要是用它自带的那个 openclog 去连你本地的模型的话,可能要慢个十几倍,就你都可以去喝杯茶了,它还在那转,这听着已经让人很崩溃了。更糟糕的是,如果你这个任务稍微复杂一点,它就很容易出现这种无响应或者直接崩溃,然后你只能重启,有的时候你甚至 你跟他对话的这个上下文他都给你丢了,你就很抓狂。然后呢,就是大家还会觉得这个 openclaw 还有哪些地方会觉得,呃用起来会觉得还不如其他的一些 ai 顺手呢? 嗯,其实他在理解一些自然语言的指令上面,还是跟那些主流的云端的 ai 还是有一些差距的,就他经常会 误解你给他的一些稍微复杂一点的要求,然后就会导致他执行出错,或者说他就直接卡住了,就很影响体验。而且他就是这个呃多步骤的任务,他经常会掉链子, 然后他这个自带的这个技能啊,和这个国内的一些主流的软件的集成也不是很好,再加上他这个中文的提示啊什么的也不全, 所以就导致就是你在实际使用的时候就会觉得,嗯,远没有那些成熟的 ai 那 么省心。哎,那这个东西, opencloud 在 花钱这件事情上面,在资源消耗这件事情上面,会给你带来哪些意想不到的麻烦呢?哦,这个你可能想象不到,就是它,因为它是要跟这个大模型的 api 进行频繁的交互, 他这个 token 用的特别快,对,有的时候你可能做一个很简单的自动化的任务,他可能要比你直接用这个 api 要多花几十倍的钱,而且他这个账单是你根本就摸不着头脑,你根本不知道他怎么花的。就有的时候可能几天时间就上千元的这种 token 就 没有了, 但是比打车还贵。对啊,而且它就是呃官方推荐,你最好是要有十六 g 内存和独立显卡,所以如果你的电脑配置不够的话,它会更卡。然后你要是用这个本地模型的话,还得额外折腾,所以这个 整体的这个硬件和这个 a p i 的 开销都不低,所以它绝对不是说像它看起来那么免费。然后咱们来聊第三部分啊,就是这个反思总结,成本高昂,按需选择。 对,呃,本地部署 openclog 到底要花哪些钱?本地的话就是你如果是用自己家的电脑的话,那你就不用花这个钱了。但是如果你想要一直开着的话,你可能就要买一个这种低中号的小主机,那可能就是几百到几千块钱不等。 然后你的这个硬件如果要升级的话,可能也要另外再花钱。你这个东西一直开着常年开着的话,电费其实也是挺吓人的,一个月可能二三十块钱,也有可能五十块钱。除了这些看得见的花销呢?还有什么是容易被忽略?就是模型的调用啊,这个是一个大坑。就是你如果是用 呃主流的这些 a p i 的 话,那你肯定就是用多少花多少,而且它可能呃自动化用的 tokens 要比你正常的聊天要多很多。然后如果你是用本地的模型的话,你就会比较吃你的这个硬件的配置,你就会 很慢。如果你想要多个人一起用,或者是说想要呃这个专业一点的话,那你还要买一些高级的插件啊,或者是说请人来帮你定制啊,那这个都是要另外再花钱的。而且这个长期的维护啊,包括你的时间精力,其实也都是 不能小看的,尤其是企业的话,你还要专门配一个人来管这个事情,那这个就不是说小数目了。对,那如果说咱们就是说不同的需求的人,怎么去挑适合自己的 open class 的 部署的方式呢?如果说你只是想试试,或者说你是一个学生党, 那我觉得你就用自己的电脑配上这个免费的 api 和这个本地的模型就完全 ok。 对, 就是你基本不花钱 就可以体验到这个主要的功能。那如果说再往上一点的需求呢?如果你是要长期用,然后又很看重这个隐私的,那你可以去买一个这种低功耗的小主机,专门来跑它,那这样的话你可能每个月就是几十块钱的这样的一个开销。 那如果你是那种技术不太好的,那你就直接上云,对,直接上云的话,你可能一年就是几百块钱就可以解决了。 ok, 那 如果你是那种企业级的,有这种很高的安全性的要求,那你就干脆去本地的服务器,或者说你自己搭一个集群, 那这样的话,你可能就是一次性投入比较大,但是你后续的这个维护啊,包括你的这个啊,病发啊,都是非常非常好的, ok, 对, 所以就是说,呃,选择什么样的方式,还是要结合自己的设计需求来,你觉得在部署 openclaw 的 时候,有哪些比较实用的可以帮大家省钱的一些小窍门?嗯, 其实有几个方法还挺实用的,比如说你用这个云服务器的话,你可以省很多钱。然后还有就是说你这个模型的话,你可以选一些比较 性价比高的模型,你可以根据你的任务的需求在不同的场景下面去切换,你也可以去设置这个 a p i 的 这个支出的上限,防止说你一下子花太多钱。再就是说你如果是长期用的话, 你可能这个混合的部署方式会帮你既保证速度又帮你省钱, ok, 对, 那就是说,呃,你结合自己的需求去选一个最适合你的方案才是真的省心又划算。屌到,这其实就是每个人的需求和技术背景不一样嘛。对,那你在本地部署这个 ai 的 时候,就更需要 结合自己的实际情况,多借鉴一下别人的经验,然后冷静的去权衡一下这个投入和产出。嗯,今天的分享就到这里了啊,感谢大家的收听,咱们下期再见,拜拜!拜拜!

假如你能像使用叉 g b t 那 样却完全免费,毫无限制,并且在电脑或手机上离线运行,会怎样? 这正是谷歌刚刚实现的。他们发布了名为 jam 四的产品。这是一个你可以自行下载并运行的人工智能模型, 无需订阅,无需注册数据,决不离开您的设备。在这段视频中,我将向您展示如何在 mac 手机上搭建它,与叉 gpt 进行侧面对比,甚至演示它在飞行模式零网络环境下如何在手机上运行。咱们开始吧。 好的,那么首先,为什么 jam 现在这么火?它是谷歌最新的人工智能运行,咱们开始吧。好的,那么首先,为什么 jam 现在这么火?它是谷歌最新的不同,你无需订阅, 你甚至不需要联网。你下载它,在你的机器上运行,它就完美工作了。它采用 apache 二点零发布,这是目前最宽松的开源许可证之一, 用它做任何事,个人商业无限制。市面上还有其他开源人工智能模型,但 jam 四之所以备受关注,是因为其性能和品质相当出色,尤其是对于一款在本地运行的模型而言。 这款产品源自与 jimmy 三相同的研发成果,后者是谷歌最顶尖的闭源模型,他们基本上把自己最好的东西拿出来,然后说这里大家都能免费拥有。而且它不只是处理文本,它能理解图像较小的模型,也能理解音频。 它能调用函数和使用工具。而在更大的模型上,上下文窗口可达二五六零零零零 token。 而且在大模型上拥有二五六零零零的上下文窗口,你可以喂给他一整本书。在 irina 人工智能排行榜上,这个拥有三百一十亿参数的模型在所有开源模型中位列第三。两百六十亿参数版排在第六, 其中一些甚至能击败比他们大二十倍的模型。这不只是另一个开源模型,而是一场真正的改革。 jam 四有四种尺寸,一二 b 有 效餐数量。二十亿是最小的版本,专为手机和边缘设备设计, 快的离谱,几乎不占内存。最疯狂的是社区机准测试显示,他在多项任务上的表现堪比 jam 三的两百七十亿参数模型,那是他的十二倍大。 接下来是一四 b, 有 效参数量为四十亿,依然能在手机上运行,但推理能力更强了。原声支持图像和音频。然后是二十六 b 混合专家模型 m o e。 他拥有两百六十亿总餐数量,但在任意时刻仅有约四十亿,处于激活状态。聪明,像二十六 b 模型一样,运行起来却像四 b 模型,这才是最佳点。这就是我在麦克上安装的那个。 最后是三百一十一参数的稠密全量旗舰版,每个参数都时刻处于激活状态。最强大但需要强大的硬件。全部四种都支持文本和图片输入, edge 模型也支持音频。 现在让我展示一下我是如何搭建这个的。我正在使用 lm studio, 这是一款免费应用,允许你在本地下载并运行人工智能模型,无需编辑代码。看起来和叉七 b t 应用差不多。 我刚安装了 l m studio, 打开它后,在这里搜索了 jam 四有多个版本。 我下载了二十六 b m o e 版本,大概十八 g b, 所以 得花点时间。完成后,你可以打开新聊天窗口,选择我们刚下载的两百六十亿参数模型,然后开始像和 chat p t 那 样聊天,只不过全部是本地运行, 这就是我最喜欢的地方。没有令牌限制,你不用盯着用量表看。你不必担心达到上限后被锁定四个小时。 你可以整天随心所欲的尽情使用它。现在这个模型属于你了。 gm 四,还支持原声工具调用和功能调用。现在是我承诺的对比环节。 我让两个模型创建一个 html 文件,以信息图风格介绍 jama 四,并添加动画效果。流畅的动画,整洁的设计统计数据动态呈现,这就是代码设计与创意的完美结合。 看看 jamf 给了我什么?完美运行的动画。 html 页面布局整洁,动画流畅,排版考究。我在浏览器中打开了它,只有 cloud opus 能为我生成可用的版本。 一个在设备端运行的模型,在不消耗任何 token 且不联网的情况下完成这个任务简直疯狂。事实上,我认为用 lm studio 运行的 jam 四生成 html 的 速度比叉 gpt 稍快一些,叉 gpt 的 版本更好,但我看到了很多幻觉。 舅妈的版本更干净,更接近我的要求,更重要的是它免费且安全。叉 gpd 需要付费订阅并将所有内容发送到云端。 它在所有方面都比叉 gpd 好 吗?不,叉 gpd 在 某些复杂推理上仍有显著优势,但对于日常任务代码和创意深沉,这个免费的本地模型绝对能独挡一面。你还可以教它按你的方式来工作。 我用一种非常特定的风格赚写平台脚本。我给 james 一个详细系统提示,说明我的风格。它适应的非常完美。你可以用它来处理邮件、格式化文档,项目管理等等一切。 而且因为没有令牌限制,你的系统提示不会降低回复质量。当模型属于你时,你就能将其塑造成任何你想要的样子。接着,我给他一张带有文字的照片,让他完全离线提取所有文字。 他做到了快速且精准,无需 ocr 应用,无需云服务,仅靠模型本地提取图像并提取文字。 我尝试翻译了一段其他语言的内容,并给了一张图让他理解其中的文字。一切运作方式都和 chat gpt 一 样,但全都在本地,且再次免费。想想这意味着什么? 航班上、偏远地区、隐私敏感场景,它就这么好用。现在这个演示让我最兴奋。 在断网状态下用手机运行人工智能让我展示给你看。我正在使用谷歌的 h gallery 应用,这就像谷歌搭建的一个测试游乐场。这里我下载了较小的以色列模型,因为手机硬件跑不动。拥有两百六十亿参数的超大模型。 好的模型已下载,飞行模式开启没有丢掉剪发,也没有蜂窝网络彻底离线。我会问类似这样的话。我想起草一封邮件给我的老板,告知他由于遇到意外阻碍,项目交付将推迟二十天。 jamaf 在 本地为我起草了这封邮件。数据未共享,速度还比慢速网络下的叉 gpt 更快。 那么谁该关心?让我说点实在的。 jamie 四不是那种打开浏览器就能用的 chatpt 代品。 有个设置步骤,你下载一个应用,选择一个模型,或许调整一下设置。如果你喜欢折腾并想要完全掌控一切,这就是你新的最爱。如果你用过类似 opencloud 的 东西,可以把这个看作同样的精神,但拥有更强的能力和安全性。 您的数据永远留在您的设备上。开发者,创作者,注重隐私的人,以及受够了订阅疲劳的任何人,这都是为你准备的。谷歌用 jam 四做了一件大事,他们将其最强大模型背后的研究成果开放给所有人,无任何附加条件。 真正能用的人工智能。现在能在你的笔记本手机上完全离线运行,完全私密,完全免费。一年前,这还不可能。如果你觉得这个视频对你有帮助,请在评论区告诉我哪部分最让你惊讶。订阅,以防错过更多内容,我们下期见。这边是散着呢,拜拜。

下班在家搭建了一个属于自己的叉 g p t 知识库,效果超惊艳!下班在家无聊,本着学习的目的,动手做了一个实践,手把手教你如何部署本地大模型,搭建个人知识库。 现在很多人都在用在线 ai, 但个人隐私和数据安全都不受控,于是我花了两小时写了这份教程, 把从零开始搭建大模型的步骤整理成了一份小白也能跟着做的教程。按照步骤走,就能搭建一个专属的问答知识库,感兴趣的宝子暴走学习吧!