MARVIS的大语言模型是哪个？

我雇了六个 ai 员工，其中有一个在摸鱼。这条关于龙虾的视频可以解答一直困扰你的四个问题，如何不花钱体验真实消耗 token 的 感觉？如何不花一分钱使用最新的 deepseek v 四大模型？ 如何让你能够同时拥有六个 a 制的员工帮你一起干活，以及如何让你看到这些 ai 员工是怎么协调工作的？ ok， 你 甚至还能看到有人在偷偷摸鱼。 从第一期视频认真学习到这里的同学们，我猜你一定会有以上的好奇，这正是因为你的认真和努力，你开始想探索以上的问题了。而第一次刷到这条视频的你， 也或多或少从前有过这些疑问，因为你听了太多不同的观点和声音，你无法验证哪些是对的。来吧，跟我一起先入个职。 这将是作为普通牛马的我们所养的第一匹马。当然，这不是你们听过的那个爱马仕，这是腾讯最新发布的马维斯， 这就是为你准备的六只牛马。而未来你们办公的场景就在这间办公室里。 办公室的图标是咖啡豆，右上角的 token 消耗也是咖啡豆，所以咖啡豆就是这一款马。对于 token 消耗的计量单位，我稍后会通过执行一系列的任务，让你们感受到马维斯团队的能力以及 token 的 真实消耗情况。 我们先来做个 ppt， 再做个倒计时应用。 好了。现在办公室里有两个正在干活的，有一个正在峡谷摸鱼的。很快，倒计时应用做完了，还有一个任务在进行中。那么现在的情况是，消耗了五万多的 token。 别闲着，我们再让他做个应用程序。 哎，有个员工好像睡着了。好了， ppt 做完了。 既然是牛马，不能让他们闲着，让马维斯给我的微信指定联系人发消息，我们来测试这个功能。 我就把我之前做的发微信的 skill 发给他，你看一次就成了我们的队长。马维斯是真牛马，一个人扛起了一个团队的工作量，这像不像真实生活当中的你呢？ 这个时候，代办事项程序也做完了，这是一款真正的程序，不是网页。 好了，这就是最终投肯的消耗情况。我们一共完成了一个 ppt， 一个网页的倒计时工具，一个代办事项的 app 程序，一个给微信发消息的功能，成功测试一共消耗了一百二十万的投肯。 想想过去的评论区里，你能看到有人悲伤地说，问，一句话就能消耗几十万的 toc， 太贵了。也有人洋洋洒洒地说，我平均每天要用到三到四亿的 toc。 其实它们都没有错，这是源于每一家对于 toc 的 消耗定义不同， 也源于每一个如我们一般的使用者需求各不相同。我们今天的这款马维斯，每天都赠送一千万头肯，我想这足够培养你的使用习惯和探索 agent 智能体的边界了。未来那个有探索精神的你， 可能会享用到真正的 open club 或是爱马仕，以及解锁更多如马维斯一般的生产类工具。所以 token 的 消耗是一个必修课。最后，我还想说，无论是哪只虾还是哪匹马，最终都会为你所用，你会知道它们的能力值和边界在哪儿。 而你就像是一个指挥家，让擅长的人做擅长的事，从而让目标达成的更快更好。而无论是 ai 还是 agent， 他 们终将为你的创造力做托举。 我为能看到这里的你点个赞，也请你为我点个收藏，我们一起陪伴彼此开始这趟旅程吧！

marvis 来了！就在五月二十一日，腾讯推出了真正意义上的操作系统层级 ai 助手。 marvis， 中文名马维斯，其名字致敬了钢铁侠的 ai 管家 jarvis， 取马与 jarvis 组合而成， 吉祥物是一只带着红色围脖的黑色小马。马维斯定位为操作系统层级的个人 ai 助手，可穿透电脑系统层级，用自然语言完成电脑全流程操控，能实现文件管理、系统设置、跨端协调、自动任务等功能。 它支持 windows 和苹果系统，用户只需一句话描述目标系统，即可理解需求、拆解任务，并调度六个不同的 agent 执行任务。此外，马维斯还具备隐私模式，可本地大模型运行，数据不上云，断网也可用。 之所以说每个人都需要一个自己的 ai 员工，是因为 ai 员工如马维斯这类工具，能极大提升工作效率，可承担大量重复繁琐的工作任务，让人们摆脱此类劳动，专注于更有创造性和价值的工作。而且他们可七成二十四小时不间断工作，不受时间和精力限制， 还能根据设定自主完成任务，具备一定的学习和优化能力，长期使用可不断提升工作效果。未来，每个人都会有自己的 ai 员工矩阵。

兄弟们重磅上线呢，这是腾讯开发的马维斯，你不用再养马或者养虾了，他呢是跟微软和英特尔合作，真正的从底层来操控你的电脑，你看不管你的手机还是电脑，他都可以随时随地操控你的电脑，二十四小时来帮你干活。 而且最关键的是什么？你看他的隐私模式可以做到真正的绝对安全，这个隐私模式呢就是纯本地大模型，而且运行的是 deepsafe v 四模型，能力呢也是在第一梯队，保证了你的公司的数据和个人数据绝对的安全， 那这样的话就不是简单的一个沙箱隔离了对不对？所有数据模型都在你的本地电脑运行，但是呢，它这个隐私模型呢，还有一点限制，因为对你的配置要求比较高，你看内存要求必须三十二 g 以上，硬盘 显存到十六 g 以上，而且它不仅能操控你的电脑，还可以操控你手机上的 app， 这样的话，你想 真正的 ai 时代到来了，如果你还没用的话啊，我这里总结了一套完整的从零到一的操作指南，包括怎么下载网址，它的工作模式，怎么跟它交互，全部都写的非常清楚，以及十个常用的应用场景，都给大家总结好了。

急了，他急了，看着豆包那逆天的使用量，鹅场终于出招了，贾维斯下线，马维斯上攻了。兄弟们，别天天盯着哪个大模型又发新论文了，那都是虚的。真正能让你在老板眼皮子底下摸鱼，甚至直接赛博分身的科技狠 活，腾讯已经悄悄在五二零那天给办了，他们整了个叫 marvis 马维斯的新玩意，一上来就搞不要钱的全家桶，每人每天白送一千万头肯， 这特么哪是送福利啊，这是要送其他大模型上路啊。当然，后续行不行还得看后续。有人问了，这马维斯是不是就是个换皮的聊天机器人啊？格局小了不是，这玩意不是 app， 它就是直接住进了你电脑和手机的大爷， 也就是操作系统最底层，它的底层有一个 ai， 中间层预制了六个 agent， 文件管家，系统运为 app 操作，浏览器专员、搜索专家和一个项目经理组成一个 ai 团队，七成二十四小时在线效率模式下， 你可以用大白话跟电脑对话。这就好比什么以前你用 ai 像是去菜市场买菜，得自己开门挑菜洗菜。现在腾讯直接往你脑子里塞了一个村头马大爷，你只要念叨一句，马大爷，把上个月那份糊弄老板的 ppt 找出来，第三页错别字改了，顺便发到微信群里。 好家伙，话音刚落，你电脑里的鼠标自己就得倒腾起来，找文件、改数据，发群聊，一气呵成，你手里的咖啡还没吹凉呢， 活全让这赛博大爷给你干完了。真是，只要系统权限够，老板看我也发愁。更绝的是，他还带个纯端侧隐私模式，当然隐不隐私我也不知道，他说了我就信了。以前大家授权 ai 后，总怕他发现自己那些就算嘎了都得撑着一口气删除的学习资料绝对不能暴露， 别说传到云端，这下好了，直接断网也能跑，相当于在你自己家里雇了个聋哑保姆，专门处理你的敏感数据，绝对不往外传。咱说句大实话，现在大模型智力都差不多，谁也别装诸葛亮，腾讯这次不跟你拼，谁会写 诗，他直接去抢第一入口，这招叫釜底抽薪，只要他接管了你的电脑和手机桌面，管你字节的豆包还是阿里的生态，都得在他的地盘上跑。 不过老铁们也别高兴太早，一天一千万免费偷啃，听着爽！等把你喂习惯了，后面割韭菜的镰刀绝对少不了。你觉得腾讯这波能不能把鲸鱼和干粮拉下马？他要是收费多少钱一个月你才不卸载？来来来，一起聊聊，他能卸载三六零吗？

好简单，来测评一下腾讯出的这个马维斯，有马小黄在睡觉，哎，就小红在发呆，小蓝在在在打王者吧。我今天问了一句， 小马，你能使用其他大模型吗？好家伙，给我消耗了三千的那个 tiktok， 然后他还会看我的图库，看我的文档，这个家伙，我的应用也看，然后技能广场，他技能广场这个 skill 库是全部来自这个啊， cloud 的 这个 github 的 都是来自这些网页吧。那这些，呃，网站行间对话，我问一个简单的问题啊，一 加一等于啊，就一加一等于几啊？看一下能消耗多少的那个托克 二。好，我靠，就俩，就俩聊天来了， 我问一个一加一等于几？消耗了我三千三的 token， 虽然它是 每天有呃，一千万，但好像就可以可以做。然后再来看一下他后台啊，后台内存情况啊，这个一个两个三个， 这，这个一点三六 g， 这个一点二三 g， 然后后面这个三百四十二兆，关键看能耗。好家伙，马维斯， 我之前今天刚下载的时候登，登过，这个能号很离谱啊，我这个六十六十三点九六，我是退出了，刚刚为了颜色就登进来了。登进来， 好家伙，这个能号很离谱啊，我说怎么这么费电呢。 嗯，网网络还好啊，然后就是上下传，但是，但是他会访问我的图库呀，我的文档呀， 就不得行的话，我的小妹妹全部看完了。不， 我去，今天测评就这样了，感觉没没啥用， 纯就是一个以前的 qq 宠物，现在好了，变成桌面版。而且你这个三托管的加号三千三跟两千九加起来应该六千多，你这七千多，还有还有一千去哪了？ 虽然有免费的，每天的一千万托克。哦。你又去健身？你干嘛去？小兰小兰，你又去蹲坑啊？好家伙，你，你蹲蹲坑专业户啊，我看见你好几次来蹲坑来玩手机了。

终于明白为什么所有的自媒体都在宣传马尾石的好处，因为你但凡说它缺点，平台就会限流，就像我这条短视频一样， 限流理由竟然是与其他用户相似。但是我还是要分享一下我深度体验马尾石的真实感受。总结起来一句话就是，马尾石是个半成品，它的核心功能本地 ai 模型还没上线， 它修复的 talk 非常快，而且对电脑的硬件配置要求很高。如果你的电脑内存低于十六 g， 我 不建议你安装使用。

今天聊一个有意思的现象，腾讯最近一口气推了几个 ai agent 产品， qs law、 work buddy、 marvis。 很多人第一反应是，这不是自己打自己吗？腾讯怎么同时做这么多帮你干活的 ai？ 但其实它们抢的不是同一个入口。 qs law 抢的是微信入口，它更像一个微信里的远程助手， 你人在外面，通过微信发一句话，就能让电脑帮你处理一些任务。比如找文件、打开网页、整理资料、生成邮件草稿。它解决的是人不在电脑前，但还想让电脑继续干活。 work buddy 抢的是办公入口，它更像一个 ai 办公同事，主要面向文档、表格、 ppt、 会议纪要、知识库这些职场场景。 比如帮你整理资料、生成汇报、总结文档、处理办公流程。它不是单纯遥控电脑，而是帮你在办公场景里交付结果。 marvis 抢的是系统入口，它更像一个电脑里的 ai 管家，它关注的是本地文件、系统设置、设备协同、电脑操作这些更底层的事情。 比如帮你整理电脑文件、查找大文件、理解本地文档和图片，甚至完成一些系统级操作。所以这三个产品看起来都叫 ai agent， 但方向完全不一样。 qsl 是 微信入口， work buddy 是 办公入口， marvis 是 系统入口。一个负责手机发指令电脑干活，一个负责办公场景交付结果， 一个负责理解电脑管理系统和文件。那腾讯为什么要同时做三个？因为现在 ai agent 的 终局还没确定，没人知道未来用户到底会从哪里使用 ai， 是 从微信里发一句话，还是在办公软件里直接交付结果还是让 ai 变成电脑系统的一部分。 所以腾讯的做法很直接，三条路都压，谁先跑出来，谁就可能成为下一代入口。这不是简单内耗，而是多路线试错。更深一层看，腾讯不是在做三个普通工具，而是在抢 ai 时代的新入口。 过去用户是一个个打开软件完成任务，未来用户可能只需要对 ai 说，帮我查资料，帮我整理文件，帮我做汇报，帮我发给同事。 这时候谁掌握 ai agent， 谁就可能掌握新的工作入口。所以， qs law work、 buddy marvis 不是 互相打架，而是腾讯在 ai agent 还没定型的时候，分别压住微信、办公和系统这三个方向。 一句话总结，这不是腾讯自己打自己，而是在 ai 混战时代，提前站住三张关键门票。

最近腾讯马维斯刷屏了吧，六个 ai 牛马协助，一句话操控电脑，看着是真香。但说实话，想玩这种 ai 助手，你得先拥有很高的安装门槛，但其实他在干的事情，有只虾早就在干了，他就是七二四 klo 涌动虾。先说安装， 首先他是那种傻瓜式部署，只需要一个安装包就能帮你全自动搞定部署和模型配置，只需要你点击安装之后就能直接使用， 完全不需要做多余操作，真的做到了即装即用，而且功能全无阉割，大模型也基本做到了全支持，还能随意切换，每天还会送你三百虾币，不买 token 也能轻度使用，更别提去右上角兑换码里使用 x x 三零零，还能再拿一点虾币。然后是龙虾的重要功能， 定时任务，不知道你们有没有遇到过，前脚刚给龙虾安排过定时，要么是只会持续一两天，要么就直接第二天就忘了。而这个七二四 clock， 不 但创建定时非常简单，还能实时观察现在有的定时任务以及定时任务的执行情况，非常简单明了。接下来就是 skill， 会安排龙虾干事，不叫会用，能给龙虾装一套好的 skill 才是真神。七百二十四 cloud 的 这个技能市场，不仅安装 skill 和装手机 app 一 样简单，而且我看了一下，基本上对比官方的 cloud app 更新速度，不能说是同步更新吧，但是也算是很快的， 基本新的热度高的 skill 都能很快找到。而且最近还刚刚上线了多 agent， 直接一个客户端，清晰快捷创建和管理多个龙虾组，再搭配上不同的人格， skill 这一个人的公司不就能跑起来了？而且其他龙虾能支持的链接，绿泡泡啊、飞书啊也全都支持。经过我这几天的实测，就一个字，哼，快去试试吧！

腾讯发 marvis， antropics 发 work buddy， open ai 搞 codex。 你 以为他们只是在卷 ai 助手？错，他们都在告诉你同一件事，本地大模型才是真正的战场，现象只是表象，底层逻辑才是真相。 marvis 也好， work buddy 也罢， 本质上都是把大模型塞进你的电脑。为什么云端 a p i 数据过别人手？延迟看天，断网变砖？本地部署数据在本地响应好，秒级断网照样跑。大厂集体转向端测。不是因为云端不好，而是他们看明白了，谁能把 ai 真正装进用户设备里，谁就赢了。下一个十年， 企业最关心的几个问题，本地部署全解决。关于成本，云端 ai 按 token 计费，月月交钱，本地部署一次投入长期摊薄数据安全。云端 ai 数据过第三方服务器，本地部署全程本地物理隔离 响应速度。云端 ai 受网络波动影响，本地部署毫秒级本地推理可用。请云端 ai 断网即费，本地部署离线同样可用。别再问本地模型强不强了，评论区总有人说装不了，配置太高，但事实是， 三十五 b 以下模型，一张消费级显卡就能跑， m o e 模型 macbook 都能带的动。企业核心需求不是跑千亿参数，而是数据安全加稳定可用。从老板的第一性原理看，管你 mars 还是 close， 我 给你指定，你给我截股，成本更低，数据更安全，我就选谁。你的公司需要本地部署吗？

哈喽，大家好，马维斯的那条视频呢？评论区有很多的问题，今天结合我两天以来的使用经验，挑最关键的八个问题进行一个回复。尤其是最后一点，很多人都不知道，断网也能用，还完全免费。 先说结论，这是一个普通人最好上手的应用程序。第一点，马维斯到底能干啥？官方说他可以直接帮你操作电脑上的各种应用，连接手机 app 就 能在电脑上控制， 比如追星、去大眼签到，盯个盘，更新 steam 游戏，俗话说你懒得动鼠标的事，他都能替你干。第二点，普通人可以用吗？要钱吗？目前呢，是完全免费的，而且就是给普通人设计的， 不用学任何复杂的指令，就像跟朋友聊天一样，说句话就能帮你优化系统，找文件，想体验 ai 时代的，直接上手就行。第三点，占不占内存？和其他的电脑软件一样， 粘一点点，你所有的工作数据都保留在本地，占多大空间，看你干了多少活，正常用基本没感觉。第四点，配置要求高吗？这是很多人关心的一个问题，目前呢，支持 windows、 mac os， 安卓系统， ios 系统预计是六月份上线。第五点，能不能替你打游戏？直接代打肯定是不行的， 单写个脚本，帮你做个每日任务应该是没有问题的。比如我室友就写了一个程序，在洛克王国里自动做日常任务，这个可以参考一下。第六点，摸鱼的待机动画是认真的吗？ 很多人说这是摸鱼。没错，应用程序要的就是这种活人感，没有任务的时候他会去运动、喝咖啡，有任务他才会坐到电脑前，就像是游戏进入新地图的待机动画，等待的时候才不会无聊。第七点，会不会出小马皮肤？这个我真不知道， 官方最好还是别出啊。第八点，马维斯和 qcloud 有 什么区别？ qcloud 更像是一个远程控制器，适合你随时随地的下达指令。马维斯呢，更像是你的电脑管家，本地模型加隐私 模式，登网也可以继续运行，是真正懂你的系统，帮你直接管理和优化。如果你需要的是一个随身的控制器，选 q， 但如果你想要的是一个省力省心、断网都能用的智能管家，马尔斯更合适。 ok， 今天的回答就到这里，如果大家还有什么不懂的，可以在评论区留言，我会回复的。

每天新鲜事，今天给大家带来的是 mars 马维斯 ai， 用自然语言完成电脑全流程操控，能实现文件管理、系统设置、跨端携同、自动任务等功能。 这么强大的 ai， 你 还不知道怎么获取吗？同时支持手机、平板电脑。接下来简单教会。首先第一步，点视频右下角这个分享复制箭头，然后返回桌面的还是个蓝色的小鸟，打开后会弹出一个包，没有弹出就在主页输入可可的梦，最后找到想要的保存即可。

今天早上腾讯放出了它的 ai， 试图替代人类工作，或者说退一步来讲就是试图帮助人类工作的一款产品。大家都知道上一款产品是豆包手机，它是把它的 ai 全自动的操作融合在了豆包手机里面，它并没有单独的推出一个系统， 昨天晚上腾讯就推出了它的这方面的第一款产品，之前的这些都没有整合的这么特别到位，都是给你一个壳，你再往里面来装相应的大模型。它这个 mars 它是整体给你集成在一块集成绑定傻瓜式运行，并且可以控制你的电脑。 那么它能够控制到什么程度？能不能像之前说的豆包手机这种，直接你提个需求，比如说到淘宝或者京东上给我买一个什么东西，它就能给你买回来。 能不能到这一步？我们随后来做一些测试，看一看这个 marvis 是 否能像钢铁侠里的 jerry 一 样帮助到人类的工作，或者说真的有能力能够替代，我们拭目以待， 这个 marius 到底能干些什么呢？我们在测试中就积极地放开了，想提供足够的想象力给他，所以我问了他一个问题， 就说你能操作剪映来帮我剪视频吗？他的回答是可以，剪映是第三方桌面软件，我可以帮你打开操作界面进行剪辑的，然后问我需求，那么接下来我们就看看他能不能帮我们剪出视频。

hello， hello， 六个主流大模型，哪个才最适合你？大家好，今天我跟大伙聊一聊我平常用的最多的六个主流大模型，豆包、 g、 b、 t、 通易千问、质朴、清盐、 jimmy 和 deepsea。 每个我都会简单说一下它的来源和主要功能，再讲讲我真实使用后的感受。最后欢迎大家补充你们的使用技巧。 第一个就是豆包，豆包是字节旗下的比较轻量化的 ai 助手，主打快速和清亮。呃，适合日常的定性的回答以及图像生成还有 ppt 制作。 呃，我的感受就是豆包给人的感觉就是比较的清亮，反应很快，尤其是最常使用的是它的快速思考功能，还有它的图像识别功能，它的图像识别 目前 p 图还是比较不错的，比如说我今天请假的时候，用之前的一个价条，然后给他批改了一个日期，但是他的特点就是如果你 p 图的话，只能给他，只能给他提供参考图，呃，但是不能给他生成，呃，不，不能给他提供参考文件。 呃，他的 c j 目前也是，嗯，比较厉害的，而且他的图像图像生成和视频图像生成是目前是不限额度的，也是比较好用的。 呃，它的它的思考模式还是相对其他模型有一点慢的。第二个就是 chad jpt， chad jpt 是 open ai 旗下的，是目前最知名的对话模型，主要功能是文本生成，图像生成，还有代码编辑，比如说 codex 最近比较火的。呃， image 二就是它的一个最新的一个图像生成，它这个图像生成在目前的 ai jc 生图的模型中能排第一吧？ 然后我给他提供了呃，我要求你严格根据的根据我的项目研究报告理解里面的内容，然后给了他一个相关风格的一个参考图，然后他帮我生成的这个 海报，我发现既包含了文本中的呃关于我项目功能的亮点和创新点，然后也满足了我给他提供的网页风格生成的是非常好的。目前呃在 gbt email 二， 它每天免费用户是有五个免费试用额度的，也是够我们平常使用它的，确实它的图像识别是非常厉害的。然后呃， open ai 旗下还有 codex， 适合平常的一些编码，在长逻辑长对话的编码项目是非常好用的 codex。 第三个就是阿里的通易千问， 阿里通以前我平常我会使用它的深度思考功能，它的深度思考功能是比逗播要快的。然后另一个就是它的呃实时记录功能，它的 它的实时它的实时记录功能是非常好的，而且非常方便的，不仅能够帮你去记录平常的呃将语音转换为文字，还会呃给你整理结合关键词以及文稿，还有每个人的发言，甚至会给你生成思维导图， 这就是我对于千问的使用的一个感受。然后另一个就是下一个就是质朴清颜，质朴清颜是质朴 ai 开发的一个对话模型，它给我的感觉就像是一个嵌在聊天框里的一个非常强的编码助手， 它和之前的大元模型不同的是，它能够帮你做很多事情，比如说我这里让它根据我的项目，然后呃根据我的 idea 去帮我 呃将项目的代码打包成 vip 文件，然后再把这个项目研究基础成果报告去生成一个 word 给我导出来，然后它会很快的根据你的 id 去生成代码，然后帮你甚至帮你生成很有逻辑的目录。 然后最后给你一个，呃一个文件夹，里面既有这个成果报告的 word， 然后也有其他的这个代码文件， 它总体来说它像呃一个有手有脚的大圆模型，能够帮你做很多事情。然后下一个就是这么耐，这么耐是我平常用的最多的大圆模型，然后很便宜就能买到它的 pro。 呃，不管生活中遇到什么什么难题，你只要截图发给他，然后给他提供文件等等，它都会呃给你生成最严谨最可落地的一个方案。然后这么耐是我目前使用的多模态 多模态大元模型原最牛的一个，然后体验感是最好的一个，他给的回答也是每次都是比较符合逻辑，而且可落地。比如说我这里让他告诉我如何在 github 上如何把我的代码提交到 github， 然后他给我的这个代码完全是可行的，而且非常迅速的。然后最后我也是 成功地提交了我两个项目作品到 github 上。最后一个就是 deepstack， 呃， deepstack 对 于长对话的理解是非常好的，而且它对于呃中中文的这个语言文字的输出，它的那个语言也是非常好的。 呃，对于他最新的一些功能，呃，比如说他最近开的一些专家模式，还有他的 v 四，我都没有去尝试，如果呃有尝试过的小伙伴，可以把你的呃经验和技巧放在评论区上。呃，但是我听说他 deepsea 最新推出的 v 四功能是比较费 token 的， 但是质量是比较好的。 行，这一期分享就到这里，这就是我最常用的六大模型。呃，不论是哪一个，我认为都不应该单独使用，应该把这几个混起来一起使用，效果最佳。呃，每个人都有，每个人的每个 ai 大 模型都有自己的强项，你们平时最爱使用哪一个呢？或者是有什么独家的技巧？评论区见，拜拜。

刚刚腾讯发布了操作系统级 ai 助手，把电脑变成了能听话的对象。安装完成后他就来上班，他就叫马维斯 出场，自带六个 ai 纽码，主 agent 当队长，文件、电脑、应用、浏览器搜索，五个专项 agent 各管一摊，并行干活。一句话告诉他，你想干嘛？他来拆步骤，调工具。办事 最狠的是隐私模式，端测大模型全部本地跑，断网也能用。财务、法务、 hr、 敏感场景，刚需 windows、 mac、 安卓三端都有，每天免费用一千万 to 肯马维斯能否组建你的 ai 团队，欢迎评论区聊聊。

还在研究本地大语言模型怎么破甲破件吗？其实那些方法都没什么用，今天给大家直接介绍一个无限制的 本地大语言模型，这个是欧拉玛的官网里面的啊，这是其中的一个作者，我们直接去拉取它这个模型就可以了，注意它的尾缀啊， on sensor 的 这种啊。 好，那么如果你在这里面去搜索的话，他可能还有很多个这种昂森手的，包括那个加码的，或者说是千万的，我个人推荐用千万的，千万对中文的知识要更好一点，然后它里面有很多版本，二币、四币、九币，这个四币和九币哪怕你是没有显卡的， 在内存里面跑的也是可以很快速的。那具体怎么操作呢？比方说我想，因为我这里面我的这个里面已经拉取了，我拉取了一个四 b 的 一个九 b 的 纤维三点五，还有一个加码的一四 b， 呃，感觉都还还蛮好用的啊，我，我给大家演示一下。比方说我想拉取这个里面的这个二 b， 然后点到这个二 b 的 模型里面去， 它这个里面针对欧拉玛的拉取，它会有已经给你写好了命令提示。行啊，直接选中复制，然后 windows 加 r 键，打开 cmd command 命令行窗口，然后直接复制粘贴进去，就来到这里了，看到没有回车 好，它这个时候就开始拉取了呢，这是我的网速，这个时候它就开始拉取， 呃，这个取决于你的网速，而而且这个是不需要魔法的啊。当拉取完了之后，啊，我这个把这个停掉啊，我这我这把它停掉， 停掉。拉取完了之后，我们来到我们的欧拉玛里面，你就会多一个，刷新一下就会多一个，当然我这个就不拉取了，包括四币啊，九币啊， 在在我这台电脑上，我这个是一个六 g 显存的四零五零啊，哪怕你是核显的，没有显存的也可以，跑速度也还可以，你可以跟他任何交流啊，包括角色扮演呢，或者提问呢，任何特殊问题等等等等等等，大家都懂的， 不会有拒绝回答的情况。这个这个奥拉玛的客户端程序也是在这里下载啊，客户端的程序也是在这里下载， 下载完了之后，安装好了之后，你的属呃，那个系统右下角托盘上就会多多一个这个羊驼的图标啊，然后打开这个 open 就 可以打开它这个窗口啊，大概就是这样，具体的那个过程里面的聊天内容啊什么什么的， 呃，我就不去演示了，他的四 b 和九 b 作为简单的轻度聊天或者角色扮演等等等等之类的，或者仿写扩写一些小短文什么的都是没问题的啊，千万三点五的九 b 榜三说的啊，就这个好。

嗯，最近一段时间啊，在本地部署运行这个语言大模型是非常火的，然后我个人认为的话，可能在未来的两三年、三五年的这样的时间里，所有的这个创业者，包括上班的啊，上班族 都会需要去具备这样一个能力，就是去理解大模型的使用，然后去熟练的运用大模型。 所以说今天我就跟大家分享一下在本地部署语言大模型的话的一些经验，然后我不会去讲具体的一些安装的过程，就是怎么安装的啊？这个模型怎么安装的，这个平台怎么安装的 这样一些东西。在抖音上面很多，今天跟大家分享的话，主要就是说什么样的模型，它能够在你的电脑上跑起来，能够流畅的跑起来，它能够帮你去解决什么问题？这个是今天跟大家分享的，然后 简单说一下，就是在本地部署大模型的意思，就是把这些语言大模型安装到你的电脑上，这样子不管是你有网络还是没有网络，你都可以跟他去进行一个问答，然后让他帮你去干活，或者是让他去解答你的问题。呃， 和传统的像我们像豆包或者是 deep deepsea 啊这种语言大模型的话，那它的区别就在于说，呃，豆包这样的语言大模型，它是运行在云端的，没有在你的本地，然后 嗯，如果没有网络的话，你是没办法使用。第二个就是你跟他的聊天的记录，包括你上传给他的文件啊，嗯，他是会上传到云端服务器的，没有私密性。然后对于很多的一些企业来说，包括个人来说，我想保证我自己的一些客户资料或者是自己的私密信息 不上传到这个云端服务区的话，那么这个时候就不建议我们去用这个云端的这些啊模型， 嗯，这个时候我们就会用到在本地部署这个语言大模型，然后目前本地能够部署语言大模型也是非常的多啊，也是非常多。然后我经常根据我的电脑情况的话，我现在目前话主要是用这三个啊， 一个是千万三点六、二十七 b 的 这样一个模型，还有千万三点六、三十五 b 的 专家型的一个模型，还有一个佳马仕啊，佳马仕是谷歌的， 这三个模型是在我的电脑上，我觉得速度和质量都还是比较好的。然后目前整个这三个模型啊，他的实际的一个评测也是在本地模型里面靠前的。 当然这里有一个概念，大家一定要知道啊，就是说对一个大模型来讲，他前面代表是他的名称啊，千万三点六，这个是千万公司的，然后三点六是阿里出的这个模型啊，杰尔玛是谷歌出出的，这个是他前面的这个名字，然后这中间这个就很关键了啊， 呃，三点六和四十他的版本哈，这个不用去管他。然后最中间的就是这个带 b 的 啊，二十七 b、 三十五 b、 三十一 b， 这个表示这个模型他的一个大小，也就是说这个模型的呃，他那个规模什么意思呢？ 举个例子就说他如果是人的话，这个就表示了，就表示了你的一个脑容量越大的话，你可能就会更聪明，如果你的脑容量越小的话，那可能你就 不那么聪明一点，然后能够回答的问题就有限。所以说一个越大的模型，那么它的智能程度是非常高的啊。 像我们家用的话，部署的话有啊，四 b 的， 有八 b 的， 有十 b 的， 有十六 b 的， 然后有二十多 b 的， 也有三十多 b 的， 还有七十 b 的， 这样一些模型都是可以在家用电脑上进行一个配置的。 如果你要追求啊，像很多的一些大公司，像阿里啊、腾讯啊、百度啊这些公司，他们在服务器部署的这个模型，那我们在本地电脑上是肯定跑不了的，他们都是千亿级的这样一个参数，在本地是跑不了的啊。 嗯，所以说我们能够跑的基本是在七十 b 以下的，如果说你是非常顶尖的一些专业的工作站，那你可能会跑到七十 b 的， 然后普通家用电脑的话，基本上能跑到三十五 b， 二十七 b， 就 就基本上是一个天花板了，所以说大家可以一定要去注意看。然后 第二个需要注意，就是说啊，模型还有一些后缀啊，后一个后缀的话，主要是它的一个量化的参数，比如说像杰尔玛这个模型，它这个 i q 四，这个表示它是以四比特去量化的，这个参数会非常重要。我们看这个模型文件，它也会有 像三问千问三点六二七比特的话，它是写的 q 六 k， 也就说它是按六比特进行量化的，量化的程度越高，量化它表示一个模型的压缩率， 如果说压缩的越狠，那他的数字就会越低，比如说四比特，那就是压缩的非常厉害的六比特，压缩中等的巴比特就基本上轻微压缩，十六比特就是完全没有压缩， 完全没有压缩的模型，它质量是最高的，然后稍微压缩一点啊，也是可以使用的，精度没有太多的影响。但是如果是四比特以下的这个压缩率的话， q 二 q 一 啊这种， 嗯，我建议大家就不要用了，这种压缩率太低的话，他会失真啊，就会产生模型的一个幻觉，说这也就是这个意思啊。 q 二 q 六 q 四， 但是不是说越大就越好，这个要看你的电脑能不能装，嗯，至于这个模型能不能在你电脑上去部署，能不能流畅的跑起来，有个很重要参数，非常的简单，我教给大家就是什么呀？就是你去看这个模型文件的一个大小 啊，这个模型的话它是二十二个 g 的， 然后我还装了一个千万三点三点六三十五 b 的 这样一个 q 四的模型，它的大小也是二十二 g 的， 然后这个 g 码三十一 b 的 模型的话，是大概是十六个 g 啊，十六个 g， 对， 然后 这个什么意思呢？如果你的显存是三十二级的显存，或者是你的显存是十六级的显存，你一定要记到一点，就是这个模型文件它的大小绝对不能够超过你的显存，如果说它超过你的显存，也就意味着这个模型不能够完全的加载到你的这个 这个显卡的呃显存里面去，如果不能够加载进去的话的话，然后他就会通过这个内存和 cpu 去进行计算。我们都知道啊， cpu 它是一个多任务的啊，多现成的这样一个处理器，它是干很多活的，但是 gpu 它是 专门去干一件事情的，所以说它的计算速度会非常高，而且这个显存的宽带比内存的宽带是要快很多的， 所以说当你的模型全部加载到你的显存里面的时候，它的进行计算就是通过显卡去计算，那么速度就会非常快。如果说你把它放到内存里面去，通过 cpu 去进行计算的话，那么这个速度就会非常非常的慢啊，所以说大家一定要记住这一点，就是你的这个模型的尺寸， 它的容量大小绝对不能够超过你的显存啊，这里我是配置了两张显卡，呃， rtx 的 五零八零和 rtx 的 五零六零钛都是十六 gb 显存的，加起来就是三十二 g 显存，那么这个显存叠加的话，是在这种语言类大模型是可以去进行一个呃， 叠加的，使用的就是平台会进行拆分，但是你去跑一些像 comfyui 这样的一些生图生视频的软件，它就没办法啊。好，这个我就不讲太多了，大家一定要记住，就是说这个模型能不能在你的本地部署，首先第一点去看它的大小，大小不能够超过你的显存。 第二个很多朋友可能会问，那我是十六 g 的 显存，我去下载一个十五 g 的 一个模型没问题吧？当然没问题，你可以装进去，但是你一旦和他对话说成两句话， 你就会变得非常慢，为什么呢？就是在本地部署模型，还有一个很重要的概念，叫做上下文的一个大小，什么意思？就是你每跟他对对一次话，你，你告诉他的问题，他就会占用一定的容量， 随着你在一个窗口里面跟它对话的次数越多，这个容量就会越大。如果这个容量加上它本身的模型的这个容量，最后超过你的显存，它就会加载到你的内存里面去，加载到你的内存里面去的话，然后这个时候速度就会变得非常慢了。 所以说我们要确保就是说一个模型在自己的显存里面去，不能够到内存里面去，不能够让 cpu 去运行它，不然速度就会非常慢。 所以说大家现在知道了啊，就是你去装一个本地模型，第一要素是它的大小不能够超过你的显存，第二要留足够的空间去给它运行上下文，这个空间大概是多少呢？嗯， 大概一万啊，字节的这个上下文的话，需要的显存，嗯，应该是在一 g b 左右，所以说我们普通的对话的话，基本上你设个嗯三万吧左右的上下文，如果你 用这个电脑的 ai 的 a 检测去帮你干活的话，三万的上下文一般足够用啊，那么三万的上下文的话，然后 呃就需要大概三 g b 左右显存。如果你是去除处理这种长的上下文，比如说几十万这个小说啊，怎么怎么样，那你就需要设置非常长的上下长长的上下文，比如说六十四 k 的 或者一百二十八 k 的， 那么就会需要占到七八个 g b， 甚至包括十多个 gb 的 一个显存容量，那么这个时候你在显存里面一定要留够这个容量，如果没有的话，要么你就去压缩你的上下温，把它这个容量变小一点，要么就是下载更小一点的模型啊， 所以说我的三十二 gb 的 一个显存的容量，呃，那么我去跑一个二十二 g 的 这样一个模型， 我的空间容量还有十 g 左右，十 g 左右当然也还需要减掉两个两到三个 g， 这个是系统需要用的啊，就是你加载这块显卡，系统会用到 的，所以说，嗯，可能我能够用到的容量就是八个 g， 八个 g 的 话我就八个 g 的 话，我就大概能够设置三万到啊，六万这样一个一个上下文的一个长度吧。 好，这个知识大家清楚之后，然后我讲第二点非常关键的什么呢？就是说你下载一个模型，嗯， 它能够装到你的显卡里面去，就是我刚刚讲的就是它的容量绝对它的大小不能超过你的显存。第二，你要留够足够的上下文的空间，然后第二这个模型在你的电脑上跑得快不快，这取决于什么呢？ 嗯，首先第一当然是你的硬件啊， cpu 这个型号越高，它的这个扩大啊，不要去选择 amd 或者是英特尔的这个这个 gpu 啊，英英特尔和 呃，这个 amd 的 显卡，它们目前在进行这个大模型的计算的时候，没有没办法去开这个扩大加速啊，它的速度会非常的慢， 所以说现在恩威达的这个显卡，它的市场占有率已经达到百分之九十多，就是因为它不光是它的库达啊，还有大力水手啊， d l s s 这个在游戏方面表现很好，它的库达在这个大模型计算方面也是非常的有用， 所以说，嗯，建议大家如果真的是想去学 ai， 然后去跑大模型的话，一定要选择这个 omega 的 显卡，然后，嗯，型号越高的啊，就是像四零九零或者五零九零，然后五零八零、四零七零啊，四零八零这种型号的话都是可以的，就是型号高一点。 嗯，但是最重要是什么？就是我刚才想跟大家分享，就是说，嗯，显卡要用 n 卡。第二就是你去跑个大模型的时候，嗯，他的一个平台会非常重要，我现在跑的大模型的话，这个平台是用的这个立马点 c p p。 呃，什么意思？就是说立马点 c p p， 就是 他去跑这个大模型的一个原生的一个环境啊，就是一个环境去跑它， 嗯，但是这个立马点 c p p 的 话，它会复杂一点，你需要在这个命令行 c i i 里面去进行一个部署。如果说很多啊，新进入这个这个领域的小伙伴 啊，想简单一点也有办法，就是去下载一些像 l m studio 啊之类的这样一个呃平台，这样平台它是直接可以在文档上面进行一个安装的，就不需要去输命令，然后安装好打开这个界面就可以加载这个模型，就非常方便。 那么但是有一个问题，什么为什么我现在不用这他们这些平台，就是因为这个 lm studio 啊，我测试过之后，它的速度比原声的立马的话是，呃，每秒钟升升升成那个托肯的，这个速度是会慢慢很多的。 呃，所以说我基本上就是用原声的立马啊。怎么样去装这个东西我也就不讲了，大家可以去了解一下，我今天给大家实际跑一下吧，跑一下这个 好，需要打开一个命令行，然后去输入到我们的一些启动的命令啊，输入到我们的启动一些命令，这些命令的话也不是很复杂，嗯，基本上在在这个在网上都有。 然后这个命令加载的命令的话，主要是就是加载你模型的这个位置，然后一些启动的参数我就不展开讲，现在我去启动一个这个二七 b 的 千文的一个 q 六的这样一个模型啊，把这个命令输进去，然后回车就可以了，然后它现在就是一个加载模型的一个时间， 然后我的两张显卡的话，因为有一张的这个贷款比较低，是 pcie 的 一点零啊，我现在还没有去改它，所以在加载的时候会速度会比较慢，但是跑起来的时候完全不影响啊，就生成这个托肯的这个速度还是非常快， 然后加载的时候可以稍微慢一点，但是已经完成了啊。在加载完磨成模型之后，就会生成这样一个地址，在本地的一个访问的一个端口啊， 幺二七点零点零点一八零八零在一个端口，然后我们在浏览器里面去打开它就可以了。然后这个因为我本身我是已经啊把它收藏起来，现在我就直接打开它，这是立马点 c p p 的 一个基本的界面，我们就可以跟它对话了，你是什么大魔 模型，这样对话的话，他就已经用这个千万三点六二十七 b 的 q 六 k 来进行一个回答，然后速度大概是在三十 to 肯斯每秒左右啊，有时候会快一点，比如说来到四十 这个时候呢，注意看一下，就是我的两张显卡的显存啊，基本上十六个 g 用了十三点六，然后另外一张的话是十六 g， 用了十五个 g 啊，这里面我做了一个权重调配， 然后我的 cpu 啊，它的运算率是非常低的，就基本上它是靠显卡和显存在进行计算，这个就是非常好的，所以它能够保证它的一个速度啊。现在这个大模型的，呃， 评分比较比较高的有哪些 好？然后提些问题，他就可以去跟你进行一个一个解答，然后 我们就可以在本地去使用它，然后本地使用这个大模型的话，好处就在于说，第一如果你没有网络， 你没办法去使用豆包或者 deepsea 的 情况下，你是可以在自己的电脑上去跑这个本地模型的，一样的话是非常智能，像千万这个二点，嗯嗯，千万这个，嗯，三点六，二十七 b 这个模型啊，我实际测过，他比豆包的这个快速的这个模型 是要聪明很多的，和豆包的这个思考模型的话差不多，当然专家模型就没有办法更详细的去进行一个测试了啊， 他也他也的自然程度也是非常高的，所以说你如果没有网络的话，你就需要去部署一个自己本地的模型。第二点就是对于很多的企业或者个人来说， 嗯，因为云端的模型向豆包我提一些问题啊，把我的企业的财务数据我需要去发给他看，然后把我企业的员工的一些信息，或者是我的一些核心商业机密中标的一些东西，我需要发给他去看， 那么这个他会把这个文件上传到一个云端服务器，这样确实私密性不太强啊。但是在本地的话，比如说我上传啊，他现在已经生成完了，我上传给他一张图片啊，上传随便啊，上传给他一张图片我让他看，呃，你看一下我的电脑 配置啊，这样图片给他的话，他在本地进行处理，那么这个，这个你的这个资料，你的呃所有的资料不需要去上传到云端啊，私密性非常强。所以说很多企业 和个人，然后包括一些商家，他的不需要自己的这个客服资料的流失的话，建议都是去做这个本地的部署，然后他在跑的时候大家可以看到啊。 嗯，显存啊，两个显存还没有用完，十六 gb 的 十五点一，然后十六 gb 的 十三点六，也就是说我现在还有大概呃三个 g 左右的一个空间去跑这个上下文，然后不会报显存，不会报显存的话，一个代表就是一个，一个一个表现就是你的 cpu， 你 看 我这个 cpu 的 话，它的一个运行的一个，嗯，占用率的话是比较低的，这样呢不会去影响模型的速度，主要是靠显卡啊，靠你的显卡进行一个计算 好，然后这个就是在本地跑模型的话，嗯，在平台选择的问题，建议大家如果确实不太熟悉这个命令行的话，就可以去选择这个像啊， 然后 a m m studio 之类的这样一些啊，非常简单的桌面平台，然后下载即安装，安装就可以使用。如果说你懂一些电脑的这个呃操作，然后又想去体验这个大模型的一个速度的快速的话，那么就建议大家像我一样去下载一些啊，这个纯底层的， 呃，跑模型的平台，像立马点 c p p， 还有 v l l e m 之类的啊。然后这个就是影响模型速度运这个计算速度的一个很关键的地方。那么第二个点就是什么呀？就是在大模型上，嗯， 下载大模型的话，像你用这个，嗯，像我用这个，立马 c p p， 它比我用这个 l m studio 最好的一点就在于什么？就在于它可以去支持这个这三个字。大家看到没有，这个叫 m t p 啊， 去支持这种 m t p 的 一个模型，但是像 l m studio 它现在还支持不了，这什么意思呢？ m t p 的 话是一种加速的方式， 一种加速的方式，有 m t p 的 模型的话，它的速度会非常的快，没有 m t p 的 模型的话，速度会慢一点啊。这个具体的原理和机制我就不跟大家讲太多，大家可以在网上去了解一下。所以说你想去跑这种 m t p 的 模型的话，建议最好就是用呃，里马，包括这个 v l m 之类的 这个原生的平台去跑，像一些，有一些啊，像这个 l m 丢丢之类的，它现在还用不了这个 m t p 的 模型， 呃，这个也是对模型速度影响非常关键的。然后最后跟大家分享一点，就是说，嗯，我目前啊经常在用的话，主要是有三个，这个人工智能这个智能体啊， 第一个豆包我会也会经常用，有些简单的问题我会问他，因为第一他是纯中文的一个环境，第二在用他用到国内的这个搜索网络的话，去搜索一些东西，速度也是非常快的， 那么我要去学习大模型，要去掌握大模型，要去用本地的一些搭建知识库的人之类的事情的话，让本地模型去不消耗托克的情况下啊，啊不，不是不消耗托克，就是免费，有托克用的情况下 只消耗算力，你的电力的情况下去去用大模型的话就可以用本地的啊，这样一个部署的。呃，还有呢，就会用到这个，像这个 谷歌的这个啊，机密里啊机密里，然后这个是我觉得我用到的这个，呃，怎么说？这个智能体验 非常聪明的一个，非常聪明的一个，然后建议大家如果有这种条件就是科学上网的环境的话，大家可以去试一下啊，这个机密里我觉得是非常聪明的，然后，嗯， 所以说就是本地部署模型的话就是这样一些知识点，当然还有很多很多的一些知识点，然后我希望大家都慢慢去学习，比如说在本地模型的话会加很多参数，这些参数里面最重要的我觉得就什么呢？就是有一个这个参数叫做 f a， 嗯，这么个参数啊， f a 什么意思？就是你在本地去跑大模型的时候，在那个语言环境里面，你一定要去装两个东西，一个叫做 flash attention， 一个叫做 sega attention 这样的东西，然后 flash attention 的 话它主要是去加速这个本地的语言大模型的，你打开它之后啊，你的量化模型会跑得更快 啊。嗯，我在这我在这边再给大家演示一下，我跑这个千问三十五 b 的 a， 三 b 的 这个模型大家可以看一下啊， 哦，我这个模型都是去开启了这个 flash attention 的， 然后，所以说，呃，再加上我用的是 m t p 的 模型啊， m t p 的 模型，然后开启了 flash attention， 所以 说我这个，呃模型生成的速度，这个这个吐字的速度 还是非常的快， 大家可以看一下这个纤维三点五啊，纤维三点六，三十五 b 啊，这个模型是个 mo 模型， mo 是 个专家型的模型，它每次加载到你显存里面的计算量 会小很多，所以说速度会更快，非常的快啊。然后，但是我实测过它和二十七 b 的 模型比起来确实有一点， 怎么说不严谨，或者说有一点傻啊，同样一件事干出来，嗯，它的智能程度，比如说我写了一个围棋的游戏，我用二十七 b 写出来的话啊，我觉得是 ok 的 啊。 除了有一些这个嗯嗯对战的 ai 还需要调整之外，我觉得这个围棋游戏是 ok 的。 但三十五 b 写出来之后，它那个棋盘首先就是非常小的啊，它就不是那种标准的围棋棋盘，是一个可能九乘九的一个棋盘，然后 ai 的 话也是没有反应，需要你自己再去调试， 但是它作为市场的问答是没问题的，我们现在已经打开它了，这个千万啊，我们先去再去试一下，再去试一下，然后 看一下这个三十五 b 的 一个啊，大家可以看到它是千万三零六三十五 b a 三 b， 然后呃一个 q 四 k， 然后杠叉 l 的 这样一个模型也是有量化加速的。我们先问他一个问题，呃，中国从小学到高中的数学教学教育体系 好，我们来设这个问题啊，我们现在看到的，嗯，他的预思考时间会稍微长一点点，这个是因为我显卡插槽的问题啊，是我显卡插槽的问题，我有个显卡的话，他插在那个 pci 一 点零上面，所以说这个加就是预思考的这个速率会稍微慢一点， 如果调整过过后之后，他是是非常快的啊。然后现在他已经在进行一个思考和深层了，然后大家可以看到这个数据大概是在六十四左右。我，嗯，我觉得现在有点不对啊，我平时跑这个数据应该是在 一百左右吧，啊？一百左右吧，所以说九十多一百，所以说这个这个三点六三十五，比这个是很快的啊，是很快的。 然后一些常见的问答，日常问答的话，这个模型是非常推荐大家用的啊。嗯，我说的傻傻的是在做一些非常专业的这个数学，或者是一些啊这个领域的一些计算的话，他可能会比二十七币啊，因为二十七币那么多。专家吗？他毕竟 这个三十五币，毕竟只选了几个专家来回答你的问题，可能说没有那么全面，没有那么深入，但这个模型日常用是非常好用的，非常好用的。嗯， 所以说就是我们现在可以看到我刚才加载这个模型的时候，它会有一些基础的信息，里面有一个很关键的就是在于这个 flesh attention， 我 给大家找一下这个，这个，这个在哪里啊？ flesh attention 没，没看到，这个在命令行里面，有时候你会看到它，然后加载的话是在这个， 我现我现在有点找不到啊，有点找不到。呃，我是没有开启吗？应该是开启了，开启了也可以让看一下这个命令行，也可以让。 对，嗯，我是开启了，但是在这个里面好像没有看到啊，没有看到，现在我也，我也不再去找它了。然后我想告诉大家，就是说 这两个东西啊，一个是 flash attention， 一个 sega attention， 它都是这个本地的一个平台，你必须要去跑本地模型，必须要去装到两个插件啊，这两个插件会让你模型的速度升的速度会非常的快。然后 flash attention 的 话，主要是在跑本地语言大模型的时候加进行一个加速， 还有一个叫做 sega extension 的， 那么主要就是在跑这个，呃， comfy y， 也就是说我们说的这个， 嗯，生成图片或者生成视频的这样一个平台啊。嗯，这样这样的一个模型，一些图上视频，纹身视频，然后嗯嗯，这样一些模型呢，他就会去用到这个 sega extension， 说这两个东西你是必须要去装的，然后还有一些环境， 嗯，像拍缝啊，然后库达这些东西，基本上，嗯比较适合一些老手啊。我们去部署它，在用这个 c u a 这个命令行去部署它的话， 都必须要这样去装，如果确实新人入门的时候你觉得太难了，没关系，你就用这个 l o m studio， 这个也是可以的，它除了就是稍微慢一点点，然后不能去加载 m t p 的 量化模型之外的话，它还是非常好用的。 然后当我们部署这些语言大模型之后，我们还可以去跑一些 ai 的 agent， 然后这这些 agent 的 话，他就可以去帮你干活。像我现在用的这个 anything l l m 这个 agent 的 话，然后 他能够帮我生做什么呢啊？嗯？能帮我做什么？我现在已经连到这个三点五啊，纤维三三点五，这个纤维三点六三十五 b 这个模型上面了，然后就可以直接问他啊，我是配置好的，然后 他就告诉我他能够做做哪些事情。但实际上啊，这个 a 剪子的话，他的这个功能还是比较多的，我们可以看到他的一些这个代理的技能啊，比如说去 进行一个呃资料库的搭建啊，就是我们说解锁生成，然后长期记忆，这个是 ok 的。 然后文档的总结没问题，去网站上抓取一些数据没问题，然后访问你电脑的文件系统，然后能够在你的电脑上去创建一些文文档 图标，包括 ppt， 然后能够去进行联网的搜索，然后还可以连接你本地的这个 呃 s q l 的 这个数据库啊，然后去调取一些，比如说你做商家的，对吧？你的你的数据库里面有很多你的商品的价格，你每次在改动的时候，它可以自动的去进行一个连接帮你调整，然后它还具备了一些什么邮件啊、日历啊，然后呃 outlook 这样一些连接的一些功能去，就就能够去帮你做一些 用 ai 的 这个本地模型去帮你干一些事啊。如果你不是用本地模型，比如说你用到这个他们养龙虾或者是跑这个爱马仕的话，呃去用到这个呃 deepsea， 或者是这个 呃谷歌的这个经理的话，他就会按 talk 给你收费啊，这个费用就比较高，所以说如果你只只是做一些简单的日常工作的话，你就可以在 自己的电脑上去部署这样一个本地的模型，然后用自己的 a 技能去跑，就没有一分钱的花费，他只会消耗你的电费啊，以及你刚开始前期的一个硬件投入成本啊。嗯，这边给大家再看一下啊，就是说，嗯，举个例吧， 嗯嗯，比如说我用，哎用 用浏览器去亚马逊网站帮我 查一下二零二六年，嗯，二零二零二六年四月的热销， 热销电子产品啊，这样一件事情，我生成给他之后，然后这个 agent 他 就会调用你本地的模型进行计算， 然后你可以看到他他的一个计算过程，然后他同时会用到他的 agent 的 功能，就去用他的一个内置的或者是你自己电脑上安装的一些浏览器去搜索这个网站，然后去 找寻这个结果，然后反馈给你，反馈给你之后，你还可以让他去生成一个什么 excel， 威尔，威尔的这样之类的一个表格，储存到你的电脑上，就相当于帮你干一些简单的活，这个是没问题的， 所以今天跟大家分享一下，就是说本地这些模型啊，我不讲安装，我就给大家分享一些经验，就是他怎么样跑你电脑上，大家一定要记住这个模型的大小不能够超过你的显存，而且你要留一一一定容量的这个上下纹， 然后同时的话去选择模型的话，呃，最好选择量化模型啊，量化模型，然后带 m t p 加速的那样些量吗？量化模型，然后平台的话，如果你呃 比较精通电脑，就去用这个 c u i 的 命令行去部署一些这个底层的一些跑模型的平台。嗯，如果你不太精通的话，如果是一个电脑小白的话，就直接去网上去当了这个 l m studio 之类的，这些啊，一个桌面版的模型平台就会非常简单。 然后，嗯，今天就跟大家分享这么多吧。然后如果后面会有一些教程的话，也是把我以后在跑模型方面的一些经验给大家分享一下， ok， 拜拜。

大家好呀，今天咱们来聊聊智能体里的大语言模型，听起来是不是有点高深，其实没那么复杂。简单说，大语言模型就像是智能体的大脑语言中书，专门负责理解和生成人类语言。打个比方吧，普通的智能体可能只能执行特定指令， 比如你问天气，他就报天气，问时间就报时间，像个只会做几道题的小学生。但有了大语言模型的智能体，就像突然上了大学的学霸，他能读懂你说的话，甚至理解你没直接说出来的意思。比如你说今天好热啊，不想出门买饭，他可能会主动推荐外卖，或者提醒你注意防暑。 这就是因为大语言模型能处理复杂的语言信息，还能联系上下文猜你的需求。他就像一个超级厉害的语言翻译官和聊天达人，把人类的语言变成智能体能懂的密码， 再把智能体的回答变成咱们能轻松理解的话。那你觉得有了大语言模型的智能体，最让你惊喜的功能是什么？

如果面试官问你什么是大语言模型，它是怎么生成回答的，你能答上来吗？今天这讲，我们把大语言模型这个概念彻底讲清楚，这也是 ai agent 最核心的大脑组建。想象一个从小读了几十亿本书的人，不只是读过， 而是把每一句话都吃透了，把人类语言的规律、词语的搭配、句子的逻辑全装进了脑子里。现在你问他问题，他能回答，让他写文章，他能写出来， 这就是大语言模型在做的事情。只不过，那几十亿本书，其实是互联网上的海量文本。大言没行，不是在思考，而是在猜下一个词。 每次生成回答，他会看你输入的所有文字，根据语言规律计算下一个词最可能是什么，输出这个词，然后把它加入上下文，再继续猜下一个词，如此循环，直到回答完整。 这就是为什么 ai 聊天是一个字一个字蹦出来的，它确实是一个词一个词在计算和生成。大语言游行背后，有个关键技术叫 transformer。 二零一七年谷歌的论文标题叫注意力就是一切。它的核心思想是处理一句话时，每个词都能看到所有其他词，并判断谁对自己最重要。 这种理解上下文的能力，是大圆模型能真正读懂语言的根本原因。在传思风问出现之前， ai 只能一个词一个词按顺序读，效率低，忘性大。大圆模型的大体现在两个地方，参数大，模型内部有数百亿甚至数万亿个参数，这些参数里储存着模型学到的语言知识。 数据大，训练时喂进去的文本数据量极其惊人，等于几十亿页的互联网文字。这两个大组合在一起，赋予了大语言模型惊人的语言理解和生成能力。说完能力必须说局限。 第一，知识有截止日期，训练完之后不会自动更新。第二，可能一本正经的说错话，行业里叫幻觉，因为它是基于统计预测，不是在查资料。 第三，精确数学计算容易出错。第四，无法主动行动，它本身只能说话，不能打开浏览器，发邮件，操作程序。这正是 ai agent 存在的意义，给大语言模型装上手脚。目前主流的大语言模型，国际上有 gpt 模型、科奥的模型、 jammer 模型，综合能力都很强。 国内有 deepsea， 开源，成本低，推理能力出色，国内外都在用。还有通一千万、 kimi、 豆包、智普等。 对于初学者推荐先试试 digic 或通一千问国内访问稳定接口也容易申请，价格实惠。总结一下三句话，记住大语言模型。第一，大语言模型是 ai agent 的 大脑理解、语言规划、任务、生成指令全靠它。 第二，它的本质是预测下一个词，不是真正的推理，而是超强的语言模式匹配。第三，大语言模型有局限性，知识有截止日期，可能出错，不能自己行动。 ai a 阵的的其他模块就是来弥补这些短板的。搞懂了大语言模型，你就搞懂了 ai 最核心的那颗心。 好，这期就到这里，如果对你有帮助，点个赞，关注 ai 小 白笔记本，下期继续！

马总的马雷斯已经上线了，那就一起来体验看看。先是官网的一些介绍，本地模型，手机控制，一句话完成电脑配置之类的， 然后就安装了一些硬件要求，我这里之前下载过，然后我就安装一下。其实从安装的这个画面来看，马总还是很想把产品做的更普通，话就是好看好玩最重要， 安装完成就直接进到主页就是新对话，这个就跟所有的 agent 没什么区别。 然后是一些常规的功能，自动任务， skill， skill。 这个页面里面的东西还是比较全面的，办公插件的一些东西这些都先跳过吧，办公室就是搞了一些动画给你看看，实际没什么用，所以他还是想做的好玩一些。然后我登录一下， 哦，这里还有一些设置， ai 模式， 隐私安全，这里应该是添加一点动作边界。其实要我说，大家都有用过马哥的产品了，都无所谓了，个人信息是一定保不住的，但是是安全问题，是一定不会害你的，这点我觉得是没问题的。 好，接下来我给他一个场景啊，我是两台电脑，一台 mac， 一 台 windows， 这个很多人习惯不一样，我已经习惯 mac 的 快捷键了，让他帮我调整一下。 好的，他的结果出来了，没什么毛病。这里其实就是对电脑小白用户来说就很方便了，因为很多设置你不愿意研究，不愿意碰，但用着又不顺手。以前就是要去搜教程怎么改设置，现在跟他一句话就 ok 了。那我之前其实是手动改过，就不叫他动手了， 叫他帮我查一下我之前的设置， 结果也出来也是没什么问题的，反馈的速度不是很快，但无伤大雅，不要钱的都能接受，看一下花了多少头根， 接近七万，这个数据就当个乐子看，也不是很准的，反正他目前是每天是送一千万。就这样的自动化操作，大家自己换算下可以做多少事吧，做做电脑，整理文件，发票规章，应该是比较轻松的。 官网介绍说是手机可以操作出，好像没找到入口，问一下他，嗯，要什么 tx 应用宝，这个东西我之前装过，不是很好用， iphone 上也装不了，应该后续产品迭代后还会更新的吧。 最后总结一下，马总的这个产品还是非常针对个人入门的，目前呢，更像是一个电脑管家电脑的设置啦，排查一些电脑的问题啦，做一些办公的 paperwork 啦，都没什么问题，是不是做的出色，做的好是另一回事，起码带掉一些繁琐麻烦的事情。 所以后面的趋势， ai 产品肯定会越来越轻量化， ui 更简洁，上手难度也会越来越低的，包括 codex、 claudio 等，在出了桌面版之后，明显加速普及和安装率的。总之先就这样，拜拜。