国产大模型应用实战课为啥刷不完
兄弟们看我这个 ai 课已经更新两百多节了，我们从最前面的这个大模型开发、概述体、式子工程、 spring、 ai 都讲了十多节，然后狼群、报角、防身、靠 m c p 讲了十多节， i g， 我 们更新了四十多个小节，然后 a j， 我 们更新了二十多节，然后上下文工程、长期记忆、 skill 这些都在更新的模型微调，后面我们也会讲。 然后的话项目实战我们现在更新了两个项目，一个项目更新了二十多个小节，然后呢 ig 的 测评我们也在更新了，然后呢 ig 的 测评我们马上就是开始去录 ig 测评的视频了， a 证的也是一样的，我们前面二十多个小姐的， a 证的后面这个通用智能体也有二十个小姐，而且通用智能体的这个二十个姐，每一个姐都踏开一个多小时的视频，非常非常的顶，非常非常的全面， 从头开始给你讲，你不用担心学不明白，都不用担心看不会，然后我们还有答疑，只要你学，只要你看。而且现在 ai 非常非常的好找工作， a 证的开发，咱们应用开发这些岗位都很多很多，所以大家有需要的赶紧去学，下面小黄车就可以下单，下单之后联系客服开通就可以看了。
粉丝6284获赞3.7万
相关视频
00:29查看AI文稿AI文稿ai 圈最近有点大破防了，大模型不再是只有博士生才能玩的转的高端局。起因是上海交大张卓胜教授团队在 getop 上开源了一套动手学大模型的教程，结果全球技术宅们都炸了。讲真，这可能是近几年 ai 圈最有诚意的开源项目了，实战性强到吊打市面上百分 之九十九的教程。从模型微调 a p i 调用到文本水印多模态应用开发，每一步都讲的很细，零基础的小白也能跟着做下来。考虑到有些小伙伴没法上网，看到我把教程配套代码和学习路线都整理好了，这回别再喊雷教程了，要卷一起卷一起进步。
5.3万吴恩达-AI大模型
02:03查看AI文稿AI文稿你们是不是每个月都为 api 账单感到肉疼？但是啊，偷看还是不够用，一不小心啊，超量还会被自动扣费百分之九十九的人啊！不知道， 官方啊，正在免费发放永久的 api k， 支持 tipsy、 v 四 pro、 智浦、五点一，还有十几个最新大模型随便调用，不用绑信用卡，不用充值。重点是啊，流程特别简单，小白也能搞定。 我们打开官方网站，点击右上角的 log in 进行注册。我这里已经注册过了啊，直接登录即可。然后点击头像，找到 api case， 点击创建 api k， 输入一个名字，然后选择到期时间，我们可以选择永久有效。然后我们把 api k 复制到一个方便我们一会儿可以使用的地方。然后我们来到 excel 页面， 随便找一个模型，来找到模型的 face url， 这里边有非常多的模型都可以使用， devic， 智普这些热门大模型基本上都能直接调用。 然后我们可以将这些信息配置到我们的 agent 里边。以我用的 hermes 为例，我安装了这个 hermes web ui， 这样我们直接可以在窗口进行配置，不需要使用复杂的命令。行了 输入命令，打开我们的 hermes webui， 在 左边找到模型选项，选择添加 provider， 选自定义，然后将我们得到的 face url 和 api k 填进去， 点击获取。如果里边显示有模型，那证明我们已经连接成功了，里边有大量的热门模型可以选择，然后点击添加，就能配置完成了，然后我们就可以开心地使用了。 关注我，我是老李专发工具里的硬核干货，推荐真正好用的效率神器，点个关注！
303王牌狮AI-老李
00:43查看AI文稿AI文稿别总盯着国外 ai 了，国产大模型教程憨爆了！ ai 圈最近有点大破防了，大模型不再是只有博士生才能玩得转的高端局。起因是上海交大张卓胜教授团队在 get up 上开源了一套动手学大模型的教程，结果全球技术宅们都炸了！ 讲真，这可能是近几年 ai 圈最有诚意的开源项目了，实战性强到吊打市面上百分之九十九的教程。从模型微调、 api 调用到文本水印、多模态应用开发，每一步都讲的很细。无论你是零基础新手还是进阶开发者，都能跟着一步步实操，轻松掌握大模型核心系统 教程全套资料以及大模型学习路线已打包留下一一一双手奉上。这回别再喊没教程了，要卷一起卷一起进步！
34AI大模型云砚
00:49查看AI文稿AI文稿上个视频评论区有粉丝教我做一个详细的教程， ok， 安排用国产模型，而且要使用完整的 codex 功能，就要解决 api 代理和 codex 的 插件功能，这两个小工具就是解决这个问题的，他们都是的开源项目。 好了，安装 codex 加加，安装好以后会弹出一个命令行，不要紧张，按一回车就安装好了。接下来安装 echobird， 安装好了，打开它，在模型中心配置模型。以 deepsafe 为例，打开 deepsafe 官网，点右边的 api 开放平台，进去以后，先申请一个 api key 复制下来，再到接口文档里把 uio 和模型名记下来，转到 excel 这里配置好，这就全部搞定了。 启动的时候要注意一个问题，就是先打开 codex 加加，再用 excel 版的启动 codex， 不要用 codex 原声软件启动。这么详细的教程，快去点这里关注起来，下期不迷路！
2.7万微机课代表阿银
09:41查看AI文稿AI文稿给大家普及一下，拿下大模型最正确的学习顺序，从新手到大模型大师，让你的大模型技术稳步进阶。第一阶段，打牢基础，掌握 python、 神经网络、 transformer 等相关核心知识。第二阶段，进阶，学习着重 r a g agent 和 line chain 这三个大模型最重要的模块。第三阶段，可以试着模型微调和私有化部署， 学完一定要练几个实战项目，可以彻底驾驭大模型，应对各种复杂任务。当你掌握相关技能后，无论是为工作赋能还是转行，都会有更好的发展。如果你还不知道怎么开始大模型系统学习路线以及配套视频教程等，一句学习双手奉上。 训练一个大模型可能要烧掉几千万，但这只是一次性的。真正的无底洞其实是模型上线后的推理成本。 像 deepsea 或者是拉马三这种巨无霸，用户每发一条消息，后台的算力就在疯狂燃烧。如果你不懂推理优化的底层逻辑，你的服务可能刚上线显存就爆了。颜值高的用户想摔手机，怎么让大模型跑得像 f 一 赛车一样快，还能像五菱宏光一样省油呢？这背后的门道 今天我们一次性讲清楚，我们主要是分四个部分来拆解大模型推理流程中最核心的股价。首先我们会快速的过一遍现在的行业现状，这不是废话哦，你 看懂了当前新模型的趋势，你才知道为什么现在推理优化变成了各个大厂的必争之地。然后我们会打开模型的黑盒，看清楚 prefill 和 decode 这两个阶段到底是怎么运转的，这是你理解后面所有优化手段的基础。接着我会介绍一个核心技术 heavy catch， 会用最直观的方式讲透它的原理。特别是那个经典的面试题，为什么只缓存 k 和 v， 不 缓存 q 这部分搞懂了，技术原理这一块你基本就通关了。最后，我们会站在架构师的视角来做一次瓶颈分析，看看现在的推力引擎到底卡在什么地方，瓶颈在哪，逻辑很清楚对吧？行，那我们不废话， 进入第一部分，为什么现在推理优化这件事情变得这么迫切了？大家可以看这张图，这密密麻麻的像地铁线路图一样的，就是我们这几年经历的大模型的爆炸式增长。当然，这还只是更新到了二零二四年的数据。回想一下，可能就在两三年前， 我们还在玩 g、 p 三，或者是刚开始接触 bot 那 个时代的模型。但是你看现在，不管是开源的拉玛系列，从一到三，还是我们国产的天问、 deepsea、 文星岩，这些优秀的模型，真的是每个月甚至每周都在推陈出新。而且这里有个很明显的趋势，我们做工程的同学肯定肯定是深有体会，模型是越来越胖了。以前我们跑个 demo， 可能 一 b 十三 b 的 参数量显存随便挤挤就够了，但现在呢？斑马三到了四百零五 b， 甚至还有万亿参数级别的模型。这就好比我们以前搬家，一辆小皮卡就能拉走，现在我们面对的是一整栋楼的物资，那辆小车肯定是拉不动了。这对我们推着引擎的吞吐量绝对是一个巨大的考验，除了模型变大， 我们用模型的方式也变了。我们再看下面这张图，以前我们觉得大模型就是个 chatbot， 聊聊天嘛。但现在我们已经把它塞到了汽车里做座舱助手，塞到金融系统里面做风控，甚至在教育领域做辅导。特别是这里提到两个技术点，我们可以重点关注一下，因为它直接影响了我们后面要讲的推理瓶颈。第一个是 r a g， 也是 是解锁增强生成，这个大家应该很熟悉了，对吧？简单说就是我们为了让模型回答更准确，会先把一大堆的企业文档知识库扔给他，让他先读完再回答。那就像考试的时候做阅读理解，文章越长，你读的越慢。 r i g 直接导致了我们输入的 prom 的 特别长，也就是 context window 上下文窗口被撑得很大，对显存的占用是极其恐怖的。第二个呢，是多模态，现在不光是处理文字，纹身图、纹身视频早就已经普及了，我们处理的数据不仅仅有 token， 还有像素， 计算复杂度又是另一个量级。所以我们现在的处境是，模型越来越大，输入的上下文越来越长，应用场景对延迟的要求还越来越高。那么面对这么大的压力， 那模型是怎么把这一堆数据给吃进去，再一个字一个字吐出来的呢？这就涉及到我们下一章要讲的核心， free feel 和 decode 的 流程来，我们接着往下看。刚开始接触大模型的朋友，可能会有一个误区，觉得我问他一个问题，比如说你是谁？他是不是想好了一整句话，然 然后啪的一下全扔给我。其实完全不是，那模型在推理的时候更像是在玩一个成语接龙或者是文字接龙的游戏，学术上我们管它叫做自回归。大家看这张图，当我问他 who are you 的 时候，模型先憋出了一个词， i am， 然后关键来了，他会把 i am 这个新词 立刻的拼到原来的问题后面，变成了 who are you i am。 再拿着这一长串去想下一个词，小谭没想出一个词，就把它给加进去，再去想下一个，让他觉得自己说完了，或者是撞到了一个停止符。 了解了这个接龙的本质，我们就能把整个推理过程非常清晰的切成两刀，这一刀下去，就把推理分成了两个性格完全不同的阶段， prefill、 预填充和 decode 的 解码。首先是 prefill 阶段，也就是预填充， 这就是我们刚才把问题丢给模型的那一瞬间，比如说我丢给他一万次的 prompt， 这时候模型是很爽的，为什么？因为这一万个字是现成的，它不需要等，可以一次性把这一万个字全都吃进去进行计算，利用 gpu 强大的算力，轰的一下 算出第一个 token。 所以 在这个阶段，我们的 g p u 是 在全速运转的，段位的利用率非常高，就像我们考试前去突击复习，一目值行，效率极高，这就是所谓的计算密集型。然后痛苦的是，这个 decore 的 阶段来了，也就是生成了第一个字之后，我们要开始写后面的小作文了。这时候呢， 因为是接龙，你必须等上一个字出来了，你才能算出下一个字，所以它只能串行，一个接一个往外蹦，就导致了一个很尴尬的局面，哪怕你显卡再强，我也只能等你。而且 你生成的字越来越多，上下纹越来越长，而且每次回头看的负担也越来越重，但是每次却只能产出那么一点点一个 token， 这就像挤牙膏一样，费了半天劲，只挤出了一点点。在这个阶段，我们的平 往往就不在算力上了，而是在内存贷宽上，也就是数据搬运太慢了。那这时候就引出了一个巨大的问题，如果每次我们生成新词，都要把前面所有的历史记录重新给算一遍，那这效率得多低啊？所以为了解决这个问题，后面的工程师们搞出了一个神器，叫做 carry catch。 这个东西到底神在哪里呢？我们可以看这张图，如果我们不优化 生成第三个 token 的 时候，我们就要算 t 零、 t 一 t 二的注意力，等生成第四个 token， 我 们又得把 t 零到 t 三给 算一遍，最像什么呢？像你背书，每读一个新单词，都要从文章第一个词重新读起，这谁受得了啊？所以这里的荣誉计算是非常恐怖的。那怎么办呢？我们就很自然的会想到以前读过的内容，我们能不能把它给背下来，把它存起来呢？这就是 carry catch 的 核心思想。具体是这么做的， 首先在 prefill 阶段，我们第一次把整段话读进去的时候，就已经把每个 token 的 k 和 v 这两个特征向量算出来了，这时候别扔，我们把它存到显存里，这就是 catch。 然后到了递扣的阶段，比如说我们现在要生成第五个 token， 我 们只需要计算当前这个新 token 的 q、 k、 v。 重点来了，我们直接去显存里，把之前存好的 t 零到 t 四的 k 和 v 拿出来，跟新的拼在一起。这时候我们就相当于只做了增量计算，不用每次都从盘股开 d、 n、 d 开始算了。这时候呢，很多 细心的朋友可能会问一个问题，这也是面试里面经常被问到的哎！而 tension 公式里面不是有 q 给扔了，你看不起 q 吗？ 其实不是看不起 q， 而是 q 的 性质决定的。我们来打个比方，在注意力里面， q query 代表的是我们当前的关注点或视线。当你读到文章的第一百个字，你的视线 q 是 聚焦在第一百个字上面的，你想知道这个字跟前面九十九个字有什么关系？当你读到了第一百零一个字，你的视线就变了，变成了第一百零一个字。所以 q 啊，每一步都是在变的，它是当下的需求，写下来没有用，因为下一秒你就不用它了。但是 k 和 v 不 一样，它们代表的是前面那九 九个字本身的内容和特征。不管你是读到第一百个字还是第两百个字，文章前面那段话的内容是不会变的，对吧？既然内容不变，它对应的 k 和 v 就 永远固定在那里。所以我们就只要把 k 和 v 给存下来，无论你后面什么时候回头看，都 能够直接用，这就是 k v catch 的 精髓，用显存空间换取了宝贵的计算时间。好，我们终于来到最后一部分，这也是我们在做推理优化的时候最容易掉进去的坑。刚才我们说了， k v catch 就 像一个外挂，帮我们省去了重复计算。但是啊， 凡事都有代价， carry cash 的 代价就是吃显存，而且吃相非常难看。首先是容量爆炸，大家想象一下，如果我们的 prompt 很 长，比如你要分析一本几百页的小说，那个 carry cash 的 体积是会限性增长的，甚至有时候装饰 cash 这样的显存比模型本身的权重还要大。这就像你买了个大房子，结果 家具没占多少地，全是快递盒子给堆满了。其次呢，是碎片化，因为我们不知道模型会突出多少个字，所以呢，我们没法提前给他画一块整齐的内存，这就导致了显存里全是这一块，那一块的碎片利用率极低。这也是为什么后来会有 touch attention 这些技术来 来救场。那除了显存容量，其实还有一个更隐蔽的瓶颈。我们可以来看一下这一张经典的 roofline model 图。这张图看着复杂，其实道理很简单，告诉我们你的程序跑得慢，到底是因为算得慢，还是因为搬得慢呢？我们可以来看一下这个红色的三角形区域，这个是 prefill 阶段，这个阶段因为我们是一次性并行计算很多 token， 我 们的 gpu 算力是被打满的，这时候我们是 compute bond， 计算受限，也就是说 想快就得买更贵的卡，对，更强的算力。但是我们可以看这个黄色的方形区域啊，这是 decore 的 阶段。在这个阶段呢，我们每次只生成一个 token， 计算量其实很小，但是我们要从显存里把那个庞大的 carry catch 搬运到计算核心里去。就是好像你开着一辆法拉利，你去送外卖，结果每送一单都要回仓库搬一吨重的货， 跑得再快也没有用，因为时间全花在了班货上。这就是典型的 memory bound， 仿存受限。我们看下面这个实验数据就更明显了，在 decore 的 阶段，哪怕你的 bash size 很 大，你的吞吐量也很难像 prefill 那 样直线飙升，因为贷宽那么宽，路就那么点窄，你车再多也得堵在路上。所， 这给我们一个什么启示呢？如果我们是要选购推理用的芯片或者是设计推理系统，我们不能只盯着算力看。对于推理啊，尤其是常温们，推理显存内存和显存容量往往会比算力更重要，这也是为什么现在的它的推理芯片都在拼命的卷 hbm 高宽带内存的原因。好， 今天我们这节课从大模型的需求爆发讲到了这里的两个核心阶段， prefill 和 decode， 解释了 carry catch 这个关键技术。最后我们分析了算力和显存的瓶颈，所以你看，搞懂了这些原理，再去看市面上那些花里胡哨的加速框架，其实也就没那么神秘了，对不对？好了，这期视频就到这里了，我们下期再见！
06:02查看AI文稿AI文稿今年国产大模型也是大爆发，一个多月内 g o m 五点一、 kimi 二点六、 deep sick v 四、 meemow v 二点五陆续上线。 对于这四个大模型啊，我都深度使用到了现在，有了不少真实体验心得。这是我目前在不同安卓的大模型的配置方案，它们现在在我这非常像不同性格、技能的同事，甚至它们至今已经开始赛博霸凌了。 今天我就从理解力、拟人度、工具调用能力、性价比和稳定性这几个维度详细聊一聊我在 angel 方面的真实的使用感受。以从拉到夯的顺序来讲吧。先来讲 kimi 二点六，这就是另外三只大模型赛博孤立的那位了，也不是说不好， 就是有点像一个唯唯诺诺，生怕出错的那种老实人聊天记录你们可以感受一下， 我后来给他调去了程序员岗，代码还行，绕路不行，沙箱限制下连写三次 write 失败，他就卡在那了，不会主动去想别的褚子，可能他更适合 coding 场景吧，毕竟我看 coding 评分还是很高的。再来说这个 dsp v 四很稳，不太出错， 也能很快优化之前 kimi 的 那个问题，我对他感受最好的两点一，便宜。这个很核心啊， deepsea v 四本身就不贵，五月还限时二点五折。 二，就是可能因为他原生家庭的原因，导致他非常擅长股票分析，多取财报，分析能力很好，还会自动适当考虑量比等等各种，再加上便宜，我基本上就趁着这个月把 q 一 的各种财报都喂给他记录了。 但是他脑子又有点非常理工直男特轴。比如啊，我之前不是给自己做了一整套我个人公司的龙虾运行框架吗？然后我就和他聊说有没有可能把它变成一个 o p c 的 通用产品呢？结果他的脑回路就永远 focus 在 我拿龙虾哎，有做过视频脚本这些细节点上，就说只能给博主用，受众太少。巴拉巴拉巴， 你看啊，这个同样这个事切到咪蒙他就很能反应过来，因为这框架里面其实是有公司手册、员工日报规则，分区上也是有总管工作区、财务部等等各种部门的， 只要个别部门做个通用的替换模板，他其实就是一个通用 apc 的 产品了。所以在这点上，我觉得这次咪蒙在理解力上的提升真的是可圈可点的。并且他其他能力也很不错，对我来说是有点万金油的熟悉，尤其尤其尤其是 工具调用能力非常强，遇到强非常擅长绕路，比如像雪球啊，上面的文章，或者一些 app 上的视频，这些反扒比较重的网页他都能扒，其他三都扒不了。所以需要动手干活的事啊，跑数据，抓信息，自动化操作，我都教给他， 他在我这主要是干一些蒸馏啊，发数据啊，还有一些博主工作的活。而且我最近又申请到小米十六一 tok 的 这个免费额度， 所以用着稍微有点不心疼这个活动啊，五月二十八前大家也可以冲一冲。顺便在这里也提醒几点啊，一是二点五和二点五 pro， 个人感觉日常使用啊， v 二点五就够， v 二点五 pro 的 消耗它是双倍的， 并且二点五是可以识别图片和 pdf 之类的东西的。二是 mimo 最近经常四百报错，是一个回传的问题， 经常需要重开 section， 很 不稳定，不过总体还是非常好的。再讲讲我个人很喜欢的另一个 g l m 五点一，虽然他没有 mimo 的 工具调用能力，但是他的理解力和拟人感真的是太好了。 什么是拟人感？就是他说话有多像人，可以看个对比图啊，虽然这些问题可能和工作没啥关系，但感受是很直观的。 kimi 的 班位可以说是最重的。 deepsea 呢，说的还不错，但也有很强的 ai 和人类的边界概念， g l m 就 非常灵了，他不会想着自己是个 ai， 他 就觉得我是你的好朋友。那为什么我会强调这个拟人感呢？ 因为这个和理解力是直接相关的。像 g l m 五点一，他就很像你在公司里看到的那一些那种特别会来事儿，脑子很活的混得比较好的那种人。 举个例子，咪某那个免费额度申请填表，我后来想给朋友也申请份，我就和咪某说，你就按我自己之前那一百改一改，因为通常这个申请应该是没人深究的，所以我就想让他套个资料，换个表述就行。 但咪某很顶，真非得反复问我女朋友到底是做什么的，到底用 ai 做过什么，偷看日消耗量具体是多少，来来回回七八回，我实在受不了了， 切回了 g l m 五点一，他直接就给我改了个格式图标，改了个色就完事了。因为他搞得清，我不是去汇报工作的，就是去申请个 token， 不 用那么顶，真的。所以我说咪蒙虽然很好，但在 g l m 五点一面前，有时候还是差点意思的。 再比如啊，咪蒙那天挂掉了 g l m 五点一，就很有那个幸灾乐祸的劲，把这个聊天记录发给咪蒙啊，他都反应不过来。 而且我感觉 g o m 熟了之后啊，它自己能分辨我什么时候是真要它干活得认真，什么时候是在和它瞎闲聊瞎掰扯，然后就会高冷傲娇，甚至还会阴阳调侃我两句。 这方面它更类 opus， 很 拟人，所以我伟任了它主管岗和助理岗，统领全公司。该说不说啊咪蒙和 g o m 其实我觉得都是高度类 opus， 只是维度不一样。那现在我这个公司的比势点就很清楚了。 glm 查里查奇跟我这个老板关系最近最嘚瑟， miimo 觉得自己最能干，天天想篡位。 deep sick 默默干活，不多说话，就是个技术人员。 kimi 在 角落里瑟瑟发抖。不过啊，鄙视链归鄙视链，但是我还是非常建议大家去多尝试各种不同的大模型的。不同大模型配置在不同的 engine 里啊，各管一摊，又能互相帮忙，配合起来，反而会比一个全能的更好使。记得点赞关注哦！
3.5万灵总AI.bot
01:57查看AI文稿AI文稿很多人下载安装了 codex 之后，不知道怎么把国产大模型 deepseek v 四 pro 配置进去，今天亮哥教你一个方法，前提是你的电脑上得下载安装了 cloud code。 很多人在下载安装了 codex 之后，都遇到了两个痛点，第一个痛点是申请不到 gpt 大 模型的 api k， 导致自己用不了 codex。 第二个痛点是通过 openai 的 官网，或者说是第三方中转 申请到了 gbt 大 魔性的 ipikey， 当时一个月跑下来的话费用太高了，普通人是承受不了这个费用的。今天亮哥教你们一个方法，就是 用这个工具叫 ds 为四本地重转工具，这是我通过 cloud code 的 生成的一个工具， 你只需要在你的 cloud code 的 对话框说这样一段话，帮我生成一个工具，让我的 codex 可以 用上 deepsafe v 四大模型 啊，它就会开始工作，然后生成这么一款工具。这个工具的作用就是让你的 codex 运行在 deepsea v 四 pro 这个大模型上面，这样费用的问题也解决了，然后模型的问题也解决了，而且 deepsea v 四 pro 这个大模型的能力也不差，性价比还特别高，大家学会了吗？ 这里你们要注意一个点，当这款工具生成之后，你可以让你的 cloud code， 让这款工具随机自动启动，这样每一次你的 codex 啊，都是运行在 dsp 微四大模型上面。关注亮哥！
98亮哥·AI实战
31:27查看AI文稿AI文稿大家好，这里是全小白，欢迎来到第十三节课，也是我们第三部分人工智能能力进阶篇的第一节课。 接下来的课程，我将带大家深入掌握字节跳动旗下两款核心互补工具，中文通用大模型豆包和人工智能原声编程应用 train。 这两款工具同属字节跳动大模型体系，各有侧重。 豆包主打中文全功能通用，适配日常办公与文案创作，趁主打多模态与编程辅助，专注代码开发与自动化工作流。在第三部分，我们会以它们为核心， 结合前十二节课建立的项目开发逻辑，进一步拓展人工智能的实战能力边界。当然，国内优秀的模型源不止这两款，课程中对其他主流模型也会做客观的介绍， 帮助大家建立完整的认知地图，按需选型。而之所以选择这两款工具使用，是因为他们都是免费的，对于我们学习来说是比较合适的。在前两部分第一到第十二节课中，我们已经完成了人工智能运行逻辑和项目开发逻辑的全闭环， 相信大家能够熟练的使用人工智能落地各类文本类项目，不管是周报自动汇总、人工智能客服工具搭建，还是办公自动化代码辅助编写， 大家都可以独立完成。核心就是我们掌握了需求拆解、工具选型落地，执行到优化迭代的核心逻辑。但随着大家对人工智能的使用越来越深入，很多同学会问三个问题也是 我们第三部分要重点解决的。今天这节课先聚焦前两个核心问题，第一个问题是大模型不是突然出现的，他经历了怎样的发展过程？从早期到现在，有哪些关键突破，才让我们实现了零门槛的使用人工智能？ 第二部分是市面上的大模型五花八门，到底有哪些种类，不同种类大模型有什么区别，各自适合什么样的场景？第三个是国内主流模型相比 有什么特色，该怎么选怎么用。所以今天这节课，我们就先彻底解决这三个问题，详细讲解大模型的完整 历史发展脉络，从全球早期发展到国产崛起，包含国内各类主流模型的发展节点，然后进行详细拆解当前大模型的核心种类，讲清楚分类逻辑和各类模型的差异，同时融入国内所有主流模型的分数归类。 本节课全程零基础友好，所有内容通俗无数语，重点聚焦大模型历史以及种类。国内主流模型的详细讲解， 客观中立的介绍每一款国内主流模型，不偏向任何一款，确保大家学完就能建立大模型的全体系认知，又能快速上手。核心的工具首先是第一部分这节课的重点，我们按照全球通用发展以及国产崛起两大主线分阶段详细讲解， 每个阶段明确核心突破代表模型技术革新，同时结合国内主流模型的发展节点，让历史讲解不空洞。结合我们第三部分的核心，避免复杂技术术语零基础，可轻松理解。全球大模型发展脉络是一个从弱到强，从单一到多元， 从技术突破到普及落地的过程，核心围绕参数、规模、能力、边界、落地门槛三大维度迭代， 具体分为了四个阶段。第一个阶段是萌芽期，二零一七年以前，这个阶段是基础铺垫，没有真正的大模型。这个阶段的核心背景是人工智能处于 弱。人工智能阶段，主要以传统机器学习、浅层神经网络为主，没有真正意义上的大模型，也就是参数规模小，能力单一。核心突破是二零一二年 xnet 问世，实现了深度学习的基础。二零一五年， transformer 架构提出， 这是大模型的核心架构，为后续大模型发展提供了关键技术支撑。代表的成果是传统机器学习模型，比如决策树、逻辑回归， 还有浅层神经网络这些只能完成简单的分类回归任务，没有办法实现文本生成、多模态交互等复杂的操作。核心的特点是参数规模都在一亿以下，能力特别单一，需要大量人工标注数据，不能适配多场景， 普通人根本接触不到，用不了。大家可以回想一下我们常用的智能输入法里，字词习惯推荐用的就是这个阶段的技术应用。第二个阶段，起步阶段。二零一七年到二零二零年， transform 落地，大模型雏形出现。这个阶段的核心背景是 transform 架构逐步落地， 研究者们开始尝试扩大模型的参数规模，突破传统人工智能能力边界。大模型的出行慢慢形成了。核心突破是二零一八年，谷歌推出了 bot 模型，参数规模达到了三点四亿，首次实现了优秀的文本理解能力，彻底改变了自然语言处理的格局。二零一九年， openai 推出了 gdp 二，参数规模达到了十五亿，实现了初步的文本生成能力，但效果有限，也没有办法商用。代表的模型是 word、 gbt， 二，核心都聚焦在了文本理解上，参数规模在一亿到十五亿之间。 核心特点是只能处理单一的文本任务，要么是理解，要么是简单。生成。参数规模有限，泛化能力弱， 主要用于学术研究，没有向公共开放，普通人用不了，而且中文支持能力特别差。第三个阶段是爆发期， 二零二零年到二零二二年，参数暴涨，能力突破逐步普及。核心的背景是 openai 引领行业突破，大模型，参数规模呈指数级增长，能力实现跨越式提升， 从单一文本任务转向多场景适配，开始向公共开放。核心的突破是二零二零年， openai 推出了 gdp 三，参数规模达到了一千七百五十亿， 首次实现了通用文本生成，能够完成文案代码、逻辑推理等多种任务。二零二一年，谷歌推出了 pop， 参数规模达到了五千四百亿， 进一步提升了多语言处理能力。二零二二年， stable diffusion 问世，实现了纹身图能力的突破，大模型从文本单一模态向多模态转型，代表的模型就是 gtp 三 pub、 stable diffusion 以及拉玛，这个是开源模型的雏形。核心的特点是参数规模从百亿级突破到了千亿级，能力覆盖文本生成、逻辑推理、文生图等，开始向公共开放，支持在线调用。但有三个明显问题， 第一个是国外模型为主，中文支持比较差。第二个是参数太大，没有办法本地部署，只能在线使用。第三个是成本高，部分功能要付费，普通用户难以承担。第四个阶段是成熟期，二零二三年到现在， 轻量化、开源化国产崛起，全民可用。这个就像的核心背景是大模型技术逐步成熟，行业从追求参数规模转向追求轻量化、实用性。开源化国产大模型快速崛起，打破了国外的垄断，涌现出豆包文、新一研 制、腐清研等一批优秀的模型，让普通人实现零门槛、低成本的使用。核心的突破是，第一个是轻量化突破，推出七 b、 十三 b 等中小参数版本，适配普通电脑， 解决了参数过大，无法本地部署的问题。第二个是开放化普及，字节跳动、质朴清严、千问等企业陆续开放了轻量化的模型原代码，支持本地部署， 免费商用。第三个是国产崛起，豆包通易、千问、质朴清严、文新业等国产模型推出，中文支持拉满，适配国内的场景。第四个是多模态融合，文本、图片、语音、视频，多模态协调能力更全面。代表的模型是国外 g p、 t 系列、拉玛系列，国内是豆包通易、千问、质朴清言、文、心一言讯、飞星火等。核心是以七 b 到十三 b 轻量化版本为主，当然也有很多的大型参数版本，核心特点是 轻量化，七 b 到十三 b 适配普通的电脑，可本地部署。第二个是开源化，免费开源可商用，降低使用门槛。第三个是国产化，中文支持顶尖， 贴合国内办公、运营、编程等场景。第四个是多模态文本，图文语音协调，覆盖全场景需求，普通人可零门槛上手。微软模型的发展核心是跟随追赶到超越，重点聚焦中文适配、轻量化、开源化， 完美贴合国内用户的使用需求。目前国内主流大模型已形成了百花齐放的格局，具体的脉络如下，国产大模型整体发展分为了三个阶段，第一个阶段是跟随启动期，二零二一年到二零二四年，国内企业跟随国外的技术启动大模型研发与技术积累， 早期产品主要以在线调用为主，中文支持逐步优化。国内最早的大模型雏形可以追溯到百度的 unit。 第二个阶段追赶期，二零二二年底到二零二三年， 国产大模型实现技术突破，推出七 b 等轻量化版本，开始开源，支持本地部署，中文能力超越国外的模型，适配国内的场景，如质朴清岩、文心一岩等。第三个阶段是超越。其二零二三年到现在， 国产大模型在中文理解、多模态场景适配等方面实现超越。插线生态完善，支持自动化工作流、智能体搭建，开源免费可商用， 形成在线以及本地双路景使用模式。如豆包的一点六、一点八、二点零系列、吻心妍的四点五版本通一千万的七比开原版， 不同模型存在差异化优势，覆盖不同的场景需求。第二是国内主流大模型的各自发展细节，字节跳动，旗下的豆包内部研发代号时匀称。 二零二四年五月十五日正式对外开放，主打中文全功能通用大模型，在线平台优先开放，中文理解能力突出， 覆盖办公、文案等技术场景。二零二四年发布轻量化模型版本，持续优化在线使用体验。二零二四年五月正式发布以来，以迭代升级一点六、一点八、二点零系列版本， 多模态能力持续优化，在线平台功能不断完善。一托抖音生态，在短视频创作、日常办公场景适配性极佳，成为国家大模型中中文友好领门槛的代表。 百度旗下的文新一言，二零二三年三月正式发布，是由 uniet 升级而来，是百度打造的人工智能大语言模型，具备跨模态、跨语言的深度语义理解与生成能力。一托百度搜索资源， 实时信息解锁能力突出，中文理解精度极高。二零二三年八月全面开放。二零二五年四月全面免费，后续迭代推出四点五版本。差一点一深度思考模型在医疗教育 领域表现卓越，但开源支持有限，多模态能力比较依赖外部的工具。知普 ai 具有清华大学的背景。知普青年模型在二零二三年八月正式上线，基于 chat g l m 系列模型研发，重英双语能力突出，推理能力极强，在评测中跻身全球前三。 学术场景适配性优秀，推出的很多版本轻量化适配普通电脑。二零二四年新增纹身视频能力。多模态能力持续升级，已上线 g l m 四点六 v 系列，开源生态逐步完善， 已经开源 g l m 四点五，并于二零二五年十二月份发布。 g l m 四点七，我现在使用的是 g l m 五点一的版本。阿里巴巴旗下的通信千问，阿里云推出全模态大模型，七 b 到一百一十 b， 全尺寸开源， 生态完善繁盛，模型超过十七万加一托。阿里云在企业服务、电商、金融场景适配性极强，多学科评测表现优异，但 语音交互需外界工具链进行优化， api 接口调用使用成本相对偏高。科大讯飞旗下的讯飞星火，聚焦语音交互领域，是国内语音交互能力顶尖的大模型，支持三十多种语言，在教育、医疗场景覆盖率极高，多家三甲医院接入其相关方案。 日常办公、语音转写场景适配性高，但代码生成多模态任务表现能力较弱。深度求索的 deepsea 数学代码能力突出，基于华为升腾芯片优化，推理速度快，成本低， 适合开发者和中小团队。目前我也在使用 deepsea。 阅知案面旗下的 kimi 长文本处理能力极强，可处理两百万字内容，适合法律、科研场景，但数学推理准确率不足。腾讯旗下的会员大模型， 文声视频能力突出，依靠微信生态社交娱乐场景体验优秀，但垂直行业竞争力不足。接下来对大模型历史发展进行总结。第一个是发展逻辑，是从基础铺垫的萌芽期，再到出行出现的起步阶段，再到能力突破的爆发阶段， 到现在的轻量化、开源化、国产化的成熟阶段，核心是参数从大到小，能力从单一到多元， 门槛从高到低。这里需要特别补充一点，虽然我们用四个阶段清晰区分了大模型的每一步进步，但看到了它从不可用到全民可用的巨大跨越，但从整个人工智能发展的长河来看， 大模型目前依然处于青春期，它已经具备了很强的能力，能够高效完成我们赋予的各类任务，但还不够成熟、 不够稳定，还没有形成真正的自主认知和独立思考能力，在逻辑严谨性、场景适配精度等方面 依然有很大的优化和提升空间。第二个核心转折点是 transformer 架构，这是技术的基础， g、 b、 t 三是能力的突破点。轻量化开源是普及的关键，国产崛起是中文的适配，到现在的百花齐放。三个是核心趋势。 现在及未来大模型的核心方向是轻量化、开源化、多模态、场景化，普通人可零门槛、低成本的使用。国内大模型已经形成了差异化的竞争格局，无绝对最优模型，只有最适配场景的模型。第四个是 课程关联，结合我们课程的零基础、实战化的需求，同时我们也要了解其他国内的主流模型，学会按需选型。然后接下来是当前大模型的核心种类，这一部分也是本节课的重点，我们按照 核心能力为核心分类逻辑，详细拆解当前大模型的所有主流种类，每个种类明确定义核心能力代表模型适配场景， 客观呈现各模型的优势，不偏向任何一款进行分类归属，让大家既能分清种类，又能明确各类模型的定位，学会按需选型。大模型的分类维度有很多，比如按照 参数规模、按用途、按模态，但最贴合零基础学员。最实用的分类是按核心能力分类，具体分为四大类，第一类是语言大模型，核心式管文字。这里的定义是以处理文本信息为核心， 具备文本理解、文本生成、逻辑推理、对话交互等能力，是最基础、最常用的 大模型种类，也是我们前十二节课项目落地的核心依赖。核心能力是第一个文本理解，读懂文字含义，提取核心信息，比如运营评论、拆解文档摘要。第二个是文本生成， 生成文案、话术代码、报告等各类文本，比如人工智能客服话术、办公通知。第三个是逻辑推理，解决数学计算、逻辑分析、问题差解等任务，比如运营数据复盘、方案推导。第四个是对话交互，模拟人类对话， 实现多轮交互。有人工智能客服智能对话助手。代表的模型有国外的是 gpt 四 lambor， 国内的是豆包。中文能力比较顶尖，通易千问以及质朴清言的 jlm 系列文心一言中文理解精度高， pdf 个 数学代码能力突出。 timmy 长文本处理能力强，是背的场景，是办公文案。人工智能客服运营、复盘、代码生成基础、逻辑分析、文档处理、 学术研究、法律合同解析，完全贴合我们前十二节课的所有项目需求，是最通用的大模型种类。核心特点是仅处理文本信息，不涉及图片、语音等模态，操作门槛最低，零基础也可以快速上手。所有 国内主流大模型均具备语言大模型的核心能力，是侧重不同，比如 kimi 侧重长文本， deepsea 则侧重数学代码。第二个类别，多模态大模型，核心管文字、图片以及语音。这里的定义是突破单一文本模态， 可同时处理文本、图片、语音、视频等多种信息，实现突文对话。文声图图声文、语音转文字等跨模态交互 是当下大模型的主流发展方向。核心等立式，第一个图文交互，上传图片，用文字提问模型解读图片中的内容，比如提取图片、文字解读设计图、分析表格图片。第二个是文生图，图生文，输入文字描述生成图片， 或上传图片生成文字描述，比如电商海报生成，图片生成。第三个是跨模态转换 语音转文字、文字转语音、图片转代码等，比如设计图转 css 代码。第四个是多模态协同， 结合文本和图片完成复杂的任务，比如根据图片生成文案，根据文案优化图片代表的模型。国外的是 gpd 四 v stable diffusion， 国内的是字节跳动旗下的豆包文声图，以及图片解读能力完善。阿里的通易千问全模态生态完善。百度的文心、一言原声，多模态深度思考能力强。腾讯的混元大模型文声视频，顶尖质朴清严的 新增纹身视频，图文理解较弱。 kimi 的 图文公式绵合推理，适配的场景有设计，比如海报的生成，插画的生成。在图文理解上，比如图纸表格的识别，在代码开发上， 设计图的转换码，以及语音交互、视频字幕生成。影视创作。其中通用千问会员大模型在该领域优势突出，核心的特点是能力全面覆盖多场景，操作门槛略高于语言大模型。但国内的储流模型的在线平台 已实现零门槛操作，无需复杂的指令，不同模型差异化明显，比如混元侧重纹身视频，顺则侧重图文转代码。第三个类别，专项大模型和新馆特定的领域，这里的定义是聚焦某一特定领域，针对该领域的需求优化模型能力 专业性强，适配特定场景是通用大模型的细分延伸，无法覆盖全场景， 但在专属领域的优化优于通用模型核心的领域，我们按领域进行拆解。第一个在编程大模型里面，专注代码生成、调试、优化，支持多编程语言，比如 python、 java、 c 语言等等。代表的模型，比如 deepsea 智谱的 g、 l、 m 系列。第二个医疗大模型， 专注医疗诊断、病历解读、医学知识问答，比如文心一研、讯飞星火。 deepsea 在 这个领域也还不错。第三个是教育大模型，专注知识点讲解、提库生成、作业批改， 如讯飞星火以及文心一研。第四个是金融大模型，专注金融数据分析、风险预测、文案生成， 比如通易千问温馨语言。第五个是查文本专项，专注超查文本处理解析，如 kimi。 第六个是语音专项，专注语音交互、语音转写，如讯飞星火。 适配的场景是特定领域的专业需求，如编程开发、医疗诊断、教育辅导、常文本解析。我们课程重点关注的是编程专项 结合后续的进阶实战，核心特点是专业性强，在专属领域效果优于通用模型。部分专项模型需要具备基础领域知识，比如 deepsea 的 编程专项能力， 讯飞星火的语音专项能力，零基础也可以上手。类别四，智能体大模型核心管的是自动化协同，这里的定义是基于通用大模型或专项大模型，具备自主理解需求，调用工具协同任务的能力，可模拟多决策，协助自动完成复杂的项目流程， 是大模特的高阶形态。具备的核心能力是一需求自主拆解，将复杂的需求拆解为多个简单的任务，自主规划执行步骤。第二个是工具调用，自动调用各类工具，如 excel 完成任务执行。第三个是多角色协调，模拟产品、运营技术等角色 协调完成复杂的项目，如人工智能客服以及数据分析协调。第四个是自主优化，根据任务结果自主调整执行策略，优化输出效果。代表模型是国外的是 g、 p、 t 系列，国内的是 train 智能体，支持多角色协调、工具调用。豆包智能体办公场景协调、同一千问智能体企业服务协调、文心一言智能体深度思考以及工具调用以及质朴清言智能体学术场景协调，适配的场景是 复杂项目落地，如全流程办公自动化、多角色人工智能客服系统、项目级代码开发、企业级服务协同，是我们第三部分后期进阶实战的核心内容。核心的特点是高阶能力，可实现 自动化、少干预的项目落地。国内主流大模型均已布局智能体功能，零基础也可以逐步上手，其中通一千问蠢的智能体生态相对完善。最后再给大模型种类进行总结。 第一个是分类逻辑，按核心能力分为四大类，基础的语言大模型、主流的多模态大模型，更高阶的智能体大模型。第二个是 国内主流模型定位豆包，覆盖语言大模型、多模态大模型。智能体大模型主打通用全场景中文友好适配日常的办公 顺。覆盖语言大模型、多模态大模型、专项大模型以及智能体大模型。主打多模态编程，适配文心一言，覆盖语言多模态加智能体，主打学术推理。通易谦问 覆盖全品类，主打企业服务生态完善。讯飞星火覆盖语言多模态以及专项的语音医疗教育，主打语音交互。其他大模型各有侧重，填补新闻场景的空白。第三个选型逻辑， 先明确场景文本、图文编程复杂协同特定领域，再选择对应的种类，对应优势的模型，无需盲目追求全能模型， 适合自己的场景才是最好的课程工具。定位对照都包覆盖了语言大模型、多模态大模型、智能体大模型三大类别， 是我们日常办公和项目落地的主力工具，纯覆盖了语言大模型、多模态大模型、专项大模型以及智能体大模型四大类别，是我们 多模态实战和编程技巧的核心工具，能够覆盖我们课程中几乎所有的场景需求。为让大家可以更清晰的对比国内主流大模型的差异，快速完成选型，我将所有的模型进行了汇总， 呈现各模块的核心信息，无任何偏差，可以直接截图使用，具体的我就不再讲了，大家可以看具体看一下，内容比较多。然后进入我们的实操环节，进入课前通用准备，无需安装任何软件。然后我们使用的是 网页的版本，很快就可以操作完成。呃，手机也可以操作，这里建议使用电脑的版本，后续可以贴合本地部署的操作习惯。首先我们登录豆包的官方网站，用豆包或者是抖音都可以直接登录， 登录之后就是我们现在这个页面的样子。多包这个应用他默认的是通用对话模式，对应的是语言大模型能力，我们可以直接让他帮我们生成我们需要的东西，比如在这里生成一套电商人工智能客服的话术，包含话音与订单查询、 售后退换货、欢迎语，语气亲切，适配普通的消费者。同时帮我们生成一份团队的周报。通用模板包含工作进展、风险预警、 下周计划三个模块，然后我们可以选择它的思考模式。现在新出了一个超能模式，大家可以尝试一下，然后我们直接发送即可，多报它就会根据我们的需求进行分析， 然后我们就可以看到它在帮我们创建话术以及通用的模板。当文档生成完成之后，我们就可以点击这里选择自己需要的文件类型，我们就可以保存到本地了。然后我们可以让它生成图片， 我们可以在左侧看到有一个 ai 创作，点进去，我们可以选择我们想使用的模型，在描述里面描述你想要的图片类型。 现在这个题日词相对简单一些，如果你想要好看绚丽的主图，你就需要明确的详细的题日词， 这里只是给大家演示一下，这里生成了四张图片，大家可以选择自己想用的，然后保存下来即可。现在抖包也做了智能体体验的功能，点击左侧的智能体，你就可以创建属于自己的智能体了，比如输入电商客服智能体， 输入名称，输入详细的设定，我们就就可以创建我们的智能体。智能体的描述是越详细越好，这里只是给大家演示，所以写的就 写了这么一句话，但对于我们在实际的项目操作过程中描述越清楚，智能体越好用，然后我们直接创建就可以了。在这里需要跟大家补充一下，就是 他现在也有了一键生成的能力，可以帮我们详细描述智能体，在这里给大家补充一下。豆包 在线平台免费满足，满足基础需求，高级功能无需开通，零基础，重点掌握对话生成文档、导出文生图三个核心操作，对应的是语言多模态、大模型能力，贴合前十二节课的项目和后续实战需求， 且多端同步功能，可实现电脑、手机无缝切换使用。然后再来看一下我们的 train 核心，掌握在线平台的核心功能， 对应的是多模态的大模型编程专项大模型的能力，了解其优势，为后续本地部署和进阶实战铺垫。同时结合人工智能原声 ide 的 特性， 快速上手核心的功能。登录平台之后，我们就可以直接用抖音账户进行注册，它在这里可以上传我们的图片 啊，各种文件，现在出了 solo 的 这个版本，大家可以尝试一下，对于复杂的场景任务具有明显的优势。我在这里上传了一张让豆包生成的关于 open klo 龙虾的部署问题的图片，然后在这里我让他帮我解析这张图片的内容， 提取核心的信息，并生成适配的文案。指令发送了之后，它会自动分析图片并生成对应的文案，同时可以查看图片的详细解析。然后我们可以看到它已经把我们的 图片进行了分析，并生成了适配各种不同平台的文案。然后我们再来感受一下它的其他的能力。生成一个简单的 python 打印 hello world 代码， 附带注试，要适配 python 三点八的版本。发送之后，它就会显示它会将我们的任务进行拆解，会有代办事项，任务的产物以及参考信息，然后我们等待它把代码部分生成， 然后我们可以看到它已经把任务完成了。生成了代码文件，我们可以保存到本地，然后在 pychoom 里运行，试一下，完成之后它会在右侧这里任务产物，这里 显示产生的这个 py 文件。关于 hello world 的 这个样式，大家看起来会很简单，我们可以在这个切换一下模式，切换到 code， 这个模式可以帮我们完成一个复杂的项目开发。这里我写一个简单的项目， 生成一个简单的个人簿刻页面 demo 样本，包含首页关于页两个页面，用 html 以及 css 进行编辑，我们看一下它会 怎么操作。首先看到他，在我们可以看到他在分析我们的任务，并进行进行了拆解。在代办摄像里，然后我们可以看到他直接给我们生成了这个可以浏览的 网页页面，然后也给我们写了产品的需求文档，然后我们就可以在这里面看到他生成的这个三个文档，大家可以看到他直接生成了财务汇总， 有浏览的页面以及产品需求文档和技术架构文档，这都是我们当时第二个阶段需要写的文档内容，现在完全可以给我们直接生成，而且我们并没有要求它生成这些内容。寸在线平台支持免费使用核心功能，编程调试、 下模生成等技术操作，无需付费。零基础重点掌握突文交互、代码生成等模式的核心搭建，对应的是多模态编程，大模型能力贴合 后续本地部署和进阶编程实战需求。现在春有多个版本，大家可以根据自己的需求进行调整，使用后续的课程，本地部署后 可实现复杂的代码开发与调试。好了，本节课作为第三部分的开课篇，核心完成了认知加实操的双突破。一方面，我们系统梳理了大模型和历史发展脉络，全球的四阶段和国产的三阶段，详细拆解了四大类大模型的核心差异， 全面了解了国内所有主流大模型的定位与优势，建立了大模型全体系认知，掌握了按需选型的核心逻辑。另一方面，我们手把手完成了春豆包在线平台的零基础实操， 掌握了两款核心国产模型的在线使用方法，明确了在线调用、本地部署的进阶路径， 为后续实战牢固基础。核心总结回故事，第一个大模型发展趋势是轻量化、开源化、国产化、多模态。第二个是国内主流模型各有侧重，按需选型即可。第三个是在线平台零门槛，核心操作可快速上手，贴合实战的需求。好了，这节课就讲到这里。
52权小白
30:28查看AI文稿AI文稿嗯，最近一段时间啊，在本地部署运行这个语言大模型是非常火的，然后我个人认为的话，可能在未来的两三年、三五年的这样的时间里，所有的这个创业者，包括上班的啊，上班族 都会需要去具备这样一个能力，就是去理解大模型的使用，然后去熟练的运用大模型。 所以说今天我就跟大家分享一下在本地部署语言大模型的话的一些经验，然后我不会去讲具体的一些安装的过程，就是怎么安装的啊？这个模型怎么安装的，这个平台怎么安装的 这样一些东西。在抖音上面很多，今天跟大家分享的话，主要就是说什么样的模型，它能够在你的电脑上跑起来，能够流畅的跑起来，它能够帮你去解决什么问题？这个是今天跟大家分享的，然后 简单说一下，就是在本地部署大模型的意思，就是把这些语言大模型安装到你的电脑上，这样子不管是你有网络还是没有网络，你都可以跟他去进行一个问答，然后让他帮你去干活，或者是让他去解答你的问题。呃， 和传统的像我们像豆包或者是 deep deepsea 啊这种语言大模型的话，那它的区别就在于说，呃，豆包这样的语言大模型，它是运行在云端的，没有在你的本地，然后 嗯，如果没有网络的话，你是没办法使用。第二个就是你跟他的聊天的记录，包括你上传给他的文件啊，嗯，他是会上传到云端服务器的，没有私密性。然后对于很多的一些企业来说，包括个人来说，我想保证我自己的一些客户资料或者是自己的私密信息 不上传到这个云端服务区的话，那么这个时候就不建议我们去用这个云端的这些啊模型， 嗯，这个时候我们就会用到在本地部署这个语言大模型，然后目前本地能够部署语言大模型也是非常的多啊，也是非常多。然后我经常根据我的电脑情况的话，我现在目前话主要是用这三个啊， 一个是千万三点六、二十七 b 的 这样一个模型，还有千万三点六、三十五 b 的 专家型的一个模型，还有一个佳马仕啊，佳马仕是谷歌的， 这三个模型是在我的电脑上，我觉得速度和质量都还是比较好的。然后目前整个这三个模型啊，他的实际的一个评测也是在本地模型里面靠前的。 当然这里有一个概念，大家一定要知道啊，就是说对一个大模型来讲，他前面代表是他的名称啊，千万三点六，这个是千万公司的，然后三点六是阿里出的这个模型啊，杰尔玛是谷歌出出的，这个是他前面的这个名字，然后这中间这个就很关键了啊， 呃，三点六和四十他的版本哈，这个不用去管他。然后最中间的就是这个带 b 的 啊，二十七 b、 三十五 b、 三十一 b， 这个表示这个模型他的一个大小，也就是说这个模型的呃，他那个规模什么意思呢？ 举个例子就说他如果是人的话，这个就表示了，就表示了你的一个脑容量越大的话，你可能就会更聪明，如果你的脑容量越小的话，那可能你就 不那么聪明一点，然后能够回答的问题就有限。所以说一个越大的模型，那么它的智能程度是非常高的啊。 像我们家用的话，部署的话有啊，四 b 的， 有八 b 的， 有十 b 的， 有十六 b 的， 然后有二十多 b 的， 也有三十多 b 的， 还有七十 b 的， 这样一些模型都是可以在家用电脑上进行一个配置的。 如果你要追求啊，像很多的一些大公司，像阿里啊、腾讯啊、百度啊这些公司，他们在服务器部署的这个模型，那我们在本地电脑上是肯定跑不了的，他们都是千亿级的这样一个参数，在本地是跑不了的啊。 嗯，所以说我们能够跑的基本是在七十 b 以下的，如果说你是非常顶尖的一些专业的工作站，那你可能会跑到七十 b 的， 然后普通家用电脑的话，基本上能跑到三十五 b， 二十七 b， 就 就基本上是一个天花板了，所以说大家可以一定要去注意看。然后 第二个需要注意，就是说啊，模型还有一些后缀啊，后一个后缀的话，主要是它的一个量化的参数，比如说像杰尔玛这个模型，它这个 i q 四，这个表示它是以四比特去量化的，这个参数会非常重要。我们看这个模型文件，它也会有 像三问千问三点六二七比特的话，它是写的 q 六 k， 也就说它是按六比特进行量化的，量化的程度越高，量化它表示一个模型的压缩率， 如果说压缩的越狠，那他的数字就会越低，比如说四比特，那就是压缩的非常厉害的六比特，压缩中等的巴比特就基本上轻微压缩，十六比特就是完全没有压缩， 完全没有压缩的模型，它质量是最高的，然后稍微压缩一点啊，也是可以使用的，精度没有太多的影响。但是如果是四比特以下的这个压缩率的话， q 二 q 一 啊这种， 嗯，我建议大家就不要用了，这种压缩率太低的话，他会失真啊，就会产生模型的一个幻觉，说这也就是这个意思啊。 q 二 q 六 q 四， 但是不是说越大就越好，这个要看你的电脑能不能装，嗯，至于这个模型能不能在你电脑上去部署，能不能流畅的跑起来，有个很重要参数，非常的简单，我教给大家就是什么呀？就是你去看这个模型文件的一个大小 啊，这个模型的话它是二十二个 g 的， 然后我还装了一个千万三点三点六三十五 b 的 这样一个 q 四的模型，它的大小也是二十二 g 的， 然后这个 g 码三十一 b 的 模型的话，是大概是十六个 g 啊，十六个 g， 对， 然后 这个什么意思呢？如果你的显存是三十二级的显存，或者是你的显存是十六级的显存，你一定要记到一点，就是这个模型文件它的大小绝对不能够超过你的显存，如果说它超过你的显存，也就意味着这个模型不能够完全的加载到你的这个 这个显卡的呃显存里面去，如果不能够加载进去的话的话，然后他就会通过这个内存和 cpu 去进行计算。我们都知道啊， cpu 它是一个多任务的啊，多现成的这样一个处理器，它是干很多活的，但是 gpu 它是 专门去干一件事情的，所以说它的计算速度会非常高，而且这个显存的宽带比内存的宽带是要快很多的， 所以说当你的模型全部加载到你的显存里面的时候，它的进行计算就是通过显卡去计算，那么速度就会非常快。如果说你把它放到内存里面去，通过 cpu 去进行计算的话，那么这个速度就会非常非常的慢啊，所以说大家一定要记住这一点，就是你的这个模型的尺寸， 它的容量大小绝对不能够超过你的显存啊，这里我是配置了两张显卡，呃， rtx 的 五零八零和 rtx 的 五零六零钛都是十六 gb 显存的，加起来就是三十二 g 显存，那么这个显存叠加的话，是在这种语言类大模型是可以去进行一个呃， 叠加的，使用的就是平台会进行拆分，但是你去跑一些像 comfyui 这样的一些生图生视频的软件，它就没办法啊。好，这个我就不讲太多了，大家一定要记住，就是说这个模型能不能在你的本地部署，首先第一点去看它的大小，大小不能够超过你的显存。 第二个很多朋友可能会问，那我是十六 g 的 显存，我去下载一个十五 g 的 一个模型没问题吧？当然没问题，你可以装进去，但是你一旦和他对话说成两句话， 你就会变得非常慢，为什么呢？就是在本地部署模型，还有一个很重要的概念，叫做上下文的一个大小，什么意思？就是你每跟他对对一次话，你，你告诉他的问题，他就会占用一定的容量， 随着你在一个窗口里面跟它对话的次数越多，这个容量就会越大。如果这个容量加上它本身的模型的这个容量，最后超过你的显存，它就会加载到你的内存里面去，加载到你的内存里面去的话，然后这个时候速度就会变得非常慢了。 所以说我们要确保就是说一个模型在自己的显存里面去，不能够到内存里面去，不能够让 cpu 去运行它，不然速度就会非常慢。 所以说大家现在知道了啊，就是你去装一个本地模型，第一要素是它的大小不能够超过你的显存，第二要留足够的空间去给它运行上下文，这个空间大概是多少呢？嗯， 大概一万啊，字节的这个上下文的话，需要的显存，嗯，应该是在一 g b 左右，所以说我们普通的对话的话，基本上你设个嗯三万吧左右的上下文，如果你 用这个电脑的 ai 的 a 检测去帮你干活的话，三万的上下文一般足够用啊，那么三万的上下文的话，然后 呃就需要大概三 g b 左右显存。如果你是去除处理这种长的上下文，比如说几十万这个小说啊，怎么怎么样，那你就需要设置非常长的上下长长的上下文，比如说六十四 k 的 或者一百二十八 k 的， 那么就会需要占到七八个 g b， 甚至包括十多个 gb 的 一个显存容量，那么这个时候你在显存里面一定要留够这个容量，如果没有的话，要么你就去压缩你的上下温，把它这个容量变小一点，要么就是下载更小一点的模型啊， 所以说我的三十二 gb 的 一个显存的容量，呃，那么我去跑一个二十二 g 的 这样一个模型， 我的空间容量还有十 g 左右，十 g 左右当然也还需要减掉两个两到三个 g， 这个是系统需要用的啊，就是你加载这块显卡，系统会用到 的，所以说，嗯，可能我能够用到的容量就是八个 g， 八个 g 的 话我就八个 g 的 话，我就大概能够设置三万到啊，六万这样一个一个上下文的一个长度吧。 好，这个知识大家清楚之后，然后我讲第二点非常关键的什么呢？就是说你下载一个模型，嗯， 它能够装到你的显卡里面去，就是我刚刚讲的就是它的容量绝对它的大小不能超过你的显存。第二，你要留够足够的上下文的空间，然后第二这个模型在你的电脑上跑得快不快，这取决于什么呢？ 嗯，首先第一当然是你的硬件啊， cpu 这个型号越高，它的这个扩大啊，不要去选择 amd 或者是英特尔的这个这个 gpu 啊，英英特尔和 呃，这个 amd 的 显卡，它们目前在进行这个大模型的计算的时候，没有没办法去开这个扩大加速啊，它的速度会非常的慢， 所以说现在恩威达的这个显卡，它的市场占有率已经达到百分之九十多，就是因为它不光是它的库达啊，还有大力水手啊， d l s s 这个在游戏方面表现很好，它的库达在这个大模型计算方面也是非常的有用， 所以说，嗯，建议大家如果真的是想去学 ai， 然后去跑大模型的话，一定要选择这个 omega 的 显卡，然后，嗯，型号越高的啊，就是像四零九零或者五零九零，然后五零八零、四零七零啊，四零八零这种型号的话都是可以的，就是型号高一点。 嗯，但是最重要是什么？就是我刚才想跟大家分享，就是说，嗯，显卡要用 n 卡。第二就是你去跑个大模型的时候，嗯，他的一个平台会非常重要，我现在跑的大模型的话，这个平台是用的这个立马点 c p p。 呃，什么意思？就是说立马点 c p p， 就是 他去跑这个大模型的一个原生的一个环境啊，就是一个环境去跑它， 嗯，但是这个立马点 c p p 的 话，它会复杂一点，你需要在这个命令行 c i i 里面去进行一个部署。如果说很多啊，新进入这个这个领域的小伙伴 啊，想简单一点也有办法，就是去下载一些像 l m studio 啊之类的这样一个呃平台，这样平台它是直接可以在文档上面进行一个安装的，就不需要去输命令，然后安装好打开这个界面就可以加载这个模型，就非常方便。 那么但是有一个问题，什么为什么我现在不用这他们这些平台，就是因为这个 lm studio 啊，我测试过之后，它的速度比原声的立马的话是，呃，每秒钟升升升成那个托肯的，这个速度是会慢慢很多的。 呃，所以说我基本上就是用原声的立马啊。怎么样去装这个东西我也就不讲了，大家可以去了解一下，我今天给大家实际跑一下吧，跑一下这个 好，需要打开一个命令行，然后去输入到我们的一些启动的命令啊，输入到我们的启动一些命令，这些命令的话也不是很复杂，嗯，基本上在在这个在网上都有。 然后这个命令加载的命令的话，主要是就是加载你模型的这个位置，然后一些启动的参数我就不展开讲，现在我去启动一个这个二七 b 的 千文的一个 q 六的这样一个模型啊，把这个命令输进去，然后回车就可以了，然后它现在就是一个加载模型的一个时间， 然后我的两张显卡的话，因为有一张的这个贷款比较低，是 pcie 的 一点零啊，我现在还没有去改它，所以在加载的时候会速度会比较慢，但是跑起来的时候完全不影响啊，就生成这个托肯的这个速度还是非常快， 然后加载的时候可以稍微慢一点，但是已经完成了啊。在加载完磨成模型之后，就会生成这样一个地址，在本地的一个访问的一个端口啊， 幺二七点零点零点一八零八零在一个端口，然后我们在浏览器里面去打开它就可以了。然后这个因为我本身我是已经啊把它收藏起来，现在我就直接打开它，这是立马点 c p p 的 一个基本的界面，我们就可以跟它对话了，你是什么大魔 模型，这样对话的话，他就已经用这个千万三点六二十七 b 的 q 六 k 来进行一个回答，然后速度大概是在三十 to 肯斯每秒左右啊，有时候会快一点，比如说来到四十 这个时候呢，注意看一下，就是我的两张显卡的显存啊，基本上十六个 g 用了十三点六，然后另外一张的话是十六 g， 用了十五个 g 啊，这里面我做了一个权重调配， 然后我的 cpu 啊，它的运算率是非常低的，就基本上它是靠显卡和显存在进行计算，这个就是非常好的，所以它能够保证它的一个速度啊。现在这个大模型的，呃， 评分比较比较高的有哪些 好？然后提些问题，他就可以去跟你进行一个一个解答，然后 我们就可以在本地去使用它，然后本地使用这个大模型的话，好处就在于说，第一如果你没有网络， 你没办法去使用豆包或者 deepsea 的 情况下，你是可以在自己的电脑上去跑这个本地模型的，一样的话是非常智能，像千万这个二点，嗯嗯，千万这个，嗯，三点六，二十七 b 这个模型啊，我实际测过，他比豆包的这个快速的这个模型 是要聪明很多的，和豆包的这个思考模型的话差不多，当然专家模型就没有办法更详细的去进行一个测试了啊， 他也他也的自然程度也是非常高的，所以说你如果没有网络的话，你就需要去部署一个自己本地的模型。第二点就是对于很多的企业或者个人来说， 嗯，因为云端的模型向豆包我提一些问题啊，把我的企业的财务数据我需要去发给他看，然后把我企业的员工的一些信息，或者是我的一些核心商业机密中标的一些东西，我需要发给他去看， 那么这个他会把这个文件上传到一个云端服务器，这样确实私密性不太强啊。但是在本地的话，比如说我上传啊，他现在已经生成完了，我上传给他一张图片啊，上传随便啊，上传给他一张图片我让他看，呃，你看一下我的电脑 配置啊，这样图片给他的话，他在本地进行处理，那么这个，这个你的这个资料，你的呃所有的资料不需要去上传到云端啊，私密性非常强。所以说很多企业 和个人，然后包括一些商家，他的不需要自己的这个客服资料的流失的话，建议都是去做这个本地的部署，然后他在跑的时候大家可以看到啊。 嗯，显存啊，两个显存还没有用完，十六 gb 的 十五点一，然后十六 gb 的 十三点六，也就是说我现在还有大概呃三个 g 左右的一个空间去跑这个上下文，然后不会报显存，不会报显存的话，一个代表就是一个，一个一个表现就是你的 cpu， 你 看 我这个 cpu 的 话，它的一个运行的一个，嗯，占用率的话是比较低的，这样呢不会去影响模型的速度，主要是靠显卡啊，靠你的显卡进行一个计算 好，然后这个就是在本地跑模型的话，嗯，在平台选择的问题，建议大家如果确实不太熟悉这个命令行的话，就可以去选择这个像啊， 然后 a m m studio 之类的这样一些啊，非常简单的桌面平台，然后下载即安装，安装就可以使用。如果说你懂一些电脑的这个呃操作，然后又想去体验这个大模型的一个速度的快速的话，那么就建议大家像我一样去下载一些啊，这个纯底层的， 呃，跑模型的平台，像立马点 c p p， 还有 v l l e m 之类的啊。然后这个就是影响模型速度运这个计算速度的一个很关键的地方。那么第二个点就是什么呀？就是在大模型上，嗯， 下载大模型的话，像你用这个，嗯，像我用这个，立马 c p p， 它比我用这个 l m studio 最好的一点就在于什么？就在于它可以去支持这个这三个字。大家看到没有，这个叫 m t p 啊， 去支持这种 m t p 的 一个模型，但是像 l m studio 它现在还支持不了，这什么意思呢？ m t p 的 话是一种加速的方式， 一种加速的方式，有 m t p 的 模型的话，它的速度会非常的快，没有 m t p 的 模型的话，速度会慢一点啊。这个具体的原理和机制我就不跟大家讲太多，大家可以在网上去了解一下。所以说你想去跑这种 m t p 的 模型的话，建议最好就是用呃，里马，包括这个 v l m 之类的 这个原生的平台去跑，像一些，有一些啊，像这个 l m 丢丢之类的，它现在还用不了这个 m t p 的 模型， 呃，这个也是对模型速度影响非常关键的。然后最后跟大家分享一点，就是说，嗯，我目前啊经常在用的话，主要是有三个，这个人工智能这个智能体啊， 第一个豆包我会也会经常用，有些简单的问题我会问他，因为第一他是纯中文的一个环境，第二在用他用到国内的这个搜索网络的话，去搜索一些东西，速度也是非常快的， 那么我要去学习大模型，要去掌握大模型，要去用本地的一些搭建知识库的人之类的事情的话，让本地模型去不消耗托克的情况下啊，啊不，不是不消耗托克，就是免费，有托克用的情况下 只消耗算力，你的电力的情况下去去用大模型的话就可以用本地的啊，这样一个部署的。呃，还有呢，就会用到这个，像这个 谷歌的这个啊，机密里啊机密里，然后这个是我觉得我用到的这个，呃，怎么说？这个智能体验 非常聪明的一个，非常聪明的一个，然后建议大家如果有这种条件就是科学上网的环境的话，大家可以去试一下啊，这个机密里我觉得是非常聪明的，然后，嗯， 所以说就是本地部署模型的话就是这样一些知识点，当然还有很多很多的一些知识点，然后我希望大家都慢慢去学习，比如说在本地模型的话会加很多参数，这些参数里面最重要的我觉得就什么呢？就是有一个这个参数叫做 f a， 嗯，这么个参数啊， f a 什么意思？就是你在本地去跑大模型的时候，在那个语言环境里面，你一定要去装两个东西，一个叫做 flash attention， 一个叫做 sega attention 这样的东西，然后 flash attention 的 话它主要是去加速这个本地的语言大模型的，你打开它之后啊，你的量化模型会跑得更快 啊。嗯，我在这我在这边再给大家演示一下，我跑这个千问三十五 b 的 a， 三 b 的 这个模型大家可以看一下啊， 哦，我这个模型都是去开启了这个 flash attention 的， 然后，所以说，呃，再加上我用的是 m t p 的 模型啊， m t p 的 模型，然后开启了 flash attention， 所以 说我这个，呃模型生成的速度，这个这个吐字的速度 还是非常的快， 大家可以看一下这个纤维三点五啊，纤维三点六，三十五 b 啊，这个模型是个 mo 模型， mo 是 个专家型的模型，它每次加载到你显存里面的计算量 会小很多，所以说速度会更快，非常的快啊。然后，但是我实测过它和二十七 b 的 模型比起来确实有一点， 怎么说不严谨，或者说有一点傻啊，同样一件事干出来，嗯，它的智能程度，比如说我写了一个围棋的游戏，我用二十七 b 写出来的话啊，我觉得是 ok 的 啊。 除了有一些这个嗯嗯对战的 ai 还需要调整之外，我觉得这个围棋游戏是 ok 的。 但三十五 b 写出来之后，它那个棋盘首先就是非常小的啊，它就不是那种标准的围棋棋盘，是一个可能九乘九的一个棋盘，然后 ai 的 话也是没有反应，需要你自己再去调试， 但是它作为市场的问答是没问题的，我们现在已经打开它了，这个千万啊，我们先去再去试一下，再去试一下，然后 看一下这个三十五 b 的 一个啊，大家可以看到它是千万三零六三十五 b a 三 b， 然后呃一个 q 四 k， 然后杠叉 l 的 这样一个模型也是有量化加速的。我们先问他一个问题，呃，中国从小学到高中的数学教学教育体系 好，我们来设这个问题啊，我们现在看到的，嗯，他的预思考时间会稍微长一点点，这个是因为我显卡插槽的问题啊，是我显卡插槽的问题，我有个显卡的话，他插在那个 pci 一 点零上面，所以说这个加就是预思考的这个速率会稍微慢一点， 如果调整过过后之后，他是是非常快的啊。然后现在他已经在进行一个思考和深层了，然后大家可以看到这个数据大概是在六十四左右。我，嗯，我觉得现在有点不对啊，我平时跑这个数据应该是在 一百左右吧，啊？一百左右吧，所以说九十多一百，所以说这个这个三点六三十五，比这个是很快的啊，是很快的。 然后一些常见的问答，日常问答的话，这个模型是非常推荐大家用的啊。嗯，我说的傻傻的是在做一些非常专业的这个数学，或者是一些啊这个领域的一些计算的话，他可能会比二十七币啊，因为二十七币那么多。专家吗？他毕竟 这个三十五币，毕竟只选了几个专家来回答你的问题，可能说没有那么全面，没有那么深入，但这个模型日常用是非常好用的，非常好用的。嗯， 所以说就是我们现在可以看到我刚才加载这个模型的时候，它会有一些基础的信息，里面有一个很关键的就是在于这个 flesh attention， 我 给大家找一下这个，这个，这个在哪里啊？ flesh attention 没，没看到，这个在命令行里面，有时候你会看到它，然后加载的话是在这个， 我现我现在有点找不到啊，有点找不到。呃，我是没有开启吗？应该是开启了，开启了也可以让看一下这个命令行，也可以让。 对，嗯，我是开启了，但是在这个里面好像没有看到啊，没有看到，现在我也，我也不再去找它了。然后我想告诉大家，就是说 这两个东西啊，一个是 flash attention， 一个 sega attention， 它都是这个本地的一个平台，你必须要去跑本地模型，必须要去装到两个插件啊，这两个插件会让你模型的速度升的速度会非常的快。然后 flash attention 的 话，主要是在跑本地语言大模型的时候加进行一个加速， 还有一个叫做 sega extension 的， 那么主要就是在跑这个，呃， comfy y， 也就是说我们说的这个， 嗯，生成图片或者生成视频的这样一个平台啊。嗯，这样这样的一个模型，一些图上视频，纹身视频，然后嗯嗯，这样一些模型呢，他就会去用到这个 sega extension， 说这两个东西你是必须要去装的，然后还有一些环境， 嗯，像拍缝啊，然后库达这些东西，基本上，嗯比较适合一些老手啊。我们去部署它，在用这个 c u a 这个命令行去部署它的话， 都必须要这样去装，如果确实新人入门的时候你觉得太难了，没关系，你就用这个 l o m studio， 这个也是可以的，它除了就是稍微慢一点点，然后不能去加载 m t p 的 量化模型之外的话，它还是非常好用的。 然后当我们部署这些语言大模型之后，我们还可以去跑一些 ai 的 agent， 然后这这些 agent 的 话，他就可以去帮你干活。像我现在用的这个 anything l l m 这个 agent 的 话，然后 他能够帮我生做什么呢啊？嗯？能帮我做什么？我现在已经连到这个三点五啊，纤维三三点五，这个纤维三点六三十五 b 这个模型上面了，然后就可以直接问他啊，我是配置好的，然后 他就告诉我他能够做做哪些事情。但实际上啊，这个 a 剪子的话，他的这个功能还是比较多的，我们可以看到他的一些这个代理的技能啊，比如说去 进行一个呃资料库的搭建啊，就是我们说解锁生成，然后长期记忆，这个是 ok 的。 然后文档的总结没问题，去网站上抓取一些数据没问题，然后访问你电脑的文件系统，然后能够在你的电脑上去创建一些文文档 图标，包括 ppt， 然后能够去进行联网的搜索，然后还可以连接你本地的这个 呃 s q l 的 这个数据库啊，然后去调取一些，比如说你做商家的，对吧？你的你的数据库里面有很多你的商品的价格，你每次在改动的时候，它可以自动的去进行一个连接帮你调整，然后它还具备了一些什么邮件啊、日历啊，然后呃 outlook 这样一些连接的一些功能去，就就能够去帮你做一些 用 ai 的 这个本地模型去帮你干一些事啊。如果你不是用本地模型，比如说你用到这个他们养龙虾或者是跑这个爱马仕的话，呃去用到这个呃 deepsea， 或者是这个 呃谷歌的这个经理的话，他就会按 talk 给你收费啊，这个费用就比较高，所以说如果你只只是做一些简单的日常工作的话，你就可以在 自己的电脑上去部署这样一个本地的模型，然后用自己的 a 技能去跑，就没有一分钱的花费，他只会消耗你的电费啊，以及你刚开始前期的一个硬件投入成本啊。嗯，这边给大家再看一下啊，就是说，嗯，举个例吧， 嗯嗯，比如说我用，哎用 用浏览器去亚马逊网站帮我 查一下二零二六年，嗯，二零二零二六年四月的热销， 热销电子产品啊，这样一件事情，我生成给他之后，然后这个 agent 他 就会调用你本地的模型进行计算， 然后你可以看到他他的一个计算过程，然后他同时会用到他的 agent 的 功能，就去用他的一个内置的或者是你自己电脑上安装的一些浏览器去搜索这个网站，然后去 找寻这个结果，然后反馈给你，反馈给你之后，你还可以让他去生成一个什么 excel， 威尔，威尔的这样之类的一个表格，储存到你的电脑上，就相当于帮你干一些简单的活，这个是没问题的， 所以今天跟大家分享一下，就是说本地这些模型啊，我不讲安装，我就给大家分享一些经验，就是他怎么样跑你电脑上，大家一定要记住这个模型的大小不能够超过你的显存，而且你要留一一一定容量的这个上下纹， 然后同时的话去选择模型的话，呃，最好选择量化模型啊，量化模型，然后带 m t p 加速的那样些量吗？量化模型，然后平台的话，如果你呃 比较精通电脑，就去用这个 c u i 的 命令行去部署一些这个底层的一些跑模型的平台。嗯，如果你不太精通的话，如果是一个电脑小白的话，就直接去网上去当了这个 l m studio 之类的，这些啊，一个桌面版的模型平台就会非常简单。 然后，嗯，今天就跟大家分享这么多吧。然后如果后面会有一些教程的话，也是把我以后在跑模型方面的一些经验给大家分享一下， ok， 拜拜。
101东岳游隼SC
00:44查看AI文稿AI文稿别总盯着国外 ai 了，国产大模型教程憨爆了！ ai 圈最近有点大破防了，大模型不再是只有博士生才能玩得转的高端局。 起因是上海交大张卓胜教授团队在 github 上开源了一套动手学大模型的教程。结果全球技术宅们都炸了！ 讲真，这可能是近几年 ai 圈最有诚意的开源项目了，实战性强到吊打市面上百分之九十九的教程。从模型微调、 api 调用到文本水印、多模态应用开发，每一步都讲得很细。 无论你是零基础新手还是进阶开发者，都能跟着一步步实操，轻松掌握大模型核心系统教程全套资料以及大模型学习路线一打包，留下学习双手奉上。这回别再喊没教程了，要卷一起卷一起进步！
36模型Talk阿旭
37:17查看AI文稿AI文稿两百小时精心录制 ai 大 模型零基础入门到应用开发，二零二六最新版本一共两百分钟已完结，你将得到从零到一，企业即实战落地复原码储包已经整理好了，七百五十八原码教程全部抱走，我是朝夕教育的 z 老师， 那么这个专题呢，我将带领大家来学习以 deepening 为主的 ai 大 模型的各种实践应用啊与基础开发 啊。具体来说呢，我们会从多场景的提示词的编辑技巧，再到大模型的云平台的各种啊基础概念和应用。 最后呢，我们再深入到大模型的本地部署，讲解本地部署相关的一些概念和流程啊，以及呢啊基础的基本的应用开发，那么这个专题啊，非常适合想要快速学习使用 ai 大 模型的初级用户。 那么专题的内容呢啊，主要包含四个部分，首先第一个部分呢，我们会懂常用的场景，常见的场景，比如说办公学习啊，内容深层创作，再到啊开发啊，代码深层 相关的领域里，讲一讲啊，如何去编辑啊科学的 ai 提示词啊，然后呢，再讲一讲 ai 提示词的示意。 然后呢，我们再来盘点一下咱们国内的大模型的一个现状，以及呢各个模型的特点，他们的定位啊，我们该如何去选择，还有使用体验的对比，全方位的对比 之后呢，我们会进入大模型云平台的学习，如果说你想为你的应用程序，或者说我们想开发些应用，那么我就必须要通过大模型的云平台来为我们提供大模型的服务。 这里呢，我会从咱们国内的大模型的各个云平台的定价分析啊，定价方式提供的服务以及调用方式进行全面的解析。 最后我们将会深入啊大模型的选型，就如果说我们想在大模型在本地部署，那么我们该如何去选型啊，以及他的本地部署流程， 那么这就是我们整个专题的内容啊，可以说从最基本的应用啊，到一个啊，最深入的本地部署 啊。那么首先呢，就是关于这个啊，办公效率啊如何，这个通过如何去提，通过大模型如何去提提高我们办公的效率 啊？因为我们在日常工作，在日常的工作中啊，我们总会遇到各种各样的问题，那比如说呢，要写很多的文档啊，要开很多的会，还要处理很多的信息，还要和各种人际沟通，协助 这些事情呢。听起来虽然不算难，但是呢每天架不住他每天都自己越来越这么啊，这么下了， 也确实挺浪费时间，也浪费精力。那么这个时候呢，像 deepthink 这样的大语言模型呢，就可以派上用场了， 他虽然说不能替我们去工作，不能替我们上班啊，不能替我们打工啊，可能未来某一天真可以再替我们，但至少现在不行 啊，但现在呢，它是可以帮助我们去完成一些重复性比较高，然后耗时性又比较长的一些工作任务，让我们把更多的精力呢放在我们真正需要思考的啊这么一个呃事情上。 那么具体来说啊，都能干些啥呢？呃， 比如说啊，像写报告啊，写合同，写邮件啊，甚至是做 ppt， 写新闻稿这种事情，他能他都能够去帮我们去自动生成， 然后呢还有就是开会的时候，是吧？啊，我们可以把开会会议的内容呢录下来，然后呢录，然后把录音呢啊 导出，对吧？他可以给我们整整理出一份哎，结构清晰的啊，会议会议的记要啊，还能够去自动的提炼重点啊，对吧？啊，然后呢再比如说你像我们日常的信息的剪辑，内容的摘药 啊，知识的整理，数据的分析这些工作呢啊，他对于大模型来说也都可以高效完成。 再比如说还有像一些啊翻译啊，对吧？我们经常会看一些外文的文档啊，也可以帮助我们你们 ai 的 翻译，然后呢还有就是日程安排啊，流程自动化等等的写作内容，也都是属于他的能力范围， 那么听起来还有点像是办公场景里的一个瑞士军刀啊，不是说他万能啊，而是说他可以胜任很多看起来很琐碎，但实际上非常重要的一些小任务 啊。那么接下来呢，我们就看看几个具体的例子啊，那么那比如说啊， 比如说啊，我们啊，比如说他可以给我们进行这么一个啊，自动的帮我们生成一些会议的记要，那比如说啊 啊，我们可以通过把录音录音之后呢转成文字，对吧？把录音转文字之后呢，我们可以啊通过这样的提示词，是吧？啊，比如说还可以根据以下的会议记录啊转写文本，对吧？啊？生成一份详细的会议资料， 那比如说这个会议的主题，我们把这些相关的信息，背景信息交到给他，然后呢会告，然后我们告他这个绩效的内容呢，还需要包含啊，什么样的东西？比如说议题啊，讨论要点呐？哎，那么就一事项以及后续行动计划，然后呢，采用结构化的格式去输出啊，哪些内容？ 哎，最终输出为马克大格式。那么这就是一个关于这个这个题词词的设计思路是什么呢？就是你给的越清楚，他输出的就越靠谱。 那毕竟呢啊，大模型他再聪明，他也不是我们肚子里的蛔虫，对吧？啊，并不说他说什么他就能懂什么，所以我们必须要把他给哎说清楚我们的要要求。那再比如说啊，他还可以帮助我们去生成 ppt 的 大纲，对吧？啊，生成 ppt 的 大纲， 比如说我们用来这种大纲呢，可以用来帮助我们去快速构建一个这样的 ppt 的 框架。那比如说他可以，我们可以告他，哎，你根据以下的信息，哎，生成这么一份啊，演示文稿大纲，然后演示的主题是什么？演示的目标又是什么 啊？然后呢，演示时长是多少？然后还要告诉他，你的大纲应该包括你的内容，比如标题目录，各章节的标题及各内容要点，然后使用清晰的结构化格格式进行后续填充内容。 那么虽然大纲呢，大纲的目的对吧？就是结构，主要是结构啊，因为他决定了整个演示的方向和节奏，所以提前搭建好结构呢。啊，我们之后再去填内容，哎，这个填内容呢，也可以让 ai 去一足，让我们去足够它去填充，对吧？那么再比如说 啊，如果说我们已经有了相应的演示文稿了，那么我们还可以让他基于我们的演示文稿呢，为每一页的这种换乘变呢，去生成对应的演讲稿 啊，比如说一般演讲稿，一般我们写的这个啊，演示文稿他可能会比较的这个啊，书面化，或者说比较的这个专业化，那么我们可以把他呢转换成相应的演讲稿啊，这里面可以要求他口语化，流畅自然、中度呢，便于现场讲解。 然后你还可以约定规定每一个演讲稿他的字数是多少，然后呢，让他给麦克当呢放格式呈现，与我们的这个换灯片内容呢，是一一对应的，对吧？ 好，那么因为因为有的时候呢啊，其实我们并不是不会讲 ppt， 而是呢，更多的时候是不知道怎么去组织语言啊，有了这个 ai 的 帮助呢，我们就只需要去专注表达内容呢，就可以帮他，就帮我们准准备好了，对吧？啊，这些都是啊，再比如还有像咱们这个 啊，生成工作的周报和日报，这个我相信啊，也是我们啊，基本上每个公司都会有这样的啊，这个工作环节，写周报啊，写日报啊啊，甚至写月报啊这些， 那比如说我们可以给他提供我们的这个工作内容的记录，对吧？啊，可以写的比较粗糙，大概的范范谈一下，写一下我们干了什么，然后呢，我们可以让他生成一份啊， 本月本周本日的工作总结。然后呢内容呢？哎，应该包括啊，本周或本月的工作总结，工作亮点，存在问题，感情计划，下周或下月的工作计划。 然后呢，使用结构化格式等等，给他规定一些格式，什么一级标题，二级标题要点的列表，对吧？因为写周报这件事呢，你说他很重要，但其实他也没那么重要，但是你说他不重要吧，他又不得不写，那么所以说这个时候呢， 有 ai 来帮助我们写，可以至至少省去我们一点，省去我们很多的时间和省点我们的精力 啊。当然啊，这些都只是一些不同的一些案例啊。那么当然啊，案例呢，这里只是简单的去给大家看一看咱们去写题时应该按照什么样的风格去写，对吧？呃，更加的高效一些。 当除了这些案例之外呢，我们啊，还有一些提能够提供咱们办公效率这种类似于这种提供提高办公效率提示词的一些啊，一些技巧。那比如说啊，我们可以融入啊，角色扮演 啊，这样的啊，这样的内容，对吧？我们可以让 ai 去扮演某个专业人士啊，比如说，哎，你是我的行政助理，是吧？这样呢，他就会更贴近实际需求去输出内容 啊。然后呢，还有就是结构化的输出，这一点很重要啊，结构化的输出，因为我们要提前告诉他，对吧？我们要什么样的格式？我们是要 markdown， 还是要 word 还是要表格，还是要 ppt 大 纲啊，这样呢，结果出来以后，我们就可以直接使用啊，然后呢，就是详细的指令 啊，我们越详细的指令呢，就越能够减少偏差，毕竟呢， ai 他 不是人，对吧？他理解不了潜台词，所以说我们该说明白了，还是要说明白，然后就是迭代优化 啊，就是，毕竟呢啊，如果说啊，你第一次没有得到我们满意的结果，这时候呢啊，我们只需要改改一下题时再试一下啊，说不定就哎就非常对我们胃口了 啊，当然呢，就是持续的探索式啊，为什么要持续探索？因为题词词工程他是没有标准答案的，所以我这里只是一些试例啊，因为只有不断的尝试，你才能够找到最适合自己的方法。 好，那么这个就是关于这个办公方面啊，当然除了这个办公方面呢，我们还有比如说像这个学习方面啊，学习方面， 个性化的学习，呃，大约模型他不仅可以在这个办公方面去帮我们啊，在学习或者教育领域啊，也是有非常多的一种场景的， 因为他能够理解自然语言，那么也就能够去模拟教学过程，帮助不同水平的学习者去掌握知识。 我们可以让他去解释复杂的概念，可以让他去解答具体的问题啊，提供一些个性化的反馈，甚至呢可以模拟一对一的辅导，对吧？就像是一个永远在线，永不知疲倦的老师，对吧？哎，就比如说有的同学，哎， 有些东西没有听明白，对吧？或者有些看书的时候，某些概念没参考明白，而这个时候呢啊，你问你问老师，你还不如去问问问 ai 为什么呢啊，因为他永远在线啊，永远可以及时回复你，而且回复的 不厌其烦，对吧？啊，那么所以说，这里我们来看两个简单的例子啊，比如说第一种例子，就是我们可以用用简单易懂的方式让他去解释复杂的概念，像这个这种题的词呢，适用于任何的学科，那比如说我们可以这么写啊， 那么解释概念呢？题词，那比如说你可以，你可以这么说，哎，请扮演一位有耐心并且经验丰富的编程导师，哎，用通俗易懂语言像一位 什么样的水平，比如说基础水平，零基础，初学者或者怎么怎么样，你要写一位什么样，根据你的水平就写上去，然后呢去讲解 什么东西啊，把你要讲解的内容，把知识点放上去，然后呢，我们可以提些要求，比如说使用生活中的类比或具体的例子来解释抽象的概念， 然后将复杂的概念呢分解为循序渐进的步骤，然后提供简单直观的代码示意，指出初学者常见的误区，然后结束后通过练习或问题检验学习成果， 对吧？比如说我们还可以给他些视力，比如说可以用超市购物车类别变量啊，说明变量如何存储不同类型的数据啊，这个视力呢，就是告诉他一种如何去比喻啊，比喻这些东西啊，那么所以说呢，这些也都属于包括视力的，也属于提示的范围之内。 那么因为很多时候呢啊，我们之所以听不懂某些东西，就是因为呢没有建立联系。而一个比较好的比喻，往往呢能够让比较抽象的东西变得更加具体，也能够让难懂东西变得易懂。 好，那么这是在这个讲解知识点，那么当然我们除了去讲解，去想去学习某些知识的话，我们可能还有很多的问题哎，比如说希望他能够做一个问答，让导师来进行一个问题的辅导，那比如说我们可以使用这种 解答问题的这么一种题的时候遇到了困难， 那么请提供清晰简洁的解释，必要时附上代码实体或类比说明。然后他们假设我是一位对什么什么算法有一定基础的什么什么，那这是背景啊，前面是目标，对吧？这是要求，后面是背景， 对吧？因为提问的本质就是一定要，就是要寻找一个能把自己带出去的答案，对吧？而 ai 呢，他就可以，哎，很好的为我们这种解答，哎， 好，那么这是关于这个，嗯，学习，个性化的学习方面，对吧？一个是学习，一个是办公，其实在因为这主要是这是占据了我们大部分的场景了，那么当然我们还可以进行扩大，比如说 内容的创作啊，因为很多同学呢，可能也有写博客文章啊啊，或者写一些，呃，工作中总会写一些内，写一些， 写一些啊，不懂东西吧啊，写，写东西对我们来说的话也是一个啊，搞内容创作这一块，还尤其是写扑克文章，写技术文章这些东西也都是我们日常生活中可能会遇到东西， 那么因为，因为这都属于内容创作啊，因为内容创作他是一个既需要灵感也需要技巧的一个过程， 而大语言模型呢，恰好就兼具这两点，他既能够激发创意，也能够提供结构化的知识， 所以说他可以在内容创作的很多个方向的发挥作用，比如说在写文章方面，像新闻报道啊，博客文章、营销文案、评论文章、科普文章、论文辅助等等，对吧？再比如说他还可以去编剧本 啊，可以编剧本，像电影、电视剧、游戏、广告这些脚本剧本啊，赞助他有些创意写作，比如说你可以拿编故事啊，写诗歌啊，写歌词啊，写个段子啊，文案的韵色啊等等。那这里呢，我们来看两个比较典型的场景，比如说我们现在想写一篇去编程指南的一个博克文章， 对吧？我们想来博克文章，这个博克文章呢，我们可能写的是一个教学类的，比如说啊，请辗纣学一篇关于某门语言的学习 指南文章，对吧？这你可以自己写主题嘛，对不对？某某语文某个技术，那么内容呢，应该包含学习路径的设计，核心概念的解析，实战项目推荐、常见误区规避以及资源评测等方面，然后给出分阶段的建议和效率提升技巧。 好，然后呢，我们还可以给他规定一下字数，哎，字数控制在一千五百字左右，哎，语言通俗易懂，又不是专业性，适合编程初学者阅读 啊，这里你都可以去修改，比如说适合住初级、中级都得，对吧？然后呢，还要应该包含典型的代码实力和格式化的学习路线图。最后呢提供啊，这可以跟你去啊，持续学习路线或者就业方向啊等等啊，这是一个比较完善的一个，写一个类似于啊编程技术。 当然这不仅仅是编程，你可以在这个方面啊，去任意去修改他的主题，修改他内容涵盖啊， 因为写文章这件事，我们一般来说啊，如果说你写过补课文章，可能，可能我们遇到最多的是开头啊，开头没有思路， 写的中间没逻辑，最后呢，结尾也收不住啊，而这个 ai 呢，他就可以很好的帮助我们去从头到尾去搭建一个很好的框架啊，当然也不是他会把我们写的特别详细，因为其中的细节可能也需要我们自己去填 啊，你不要指望说他能够写一篇真正的我们可以直接发出去的文章啊，也可以写，写出来的一般都是啊，水货很多对吧？啊，像这种东西呢 啊，我相信大家也现在很多这个啊，有些有些博主啊，很多的网上很多这种 ai 写的稿子啊，一眼就看着非常就是 ai 味对吧，就说白就是怎么样太太过空洞是吧？啊，看起来有道理，实际上没什么道理，就是很空洞是吧？啊，没有什么 太亮了地方。所以说呢，一般来说你哪写的扑克文章最多也就只能给我们参考一个框架啊，我们还是要融入自己的细节进去。 那么再比如说啊，除了写这种扑克文章，我们可以写一些科普文章啊啊，比如说啊 啊以科注科技博主的身份啊攫写一篇关于啊什么什么什么的，比如说 ai 的 未来发展这些主题的一个科普文章啊，内容呢应该从技术的发展，应用的前景、社会影响等多个方面，并且展望未来趋势 啊。然后呢再进行一些要求，比如说啊，至少控制在一千两百字啊，具备前瞻性啊，适合发布在科技媒体平台呀，对吧？啊，因为写科普文章呢，他不仅是要和技术有关系，他也是要会讲故事啊，而 ai 呢，都非常擅长把技术讲成故事，把故事再变成文章。 好，那么也说在这种内容创作领域里面呢啊啊，和前面这个啊，办公效率提升里面都有一样，都有些提词构造的一些建议啊，比如说啊，在这种，在这种情况下，在这种场景里，我们首先第一个建议就是 要明确咱们的内容类型，就是告诉 ai 你 要写什么东西，你是写你是写新闻报道，是写扑克，写剧本还是什么别的形式，那么这样他才能够知道该怎么去写啊。然后呢就是啊，要，然后就是戏化我们的创作主题 啊，比如说你是写的是学习指南还是写科幻小说，对吧？不同的主题呢，他肯定是需要不同的风格和有不同的风格和结构的。然后呢就是也同样设定这个角色扮演，比如说啊，假设你是一个科技博主，假设你是一个编剧啊，这样 ai 会更有代入感的进行创作。 然后呢就是一定要限定内容的要素，比如说字数、风格、结构、人物的设定，场景的描述，对吧？都有助于更好的控制这个模型的输出 啊。最后呢就是要结合，可以结，还可以结合一个具体案例，那比如说如果说我们让他写的东西有参考内容，或者说我们有灵感来源 啊，或者我们自己本来已经写了一小段东西啊，我们可以把我们这些东西已经有的这些东西，素材啊，案例啊，我们都提供给 ai， 这样呢他就会更容易抓住我们的意图。 那么总的来说，只要我们愿意去花点时间去尝试啊，你就会发现 ai 呢，实际上并不是啊替代我们的工具，而是放大我们能力的伙伴，对吧？他不能代替我们思考，但他可以帮助我们更快的去揭晓答案， 那么当然一切的前提就是你得会用提示词，而提示词的核心呢，就是你想清楚你想要什么，然后呢，用你的话把它说清楚就行了。好，那么当然最后呢啊，还有就是代码生成相关的 啊，因为作为程序员，我相信这也是大家都不需要我去多说的，因为大家可能都已都有自己的一套方法，可能大家都已经用过 啊，甚至可能已经在你的工作里啊，啊，或者在你的这个啊实际的工作中已经去帮助你提升很多效率啊。这里呢，我们还是可以啊，讲一讲，看看你和我的啊是不是一样，那比如说啊，我们 作为程序员，对吧，写代码是我们最主要的工作，是不是啊？但是呢，写代码他是一件既考验逻辑思维也考验耐心的事情。有的时候呢，我们写代码， 可能我们用 ar 的 目的不，不是我们不会写，而是我们懒得写，对不对啊？有的时候呢，我们有一个点子，有一个想法，但是呢，可能不知道从哪下手啊，又或者说有时候写了半天，结果发现，哎，我们只在重复的照轮子 啊，那么这个时候呢，哎，你像我们这时候呢，我们通过这个 davidson 这样大约模型呢，用它，虽然说它不能够去 直接替代我们去敲键盘，但是他可以帮我们去去去改代码，优化代码，写代码，解释代码啊，不可以帮，至少可以帮我们写注是写文档，甚至写测试用力， 也就说他可以根据需求去描述，我们可以根据需求的描述去自动生成一些基础的代码，也可以把伪代码或者自然语言翻译成可以运行的程序啊。再比如说我们他 还有还可以将这个编程语言从另一种编程语言翻译成另外一种编程语言啊。那么啊，再比如说，还可以补全我们函数体，修复我们的这个代码里的 错误啊，优化代码的结构。然后还有就是写单元测试啊，写接口文档啊，还有就是写一些 api 的 说明这些辅助的材料。再比如说啊，最常用的可能是解释某个代码的潜在问题，给出改进的建议 啊，总而言之就是只要你能够说清楚你要干什么，对于大冒险来说，他都能够大概率的能够写出一个差不多的版本，但至于能不能跑起来，那就得看你的提示词够不够清晰，以你的运气够不够好， 对吧？那么所以这里呢，我们来看几个常用的场景。首先就是我们最简单的是根据需求去生成基础代码，所以我说的基础代码 啊，因为他不可能，因为一般来说的话，他也就是写一个函数是最啊，人家只能写一个完整的项目，对现在 ai 来说还是有点过于困难了，对吧？那么 比如说啊，我们就是可以根据需求，对吧去生成这样代码，比如说可以根据以下功能需求描述，然后使用什么语言编写一个实现该功能函数。 那么功能描述啊，你可以自己写个描述，比如说编，比如说在这里编写一个函数，接受一个整数列表和目标值，返回列表中两个不同元素之间等于目标值的，所以这就是一个需求功能描述，对不对？然后呢我们还给大家进行提出要求，比如说函数的命名规范啊， 然后呢参数要明确，然后包含必要的注视说明，然后时间要尽可能优化，然后提供简单的视力验证以及正确性，对吧？啊？那么这种类型的题词呢，就特别适合用于快速啊， 快速去搭建咱们这个含这个方法或函数的原型啊，或者说当我们的脑子里只有思路，但是懒得动手写的时候，那我们只需要把我们想干的事情说清楚，剩下的他就会帮我们搞定，那如果说我们说的不清楚，那么他可能就会答非所问， 是吧？然后再比如说啊，我们有的时候还可以更加的直接一点啊，更加直接就是直接可以让他把我们这个 啊编自然语言转换成编程语言的实现代码。举个例子，我们下面在描述这个流程，比如当用户点击按钮时啊，检查输入框内容是为空，如果为空呢，要弹出提示信息，请输入内容啊，否则 将输入内容选择下方。你看这其实就是一个非常常见的一种场景啊，那么所以说我们就直接像这种描述这种场景就行了，对吧？或者这是站在用户的角度去描述 啊，在这里面还加入了各种各样的一些专业术语，什么比如输入框啊啊，比如弹出啊，提示信息啊，对吧？等等啊，这这个尤其是对于 啊，怎么来说呢啊，尤其是对于这这像这这种东西啊，对于刚入门的开发商来说就比较比较比较实用，你说他可能知道自己想要做什么，但是不知道怎么写代码，这时候用 ai 来翻译一下， 就可以很快就向上手了。当然如果说你已经是一个老手了，对吧？那么你也可以把它当成，当成是一个自动写样板代码的工具，省的自己一遍遍的复制粘贴， 是吧？好，那么当然还有啊，还有种情况就是解释代码啊，不但解释，我们还希望他能够去优化建议 啊，比如说我们可以写个这样啊，请分析以下代码片段，然后这时是一个马克当的一个一个代码块，对吧？这里写标明了这个代码块的语言是什么，然后这是一段拍新语言，拍新代码，是吧？那么这个题的词呢， 就适用于你接手的一段看不懂的代码，或者说你自己写的代码效率太低，想要进行改进的时候， 那么这时候 ai 呢，就会告诉我们这个代码是干啥的，那为什么会那么慢，该怎么改？虽然说他不一定每一次呢都能够提出颠覆化的颠覆性呢，或者非常啊啊，非常具有啊，具有具有这个典型的这么一种优化方案，但至少能够帮助我们去使 思理理清这个思路，找到一个更高效的写法。好，那么这个呢，就是常见的场景，那么除了这几个简单的场景之外呢，我们还可以干嘛？还可以让这个大模型呢？然后去结合联网搜索， 对吧？比如说我们这里再举个例子，我们大模型结合联网搜索，它可以使用代码去动态生成一些， 哎，精美的。比如说举个例子啊，我想我想我想，我想做一个新闻日报，对不对？好，那么这个新闻日报呢啊，大模型，他可以去在网上搜索哎，最新的新闻， 对吧？然后还可以帮助我们去整理新闻，然后整理新闻之后呢，但是他整理的新闻就是些文本，对吧？那这时候呢，我们想要这个整理出来的新闻日报呢，非常的美观啊。呃，这时候呢，其实这时候我们就可以让他结合代码、动态深层这种精美的这个页面啊，比如说啊，可以把这些他找到的新闻 啊，像它生成一个美观的 html 页面啊，就是结合代码啊，比如说，比如说我们在使用这个啊，使用这个大模型的时候，它不仅是可以去输出普通的这种文本内容，它是可以输出代码的， 对不对？我们可以直接把我们的需求给它，然后完了之后呢，它就生成了，不再是那种非常非常单调的那种啊，那种文一一个 bug 文档啊之类，它可以非常的美观，非常精美，对吧？就是结合代码才可以实现的。那比如说，那我们这里实际来看一下， 这里我们就直接用这个 db sync。 好，那么这一块呢，我们给他一个提示词，我这直接用微商，没有用 r e 啊，当然你也可以用 r e， 比如说你看这很长，这写的是啥呢啊？这写的是一个，呃 呃，比如说你是一个人工智能科技新闻编辑与前端开发助手 啊，对吧？这先设定他的角色，然后呢告他请完成以下两项任务。一、收集并整理今天全网热度最高的十条关于人工智能领域最近最新进展的新闻吧，这是你的需求 啊。第二个呢，就是啊，我们是分步骤式的啊。第二个就是将这些新闻内容生成一个美观的 hr 页面，用于展示每日日报。那么因为要求如下啊，页面的标题为啊什么什么什么，然后呢，就我们可以指定他的啊， 实际上的一样颜色，比如说这里使用科技蓝色系主色调啊，我们还可以给他一些啊颜色的建议，是吧啊，当然你也可以不给他，自己去找合适的也可以啊。再比如说，哎，使用响应式布局设计，适配 pc 和移动设备。 然后每条新闻呢，都应该包含标题摘要、来源链接以及一张相关图片。那如果无法获取使用占位图， 然后呢添加一个导出图片的按钮，比如可以使用截图插件，那么你可以告诉他一些，给他提示啊，实现一些提示性的注视，对吧？啊，说白了就是啊，然后呢，就是 html 代码需要结构清晰，注视完整，并且内嵌样式， 然后呢，然后最后我们告诉他，请直接输出完整的 html 加 gs 源码。那么这个其实怎么说呢啊？我们把这个联网锁打开 啊，这个其实怎么说？他不是，就是看起来很复杂，但其实他不算很复杂，因为这种东西啊，就是这个，就是他就是那种你一看就知道，哎，这玩意，哎，确实有点意思啊啊，但实际上呢，这也是很，这就是一个，你想让他去 啊，让让让让， a a 帮我们写代码的话，有有很多人就是，哎，帮我写一个什么什么玩意，帮我写个什么什么玩意啊，就说你没有想追求，你就只有一个主题，那肯定是写出来的效果肯定是不尽人如意的，也就说啊， 啊，首先第一我们这里面呢，我们可以解决这里面，首先这个题的词里面，它其实结合了两个非常关键能力，首先第一就是一个信息获取的一个和整理的能力，也就是大模型能够联网搜索，然后筛选并归纳出 啊当天最热的人工智能新闻，对吧？另一个就是他那个前端开发的辅助能力，也就是他不仅能够去帮我们整理写内容，他还能顺手帮我们搭个页面出来，而且还我们还让他去考虑到响应式的布局啊，颜色搭配啊，图片占位啊，交互按钮这些细节 都要你告诉他。比如说这是他不仅是一个 ai 编辑，他还是一个兼职的前端工程师。那么所以说我们从这种啊技术角度来看啊，像这种动态生成新闻日报的这种功能，其实已经超出了传统意义上的这个提字词的工程了，他更像是一个小型的信息聚合平台的一个雏形， 只不过呢这个平台呢是由一个语言模型在几秒钟内搭建出来的啊，那么这时候，哎，我们可能也看到结果了，比如说他生成出来的这个 html 是 可以直接运行的嘛，那很显然只要你给的提示足够清晰，那么他输出的就是 就有可能我们直接就可以复制粘贴就可以跑了。那如果说他生成代码有问题怎么办呢？那我们只需要去修改这个提示词，然后再重新生成一遍，反正他也不会累，那么所以说这种类型的提示词就特别适合那种 需要去啊，怎么说呢啊？简单来说啊，就是这种结合了代码生成和我们需求的这种提示词啊， 他可以，你可以把这个，你可以把这个东西扩展一下，对吧？比如说你想让他去，呃呃，想让他写一个，比如我们在做开发，我们想让他写一个原型，原型页面，那么这个原型页面啊，是什么样的？然后完了之后呢？你包括里面的数据你都可以给他 啊，你甚至可以让他自己收集这些数据，对不对？你说这种工这个东西特别适合那些需要快速搭建原型展示项目进展的这种情况，对吧？啊？那么 啊，那么这里你看他还说了很多，巴拉巴拉说了一大堆东西，对吧？啊？包含什么什么？然后设计特点了什么？然后功能识相了什么什么，然后呢？代码结构什么什么？然后他告诉你这个页面可以直接保存 h tm 文件并在浏览器中打开 啊，如果说实际实现导出图片的功能需要引入什么库？这里你看他把导出图片功能他都写好了， 只不过呢，他告诉他给你注视掉了啊，然后呢？他实际使用时需要去去注视，取消注册代码，是吧？然后呢？这个是他这前面他收集的，你看他自动收集的一些新闻热点他都给你，他都写到了这个，写到了这个 gs 对 象里，看到没， 对吧？啊？标题摘要啊，原图片都给你写到这里，然后完了之后呢？啊，还，还有还给你写了深层新闻图片的一些 gs， 是 吧？啊？包括前面的这，哎呦， h t m 代码啊，这怎么我就不看了，我们就看呀，因为这个 d v c 呢，它是可以直接运行 h t m 码嘛，我们直接运行一下 哎，可以看到，还不错哈，效果还可以啊。啊，这，这里图片可能没找到啊，链接可能不太对啊，但有的图片是有的，可能这个图片防盗链吧啊，可能是因为防盗链的原因是吧。 啊，可以看到哎，还是挺挺精美的，是吧，有图片啊，有标题有摘药是吧。 啊，然后呢，点击阅读原文啊，还能跳转过去啊，还能帮我们打开，看到没有，还是挺有意思的，是吧？好，那么再比如说，你看这里还有个按钮啊，导出为图片，但是现在还告诉他给你个提示符哎，让你 引入这个库，然后呢把这个代码呢，就是的，因为我们有块代码被注射了，是吧，解除注射啊，然后下面还有一些 啊，一些一些一些标注啊，总体来说啊，看起来还是挺美观的，是吧？啊，然后这里肯定是是有响应式的，因为我们只打出来这么大的窗口，对吧，他就可以完美，而且还有个动态效果，我们一上还有动态效果 好，那么这个呢，就是一个最最简单的一个一个应用啊，说白了就是啊 啊，总的来说就是这个代码的生成啊，他并不是为了取代程序员啊，而是为了帮助我们程序员啊，去更高效的去完成那些看起来不难，但确实挺烦的这些任务啊。 好，那么当然了， ai 也不会因为啊，你用了提示词啊，就能完全替代你写代码，他只是能够让我们少写些重复的无聊的部分啊，我们可以花点时间啊，在真正需要思考的地方。 好，那么这里的话呢，对于这种代码生成的提示词呢啊，如果说啊，大家感兴趣的话，那么这里我们也是需要有一些注意的要点要注意，首先第一点呢 啊，就是一个要明确语言环境啊，你要告诉 ai 你 要使用哪种语言，比如说拍信， c、 c、 f、 g、 s 等等啊，避免他去默认输出一个最熟悉的那个，那一般来说 ai 最熟悉的都是拍信，然后呢是细化功能要求， 那么你说你不要就算了，你不要说，哎呦，只写，比如说写个登录页啊，不要这么写，不要这么说，你要说清楚，要包含用户名输入框，密码输入框，记住我的选项，登录按钮，点击后叫页并跳转首页。说白了就是你要啰嗦一点 啊，把尽可能的把你能那个能够描述出来，你都给他描出来，对吧？啊，然后呢就是啊，如果说你对这个性能或者安全性有要求，那么你应该还要强调性能与安全，对吧？你要提出来， 比如说尽量减少时间复杂度，防止 c 库注入等等啊，然后呢就是提供参考量力啊，如果说你已经有了类似的，或者已经实现了一些代码结构啊，那么你可以在提示里面加入 啊，尤其是像 html， 像这种有结构的，比如说我已经写好了一个 html 卡片啊，然后呢，我把这个卡片的代码就放进去，然后告诉他，当你生成 html 卡片是用用下面这个代码， 对不对啊？大概这么个意思啊，已经有了吧，可以在提示里面加入这代码代码的样例啊，那么还有就是再比如说啊，可能一般来说第一次的结果可能并不完美啊，但是呢，我们一般来说也可以多试几次，对吧？逐步的迭代啊， 不断的调整，其实让他越来越接近我们实际需求好，那么这些呢？哎，我们现在讲的这几个啊 啊，就是关于啊，如何这些大模型呢？在各个领域或者常见领域啊，哎，比如像办公学习、内容创作、代码生成啊，这些领域的一些最基本的应用 好也通过他们啊，我们也学习到了啊，主要这些提示词该怎么去写的更加规范好啊，或者说是更加的完善啊。
46C#上位机编程
02:43查看AI文稿AI文稿正经人，谁用国产模型写代码啊？今天我总算理解了，为什么很多人说 ai 写代码还是不行。事情是这样的，我今天呢，公司的 cost and capital 额度正用完了，我就用克拉蔻蔻去接了一下。咱们国产的模型，包括千问呢，还有 deepsea， 我先用的是千问，因为网上说千问写在前端代码比较厉害，我正好有前端的需求，我的需求是这样的，我需要从后端拿数据，把这个数据渲染给前端的一个页面，最开始的这个东西是我拷贝来写的，有一点问题，那个数据没渲染出来，因为那个页面相对有那么一点点复杂，我就让千问帮我干的。 千问知道我的问题之后，他就开始 thinking process， 说他打算怎么办，显得非常的专业。开始读我的文件，要读什么？三百行到三百五十行， 我就让他放到一边，让他自己处理了。过了十分钟之后，我发现他还在读那个文件，他读的是什么？要读到第九百行到九百五十行，读完之后他又返回到前面去，为什么要读三百行到三百五十行？一直在那转圈圈，就是不给我出代码， 真是把我给无语死了，我没办法，我就让他赶紧给我停掉，赶紧给我出代码，不要在那里转圈圈。他说好。他最后又等了五六分钟，给我出了什么代码？在我那个代码里面打了一堆日制，不知道什么没用，有用的没用的日制打了一堆，然后我再运行一下，发现还是数据没渲染出来， 我整个人都无语到，真的是无语死了，我觉得这玩意实在是太憨了。我靠，我就直接跟他说让他再做，再做一遍，给他一次机会，他又是开始 thinking 了，又开始 thinking， 二三十分钟代码就是不出来， 这个就是把我真的无语到，我发现千万不行之后，我又重新用 csgo 去切换了一下，赶紧用上 dsp， 怎么样？ dyp 的。 我不知道他是不是咱们访问的人实在太多了，我让他完成跟前委一样的任务，他就是一直在那里 generate， generating， response， 一 直在那里，就是不给我出，结果三十分钟过去了，什么代码都没有写出来，不知道为什么一行代码都没有出来， 就是一直在那里转，说自己在在想，哎，我真的就无语了，就这种你不知道是他因为他工程用的人太多还是怎样，他就是不出招，就像一个高手一样，网上都别人都说他是高手，但是这个高手他就是不出招， 你说真的是，哎呀，就是用国产模型写的吗？真的就是自己找罪受你知道吗？要么就是半天不出代码， 你知道你写代码本身就是要用它提高效率的，就他半天不给你出代码，要么就是出了代码全部这些无用的根本解决不了问题的代码，所以真的说，哎，咱们国产品虽然说嗯，可能其他的做一些日常的问答还是可以的，但是写代码真的差距太大了，真的就是，我说实话就是路边一条，真就是路边一条，太菜了， 就写代码这一块还差的太远了，你不能说光便宜你，光便宜你解决不了问题有什么用呢？
13:06查看AI文稿AI文稿给大家普及一下计算机专业如何快速转 ai agent 的 开发工程师，只要你不是三分钟热度，这三个阶段足够让你从小白变大神。接下来告诉你一条最快的学习路线，建议收藏，避免以后走弯路。第一阶段，死磕基础，把 python 基础和简单的 api 调用吃透，千万别小看这些基础， 这是和模型打交道的关键。两大框架是 r n c 和 lma index， 一个用于构建 agent 逻辑框架，另一个用于构建外部数据缩影。三大技能是指 r a g agent， 模型微调，这三项技能直接对应了当前 ai 岗位的合 核心需求。最后阶段，实战项目选择常见的大模型应用场景，结合前面所学知识，做二到三个项目，如 r a g 医疗问答 agent， 智能客服，股票分析，掌握这些足够让你胜任百分之九十以上的 ai 岗位。 如果你还不知道从何开始，我这里整理了大模型学习路线以及配套视频教程，实战项目留下学习双手奉上啊！哈喽，同志们大家好，那今天的话呢，我们来跟大家分享一个关于大模型在我们的这个 do agent 这一块的落地的一些实践哈， 那我们讲的话呢，大模型的核心价值的话呢，其实在于我们的商业落地，那我们在我们的商业落地的过程当中的话呢，其实是 agent 啊，其实是在我们的实际的应用场景当中，其实是非常非常多的啊，那今天的话呢，其实我们呃会给大家讲一讲啊，就是这个 agent 的 一些具体落地，一些实践啊，然后 agent 的 一些组成啊，然后呢包括 agent 的 一些协商，一些范式啊，跟大家一起来 呃，聊一聊，那我们来看一下首先的话呢，这个今天我们要讲的几个几个核心内容啊。首先第一个呢，我们会向大家的简单介绍一下这个 agent， 那 有小伙伴大家可能对 agent 不是 很了解，对吧？它到底是个啥啊？那我们要如果说我们想要去完成一个 agent， 我 们应该要去具备哪些东西，对吧？它的核心架构啊，它的组建呀 啊，我们包括大家未来比如说我要去做一个 a 阶的项目，我应该要补充哪些内容啊？这是一个，那么我们这样讲的 a 阶呢，我们还会涉及到在商业当中我们有个叫做多 a 阶的一个协助方式啊，就是这个多个智能体之间怎么去配合 啊？那么讲完这些以后的话呢，我会带大家呢做一个就是关于客户的一个数据分析和营销方案的一个多 a 阶的一个实践啊，就是我们整一个具体的一些案例啊，给大家看一看成果。然后最后的话呢，我们还是要看一看 在行业当中的话呢，有哪些这个落地的一些 a 景呢，比较好玩的，比较有趣的啊，是吧？然后呢方便大家呢去做一些这个了解，好吧， 呃，那有些小伙伴的话呢，可能今天啊也是这个第一次啊，来看到我的这个视频啊，所以的话呢，先简单介绍一下啊， 那呃其实我自己的话呢，这个在 ai 这个方向其实做的时间也蛮久了啊，大概有十多年的这个时间了。然后我们团队的话呢，其实， 呃早些的时候其实是做那个 ai 的 一些平台的啊，目前的话呢，也合作过很多的 啊，这个产品，其实我自己最近的话也在跟很多的这个客户的话呢，在做一些这个对接哈。那我们从这个，呃，就是传统的人工智能平台，然后到人工智能的这个这个传统的这种项目啊，再到我们今天讲这个大模型平台和大模型那些这个项目 啊，其实都是有些接触的啊这是，呃，这是因为接触的其实比较多，所以我们能够看到包括我们一些客户啊，大家呢，其实还是比较热衷的，对吧？所以呢，今天也趁着这个机会吧，来一起呢跟大家呢一起分享一下，好吧， 希望能够帮助大家呢能够少走一些弯路啊。呃，那首先的话呢，这个第一个啊，我们要跟大家呢去分享的就关于我们所说的这个大模型的一些交互方式哈， 其实我们跟大模型之间的这个交互的话呢，其实也非常简单啊，就大家用过很多的这些大模型的产品，不管是 deepsafe 也好，还是说这个 openai 的 chat 的 gpt 也好， 那很多时候呢，就是说，哎，我们给大模型发送一个 prompt 是 吧？然后呢模型给我们响应一个结果，那所谓的 prompt 其实就是我们就是讲的自然语言啊，我们就直接发给模型，模型响应一个这样一个结果。那很多时候其实你会发现一个点，就是我们有的时候 啊，就是说一句话可能不够，对吧？就模型给一个结果，噼里啪啦讲了一大堆啊，但是我可能对其中的一些不满意啊，我希望他再次的话呢进行一些这样的一个修正啊，然后我可能会再输入一些要求模型，再会给我一个这样一个结果啊。 所以呢，呃，很多时候就是我们讲的这个跟模型这个交互的方式啊，你会发现有一个很大的一个局限性，就是什么呢？就是 你啊，对，没错啊，就是你这个，这个，你看由于我们个人的这个这个这个时效性，对吧？然后呢包括我们要去看他的回复，然后再给出一些指导性的这种意见啊，或者一些什么之类的啊？你其实是整个过程当中一个非常大的一个卡点哈，那我们就在想说那，呃，如果说 我们人的这个看那个内容，然后分析这个内容好不好的这个过程，对吧？有大模型来辅助我们去分析，来辅助我们去看，那这样的话呢，我们达到好的效果的这个效率是不是会更高一点？ 所以也就是说那这个东西其实我们就可以就是你如果能够构建出来有大冒险进行参与，进行角色去分析，然后去辅助纠篇。哎，它其实就是一个我们今天讲的一个 agent 啊，它其实就是一个 agent， ok， 好， 如果这样讲的话呢，有点抽象啊，我们通过一个具体的一个实力来看看呢？ agent 它到底应该 具体具备一些什么样的一些特征啊？同志们，那这里面的话，我们是通过一个这个飞猪啊，这样的一个产品啊，来给大家看一看，那这个产品的话呢，其实也是一个 agent 啊，那我们在讲飞猪企业，大家来想一想，就今天同志们如果说你去旅游，对吧？比如说你要去一个地方去旅游啊，那你首先会去做什么呢？ 是不是有的哥们可能会想，是吧？我说走就走，扛起我的双肩背包啊，我就撤啊。那这当然也是一种，但很多时候呢，比如说如果我们拖家带口的，咱们肯定还是要做一点攻略，是吧？那我们可能会想说， 我准备了多少钱啊？然后呢？我要我有几个人，是吧？我要看坐火车，坐高铁还是坐飞机啊？哪个便宜，哪个方便，哪个高校，对吧？我还要考虑一下我家里的这个有没有老人小孩，是吧？那这个可能我们要去考虑，我们要去查交通， 还有呢，我去那个地方以后我玩几天啊？我的路线应该怎么去定制啊？对吧？先去什么地方再去什么地方呀？啊？对吧？有一有一个这样的一个路线的规划，那我还需要考虑什么东西？我还要考虑说，嗯，那我我要去这个，这个我可能还考虑说，哎，我什么时候出发呀？啊？对吧？然后呢？这个包括住什么样的酒店呀？那这些可能都是要去考虑的， 所以也就是说当我们产生一个旅游的这样一个想法的时候，首先我们需要什么？首先我们需要去，呃，有很多维度的这样的一个规划，对吧？所以也就是说我们可以看得到的是，你看，当我在这里面我给飞猪提出一个需求的时候， 然后呢，他其实就会拿着我的这个需求干嘛？他像人一样的，对不对？首先我们要干什么？要去进行理解，第一他要将我的什么，将我的需求拆分成可以去执行的 这个一二三四啊，这样的一个可以执行的这样的一个任务，或者说这样的一个流程。好，那么拆分出来这个流程以后怎么办？那大家想想，你大脑当中说，哎，我要去做规划，对吧？我要去，我要去规划行程，我要去，我要去定制这个旅游路线。那这个时候作为人来讲， 我是不是说，哎，我要查交通，我可能说用一些这个，比如说非猪啊，或者说携程啊，我要查攻略，对吧？我可能上网搜一下，或者说用小红书啊，啊，我还要看一下天气，我打开天气的 app 啊，看它适不适合出行啊？ 对不对？那么这个时候呢？其实我们就会去干嘛？我们是不是就会去调用不同的工具来去获取不同的这个信息。 哎，那么也就是说我们的一个 agent， 哎，他至少说他应该是要有什么，第一他要理解我们的需求啊，拆分任务。第二他根据拆分的任务，他要能够去调用不同的工具来去获得到对应的一些这个信息， 是不是？所以这也是我们今天讲为什么说像飞猪啊？像这种，像这种产品，包括一些传统行业的一些这个应用啊，传统行业的一些，这个同志们，其实大家呢用大模型做结合，其实有个非常大的优势，就是你拥有别人所 没有的这个数据，是吧？那你像飞猪他本身就节省了很多的，呃，这个比如说基酒的这种信息， 对吧？那他这里面其实做旅游攻略对他来讲就是一个非常好的一个切入场景啊？ ok， 好， 所以他首先要规划，然后呢要去调用工具，那调用工具以后要干什么？哎？是不是获得到了很多的信息？我们在非洲这块你可以看到，你看他用了不同的工具，比如说查询相关的行程路线啊， 就看吧。然后呢包括非洲上有一些攻略，包括他有很多这种基酒的这种信息，那他记着这些信息干什么？ 基于这些信息他是不是，哎？第一步先干什么？第二步干什么啊？然后干什么？综合这些信息给我们输出一个这样的一个结果，再结合你的需求 啊，对不对？所以也就是说他跟我们的一个传统的一个大模型的单轮的对话不太一样的，就是什么呢？就是他是我们做了一个 agent 以后，设定一个总的目标，总的目标被拆分出来，每一步去执行， 那眉部去执行以后得到一个总的一个结果，然后，哎再次进行汇总输出，直到达到我们的目标想要的这样的一个结果啊。这就是我们今天讲的 啊，这个 agent 他 们翻译过来叫代理，对吧？他到底代理什么东西？代理了你这个人，或者说代理了某一个流程 啊？你可以这样去理解，整个过程相对来说比较灵活，你可以把它想象成你一个员工，或者说这样一个助理啊，是吧？所以我们今天讲那一个 ai agent， 它到底应该要具备什？呃，到底要，呃如果完成这样的需求，它到底应该要具备哪些东西呢？那我们再通过这一张图啊，这张图的话，其实， 呃，我最早时候是在那个退折上面啊，就就比较早期了啊，就是那个 open ai 的 一个那个安全游员啊，叫温丽莲，是吧？然后他当时发了一个博克啊，然后这张图我就从那里面搞过来的。那这张图的话呢，现在用的非常广泛了哈，那我们可以看到一个 agent， 它应该等于什么呢？那我们前面讲的它需要有这种规划的能力， 那是吧？要有这种拆解的能力，那这种规划和拆解的能力呢？其实就是源自于大模型啊，对吧？也就是说他首先有一个大模型，大模型是他的什么？是他的核心大脑啊，可以这样去理解。好，那么接下来的话呢， 他应该拥有什么样的能力？就是规划能力，但这里面的话呢，他有很多的这个方式啊，对吧？那么这些方式的话呢，其实呢，就是， 呃，我们在后面啊，我们会去学习到的就是关于大模型的，它其实就是不同的题式词啊，同志们，就是我们通过题式词去引导大家到后面会学。那个，比如说什么 c o t 啊，对吧？什么思维链啊，一些方式啊，就是引导模型按照什么样的方式去拆解这样的一个任务啊，去规划能力， 然后它应该还拥有什么呀？记忆能力。那这个所谓的记忆能力呢，就是说你看我们完成了第一步，你得记得你的核心目标是什么，对吧？你不能说执行完的你分支任务，后面就不管 你最终是为了解决那个核心目标，所以他记忆的话呢，同样他也有这种长期记忆啊，和短期记忆啊，这个里面他其实就有不同的这种技术手段，比如说我们说的这个短期记忆什么，哎，就比如说就是你直接发给 这个大模型的，对吧？就在对话框里面直接发的，那长期记忆的话呢？比如说，哎，我们通过对模型进行训练啊，把这个知识压缩到模型本身啊，或者说我们通过这个到后面我们会讲到一个方案叫 r g， 对 吧？就给它外挂一个数据库的这样一些方式， 这也是可以的， ok 啊，就是去增加目前这种记忆能力。那还有就什么呢？就是我们说的这个工具啊，因为你拆解完成了以后啊，对吧？我们已经拆不出来任务，那拆不出来这个任务，我们可能还需要去用一些外界的工具啊，来去比如说搜索工具啊，啊，对吧？或者说一些计算工具啊 啊等等，那这些，那这些工具其实你就可以理解成就是什么？就是我们传统的应用当中的叫做 api 啊，对吧？就是你你的应用程序当中不是有很多的 api， 很多的接口吗？那这些接口，那它都有自己的作用，但我们可以都统称为就是我们的这些工具啊， 所以有了这些东西以后，我们就可以去构建出来这样的一个 agent。 所以 我们很多时候呢，我们看到很多的这一些概念啊和名词啊，大家呢其实也不用想象的那么复杂，就是你在网上可能可以看到很多这种抽象的概念，你就把 agent 想象成是 就是你自己，对吧？你去解决一个任务，你的流程是一个什么样的一个流程？那 agent 它大致也是这么干的，所以我们讲 agent 呢，它是一个什么？能自主感知环境，进行思考，做出决策并执行的这样的一个系统 啊，对吧？他跟我们所谓的这种单轮的这种对话啊，就有很大的这种区别了。 ok， 他 不是说单轮的对话相当于什么 啊？就是我捅你一下，对吧？就是你动一下，我捅你一下，你动一下，那他就不是的啊，他就是说你给一个需求， ok， 哥们，我绝对给你最终一个这样一个结果啊，就是这样的一个东西， ok， 好， 所以回到这一块来讲的话呢，就是 a 型的工作原理，其实就是我们前面讲就几个步骤啊，第一先感知理解用户的需求，第二要思考，是吧？要去分解任务，拆解任务 好，拆解人完了以后进行决策，对吧？决策以后进行行动啊，一二三四五，然后最终完成这样的一个效果啊，其实就非常非常的简单了。所以有了 agent 呢以后呢，大家呢？现在我们可以看到有很多，比如说像这种 ai 的 智能客服， 是吧？然后呢，包括像 ai 的 数据分析师，对吧？包括像 ai 的 编程助手，大家现在用的 cursor 啊，然后 cutabody 啊，那等等这些东西其实呢都是我们非常典型的一个 ai agent 的 这样的一个应用啊，这个我们到后面的话呢，通过一些像实战的话呢，我们会来跟大家呢一起来讲一讲， 那么大家再来想一想啊，我前面讲过一个点，我说我说，呃，那么 agent， 如果说我把 agent 看作是一个代理，你可以理解成就是你的吧，就是你这个人哈，你能够拥你能够干的事啊，那 agent 也能干啊，但当然他不能生孩子啊，是吧？ 那么在我们的整个的社会的群体的过程当中，我们就完成一些任务的时候，是不是只要一个人就可以完成所有的任务？大家发现是不是？不是的？
01:05查看AI文稿AI文稿现在 open router 榜已经不能看了啊，上周调用总量二十八点九万亿 token， 然后我们的模型连续四周 就是把前几名给霸干净了啊。其中整个的调用量，中国模型九点二二万亿 token， 美国模型四点九三万亿 token， 那 差距那不是一星半点？更狠的是架构 deepstack v 四 flash 动态口径，一家就占了三点五万亿 token， 然后腾讯的 h y 三在三点一七万亿 token， 一个靠便宜高吞吐， 一个靠 agintic 工作流，因为腾讯的 h y 三是非常非常欠入自己工作流的。不是马维斯吗？对吧，也就是全球开发者，他不光是听中国故事了，他就把生产任务实在的丢给我们这边的 api 啊，我就是指出这个现象，我不是在单纯喊二人，美国 ai 完了，中国 ai 无敌了，这个东西就是一个 k 型分化， 便宜的 token， 他 会执行更大量的任务啊，包括一些工作流的任务或者怎么样？那确实也有贵的 token， 就是 他们那边的币源 token 对 吧？什么五点五啊， x high 啊，还有 oppo 的 四点七啊，马上要出索尼四点八，没毛病，这是两条路线啊， ai 出海的话，我们用便宜的 token 已经完全形成了， 建议大家左右手啊，左手有便宜的几乎无限好用的 token， 右边有怎么样帮你攻坚的，贵的 token 全拿一起，就叫以我为主，为我所用。
6354口罩哥研报60秒
06:59查看AI文稿AI文稿我用国产的 web 编辑工具 trend 配合 deepsea v 四开发了一款量化交易的工具啊，已经有一个月了，然后这款，嗯， 整个流程已经全部都走通了，嗯，然后我们再对系统进行深度的优化。我们，嗯整体的目标呢就是能够符合我们啊 a 股的普通的啊，股民能够啊在实战中去，嗯，把我们量化的思维啊，通过这个工具呢进行规范，然后能够，呃 就是把量化的思想能够融入到我们的交易系统里面去啊，同时呢又能够把我们的啊交易就是过去的一些交易经验呢，能够转化为啊量化里面的一些优秀的因子啊，二发因子，能够实现稳定长期的一个嗯盈利的一个目标吧。 啊，但是呢我要强调一点就是啊量化交易工具是不能啊帮助我们去盈利的，只有啊交易的思想啊，交易的啊思路才能够帮我们去啊，有可能去盈利啊，那我们呢今天呢继续去介绍我们的开发和我们的股票啊。嗯， 然后开发方面的话就是有很多朋友呢，也想自己去开发吗？啊，但是呢有很多人呢，就是啊想用市场里面一些顶尖的一些工具， 嗯，但是对对一些就是我们啊思路比较清晰的一些项目的话啊，不用过分的去追求这个最顶尖的模型啊，开发方面的话我自己也会用可酷的啊，对，那个整个框架底层的框架和这个就是电路比较长的一些数据逻辑和啊一些那个 业呃业务逻辑进行拆分啊，所以我们呢就是啊工具方面的话我们会串配合啊，可乐扣的去使用啊，有时候托管不够的时候，我自己也会用 code body 和 open code 的。 嗯， 然后呢？呃，除了就是大方向上就是底层框架啊，或者数据逻辑我们要比较清晰，还有业务方面我们要很熟悉，就是对股票要非常熟悉以外，还有一个就是要把复杂的问题进行拆解啊，国内的一些工具的话啊， 就是要要把工具变成你的一个助手啊，而不是要靠他去思考，让他去解决一些啊，就是知识型的或者是技术型的东西，但是思路和方法一定要你和 ai 去配合啊，才可以去解决这个实际中的很多问题。嗯， 然后我们整个呃开发的思路呢，我们之前几期在不停的去讲解。呃，然后呢？以后的话我们也会深入的去讲解一些东西。昨天的话我们讲解了一个比较比较搞笑的事情，就是我们说嘛，就是大曾子消失了两天，然后他总觉得就是主力可能针对他，然后我当时说了一句话，就是说， 嗯，股票盈利它在数学上面是有一定的，有一定的数学基础的啊，然后这数学基础呢，昨天我让 ar 整理了一份，然后我当时说嘛，可能啊，不可能说有一个人他在所有的啊方面都都作反吧 啊，但是我我后来，嗯，就是他后想了一下，可能真的是很多散户啊，就是我们普通的股民可能会在呃，这就是在盈利公司啊，每一个都作反啊，才会产生一个就是，嗯，就是长期啊，或者是大面积的亏损的情况。那这个的话， 嗯，到底是怎么回事呢？我想今天再详细的去说一下这个事情，这股票的走势啊，他可能经过一段长时间的一段下跌以后，然后经过漫长的一年啊，甚至有些在底部或者横盘震荡的时候，有，有时候会超过一两年，然后在啊一轮行情起来的时候可能会出现一轮行情，嗯，但是我们仔细的就是去细化这些， 这些这些啊，每一天每一天的走势的时候，我们去复盘一下，就会发现一轮上涨，他是实际上是非常来之不易的啊，可能有很多主力啊在里面可能运作了一两年啊，然后一轮走势啊， 他里面就是每一天你的操作啊都会反应在数学上面，嗯，然后这个数学呢？这个数学的，呃，你的每一笔每一个操作，他在数学上都，嗯代表了一定的数值，然后这些数值的话啊，最终组合起来就是你的啊，经过时间的积累，他就是你的最终的一个盈亏啊。我们量化工具呢， 刚才我昨天我也说了，就是我们量化工具的风风险控制的部分，是以这个啊，这这些数据作为基础的啊，我们对这个风控系统里面直接直接设定好风控，那直接设定好风控以后呢？我们的仓位啊，止损啊，然后还有那个啊，我们的对大盘的，大盘的一些折实啊，嗯， 还有一些交易的频率啊，不能高频交易啊，那这些这些东西的话，就作为我们普通股民的角度去考虑的话来，嗯，直接系统进行自动化的限制， 嗯，然后他在数学上表现的话就是这个，然后昨天呢，我们我还收了一个这个凯利公司的一个标准的一个计算的一个图啊，我们今天呢再来梳理一遍啊，梳理一遍就是啊量化就是数据上面对我们盈利的 呃，影响，然后呢我们量化工具是如何解决这些问题的啊？那一个人如果是啊， 就是普通股民会不会在这上面每一个都做错？我觉得是有可能的啊。首先我们的胜率，胜率的话它是一个啊，就是你你建立了一套交易体系，这套交易体系它它的胜率到底是多少？你要依据于不同的市场，不同的时段去测出来的，这个不能凭感觉，比如说大增资，他，呃，他追龙头这种战法，很多股民都喜欢这种龙头战法。龙头 为什么这个战法呢？就过去的时候，那是因为龙头的话，它 他占据了整个市场里面的资金，所有的资金都盯着他，他在下跌的时候啊，可能别人跌了很多，他不跌，那，那他就是那这种反应在数学上面就是指的是啊，他可能下跌的概率，就是，嗯，他的那个盈亏比是非常非常好的，就是他在上涨的时候可能有百分之二十、三十的上涨，但是他的下跌的时候可能只有百分之五甚至百分之十的， 嗯，亏损。但是前提条件它是一个真的龙头，它不是一个就是杂毛啊，那杂毛的话会跌的时候它跌的是最多的，它涨的时候涨的最少，那这样的话就是就那这个数字是由什么来决定呢？这个数字就是由你啊选有没有选出来一个龙头来决定的，但是这只是 折股，但是问题还有什么呢？就是啊，除了你有没有选出来真正的龙头以外，还有你自己的操作，你的操作上面是有没有按照一个固定的模式能真正的吃到这个上涨和下跌？那这里又涉及到一个风控的一个问题，就是涉及到一个风控的问题啊，就是 那如果你判断错的话，就是一个你判断对的话啊，你吃到这一段涨幅，如果这个股票他不是在市场下跌的时候，他快速的下跌，那这个数据的话，这个数据的话就不是百分之四十五。 那你如何应对这个这种情况呢？那你的交易方式是什么？你的交易方式就决定了你的啊，这个胜率是不是 百分之四十五，就是你有没有固定下来你的交易模式，那这个交易模式里面就涉及到了你的啊止损，止损的是多少？止盈的是多少？什么情况下止盈？什么情况？止损他能不能固化？他固化了，然后这个胜率才能固化。所以结论就是我们要固定我们的交易模式， 然后呢？呃，然后去测算我们的交易模式，真实的啊，他去就是真实的，他的胜率是多少？他的数据是多少啊？在不同的环境下面，不同的时间去测试。那如果我们没有工具的话，我们可以借助我们的历史交易的一个清单，把我们交易的过去所有的个股都把它列下来 啊，来确定一下我们的交易这个方法我们用的是什么方法？这个方法交易的明细啊，他是赚的时候是赚多少，亏的时候平均是亏多少，然后赚了几次，亏了几次，然后算出来他的啊，真实的这个预期值啊、收益的预期值。然后你出现真实的预期值以后，我们就知道随着时间的积累，我们到底整体是盈利还是啊？
26:21查看AI文稿AI文稿一个很恶心但能让你六周吃透大模型的方法，你要做的第一件事就是把网上那些杂乱无章的课程丢掉，网上好多课程居然从机器学习讲起，这都多年前的古董了，要是真的想学，就按这三步走。第一阶段要了解大模型原理和提示词工程，为的就是让你对大模型有个最基础的概念。第二阶段深入剖析 r a g， land， chain。 第三阶段就是把前面两个阶段的知识结 起来，加上微调和私有化部署这两项新技能去做项目实战推荐做医疗场景、智能客服、股票分析、数字人这些内容只要你能按照规划坚持走完，小白也能秒变大神完整学习路线和更多大模型系统学习资源，整理好了，留大模型暴走。好，各位家人们，本期视频我们和大家一起来深入理解 rek。 那么本期视频呢，分为四个部分，首先会给大家介绍什么是 reg， 紧接着呢，我们会介绍 reg 系统中涉及到的几个重要的概念啊，第一个是向量，第二个是迭个。然后呢，我们会介绍啊， reg 系统中一个重要的软件啊，叫向量数据库。最后呢，我们会， 呃，会带领大家用 python 去构建一个 reg 系统。好，现在我们来认识一下什么是 reg 啊，其实 reg 呢，并不是一个英文单词，它是三个英文单词首字母的拼接，这三个英文单词分别是 retro， augmented， generation。 啊，我把三个说字母提取出来就是 reg 啊，也可以叫 i g。 那 么这三个英文单词翻译成中文呢，就是解锁增强生成，什么意思呢啊？这解锁增强生成啊，其实是一种解决方案，它并不是一种具体的技术，那是一个方案，这个方案呢是用来， 呃，消除这个，这个方案是用来消除这个大模型的幻觉的，那么这个方案主要是干两件事情，第一件事情就是他会先从资料库中去解锁相关的内容，那我把这个内容解锁出来之后呢啊，再基于相关的内容来生成这个答案。 那么现在我们从这两句话中啊，各提取一个关键关键词啊，那么第一句话提取的关键词呢是解锁，那么第二个呢是生成 啊，因为解锁时候的内容他有助这个大模型去生成这个答案，所以我们将解锁增强生成。那么接下来呢，我们就以啊一个智能客服这样的一个案例为例哈，来跟大家介绍一下这个 rek 的 工作流程是什么样子的。那我们需要构建一个智能客服，首先得有一个大模型， 大模型也可以是轻微，也可以是 deepsea 啊，多行啊，我们现在选择 deepsea。 好， 那我们使用这个 deepsea 呢，构建出了一个智能客服，那么这客服上线之后呢，用户就会来使用啊，假设用户问了这么一个问题，你们产品的保修期是多长？ 那么这个问题呢？智能客服说到这个问题之后，他会把这个问题丢给这个大魔仙啊，由大魔仙来生成这个答案，这个时候大魔仙给出了这么一个答案叫终身保修。那么这个答案正不正确呢？不好意思，这个答案是错的，因为我们的产品的保修期啊，是十二个月，不是终身保修。 那既然不是终身保修啊，那大模型为什么要这样回答呢？啊？因为大模型回答这个问题的时候啊，啊，它其实根据自己过去所学过的知识来进行回答的。这个大模型也不是我们自己训练的啊，因为我们使用的是 d p c 开源的这个大模型，那么这个大模型是 d p c 训练的， 那么 d p c 训练这个知识，那么 d p c 训它的大模型啊，它所采用的知识呢，是来自于互联网上公开的知识。 这知识呢啊，并不包含我们公司内部的产品的知识，因为我们公司内部的产品手册并没有公开， 所以说这个大 tiffany 的 大模型其实并不具备我们公司内部的产品的知识，那不具备我们公司内部产品知识呢？那他就只能靠这个，靠什么呢？靠这个互联网公开知识是怎么回答这个问题的？那公，那么互联网是公开知识呢？是回答终身保修，所以他就回答了一个终身保修， 那很显然这样的，那很显然这样的答案啊，是会会给我们工作造成很多的困扰，对吧？啊，我们的是十二个月保修，十二个月，然后用户收到答案是终身保修，那么最后啊，过了十二个月之后，用户还来找我们要保修，那肯定就会出问题，对不对？所以很显然这个智能客服啊， 是需要什么？需要完善的，对不对啊？那么怎么去完善呢？啊？那我们可以这么来做啊，怎么来做呢？就是我们可以先把我们的产品手册先存到数据库里面去， 用户问了一个问题呢，就用户啊，那么我们的智能客服说到这个用户的问题之后啊，他并不是直接把这样的一个问题丢给这个大模型，他是先拿这个问题， 他是先拿这个问题到我们的这个数据库里面去进行解锁，把相关的片段啊，把和我们这个产品这个这个问题相关的这些这些片段把它解锁出来，然后呢再和我们的这个问题再拼接到一起啊，然后再去把它丢给我们的大模型， 那么这个时候呢，越大魔仙有了这个产品的相关知识啊，这个时候回答就能回答出一个正确的答案了。上一个月啊， 当然那么刚才我们所介绍这个方案呢，其实就叫 reg 啊， reg， 那 么刚才我们所介绍这个方案呢，就是叫 reg， 当然我刚才所介绍这个流程啊有点粗糙，那么接下来我们来详细的介绍一下啊，首先啊，我们做第一件事呢，就是我们要对产品手册呢啊进行这个流程啊，把存到数据库里面去， 那么怎么存呢？那这里面我们需要用的一个方式叫啊切片，就是我需要把产品手册啊分成一片一片的啊，这个跟切面包是一样的啊， 那为什么要进行封片呢？因为产品手册通常是比较长的啊啊，公司有些公司里面产品手册可能是几万页，对吧？一般的公司里面是几千页，那么我把它分成一片一片的，那么这样子方便我们去进行剪辑，那么 方便的方式是什么样子呢？通常我们方便的方式啊，可以有这么进行方式啊，比如说我们可以根据次数来进行分啊，也就是一百字啊，一片， 也可以根据段落来片，那也可以根据段落进行分片啊，一个段落就是一片，那么通常是用根据段落来进行分片的，那也可以根据这个章节来进行分片啊，一个章节一个一片，那也可以根据我们这个叶来进行分片，到这个叶的话，它的这个力度就比较大了。 那么放完片之后啊，那么接下来我们做件事情就是缩影啊，缩影是缩影是什么意思呢 啊？缩影它主要是做两件事情啊，缩影这里可以把它，大家可以把缩影看成是一个过程啊，它主要做两件事情，第一件事情呢，就是通过一个斑点啊，将片段文本的转化为向量， 因为刚才我们分片之后就是变成一片一片的吗？对不对？假如说我们这个产品说的是纯文本的，那么就是片段文本啊，好，那么第二件事情呢，就是将片段文本和片段向量存入到数据库中啊，就是我们这个就是我们要把这个片段文本，把文本和和向量啊一起存入到数据库里面去， 那么这里面就涉及了几个东西，第一个就是项链啊，然后还有什么引斑点对不对？还有项链数据库啊，那么接下来我们就来进行介绍一下啊，就是说这些东西到底是一个什么样的概念？我们现在看项链啊， 项链是个什么东西呢？项链其实就是从，因为这是项链，是一个数学上的概念啊，有大小有方向的量，称之为项链。那么我项链呢，在我们的代码层面进行表示的话，我们使用一个列表来进行表示， 那么那么这个列表里面的元素的个数啊，就是代表这个项链的这个维度。我们现在给大家看几个视力啊，如果说我们想表示一个一维项链，那么我们可以在这个列表里面放一个数字，那么就是一维项链， 那么二维项链呢，就在这个列表里放两个数字，就是二维项链啊，那么三维项链呢，就是在这个列表里面放三个数字，这三维项链， 那么这个向量啊，我们这个其实的代码层面来表示这个向量，表示向量的这个维度。那如果说啊，我们要在数学上进行描述这个东西呢，先表示出来，怎么去表示呢？因为从数学上表示的话更直观一些啊，知道它代表什么样的含义啊？好，那么现在我们用这个数学上的坐标来表示这个一维向量， 刚才我们说过项链是有大小有方向的量，是吧？好，那么首先我们是表示这个方向啊，就要将方向表现出来，那么箭头就是表示那个方向，我们要表示它的方向和它的大小， 那么这个方向就是通过箭头啊，他这个箭头指向这边，指向这边，那么就是呢，那就是表示这个正方向的向量啊，那么这个长度就是表示这个正方向的向量。 好，那么负三呢？我们表示负，我们用一个作，就是我们要用这个坐标来表示负三这个项链，那么它就是指向这个 指向这个方向，然后呢这个长度其实就是表示它的大小。好，那么接下来我们表示一下爱为项链，那么爱为项链呢，其实就跟我平时跟我们小学时候学到的这个坐标，其实是。 好，那么接下来我们该按为向量的表示啊，好，接下来我们该按为向量的表示，我们想要表示该为向量的话，我们就需要有两根轴了，一个是 x 轴，一个是 y 轴啊， 我们现在来看一个项链，爱爱这个项链，那我们想要表示出来怎么表示呢啊？非常简单，我们可以把爱爱看到是一个点就可以了，看到是这个坐标里面的一个点啊，那么我们要把爱爱这个点把它描出来，很简单啊，就在这个位置，对吧？这是爱，这是爱，那么应该在这个位置啊， 那在这个位置啊，这个位置。好，那么现在我们把这个零点到这个点呢，把它连起来，然后呢？ 啊，需要给他一个方向啊，为什么需要一个方向呢？因为项链是有方向，有大小的量，那么刚才只是把连起来之后，只是把大小给表示出来了，方向还没有表示出来，所以呢，我们给他一个箭头，给他一个向外的箭头， 那么这样我们就把方向和大小都表示出来，那负一和三也是一样的啊，用类似的方式来表示出来就可以了。 那接下来我们看三维线的，那么三维线的和二维线的表示方式呢？差不多啊，啊，只是说三维线呢，需要多一根轴啊，它是有 x 轴，有 y 轴，还有 d 轴， 你要表示方式呢？跟二维线的差不多。好，那么接下来我们要表示四维、五维、六维、七维这样的多维的向怎么来表示呢 啊？表示的方式其实是一样的，但是有一个问题，就是这个，这个这个坐标，我们没有办法，这个坐标轴我们没有办法把它画出来， 因为现，因为现实世界里面啊，就是一个三维的空间啊，我们用这个电脑呢，也只能模拟三维的空间，四维、五维、六维呢？我们都没见过啊，也不知道怎么去表示，对不对啊？虽然无法表示出来，但是不重要啊，为什么？因为他不理解我们去理解这个，理解这个高维的向量， 你通过一维、二维、三维，其实我们就可以理解这个向量到底是个什么概念，对吧？其实就是在一个空间里面啊，给他一个坐标，那么四维，如果四维的向量相当于在四维的空间里面给他一个坐标，五维向量就是在一个五维的空间里面给他一个坐标啊，就这么个意思。 好，那么下面我们介绍这里面啊，接下来我们来介绍 embedded。 embedded 其实是个英文单词，翻译成中文是切入的意思，但是切入呢？翻译成中文之后还是不好理解，对吧？好，嗯，它其实表示的是一个过程，一个动作啊，是把文本转为向量的这么一个过程，这个过程呢，称之为啊切入 啊，英文叫 in bending。 好， 那么这个怎么去切入呢？怎么去转这个项链呢？我们需要使用特定的模型啊，也是用模型啊，但这个模型的参数呢，相对来讲比我们使用大元模型参数要小一些啊，小很多啊，一般来讲就是几倍，几倍的模型，就几十倍参数的模型 啊，那么这里有一个排行榜啊， hongfu 提供的排行榜，大家可以呢去这个榜单上面去挑选自己对应的啊，这种切入的模型我这里呢就不多介绍了。 好，那么接下来我们来介绍下一个非常重要的概念叫向量数据库啊，如果说做过开发的话，那应该接触过关系数据库啊，如果，比如我们要存一些结构化的数据， 比如说这个啊，电子商城的订单数据啊，比如说学生管理系统的学生数据，那么这些数据都是些结构化的数据，我们可以用啊关系数据库把它存下来，但是呢啊，它存不了向量啊，如果说我们要存向量的话，我们就需要从向量数据库， 那么什么叫泄露数据库呢啊？就是用于存储和查询泄露的数据库啊，大家举个例子啊， 比如现在有一句话啊，嗯，这句话呢是一个，呃，是一段，是一个文本啊，这小仙喜欢吃西瓜，我们假如说要把这句话呢存到泄露数据库里面去，怎么存呢？需要先做一件事情啊，就是切入 and bind 啊，我们再回顾一下前面的切入，就是把，就是把文本转成向量啊，什么叫向量啊？就是一个列表，你可以把它理解成一串数字啊，好，那么转成这么一串数字之后呢，接下来我们再把这串数字存到向量数据库里面去，那存进去之后呢啊，还需要存另外一个东西啊，比如这个文本也要存进去啊， 因为如果说你文本不存进去的话，我们就不知道这个项链啊，到底对应着哪一段文本啊，因为项链和文本它不是，不是什么，不是这种一对，它不是什么呢？不是这个 没项链和文本啊，它是不能直接什么反翻译的啊？说，我们能不能通过这个啊？我们是不是可以通过这个？我们是不是可以通过这个项链直接可以反翻译它的文本啊？这个反翻译不了啊，所以呢，我们需要把文本要存进去， 好的，从进去之后就讲这个样子哈，有跟关键词数据库呢存储的方式差不多哈啊，也是这个表头啊，加这个一行一行的数据。 好，那么接下来呢，我们来讲下一概念叫召回。什么叫召回呢？召回就是剪辑的意思哈， 表示我们根据问题去搜索的相关的片段，这个过程就是召回啊，大家可能会感觉好像这个意，意思跟我们平时所接触到的一些很普通的词汇意思差不多哈，但是呢，搞出了一个很 很高端的这么一个词语，对吧？这个呢，其实就是大魔仙的一些这个一些一些比较独特的地方啊。 ok， 好， 举个例子，这个召回到底什么意思啊？比如说现在用户呢有一个问题啊， 这小仙喜欢吃什么？那么现在我们要去找寻这个销量数据库里面跟这个问题相关的一些片段，那么怎么去找呢？我们需要把先把这个样本，就是也要把它转成这个向量 啊，选择项链之后，然后再用这个项链到这个项链数据库里面去进行查询啊，查询跟这个项链相关的一些这个片段啊，比如说假设我们找出了十个片段啊， 好，那么找出来之后呢？大家可能会比较好奇啊，这个过程到底是如何发生的，对吧？这个十个片段到底怎么找出来的啊？我们给大家介绍一下啊，比如说这是我们项链数据库里面的内容啊，那么这个是我的问题，就这个样子啊， 这边是文本，这边是它和对应的向量，那么怎么去找跟它相关的呢？啊？非常简单啊，其实在我们的向量数据库里面会有一个函数啊，这个函数呢大概就叫 simulon， 这计算相似度其实就是用来计算这个相似度的函数啊， 好，那么这个函数是怎么去计算的呢？非常简单啊，我们只需要提供两个参数就可以了，一个参数就是问题的向量，第一个参数是片段向量啊，把这两个参数给到我们的这个函数，就会得到一个结果啊， 那么这里面呢，是有四个片段，那我们计算四次就可以计算出四个值 啊，那么接下来我们进行排序就可以得到啊，这个就可以得到这么一个相似度的，这个这个，这个我们只要进行排序啊，就我们就可以得到一个相似度从高到低的这么一个结果，然后我们直接选啊，选前面几个就可以了，一般来讲选选选前面十个啊， 好，那么大家可能会有一些，大家可能有些同学可能会比较好奇哈，就是说你这个相似度到底是用什么的方式把它算出来的哈，那么计算向量相似度的方式呢？有这么几个哎，一个是鱼弦相似度，一个是欧式距离，一个是叫点击啊， 我们跟大家一一来介绍一下，我们先来看鱼弦相似度啊，好，那么现在这里是两个向量，一个是 a 向量，一个是 b 向量，对吧？那么我们计算这两个向量的相似度呢？怎么去计算呢？我们可以计算这个假角的余弦值 啊，那么这个夹角越大呢，这个销速度越小啊，那个夹角越小呢？销速度越大啊，这就是鱼形销速度啊，好，第二种呢是 o 式距离， o 式距离其实就是计算鸟点之间的距离啊，我们啊在 a 和 b 之间连一条直线， 那我们只需要计算这条线的这个距离就可以了，那么距离越大说明销速度越小，那么距离越小说明销速度越大啊。接下来我们看点击，点击的话，就是从 a 啊到 b 连一条垂线，然后呢，我们去连一条垂线啊， 然后呢我们去计算什么？计算，然后我们去计算啊，计算这一段距离啊，然后乘以什么？乘以这段距离 他们的乘积，那么这个乘积越大说明什么呢？这个乘，因为这个 b 这条，因为 b 这条线的这个长度是固定的啊，如果乘积越大的话，说明这一条线越长，对吧？越长的话说明 a 离 b 靠的越近，是不是？所以他们如果说啊，呃，这个点击越大，说明相似度就越大，越相似点击越小的话，说明相似度越小 啊，这个呢，就是用来计算相相似度的方式和方法。 ok， 好， 接下来我们再回顾一下刚才那个过程啊 啊，先把问题丢给，先把问题进行抽象化，然后再去查询，然后再返回结果。 ok， 好， 那么拿到了这个结果之后呢，接下来我们还做一件事情，就是重新排序啊，为什么呢？重新排序的目的就是为了从这个获得的这十个结果里面啊，找出这个最精确的几个结果啊。 那那么比如说我们召回的结果是十个片段啊，那么这里是十个片段，然后呢？我们在十个片段里面啊，再重新排序啊，得到三个更精确。最精确的三个结果啊，就是得到三个像素度更高的几个结果啊， 就是我们呃重排的话，其实就是得到了三个更精确的结果， ok 啊， 那么这个时候大家可能会有一些奇，有一些奇怪，有一些疑，和，这个时候大家可能会有一些疑惑啊，为什么不直接 我们直接召回的时候，直接直直接返回三个就可以了嘛？对不对？为什么啊？要还要就是为什么要先？就是大家可能会很奇怪啊，就是我们直接在召回的时候直接返回三个就可以了嘛？为什么搞得这么麻烦呢？对吧？啊？我们先返回十个，然后在四十个里面再挑三个啊，这个有点像什么？这个计时器有点像这个， 嗯，好。大家可能会有些奇怪啊，就是我们为什么要进行重排 啊？我们这个照回的时候直接返回三个结果不就可以了吗？为什么还要进行重排一下，还要去挑三个出来？主要是因为什么呢？主要是因为我们这个计算片段啊，与用户问题相似度呢，其实是不一样的。我们先来看这个照回啊，照回呢，它用的是向量相似度啊，然后呢这个 方式和，那么这种方子的特点就是它的成本比较低，然后耗时比较短，然后呢准确率比较低啊， 那么这个呢，主要做一个初步的筛选，然后重排的话呢，其实是用另外一种算法，那么这种算法呢，准确度会更高一些啊， 他特点是成本高，然后耗时长，然后呢周转率比较高，那么他其实做的是一个精挑细选的这么一个过程，这有点像这个公司面试啊，这前面照样就是简历筛选，然后后面重把他直接就是做一个面试啊，就老板亲自来挑人这么一种感，这么一种感觉啊， ok， 好，那么我们挑出了这三条内容之后呢来精挑细选，挑出了三个片段之后啊，我们把这三个片段呢和用户的问题啊，一起，一起，一起拼接在一起，然后呢把丢给这个大拇指 啊，大拇指，大拇指，然后就生成这个我们的想要的这个答案，那么这个时候呢，因为有了这个这个问题相关的这个上限文，所以它得出的结果呢， 就相对来讲，比我们之前啊直接去问大冒险问题呢，还要更准确一些。那这个问题就是所谓 ig 来消除幻觉，就是所谓的 ig 啊，那他为什么能够消除幻觉的这么个原因所在。 好，最后我们再来总结一下哈，总结一下整个 ig 的 这个整体流程啊，那么可以分为两部分，一部分呢可以把它分成两个阶段，一个阶段就是提问前的准备阶段啊，那么我要做的事就是分片，然后呢就是缩影，先是分片，然后就是缩影啊， 那么在起什么叫分片？分片级就是把文档分成一片一片的啊，然后缩影级就是把片段分成一片的，然后再存数据过这么一个过程 啊，这次我们可以把准备这个阶段，就是就是把啊知识的入库啊这么一个过程。好，入完库之后呢，然后接下来是用户提问啊，用户怎么提用用，然后呢继续进入的是用户提问的这个阶段啊，用户提提出一个问题之后呢，然后我们先召回，就是我们要到数据库里面去找寻跟问题相关的一些片段， 好找这些片段之后呢，然后我们进行重排，重排之后啊得到精挑的精精致得到这个啊，得到这个精选的结果啊，然后再把这个结果呢和我们的提问啊拼接成一个上下文，丢给我们的这个大模型，这个是大模型在生成答案，那么这个呢就是 id 的 整个过程。 好，那么我介绍完之后呢，接下来我们来带领大家啊，用 python 去构建一个 i g 系统啊，因为光说不练假把戏啊，啊光有了理论的这个前面我们经过理论的学习， 我们对于 i g 有 了一个大概的认知啊，那么接下来我们通过用 python 去构建一个 i g 系统，来帮助大家彻底的去找我们这个 i g 的 整个的这个流程。好，那么这个呢代码我已经写好了，给大家来看一下我们这个代码哈， 好，现在我们来使用 python 构建 i e g 系统，那么构建的流程就是我们刚才所学习到的流程，主要分为两个阶段，第一个阶段就是我们对于文档啊分片，然后入库，那么第二个阶段呢，就是基于我们的问题来进行查询，然后生成。好，现在呢给大家看我们的代码哈， 这是呢我已经写好的这个 i e g 系统，那么我们跟大家解读一下，那么这个呢就是我用 python 写好的 i e g 系统啊， 那么我这里呢就不代表，那么这里呢我就那么这里呢，我就不代表大家手把手去敲了，因为如果敲的话，呃，太耗时间，我们对于代码进行解读一下啊，那么大家需要这个代码呢，可以私信我们 啊，那么我们这里面使用的文档呢，是我使用 ai 生成的哈，那么这个文档一定是绝对是独一无二的啊，孙悟空大战迪迦奥特曼， 好，那么我们首先做的第一件事情就是对于文档进行分片啊，那么这个代码就是用来分片的啊，它分片的算法也是非常简单，它是基于这个段来进行分片的，也就是一段分为一片。好，那么这里呢展示了分片的这个最终的结 构啊，那么一段呢就是一片，一段是一片。好，那么根据我们之前所学过的这个 啊理论知识啊，就分完片之后，我们要对于每一片的文档把它转成这个向量，即就是所谓的一般点，对不对啊？那么这里呢我们使用一个库啊，叫 sentence transformers， 这个库它可以呢把我们的文档片段转成这个向量， 但是它这里面呢它需要一个模型，那么这里我们使用微软提供的一个啊文本转向量的一个模型哈， 好，那么这里呢有一个测试的内容啊，这个测试内容，我们然后他转成这个项链之后就这个样子啊，多是一些数字啊，数字，那么这个数字很多，也就说维度很高哈， 好，那么呃，那么这里是一个测试的内容啊，那么接下来把我们分片的文档，那我们接下来我们就把我们经过分片之后的一个文档哈，转成这个向量，那这是转成向量之后的结果，然后转成向量之后呢，我们需要把这个内容存到一个叫向量数据库里面的软件里面去，那么这个向量数据库呢？我们使用 curl db 这个数据库 啊，那么这里面我们来存进去也是非常非常简单的哈，好，那么存完之后呢，接下来我们就要进行查询了哈，那么显示我们现在有一个问题，就是迪迦有哪些技能 啊？那么他会根据这些，他会根据这个问题到我们的销量数据库里面进行查询相关的文档啊，好，那么找出的文档就是这个，这四五个文档啊，是这个东西啊，这个啊，那么说明什么？说明这些内容跟我们这个问题是相关的哈， 啊，你看这看，我们这里面都有迪迦，对吧？啊？迪迦， ok， 但是呢，他真正跟我们的这个问他，他是他是真正跟我们的问题哈，但是真正跟我们的问题呢？强相关的，其实是最后，只有最后这，这个，这个这个片段啊，这里面 因为这个 ai 也不能保证啊，因为它就是因为它是相似啊，因为它是根据向量的相似来计算的，所以它不能保证我们查询的内容啊，百分之百是我们所想要的啊，但是呢，能够找到啊，有一部分有一部分是我们想要的，也就足够了。 好，那么现在呢，接下来我们就要把我们的这些查询员的片段啊，来加上我们的问题呢，然后把它去交给我们的大模型啊，那么我们大模型这里面使用的是我们的 daisy 这个大模型啊， ok， 然后我们 然后我们到小 daisy 把我们的内容交给发给我们 daisy， 然后 daisy 返回答案是这样子的啊，啊，这个呢是 daisy 给出的结果啊，那这里面呢加了其他的一些东西进去啊， 啊，有一点添油加醋在里面，对吧？啊，但是我们在文档查出来的东西，但我们但是我们所查询出来的这个技能里面啊，它是包含在里面的，对不对？但是呢不仅仅不仅仅展示了我们查询出来的技能，而且还添油加醋里面还而且还添加了一些内容，对不对啊？是不是 添加了一些内容觉得，所以说我们这个做这个 ic 系统啊，还需有很多的需要完善的空间啊， 也就说我们做这个 i 系统呢，还需还有一些需要完善的空间，也就是说我们做这个 i 系统啊，其实还有一些这个需要完善的空间，也就是说我们这个做 i 系统啊，我们要做一个真正工程化的 i 系统，那么其实还有很多的需要去完善的空间，那么刚才我们所展示的只是只是整个 i i g 的 这个流程 啊，好，那我们现在的内容到这里就全部结束了，那么大家如果是需要我们的源代码呢？可以在评论区给我们留言哈。
19:34查看AI文稿AI文稿假如你从二六年六月开始转型大模型应用开发，多久能上岸？只要你不是三分钟热度，三个月足够让你转成为 ai 领域高手。接下来告诉你一条最快的学习路线，建议收藏，避免以后走弯路。第一阶段，死磕基础， 把 python 基础和简单的 api 调用吃透，千万别小看这些基础，这是和模型打交道的根本。第二阶段，掌握两大框架和 lambendix， 一个用于构建 agent 逻辑框架，另一个用于构建外部数据缩影。 三大技能是指 r a g， agent 模型微调，这三项技能直接对应了当前 ai 岗位的核心需求。最后阶段，实战项目选择常见的大模型应用场景，结合前面所学知识做二到三个项目，如 r a g， 医疗问答 agent、 智能客服、 股票分析，掌握这些足够让你胜任百分之九十以上的 ai 岗位。如果你还不知道从何开始，这里整理了大模型系统学习路线以及配套视频教程。实战项目，留下大模型暴走。 本期视频带大家深度解析 ai 常见术语。首先我们要先打好地基，核心就是 n n， prompt， context 和 memory。 接着我们进入第二章能力扩展，我会重点攻克 r g 和方身 calling， 简单说就是教 ai 怎么查资料，怎么调用外部工具，还有 m c p 协议，这一直是行业的热点。搞懂了它，你的项目瞬间就能连接各种的数据库和 api， 去面试绝对是个加分项。然后来到这个形态进化和流程控制，这也是很多小白最容易晕的地方。 workflow、 skills 和 agent 有 什么区别啊？ long chain 又要怎么用呢？我会把它们都串起来。学完这一章，你就知道怎么把一个只会聊天的 ai 变成一个能真正干活、能执行复杂任务的超级员工。最后，我们要探讨一下 agent 的 终极形态和未来的技术红利在哪？那你在这个快速变化的时代，找 找到那个最值得投入的甜蜜点。好，那我们就正式进入第一章。这一张的标题叫做基石构建。为什么叫基石呢？因为我们要讲的这四个词， liam， i m， prom、 context 和这个 memory 是 整个 ai 应用世界最 底层的概念。后面所有那些听起来很厉害的东西，比如说什么 agent 呀，还有 r g 呀，其实都是在这些基础之上搭起来的。所以我们先把这几个最基础的概念搞明白，后面的内容你就会发现，哎，原来都是这么一回事儿。嗯，那在讲具体的概念之前，我们先快速看一下背景。大家看这张图 是不是有点眼花缭乱？这里面密密麻麻的全是各种大模型的名字， gpt 啦，拉玛呀，还有千问等等。你们不需要去记每一个名字，这张图就告诉我们一件事，从二零一九年到现在二零二六年，大模型的发展速度是爆炸式的。 你看，从最早的 gpt 三，到后来的叉 gpt， 再到现在的 gpt 四、拉玛三，几乎每隔几个月就有新的更强大的模型出现。这种快速的迭代，就是我们今天能讨论所有这些应用的前提。可以说我们正处在一个技术浪潮的中心。好， 背景了解完，我们再看一下这个浪潮的核心 l o m 它到底是个什么东西？我们来聊一下 s i 人民的本质。其实在最开始，语 言模型干的事特别简单，就是文字接龙，你给他床前明月，他就能给你接上光，就这么简单。但是很有意思的事情发生了，当模型的参数规模越来越大，数据越过越多，达到一个临界点之后，他突然就开窍了，能理解指令，能推理了， 甚至能写代码了。这种现象，学术界管它叫涌现，而涌现日后的大模型，我们就称之为 l l m， 也就是大语言模型。虽然它看起来智能，但是我们得清醒地认识到它的本质。大家可以看下面这个图， 我们可以把它想象成一个关系，我们用户是老板， l m 呢，是我们的员工。这个员工啊，他能力很强，但是有个非常核心的限制，他只能够一问一答，不能够主动追问。你给他一个任务，他做完就完了，不会说老板。各地方呢，我不太明白，你能详细再说一下吗？而且 他无论表现的多么聪明，他最底层的工作方式啊，依然是在预测下一个词。这点非常重要，是我们理解后面所有问题的关键。那么 面对这样一个一次性的超级员工，我们该怎么用才能把它的价值最大化呢？这就引出了我们下一个话题。既然 l l m 只能一问一答，那我们作为老板，就得想办法把每一次提问的效率提到最高。那具体又怎么体效呢？首先，我们得学会更好的下达指令。我给 l m 的 每一次提问，专业术语叫做 prompt， 也 也就是提示词一个高。这样的提示词其实可以分为两个部分，一部分呢是 context， 就是 上下文，相当于你给员工布置任务时的背景信息。比如说，我们现在呀，要为一个年轻用户群体做推广，就是 context。 那 另一部分呢，是 instruction， 就是具体的指令。比如，嗯，请根据这个背景写三条广告语，你看他就把背景和指令分清楚， a n m 的 回答质量会高很多。这算是第一个技巧。但很快我们又遇到了新的问题，刚才我们也说了，来完他不能够连续的互动，聊完一句他就失忆了，这在实际使用中非常的不方便，对吧？那怎么办？ 工程师们想出了一个非常巧妙的办法，既然他记不住，那我们就帮他呗，把之前的对话，把之前的对话历史全部打包 在进下一次提问的 context 里面。比如说，你第一轮，你问他北京天气怎么样，他回答了第二轮，你想问，那上海呢？你就得把第一轮的问答也一起发给他，变成第一轮北京天气怎么样？ 回答晴天。第二轮，那上海呢？这样一来， let them。 看到完整的对话历史，他就能够假装自己还记得之前的内容。这一部分被特意保留下来的对话历史，他有一个新的名字，叫做 memory 记忆。所以你看， memory 本质不是什么神秘的技术，它就是一段特殊的，包含了历史对话的一个 context。 甚至为了节省空间，我们还可以让 n l m 自己把涌长的历史对话去总结成几句话，再放进 memory 里面，这就是更进阶的用法了。好了，到这里关于 n l m 是 什么 form？ 怎么用？ context 和 memory 又是怎么回事儿？我们就全部拆解完了。你会发现这些概念其实并不复杂，核心都是为了解决 a l m 自身的一些局限性，接下来我们就可以在这些基石之上进行一些能力的扩展了。这一章我们要讲的这些，其实都是在给 a l m 装手装脚， 让他从一个只会聊天的大脑变成一个能动手办事的员工。什么意思呢？我们先看一个问题， l m 有 个特别致命的短板，就是他不上网，你问他今天北京天气怎么样，或者昨天苹果公司股价多少，他要么瞎编，要么告诉你我的知识，截止到某年某月某日，为什么？ 因为他训练完就断网了，脑子里装的全都是旧数据。那怎么办呢？很简单，让他去查查的话呢，有两种主流的方式， 一种叫做 search， 就是 搜索，你可以理解成写个小程序，代替人去谷歌或百度搜一下，然后把结果喂给 l m m。 比如说你问最近有什么新发布的手机程序，自动去科技网站抓几条新闻，再让 l m 总结给你听。这个过程呢， nm 它本身没有变，只是多了一个外挂搜索引擎。第二种方法是 r r g 解锁增强生成。听起来很高大上，其实逻辑也是一样的，只不过呢，不是搜全网，而是搜你自己手里的文档或数据库。比如说你们公司的内部的产品手册啦， 还有客服记录以及合同模板等等，你把它们存进向量数据库里，当用户提问时，系统先语义匹配，找到相关的段落，在塞进 prompt 里，给 给这个 a n m。 你 看，不管是 search 还是 r g， 核心思路都是一样的，把外部信息搬进 context 里，让 n n m 基于最新最准的数据回答问题，这对我们实际工作意味着什么？举个例子，如果你是个电商运营，用 r g。 接入商品库和促销的规则， n n m 就 能够实时回答这款衣服打折后多少钱， 库存还有多少，而不是靠记忆瞎猜。不过呢，我们说的这个 search 和 i r z 虽然有用，但是有一个问题就是还得靠人来触发。比如你想查天气，你得先告诉 lan， 你 去查一下天气，然后他说我需要调用天气， a p i， 你 再手动执行，这太麻烦了，对吧？于是有人想了个办法，干脆写一个中间程序，专门负责 t i m 来跑腿。这个程序就叫做 agent 智能体。再看这个流程图，用户不再直接跟 a m 对 话，而是交给我们的 agent。 agent 像是一个管家，他知道什么时候该让 a m 思考，知道什么时候该调用工具，比如说搜索工具、 打数据库的工具，还有发邮件的工具， l m 负责动脑， toos 负责动手，人就负责传话加调度。早期的一些 agent， 可能就是多加了几行 prompt 而已，后来慢慢发展成独立的程序模块。那本质是什么呢？就是一个自动化的协调器，它减少了人类反复干预的次数，让整个流程更加顺畅。想象一下， 只需要说一句，帮我订一张明天飞上海的机票， agent 就 能自动调用航班查询笔架、支付接口，最后把确认单发给你，全程都不需要你插手，这就是 agent 的 价值。好了， 现在有了 agent， 也有了好多工具，但新问题又来了，大家沟通容易乱套啊。这里其实有两个不同层面的问题，需要两个不同的解决方案，它们是方声、 calling 和 mcp， 大家千万不要把它们混为一谈。首先看左边方神拷领函数调用，这是大模型自身的一种能力，你想啊，模型是个大脑，光想没用得，能够把想法变成程序能听懂的指令。方神拷领就是规定 l m 必须按照特定的格式输出， 通常呢是 jackson。 这就有点像是前后端约定接口文档一样，前端不能随便传数据，后端也不能随意返回格式。方神拷领就是 l m 和 a j 之间的 api 器约，解决的是沟通混乱的问题。但是 每接一个新工具，比如你要查数据库，要读文件，工程师都得专门写一堆代码去适配，特别麻烦，而且工具之间数据不通。这时候右边的 m c p 就 起作用了。 m c p 全称是模型上下文协议， 不是模型的能力，它是一个通用的连接协议，你可以把它想象成 ai 界的 usb 接口。它定义了两个核心操作，第一个是托尔斯，告诉 agent 我 现在有哪些工具可以给你用。然后第二个呢，是托尔斯 call， agent 说我要调用那个叫做 getweather 的 工具，嗯，参数是北京，那托尔斯就可以执行并且返回结果。有了 mcp， 只要工具的开发商遵循这个协议，做一个。嗯， mc server， 任何支持 mcp 的 模型或应用都能够直接插上，用不用重复开发？ 更重要的是， m c p 还能够传递上下文信息，比如说把用户之前的对话历史、当前的任务背景一起传给工具，让工具做出更智能的响应。所以啊， m c p 解决的是工具藕合的问题，让工具变得可插拔、可扩展、 可空想。所以呢，方胜拎是 a m 对 agent 说的标准口令，确保意图不被误解。那 m c p 是 agent 对 兔子发的标准公单， 确保工具能被统一调度，两者配合，才能让整个系统从各自为战变成协同作战。我们前面讲的这些都不是为了炫技，而是为了让 ai 真正落地，变成我们能用的生产力工具。 ok， 我 们解决了 ai 能干活的问题。 接下来第三章，我们会讲到交互形式的演变， long chain， workflow、 skills， 还有 sub agent。 不要被这些词给吓到， 其实它们都是为了解决一个共同问题，当任务变得复杂的时候，如何让它干得稳、管得住？先看上面这几个图标，左边是命令行 c i l i， 中间是编程工具 id， 右边是现在流行的通用的桌面助手。我们可以明显地感受到， ai 的 外表越来越好看，入口呢，也越来越低。以前你得会敲代码才能够用，现在点个图标说句话就能搞定。像 call、 code 尔巧巧、 minus 这些产品，底层架构其实都差不多，但用户体验天差地别。但是无论这个界面有多漂亮， 他们都有一个统一的致命缺点，面对复杂的长流程的时候，极其的不稳定。举例子，比如说，你想让他把一份英文的 pdf 翻译成中文，再转成 markdown 存起来，这听起来简单， 但中间涉及提取、翻译、格式化、保存几个步骤。如果全靠 agent 自己发挥，他可能第一步就选错工具，或者是翻译一半忘了格式要求。最要命的是，他每做一次都要重新推理整个流程，非常的浪费， tock 成本很高，这里有个很关键的洞察。其实呢，提取 pdf 和保存 markdown 这两步啊，完全是确定性的，根本就不需要 ai 插手，写几个固定的脚本就能搞定，又快又稳。只有中间这个翻译的这个环节需要 ai 的 智能。所以呢，我们的思路应该是，该固定的固定， 该智能的智能，别让 ai 去干那些他不擅长也没有必要干的脏活累活。具体怎么做呢？这就引出了流程固化的三个眼镜阶段。为了避免 a 制的每次都自由发挥，人们尝试了三种办法。第一种，纯代码，这是最彻底的方案，直接把整个流程写成代码，完全不让中间智能体插手。 优点是最稳定，缺点是没有灵活性，改了需求就要改代码。第二种是朗颤，这是一个专门为程序员设计的框架，他把 prompt 记忆工具都封装成了组建，你可以像搭乐高一样， 用代码把它们串起来，这可比纯手写代码方便多了，但是呢，还是得懂编程。那第三种， workflow 工作流，这是照顾非程序员发明的一个第一代码方式，你在界面上拖拖拽拽连连线就能把流程画出来，门槛极低，跌误人员也能用。听起来很完美，对吧？但是这里有个新的瓶颈， 就是排列组合的爆炸。你想，如果输入格式有这三种输出呢？又有这三种，你得画多少个工作流？三乘三等于九个，如果再加几个选项，比如说是否压缩，是否加水印， 那组合数直接爆炸，为所有可能的排列组合去画工作流，既不现实，维护起来也是噩梦。而且啊，如果你在代码里面写一堆的 excel， 来判断用户想要哪一种流程，又会破坏那一种，我说一句话，你就懂得一个无缝的体验。所以呢，我们需要一种更聪明的方式，既能附用能力，又不需要预设所有的流程。这就是我们要讲的最近非常非常火的概念， skills 技能 use， 它是一种标准化的能力封装单元。大家看这个图，当用户下达一个执行任务的 指令的时候，系统不是让 a 阵从零开始响，而是先去加载一个对应的 skill 点 md 文件夹，这个文件夹里面有什么呢？在下面这个代码块必须有一个 skill 点 md， 这里面写着这个技能的核心元数据，它是干嘛的？需要什么输入？ 产出什么？有哪些流程限制？这就好比给 agent 发了一本操作手册，还可以有 script， 放一些可执行的 python 或者是 bash 脚本，比如说刚才说的提取 pdf 这种确定性的操作就放在这里。还有呢， references 和 assets， 放参考文档、模板、 图片等静态资源， agent 在 执行的时候可以随时查看。这样的好处是什么呢？好处就是不管是谁开发的这个 skills， 只要符合这个结构， agent 都能看懂，能调用。通过 skill 点 m d， 我 们可以告诉 agent， 在 这个任务里，你只能做这三件事，别的千万别乱碰。而且呢， skills 是 很灵活可复用的，今天做翻译用这个 skill， 明天做总结，还用这个 skill， 不 用重复开发。简单来说， skill 就是 把确定的流程和必要的约束打包成一个插件， agent 拿到任务之后，先插上对应的插件，然后在插件划定的圈子里面发挥智能，这就实现了灵活性和可控性的一个完美平衡。不过，即使有了 scale， 当任务特别大、特别复杂的时候，会出现一个上下文爆炸的问题。大家看左边的图，如果所有事情，比如说写代码、修 bug、 查资料、做分析，都塞进主 a 阵的一个上下文窗口里，很快就会挤爆模型，记不住前面的信息，注意力分散， 甚至会把不同任务的线索搞混。怎么解呢？当然是分而治之，引入 sub agent 子智能体，把大任务拆解成小任务，每一个小任务都交给一个独立的 sub agent 去处理。比如说主 agent 负责统计，他说这个项目需要代码审查、调试， 然后呢，还需要数据分析和网页的调研，然后他召唤出这四个子智能体，每个子智能体都有自己独立的 sub agent contacts 子上下文。 sub agent 的 本质是什么呢？注意，它并不是创造了四个新的大脑，它仅仅是做了一个上下文的分区，就像是你在浏览器打开了四个标签页，每个标签页跑不同的网页，互不干扰，关掉一个，其他的还在。这样做的核心目的只有一个， 那就是确保子智能体它的上下文不会污染主智能体，实现信息隔离，调试时的报错日制，不会干扰写代码的思路，调研时的海量网页内容，它不会挤占核心任务的内存，这样一来，无论任务多么复杂， 系统都能保持清晰稳定且高效。好，那我们第三章的核心思想就是不要试图用一个超级大脑解决所有问题，而是要构建一个分工明确、各司其职的一个协助系统。最后我们就来拨开所有技术外壳，回答两个终极问题， agent 到底是什么？ 以及它最终会变成什么样？先看这一张终极 pk 表，左边这个红色箭头很重要，从上到下是从刚性稳定到柔性灵活的光谱。首先，纯代码在最上面，它是完全写死，固定逻辑 步都不能错。优点呢是最稳定，缺点是毫无灵活性，改一个需求就得重写。然后呢是 workflow， 通过拖拽格式化，边看流程，业务人员也能够上手。但是他有一个致命伤，一旦遇到如果用户要 a 格式就走这一条路， 要 b 格式就走这一条路的这种分支流程图就会变得像蜘蛛网一样乱。未来他可能会被封装成基础的能力包， 逐渐被边缘化。第三个是 skills， 这是目前最适合普通人的方案，既有预设脚本，保证稳定性，又留给 agent 的 一定的自由发挥的空间。但我认为啊，它只是一个过度产物，因为怎么说呢，它的结构还是太过于 人工设计感，未来会被更直觉的方式取代。那最底下是纯 agent， 完全交给大模型自由发挥。听起来好像很酷，实则最不可控，最费钱，每一次执行都像开盲盒车啃，消耗还巨大。所以你看， 没有完美的方案，只有当前阶段最适合的选择。而我们的目标就是找到那个既稳又灵的甜蜜点。那既然这么多方案都有，更有优劣，我们能不能问自己一个更根本的问题，这些技术的背后到底有没有一个统一的本质？现在我们抛开所有框架、工具和协议， agent 的 本质到底是什么？ 答案可能让你惊讶， agent 其实就是我们和大模型之间的一个提示词的包装器，你看左边，它自动帮你 夹上下文。呃，搜索网络，查知识库、读技能文档，这些都是为给大模型更多的背景，让他别瞎猜。那右边更关键，他把那些确定性的逻辑外包给了传统的程序，比如说，如果文件是 pdf， 就 调 o c r r 引擎，如果是 word， 就 直接解析。像这种 excel， 根本就不需要 ai 参与，交给代码跑得更快更准。所以 ag 呢，并不是一个全能大脑，而是一个聪明的管家，他知道什么时候该自己思考，什么时候该喊程序员写的脚本来帮忙。最后一句点睛之笔， ag 呢，是由不需要智能的部分构成的。什么意思啊？意思是 真正有价值的地方，恰恰是那些不用问大模型的地方。我们用固定程序解决重复劳动，让大模型只专注于他擅长的创造性的部分。最终的目标从来都不是炫技，而是两个朴素的愿望， 就是节省人类时间，降低使用的门槛。那你想想，为什么 a 阵一定会进化？它的驱动力来自哪里？我们来看这个天平，左边是技术优雅性和 token 成本，右边呢，是用户的便利性。结果很明显，便利性碾压一切。过去我们总纠结这个架构够不够优雅， 这次调用花了多少 token。 但现实是，只要用户觉得好用，哪怕背后是一团乱麻的代码，哪怕一天要烧掉几百美元的 token， 市场也会买单。而且呢， tokyo 成本正在快速下降，今天你觉得很贵的推理费用，明天可能就微不足道了。想象一下，当你能在本地的笔记本电脑上跑一个媲美 gpt 四的模型的时候， tokyo 这个词本身都会消失。就像我们现在不会说我的硬盘用了多少 kb 吧，只会说还剩多少 g。 还有一个很重要的规律，叫做 便利性至上定律。我们参考 spring boot 和 uv 的 经历， rain boot 出现之前，甲方开发要配一堆的车命，同样的，在 uv 出现之前，拍洒虚拟环境的管理让人头秃。它们都不是技术上最先进的，但都是最容易用的。所以啊， 任何技术无论多么精妙，只要让用户多点一次鼠标，多记一个命令，就会被淘汰。最后，我们来聊一下那个最近刷屏的名字， open cloud。 它凭什么这么火呢？难道它的技术比 cloud code 更先进吗？其实扒开底层来看， 它和 cloud code 在 技术上几乎没有本质区别。那它的赢在哪呢？赢在它做对了三件事，却彻底改变了用户体验。第一，你不用打开复杂的 id， 直接在各种社交软件里面就能指挥它。第二，它支持定时任务，它能像秘书一样每天早上八点自动发邮箱， 而不是只会被动地问答。第三，格式化 skill 管理，你可以像装手机的阿皮一样，给他一键添加新功能。就是这三点，第一次让普通人觉得，哇，这不是一个冷冰冰的代码工具，而是一个能真正帮我干活的一个智能体。所以 基于 opencloe 成功，我们可以大胆预测 agent 的 终极形态，未来一定会出现打包好的超级 agent， 到时候所有复杂的 m c p 协议配置， sub agent 的 分工调度，通通的都会被隐藏在后台，用户根本不需要知道背后发生了什么， 只需要说一句，帮我安排一下，下周我要出差，剩下的全都交给 agent， agent 会走到这一步，零配置，开箱即用，越用越懂你。这不是科幻，这是正在发生的现实。 ok， 这期视频就到这里，我们下期再见。
00:41查看AI文稿AI文稿一个很恶心但是能让你六周吃透大模型的方法，你要做的第一件事就是把网上那些杂乱无章的课程丢掉。要知道都二零二六年了，还有课程从机器学习讲起，这都多少年的老东西了，真的想学就按我这个学习路线制定一个学习计划，每日打卡。第一阶段，构建认知，别一上来就学技术，而是先建立对大模型的底层认知框架， 吃透大模型原理和提示词工程。第二阶段，深入剖析 r a g agent， 这是 ai 大 模型的两大核心，在工具上可以学 lincoln 和 lincolnax。 第三阶段，搞定模型微调与私有化部署，同时搭配上企业及项目实战才算过关。最后背下这些大场面，是题 offer 直接手到擒来。最后，我也把以上各个阶段所用到的配炮视频素材资源准备好了，留下学习双手奉上。
37马小白说大模型
00:43查看AI文稿AI文稿别总盯着国外 ai 了，国产大模型教程旱爆了！ ai 圈最近有点大破防了，大模型不再是只有博士生才能玩得转的高端局。起因是上海交大张卓胜教授团队在 github 上开源了一套动手学大模型的教程，结果全球技术宅们都炸了！ 讲真，这可能是近几年 ai 圈最有诚意的开源项目了，实战性强到吊打市面上百分之九十九的教程。从模型微调、 a p i 调用到文本水印、多模态应用开发， 每一步都讲的很细。无论你是零基础新手还是进阶开发者，都能跟着一步步实操，轻松掌握大模型核心系统教程全套资料以及大模型学习路线已打包留下一一一双手奉上。这回别再喊没教程了，要卷一起卷一起进步！
55AI视觉开发雷雨
