粉丝1640获赞9960



大家如果要去打品的过程中,你要知道这里的爆款模型和权重情况,我们的权重的模型取决于谁?取决于你的对手。权重一共分为什么?第一个刚才在在那里说了一个叫建微,还有一个是它的什么点击率 和转化率,成交金额在这,然后关注收家率, i p v 是 点击量,你的点击量的多少是不是反馈了你的点击率,所以这些核心的指标它才是判定与你的同叶子类目的数据反馈情况。 所以你在打品的过程中,你肯定是要去关注你的对手他的一个数据情况。我举个例子,如果你的数据和你的对手差距差的很大,你怎么可能能把你的对手给打掉呢? 对于点击率的要求更多的是在什么主图卖点营销,转化率的要求是不是更多的是在款式和销量上,然后你达成他的支付人数的需求,这个支付人数要多少钱?达成 三十天,因为刚才在平台的维度就跟你去说了,要达成他三十天的一个数据反馈情况,所以这个时候你的打品计划和打品模型是能出的来的。 你的打品计划是什么?你的打品计划是三十天内要达成他的支付人数,要做到你链接的点击率和支付转化率不比他差,那这里面当然这个支付转化率还有什么影响,还有价格的影响,就这几个因素嘛。那这个时候 我们对一条链接初期的数据情况的评判标准,如果他的支付转化率和他的点击率达成了我的需求,我只要去解决支付人数就行了,我的权重就会比他高, 我就慢慢的能把他给打上来。所以这个时候你看我们刚才知道了你对手的数据情况,你在这里要去做出你爆款模型的三十天打爆规划,这三十天的打爆规划包括每天的支付人数和 点击和转化的要求,你在整个三十天要做到四千七百单,当然我这个对手直接选择的是类目头部,你在三十天内要做到四千七百单,这四千几百单达成的形式要做到什么?每天递增你的每天的支付人数,规划的目标是能出的来的,所以你的爆款基本上打成的概率基本上是百分之一百。

哈喽,今天我们来分享一下 ai 训练的全过程。模型的训练呢,总体可以分为四个阶段,第一阶段就是数据的清洗,分词,这个阶段的目标就是准备好干净的数据,作为模型训练的初识阅读信息啊。每个阶段有两个小步骤,第一个就是语料清洗,那在这一步里,模型会收集数万亿字节的互联网文本、书籍或者代码等,去除掉垃圾信息和非合格信息,保留高质量的数据内容。 第二步就是确定词表啊,在这一步,模型会使用分词算法对这些高质量的数据进行切分,把它们切分成 token, 也就是我们所说的词源。这些词源呢,可能是一个字,比如我一个词,比如你好一个符号,比如感叹号,那这个过程会利用统计学的算法去统计出最高频出现的词源,然后把这些高频出现的词源再聚合成一个词表,那这个词表就是我们确定好的这个词表。 这两步完成以后,第一阶段也就结束了,下面会进入到第二。第二阶段也是模型的初识化,这个模阶段的目标是完成模型数学模型的一个搭建和初识权重的设置。因为我们我们当下的所有 ai, 它的一个基基础架构都是 transform 架构,所以在第一步的架构搭建里,就是去设置 transform 的 层数和注意力的投数, 那么这步完成之后就会进入第二步。向量化,也是我们常说的编辑,在这一步中,模型会构建一个二维浮点数矩阵,也就是我们所说的编辑 table, 那 在这个矩阵中,每一行都会带都会有一个 token id, 那 这个 token id 就 代表词表中的一个词源, 这个矩阵的行数就是整个词表的一个大小,它的列数呢,就是每一个 token 它的一个向量维度。那这个矩阵里的内容就是一个个的随机的浮点数,比如零点一、九点八、二点四之类的这样的一个随机的数字。这两步完成以后,此时的模型就是一个巨大的充满随机数的数学模型。如果你现在去问他中午吃什么,他只会输出一串乱乱码,毫无意义, 那么之后就会进入到我们的第三阶段,就是预寻年阶段。这个阶段呢,是最消耗算力的阶段,通常会持续数月。他的目标就是通过不断的纠错计算,初步确定 transform 中的数千亿个向量参数,从而使这个向量参数和人类的基础人类逻辑去对齐。那这个阶段呢,会重复做这样的五件事情。第一件就是自监督学习, 监督学习他就类似于要让模型去完成玩性填空,比如有一条数据是我想吃苹果,这时呢,嗯,我们只会输入给我模型,我想吃三个字,把苹果去遮挡住,就让模型预测我想吃什么。那第二步正向传播做的就是这件事,就是要求模型去根据他的出使随机向量,通过一层一层的传方计算输出一个预测值,也就是我想吃什么。呃,那因为此时模型它的 相当参数全部都是随机,无意义的,没有经过训练的,所以模型大概就会输出一个错误的结果,那有可能就是会输出潜水艇,也就是我想吃潜水艇,那这是很明显它是错误的嘛,就会进入到第三步,也就是计算损失。这时模型就会对比潜水艇和正确答案苹果之间的这两者在数学空间中的一个距离,如果这个距离越大,就说明这个错误是越离谱的。 下面就会进入到反向传播这一步。在这一步中,模型就会进行归因追责。为什么没有输出苹果,而是输出了潜水艇?那在这一步,模型会通过计算来确定其内部的上千一个参数里,哪一个参数共现的误差是最大的, 并判断每个参数要如何微调,才能够才能够缩小误差。反向传播这一步其实是最小好算力的,它本质是一个反复的求导过程。下面会进入到第五步,梯度更新。那这一步模型会直开始执行大规模的矩阵乘法,通过计算来去微小的调整其内部几千亿个参数。 比如可以让苹果的向量数字去调整屏幕的向量数字,让他在数学空间里距离食物对应的向量向量数字呃,更加接近,比如它们靠近零点零零一纳米。 那么经过数月的这样的反复的训练,此时的模型会变成一个博学多才的模型。但虽然他博学,但他还是一个野孩子,他可能会胡言乱语,根本听不懂什么是指令。这时呢,我们就要进入到第四阶段,对其和经条,也就是对对模型进行调教。那这一阶段的目标呢?就是通过规矩和奖惩,把模型调教成一个有用、诚实且无害的孩子。 这个阶段通常会重复进行三个步骤,第一步就是有监督微调,在这一步会需要人类专家编写,精心编写大量的指令回答对,比如给出,比如指令是请解释量子力学啊,回答就是量子力学是研究微观粒子什么什么什么,会把这些大量的指令问答对去输入给模型, 模型呢,依旧会采用类似于自监督学习的原理进行训训练,但由于此时的数据质量非常高,且符合对话逻辑,模型就会开始理解什么是提问,什么是回答啊,并形成礼貌客观的一个回答风格。那我们现在通常有很多垂直的模型,也是会在这一步中进行定向的垂直的训练,让这个模型呃更加收敛到一个具体的领域里。 那这一步完成以后就会进入到第二步训练奖励模型,在这一步呢,会让主模型针对问题一次性生成多个不同的回答,去随机的生成, 然后人类标注员去对这些回答进行打分,根据打分的结果去训练出一个裁判模型,这其实是后续的一个自动化训练的基础,下面就会进入到强化学习,也就是我们的自动化训练,这一步也是最关键的对齐步骤。首先我们会给模型一些问题一个问题输入,让模型进行随机的回答,之后,奖励模型会对这个回答进行打分。 那么再之后呢,就会对比当前的这回答的打分和这个模型历史回答的一个平均分去对比这两个分数,再通过低梯度更新,也就是调餐来去修改模型的这个参数。在强化学习这一步的多次重复之后,模型呢,就会在数学上更倾向于走那些能拿高分的逻辑路径。那 这一阶段对齐了,精挑阶段结束之后,模型内的所有的参数基本都全部固定了,也就被训练好了,最后去完成打包和部署工作,模型就可以开始正常运行了。那我们今天的模型训练知识分享到这里,希望能够帮助到你,我们下期见,拜拜。

权重衰减,这是为啥成为了现在训练模型的标配,你们在训练模型的时候有没有遇到这种情况?模型在训练级上啊,效果嘎嘎好啊,落是非常低,但是一放到测试级上,结果直接拉垮。没错,这就是过你河。 在讲权重衰减之前呢,咱先来看这组数据,应该很轻松就能看出来规律吧,正常模型的女和曲线应该是这个样子,而过你和的模型呢,就像一个杠精是吧?他为了你和训练集中的每一个点,包括那些噪声,就不得不让自己的曲线变得极度扭曲。从数学上看,这背后的原因就是因为权重过大。 假设这是咱的模型,很简单,就一个参数,当参数量很大的时候呢,输入端哪怕只有一丁点的差异,输出端都会产生剧烈的波动,看到没有,权重越大,则斜率越大,权重越靠近零呢,则这个斜率越平。 而这种对细节的过度敏感,就是过你和的根源。而权重衰减就是为了缓解这个问题的。他的核心逻辑嘎嘎简单,在模型每次更新参数前,强行给每一个权重减少一点点,使其更接近零。 权重一旦越靠近零,则那一点的斜率就越平坦,从而整体曲线就会越平滑了,这样就不再容易去你和那些啊极端的噪声了。 哎,那怎样让权重每次更新都自动缩减一丢丢呢?很简单,我们追根溯源一波。如果看过我过往关于啊梯度向量法和损失函数这两期视频的小伙伴,应该很熟悉,参数的更新是不是由梯度控制的呀?那我们能不能在原本梯度的方向上强行加上一个往零拉的力呢? 我们现在的目标有两个,一个呢,是为了让模型的预测更准,所以我们希望 loft 越小越好,对不对?第二个呢,只是为了让模型的权重不要太大,也就是这个权重 set 越靠近零,他的泛化性越好。也就是说,如果能同时满足这两个目标, 那么模型的准确性和泛化性是不就能达到一个平衡了?哎,一个极其自然的想法是不就诞生了,我们直接把它俩加在一起是吧?将优化的 loss 变成这样不就行了?让模型去优化一个综合的目标,如果模型每次预测的这个总 loss 越来越小,是不是就意味着这个原始的 loss 加上这个 c 的 权重肯定都比较小? 因为但凡这两里头有一个大,那么总的 loss 都不可能小,对不对?哎,这个其实就在教你们如何去修改自己的损失函数。如果你们看过一些其他的论文,会发现,有些论文的损失函数部分都根据自己的任务目标加了一大堆其他的词,然后最后的优化目标呢,就是一个完整的 loss 了,这就是原理。 现在你们应该知道如何根据你们自己的论文 id 来修改自己的损失函数了吧?好,扯远了。现在我们再来看到这个总的 loss 是 不等于这两相加呀?有没有发现有个问题,就这个权重 set, 但他有正有负模型呢,可能通过作弊的手段,比如说让这个 set 变成富无穷大,从而来刷低这个总的老师,这不就出 bug 了吗?所以我们需要的是这个 set 的 绝对大小, 于是我们现在有两种思路来修改这个公式,第一种呢,就给这个 set 加上一个绝对值,变成这个样子。第二种呢,就是给这个 set 加上一个平方,这样这一项呢,就永远都是正的了。这的第一种思路呢,其实就是 l 一 正值,而第二种思路呢,就是 l 二正值。 目前深度学习中最常用的还是第二种,因为 l 一 其实包含个绝对值嘛,导致这个总损失函数呢,在这个零点无法求导,从而计算起来相对麻烦一点。并且这个 l 二的这个平方向求导,他是个一次函数,计算起来比较丝滑,就把这个二提到前面就可以了,对不对?而 真正复杂一些的模型呢,他一般又有若干个这种权重参数,对吧?所以就把他们的平方都加起来,变成了这个样子,并 还有一个细节,有的任务呢,他可能对模型的精度要求非常高,也就是说需要严管权重,而有的任务呢,可以放宽,所以我们需要一个调节旋钮,可以在这个权重前面呢呈上一个系数啊,那么大 number 大 呢,模型就拼命的压制这个权重是吧?哪怕预测的稍微不准一些,而 number 小 呢,模型就更看重这个预测的精度,并且为了求导之后,能把这个平方向的这个二给他约掉,所以数学上呢,就习惯在这个地方承认一个二分之一。而这里的累加符号呢,也可以换成更常见的泛数符号,这里右下角的九幺二就是表示幺二泛数。 我这里就不对泛述这个概念做出展开的讲解,你只需要知道他跟我刚刚说的这个累加符号最终计算出来的结果是一致的就行。 ok, 这就是加上 l r 政策化的权重衰减损失函数了。现在咱们对这个新损失函数进行求导,模拟一遍这个梯度下降法。 原始的梯度下降法是这个样子的,其中这部分呢,就对损失函数求偏导,那加上权重衰减这么一项后呢?而这部分呢,就相当于对这个整体的总 log 求这个 c 塔参数的一个偏导了。 我们现在来计算一下,这个的偏导是多少啊?是不是就等于这个啊?这个很简单,加法的导数就等于分别计算左右两项的导数嘛,然后这个平方呢,正好又跟前面的二分之一给约掉了, 然后把算出来这个导数呢,又给他带入到这个梯度下降法这个地方来,我们再将这个括号给他拆开啊,把含有这个 set 的 这个部分给他合并一下,是不是就变成了这个公式,也就说每一次梯度更新其实是更新了这个公式。 大家看到前面这一项,假设当前的这个协协的一塔,他是等于零点零一的,然后这个 number 呢,假设为零点六吧,那么前面乘上这个系数也就一减掉,这这两相乘就等于零点九九四, 这意味着什么?意味着是不是每一次季度更新的时候,旧的权重总会先被打一个九十九点四折呀?而这个其实就是权重衰减, 你可以这么理解啊,在没加上这个权重衰减之前呢,这个权重参数是没有界限的,你想优化成多少值他都有可能的,而加上这个权重衰减之后呢,相当于给他限定了一个范围,这个范围呢,会随着参数的更新逐步变小,你如果超过了这个范围,则牢齿就会增高,从而增大你的惩罚。 好了,关于权重衰减的基本推导啊,就到这个地方,然后我们今天成功的在标准的技术下降法当中证明了加上 l r 政策化,这会导致权重衰减,但在当今最常用的像 am 优化器中却不是这么回事,而这也是 amw 诞生的原因, 想看的可以在弹幕或者评论当中扣个一,这还是老生常谈的一句话,如果这期视频真的有帮助的话呢?麻烦长按点赞,一键三连,你的支持是我更新视频的最大动力,咱们下期视频见!

深度神经网络本质其实是对权重参数进行学习。那有人会记得我们之前有说过深度神经网络,它的参数在模型参数里面,除了权重参数以外,还有偏置参数。为什么说它只有权重参数去学习?难道偏置这个参数不去学习吗?呃,其实这是一种简化的表达, 就是权重,它是负责特增加权,特增交互,它是核心,而偏置负责平移、偏移、调整、激活、预制,它是做一个辅助。所以我们简单来说的话,深度神经网络本质是做权重参数的学习,是把那个偏置参数简化掉了的说法, 然后从 c, n, n 到 r n 到 transformer, 它可以看作一个空间到时间再到 temperature 的 一个模型,它本质上是利用向量的组合,向量组合也就是这里面的 max 加 b, 加上非向量的激活函数,也就是这个 f 构成了我们深度神经网络。呃,那向量数和这个深度神经网络的关系是什么呢?可以看到 我们这个要说向量数的话,就要看到向量空间和向量变换了。呃,那从空间到向量空间其实指定了加法和数值, 到多层空间就是加上距离的定义,还有复泛空间是加上泛水的限制,或者是到内基空间是加上内基的定义,其中包括流行图结构。 那内基空间又可分为欧式空间和三维欧式空间也就是三维空间,那以下薄透空间,它是一个高维空间,它是一个函数空间。那 s, f, b, m 知识向量机其实是利用和函数把欧式空间的数据呃,变换到这个高维空间里面去了,那我们了解了这个空间之后, 呃,限行代数它是在限行空间进行限行变换,限行变化也就是平移、缩放、旋转。那我们之前有说到这个神经网络是限行组合加上非限行激活函数,所以说限行代数指的就是在对于限行组合这一个部分进行限行的变化,也就是对 w、 x 加 b 进行限行的变化。


大家好,今天是 ai agent 设计模式系列第八篇, critic 让 agent 用工具验证自己的答案。上期我们讲了 to use, 模型学会了调工具做事,但有个问题没回答,做完之后模型怎么知道自己的答案是对的?你可能会说,零四七不是讲过 reflection 吗? 模型可以反思没错,但 reflection 的 反思本质上还是在同一个知识空间里打转。用语言检查语言幻觉,幻觉的做法不一样, 别想了,拿工具验。我们先看论文, critic 全称是 tool interactive critic king, 论文编号,阿克萨维两千三百零五点一万一千七百三十八二零二三年五月发表,来自清华大学和微软研究院核心思想一句话,让大模型用外部工具验证自己的输出, 而不是靠语言自我纠错。这个流程有四步,大家看屏幕上这四张卡片。第一步, draft 先生成一个出稿答案。 第二步, critic 模型对自己的出稿提出疑点,哪些地方可能错了,哪些需要验证。第三步, toolcheck, 关键步骤,调用外部工具去查证这些疑点,比如用搜索引擎查事实,用计算器验算数字,用代码解释器跑一遍逻辑。第四步, refine, 根据工具返回的证据修正答案。和 reflection 的 核心区别就在第三步, reflection 是 想一想哪里错了, critic 是 查一查哪里错了。一个靠记忆,一个靠证据。有意思的是, entropy 在 building effective agents 里也定义了一个结构相似的模式,叫 evaluator optimizer。 一个大模型负责生成另一个或同一个的下一轮,负责评估循环,直到质量达标。 critic 论文比 evaluator optimizer 多了一个关键约束, 拼功环节必须调用工具取证,不能只靠语言打分。这个约束决定了 critic 能打破语言模型的自洽幻觉,你说对不算工具,说对才算。 回到 cloud code 源码还是我们熟悉的 query loop, 大家看屏幕上的代码 call model, 输出 to use run tools 去执行 to or result, 回流到 messages, 下一轮 call model 就 能看到这些证据,基于证据作修正。所以 critic 在 cloud code 里不是一个独立的函数或模块, 它是奎瑞路普本身的回流闭环。大家看屏幕右边的迭代持续图。拿修 bug 举例,第一轮模型看到用户请求决定先 rate 的 发,要看代码,这是行动。第二轮看到了第三十行有控制针, 决定 edit 修复还是行动。第三轮改完了,决定跑一遍 n p m test 验一下,这就是 critic。 第四轮测试通过,输出纯文本,没有 to 五 use 循环退出,注意代码里没有硬编码。第几轮做什么模型?每一轮看的是 messages 里积累的所有上下文,之前的突尔下划线, result 都在里面,然后自己决定这一轮是做事还是验证 critic 是 从这个循环里涌现出来的行为模式。 这也是为什么我们说 critic 的 印刷强度是强,不需要改架构,不需要加新模块,奎瑞路普天然支持。这里有个有意思的问题,是先有论文还是先有实现?答案是论文先发 codico 的, 后面才出来。但奎瑞路普不是为了实现 critic 写的,它就是最朴素的 agentic loop while to 加 commodel 加 run tous 没有任何专门为验证设计的逻辑, critic 行为是模型自己涌现出来的,模型够强了,自然会在某些轮次发出验证性的 toluse。 换句话说,论文给这种行为起了名字。工程只是提供了一个足够简单的循环, critic 是 模型能力到了之后自然长出来的,这也是印社强度强的真正原因,不是照着论文实现的,而是最基本的路普天然就支持最后收个尾。 四期, reflection 说 a 建 t 要能反思,用语言回顾错误经验。七期, tous 说 a 建 t 要能行动,调用外部工具完成任务。这一期, critic 说把这两个能力组合起来,用工具来反思。 tous 提供了行动能力, reflection 提供了反思意识, critic 把工具变成了反思的证据员,不是想一想,而是验一验。这就是不只会用工具做事,还会用工具检查自己做的对不对。本期内容就到这里了,感觉有所收获的同学可以点赞、收藏加关注,我们下期见!

openai 的 a p i 你 每天都在用对吧?现在一台 macbook 就 能在本地跑,同样的事,一百万上下文,加 agent 一个不少。 anti raise 安提雷兹,意大利人写过 radis, 你 今天打开任何一个网站,背后大概率跑着他十几年前写的几千行 c 代码。现在他又干了一票,把 deepsea v 四 flesh 这个准前沿大模型整个塞进了一台普通 macbook。 怎么做到的呢? 三招。第一,模型里九层内容其实都不重要,他只压着九层关键的部分一动不动。第二,一百万上下文,塞内存肯定爆,他干脆把固态盘当内存用。第三,没有任何外壳框架, c 加 metal 一 行不浪费。那为什么 openai 一 直没告诉你这个?因为大模型这个生意护城河就是几百亿砸出来的 gpu 集群,光 anastropic 一 家纰漏的算力合同就八十亿美金,外加好几个几瓦级数据中心。结果一个意大利程序员周末四千行 c 把这条护城河填了,连 yc 的 老板 gary tan 加里坦看完回了一个表情,跑起来到底什么样? 直接看书。 m 三 max, 一 百二十八 g 内存短上下文,每秒二十六个偷看。 m 三 ultra, 五百一十二 g, 每秒三十六个,塞一万个偷看进去,每秒还能稳定输出二十六个,什么概念呢?你跟 chat gpt 聊天那边一秒蹦三十个字跟它差不多,但你不用每月付二十美金,更不用担心数据被拿去训练。这是最狠的地方不在跑模型, 是 ds 四跑的 deepsea 微四 flash 带完整拷定自动化任务。一百万上下文,整套 agent 全在一台你能搬出门的笔记本里, 过去两年所有人告诉你,跑大模型必须几十亿兆 gpu 集群,准前沿模型只能在大厂手里,你只能掏 api 费。现在你看到了四千航 c, 一 台 mac, 几个聪明的工程取舍这条被神话的护城河,被一个不在大厂的人填了。 模型权重早就开源,推理引擎现在也开源,连 yc 的 老板都站对了。大模型最值钱的护城河正在从谁有算力转向谁有权重,这两样东西 deepsea 都白送了。所以下次再有人跟你说跑大模型必须几十亿造 gpu 集群,那是因为它在卖你 api 这个生意快做不下去了。

最近美国的谷歌公司 deep money 团队在 nature 这个杂志上发表了埃尔法基隆,这是一个被称作 johnny decoder 的 大模型, 同时该模型的权重和代码全部开源。这是一个非常强烈的信号。 一句话先说清楚这个 alpha 基因这个大模型它是给来干嘛的? alpha 基因不是预测蛋白质结构,而是直接预测非编码基因变异会不会直接影响你的疾病的产生。 第一, alpha 基因解决的是基因组里最难的一块, 他们已经很擅长分析 coding region, 但真正让临床头痛的是百分之九十的疾病相关变异发生在非编码区,也就是我们所说的 non coding region。 它们不改变蛋白质序列,却能改变调控表达简洁、持续。埃尔法基隆的目标很明确,从 dna 序列出发,预测一个变异是否会影响基因的调控以及功能。 第二,这次 nature 版本给了两个非常关键的信息。第一个信息就是数据消融实验。 deepmind 明确给出了一个非常重要的结论, unsequence 加上 a t, a c 是 刚需组合的数据来源。同时 hearthstone modification 也是锦上添花的数据更新, 这点非常重要,因为它告诉我们并不是所有的主学数据都是一样值钱的。 第二点就是说非编码变异的真实临床分析。他们分析了 allenfort 在 二零二二年提供的一批非编码变异,在埃尔法基隆这个大模型的支持下, 有可能从不明的意义升级为非常明确的证据信号导致疾病发生。这一步已经非常接近临床的应用转化。 第三点值得真正注意的就是埃尔法基隆这个大模型,它要进入产业化了。 dippo mate 明确说了埃尔法基隆是商业化的版本,已经在早期的测试了。这意味着这并不是一个简单的科研 demo, 而是冲着药企临床、基因检测、精准医学等医学应用上去的。 基于我个人的一个判断,那就是说 alpha g 隆美是一个分水岭式的模式, 它代表着基因组 ai 正在从能不能做预测,走向能不能改变变异的临床解释 下一个阶段的竞争点。不是说模型有多大多强,而是模型你给出来的证据,临床到底敢不敢用,敢不敢作为一个证据来进行疾病的诊断。 一句话总结, i f g 隆美不整整是一个模型,而是非编码变异迈向可解释可决策的第一步。 如果你正在做的是基因组学、精准医疗或者药物的研发,这篇 nature 的 生物医学文章真的值得认真的从头到尾读一读。

老朋友泡泡茶,今天我们来聊一个很多 ai 号者都会遇到的一个问题,面对大模型,五花八门的格式很多,比如说 g g u f g p t q a w q 等,我们到底该怎么选?这节课我们将用最通俗的方式把这些格式的来龙去脉,用途,选择方法一次性讲清楚,告别选择困难症。 首先我们经常用的 g g u f 可能很多都没听过,但是常见的都是 p t 的 b p t 啊, self tensers 等。还有另外一种显卡优化与加速这几种格式,这种用的也更少见。第三是步数与定制, o n n x 这个用的还可以, ten c r t nova。 嗯,然后第四次极简的选型口诀,我们先了解一下这些格式都是什么意思。 g g u f 本地运行的通用标准,简单来说呢,它就是在个人电脑上跑 ai 大 模型的通用标准格式。 上一次我下载模型的时候,我发现我想在本地跑,但是又没有 gpu, 然后,所以说呢, gguf 这种格式呢,就是本地部署大模型的最好的选择, 它的前身呢是 ggml, 这个了解一下就行了。 gg gt 现在统一就是 gguf 这种格式,它能干嘛呢?专属为电脑本地 cpu 和显卡运行的。嗯,模型格式 谁在用呢?我们经常用的这样的一个框架和 lm studio 叉 gpt、 本地客户端等主流工具, 它能直接跑吗?能,它下载之后呢就可以运行,因为我们本地没有 gpu, 我 们大部分电脑都是 cpu 的, 所以说就要选择这样的格式来运行。它的核心特点是体积小,加载速度快, 不崩溃,兼容性打满它的后缀呢,必须得选 g g u f 这种格式的。 嗯,那我们训练大模型的 pose 的 原声格式呢?就是开发者的原声格式呢?它基本上就是,它是什么样子的呢?它理解是模型原始的权重文件,它是大厂训练完直接保存的原声的。呃, 就是原生的模型文件。核心存储的权重可以用来干啥呢?用于二次微调,修改模型的结构、算法创新等深度开发场景。实在用呢,核心是算法工程师。嗯,模型的研究者和开发者。 然后还有一种格式叫啊,就是上面一种格式呢,一般保存的是点, p, t 等。然后。然后另外一种格式呢?我们常在它跟 face 上看到的格式呢,就是 self translucent 安全版本的原生权重 点并那格式的安全升级版本。它是什么呢?它的功能和点并格式呃,完全一致,但是必归呢?安全风险更更安全,更可靠。 它干啥用呢?是用于模型的二尺微调推理部署与开发,是模型训练的标准产物。谁在用呢?在这个 hack and fish 的 开开源社区里面,以及所有的关注模型的安全的开发者 能不能直接跑呢?不能直接双击运行,需要通过代码加载后才能运行。它的核心优势呢,无恶意代码注入风险,加载速度快,且多种语言可以支持。 一句话总结,专为开发者打造的安全版本的原生模型权重,消除安全隐患,安心微调。

揭开一个 ai 视频少有人提及的真相,你输入的那些提示词,在大模型眼里是不平等的。很多画面之所以不听指挥,缺斤少两, 是因为模型内部有着森严的阶级壁垒。拿不到高级算力去额的词,只有一种下场,被系统直接忽略掉。今天咱们看看,像 cds、 二点零这种具备智能体逻辑的系统,拼测画面时,是如何计算权重的。在 ai 的 权重分配中,词汇大致分为四个阶级,批零、绝对霸主、具象名词。比如重型机械臂、 生锈的发动机,这是画面的物理承重墙, ai 必须先确定实体坐标,才会分配后续算能。 t 一, 骨架与空间,物理动词与运镜描述,比如极速坠落、 f v 穿越车视角,它们是持续骨架, 直接决定运动轨迹和空间透视。 t 二,表面软装光影与材质,比如高对比轮廓、光磨砂、金属划痕。只有等物理骨架搭好, ai 才会去费心计算这些表面填图 三,算力炮灰、抽象情绪与连接词,比如史诗般的震撼氛围,这个人很高兴,这些全是无效词,一旦算力冲突,智能体会第一时间抹杀。这些没有视觉锚点的词汇,看懂了吗?想让 ai 彻底听话,就要放弃纯情绪词, 把它翻译成高权重词汇。无焦距的眼神,下垂的双肩,极浅的呼吸,用最客观的物理参数描述内容,这才是驾驭 ai 的 正确逻辑。

那洛拉呢?这个是一个,其实也经常叫洛拉训练,是吧?但是他也是一种格式,是给大模型打补丁, 他不是完整的大模型参数,而是高效微调的补丁。他的本质是一种轻量级的微调技术,训练出一种文本,体积很小,并非一个独立的完整模型。 典型的用户就是我们会用 ai 绘画者、模型定制师以及需要快速定制的垂类开发者和。核心优势是体积小 啊,训练成本低,效果效果显著,不影响模型的推理速度。它的核心用途就是快速教大模型掌握新的发风特定知识的冷门学习。某个专业的人数 能直接运行吗?不能,他必须得跟他的 base 模型加载在一起,就是通过寄生和跨靠在一个基础模型上才能生效。大概就是这个意思,一句话总结就是现成的大模型,那个补丁,他能快速低成本的让他学到新的东西,新的技能的 啊,就是这样的,它严格来说它其实是一种训练方式。好了,我们快速的看一下这几种格式,常见的肯定是就是看你怎么选哈。就是自己电脑拟现部署聊天伺候 cpu 的 呢,是 g g u f 这种格式, 然后有 n 卡项追求数的呢,就是 aw q 大 于 g p d q 大 于 ex l two 这种就是具有 n 卡 量化版本的,就各种格式。第三是显存还小,还想用 n 卡,肯定就是,嗯, exl two 写代码呢?微调呢?二次开发呢,肯定选 self tensing, 嗯,就是 self tensing, 因为它呢是一种安全 格式。然后,嗯,就是经过社区的一个验证的。然后第四五种呢,就是做嵌入式开发的,就跨平台,大家可以理解一下,就是推荐一个神经网络的交换格式 o n x, 它就基本上要把其他格式转成这样, 然后呢高企业的高级性能部署呢?一般选腾讯 r t, 然后呢改风格,专属定制呢?这叫 rol, 其实这种这是一种训练方法,大概就是这几种。 好了,我们今天给大家分享的大模型的格式就到这,我们下期再见,拜拜。