啊,今天的话呢,再给大家再介绍一下大语言模型的这个参数的高效微调,上次昨天吧,我们介绍了这个大语言模型的一些技术的一些细节,特别是大语言模型网络结构的一些技术细节啊, 今天我们主要还是来介绍一下大于模型一些参数的一些高效微调啊,我们看看啊,他,他主要是讲三个东西啊,第一个的话呢,就是我,我们的这些为什么要进行这个模型的微调?我们理论上稍微讲一下目前这个微调的方式和方法啊,有不同方法的这个比较。 最后的话呢,我还补充一个,补充一个,呃,像一个金融的这样一个行业模型啊,别人实践下来他大概的这几个方式的那个一些对比的一些效果吧,这样大家会更加更清楚一些,对这个高效微调的这部分的方式方法会更清楚一点。好,我们就现在就开始好。第一部分,我们为什么要进行这个参数的高效的微 微调啊?为什么我们要进行微调?微调的话,我们知道我们经常会用一些叫提示工程啊,大语言模型他有一个非常好的好处,就是他经过预训练之后啊,他经过了这个预训练之后,他的啊他这种大语言模型就有涌现了这种能力,他通过这个提示工程啊,叫 zero short 或者文 short 或者叫 few shorts 啊,就是少量的商铺的这个提示啊,那么他就可以让这个大模型根据你需要的这个指令啊,然后完成你需要的任务。一般情况是不需要进行所谓的微调的, 他只要通过提示学习,他这个提示学习在本质上,哎,在技术上来讲,他是怎么来实现的呢?我们来看一下啊,给大家稍微介绍一下啊。提示提示工程,我们还是回到那个创世 fomer 的他原来的这个模型上面啊, 如果你需要进行提示工程,它本质上它主要还是在第五和第四这个层,它其实在做一些 invading 的这样一个 操作啊,它会把那个上下文作为一个输入啊,进行 invading 这样一个操作啊,那么它的这个网络结构它本质上是不会去发生变化的啊,它主要是通过这个位置和这个分支的这个编码啊, 去改变这个 transform 里面的这两层的结构,去这个里面的内部结构,他不会做任何的变化,他在输出你要的这个结果啊,他是通过这种方式来预预测的。所以本质上来讲,我们现在的这些提示工程的话呢,他是 只是对创始 former 里面的 indiating 这个层面做了一些浅浅层次的修改啊,所以它能够预测出这个模型的这样的一个需要的这个状态。但是,呃,有些时候你通过这个提示工程它的 你可以看到他的准确率相对来讲还是比较低的,准准确率还是比较低的啊,只有他的这个模型越大,模型越大,他的这个涌现能力就越强,他的提示提示工程提示 学习的这个能力就越越强,他这个模型不需要进行经过微调,就直接拥有了这个放话的这个能力,就是对起你这个任务目标的这个能力啊,他这个就是提示工程,但有些时候他就算他的这个大模型达到了准确度达到了百分之六十,但是这个准确度百分之六十还是不能达到满足我们的要求哎,特别像这种十三 b 的这个模型, 一般提示工程的话只能达到百分之三十几到百分之四十几的这样的一个准准确率,他的准确度不是很高,那我们怎么办呢?那么我们就要去改变啊,我们这个任务的他这个 准确率不是太高,所以我们要去让这个让他去而学习新的样本,然后去改变,去改变他的这些网络结构啊,去改变他这个 transformer 里面的多头的这些深层次的这个网络结构啊,把他的那个权重发生变化啊,把他的一些新的知识点能够沉淀下来,再再输出类似任务的时候,那么他的这 的准准确度就会比较高了啊,他是这样的一个原理啊,高效微调他其实有很多方式的啊,他有几种方式的,像提示学习,他也是属于高效微调的一种方式啊,但是这种方式他只改变浅层次的 inbeding 层的这样的一一个一个数据, 他主要是做这样一件事情,但他深层次网络是不改变的啊,他等于是这样的啊,所以他的相对来讲啊,他的准确性来讲有些时候是比较低的啊。 啊,为什么有些时候我们的那个准确度会比较高呢?因为我们在预训练的这个过程当中,已经把相应的知识点预制在这个模型当中了,所以他的 通过提示学习,简单的学习的话,他都就能很好的完成一些任务啊,如果我们在模型当中相应的这个知识点比较少,那么我们就要通过微调了,微调的话呢,它有几种方法呢?像第一种叫 perfect 车令啊, perfect 车令呢,它主要是改 便每个层做了一个前缀的这样的一个东西啊,做了一个前缀,他可以把一个可训练的张亮,他会加到创世佛门里面的每一层,他他在这个里面的字作为一个前缀层,然后做一个链接,链接到所有的深度的这个网络里面去,他是这么来做的, 所以他他会显著的会改变你这个模型的这样的一个知识点啊,他等于是这样。当然如果你训练的不好,他也有可能会造成一些 知识的一些丢失啊,他的他也会有这样的 profix turning, 他会有这样的一个问题啊。那第二种方案呢?叫 adopt, adopt 就是适配期 适配器的,它本质上来讲的,它它在那个 transformer 的这个层里面,它会添加两个层,它是在每一个层里面,它在每一个 transformer 层里面,它都会增加,前后都会插入了一个 adopt 这个层,它主要是 通过去修改这个的适适适应层的这样的一个权重,他不会去改变这个里里面的这些数据,他主要是改变这样的一个适应层,而 dopt 这个层去 修改你这个网络里面的结构,去把新的知识点注入进去,它是有这样的一种方式的,这种方式的话比前面的这个 profix 特令的话呢,它的安全要更安全一些,它等于是它不会改变原来的这个知识结构啊,它相对来讲它的那个准确度要比前面这种 profix turning 的话呢,要更好一些。那么还有一种方案,因为是基于前面两种方案, adopter 和 pro turning 的这样的一个 方法,他会有些缺陷啊,因为他显著改变了这个网络的这个结构,他因为他把每一层里面这个数据都发生变化了,所以的话呢,他会如果你的训练数据不够的话,他会导致你的整个一个微调不稳定,或者你的这个性能损失过大啊,他会有这样的 一个问题,所以别人就发明了 a lama adop 的这种方案,他只修改这深层次的创世 former 的这样的一个层的这样一个数据,他不会把每个层都改变啊,他只是修改深层次的这种 elk 层的创始佛膜层,而而且它里面呢,还还初始化了一个注意力机制和门门控的这样一个机制啊,让他更容易的收敛。他等于是这样啊,他是这种方案,这种方案的话,目前也是逐步在淘汰啊。现在主流的做法呢是那个 laura 的这个啊, laura 的这个方案,它的特点是什么呢? 他是不会改变原来预训练模型的,他只是去训练一个小模型,把这个小模型当中的这训练完了之后,他把这个大模型当中的某几层,通过通过这个小模型叠加起来,再去反映他这个东西啊,所以的话,他不会去改变这个预训练模型里面原有的这个知识 结构啊,他不会去改变原有的纸结构,只是在这个上面再叠加了一个小模型,所以的话呢,他的这个训练效率会更高,因为他训练是个小模型,他所需要的数据也更少啊,更容易收敛啊,目前罗拉这种模型用的是比较多的啊,而且相对来讲目前他的准确度是最高的啊,我们通过这个实验的这样的一个对比的数据,我们就可以看得出来 他是这样的一个结果啊,第一个我们可以看到他这个是准确度啊,这个是他的损失准确度的话呢,肯定是越高越好啊,他排在最底层的就是提示学习啊,当然他也是最高效的啊, 排在第二的话呢,就是 profix turning 啊, laura adult, 然后是 laura, 然后准确度相对来讲是比较高的话呢,就是就是全量参数的这种确确定的这个过程啊,当然这种的话代价也是比较大的啊,代价也是最大的啊。损失函数的话呢,是反过来的啊,是也是一样的啊,它损失函数的话,损失最小的, 他就是那个全量的这个吹令的这种方式啊,相对比较小的是 rora 的这种方式啊,那么目前 perfect 特令这种方式的话,他的损失其实相对来讲是函数还是比较大的好,这个是越大越越好, 所以的话,这种 profit 车令的这种调餐的这种方式的话,目前是用的人是越来越少了,大部分人目前主要用的是 rora 的这种高效调餐的这种方式啊。好,呃,这个是一个基础的这样的一个原理啊,我再给大家讲一个案例啊,这个案例主要是一个行业的这样的一个金融行业的这样一个模型,叫方案 g p t。 原来我也是介绍过的啊, 大家如果要有兴趣可以看一下我之前的这样的一个视频,大家可以去翻一下啊。这个模型它主要是对标那个布隆伯格的这个 gpt 的这样一个模型,它是都是开源的啊,我们可以看一下它呢,目前发展到第三个版本啊,发展到第三个版本,我们看看它目前的这 这样的一个情况啊,他们是到底是怎么来训练的啊?训练的这个精度是怎么样?他目前发 n g p t 的,他对标的是布隆伯格的这个 g p t 的这个模型啊,那么这个呢?是测试的这些数据机啊。如果,呃,他 这个发音 g p t, 它是用两个模型去训练的,一个呢?是呃,中文的一个模型,就是清华智谱 a i 的叫 chat g l m 二代的这个模型啊,这个杠六 b 的这个模型它去训练。还有一个呢,它是用了一个 lora 二的这个模型来训练,如果它在没有微调的时候,那么 你可以看到这个恰的 g p t 的它的准确度啊,是零点三八啊, aluma two 的这样的准确度是零点三九啊,那么如果它经过了一规条之后啊,呃,这个它是用了那个 alora 的这个模型啊,这个发音 g p t v 三点一,是在恰的 g l m 二代杠六 b 的这个模型上面 进行微调的啊,他进呃,他用那个罗拉的这样的一个模型来训练的啊,模型训练方式来训练,经过训练之后的话呢,他的准确度达到了零点八五,就是百分之八十五啊,所以他这个提升还是非常高的啊,他比布隆伯格 g b t 的这个准确度还要高。 是这样啊,所以啊,我们不要去迷信一些大模型,他等于是啊,如果我们通过我们自己的开源的模型进行私有化的这样的一个微调,他的准确度也是非常高的,他会大幅提升。嗯, 那么如果他进他 qrara 的话呢? rora 的话呢,他是这个 b f 十六位的这样的一个微调啊,如果他是经过八位的微调的话呢,那么你可以看到他的准确度也是蛮高的啊, 这个 qrola 的话呢,它是经过四位的量化,那么它的准确度可能会下降,但是它的训练的时间,我们回头会看啊,它的训练的时间会大幅减少,所需要的内存也会大幅减少啊,它是这样,那么方安 g p t v 三点二,它是基于 a number 二杠七 b 的这个模型上进行微调出来,也是用那个罗拉的这个模型微调出来,他的准确度也是比较高的,达到了零点八五啊,就是百分之八十五的这个准确度,准确度还是非常高的,所以我们可以发现啊,啊,我们通过这个开源的这些小模型啊,当然六 b 的这些模型,七 b 的这些 模型,在大模型里面属于相对来讲还是比较小,你通过 qrola 的这个微调来看的话,它的这个准确度会大幅上升,它的这个准确度啊,会大幅上升,你可以看到,对吧? 原来像这种只有零点幺九的这个准确度,经过了他的微调之后能达到零点八七,当然,呃,他的这个微调是用八块 a 一百的这个 gpu 进行训练的,经过两个小时啊,他的花费啊,这个是他的花费啊,六十五美金,他就这个是他的花费。 如果是用 bit 八个 bit 来训练,他只要一块 a 一百的 gpu, 他花费的是六点四七小, 他花了二十五美金就可以把它给训练完。那么这个是用 qurora 的这样的一个四位量化的一个 来训练的,他需要也是一块 a 一百的 gpu 就可以了。那当然他这个 gpu 要八十 gba 一百的 gpu, 他要花四个多小时他就可以把它训练完,那么他只花了大概十七美金,他就训练就会非常好。哎,他的这个准确度就会非常高了啊,他这个四四整四位量化整形,他就是用 q roar 的这个模型 来训练他是这样的,所以我们可以看到,呃,我们的这个主流的这个大模型的他的这个训练方式不同的,这个 目前主流的这种方式还是基于这个 rora 的这个训练方式,而且它训练出来的准确率也是比较高的,如果你要再要减少这个时间啊,减少这个消耗,你可以用 rora 的这个四四个整形的量化的这种解决方案,叫 q rora 的这个呃算法来 进一步来训练他,虽然会降低他的这个准确度啊,但是他所需要的花费也会更少啊,他是这样的啊,对有些人来讲,他的准确度要求啊,并不是太严格的,一些应用场景上面,他其实是可以用这种 qrow 的这种微调高效微调的方式来做的啊, 这种方式或者是这种八个 bit 的这种 lura 的这个微调的模型来做啊?好,呃,今天我就呃简单的就跟大家来介绍一下这个 参数高效微调的啊,这样的一个解决方案和一些算法,他都是一些大语言模型当中的一些基础啊,或或者是说一些比较偏技术的一些知识点啊,如果大家了解的话,将来对你选择什么样的这个 微调的方式啊?大概需要的这个花费啊,有一个比较形象的和比较,一个一个认知吧,好。
粉丝4.6万获赞35.7万

在自然语言处理的世界里,像 gpt 四这样的大型语言模型已经成为不朽的固定资产。这些模型是在大量的互联网文本上训练出来的,能够生成类似人类的文本并理解复杂的语言环境。然而, 这些大型语言模型并不能立即适用于每一项开箱即用的独特任务。这就是微调概念的由来。什么是微调?微调指的是将一个预训练的模型, 然后在一个特定的任务或感兴趣的领域上进一步训练的过程。微调的目的是使这些模型的广泛语言理解能力适应更具体的任务,或更好的反映特定领域的细微差别。 把玉训练的模型看成是一个有学问但仍是原始的钻石,他有宝贵的资产,但他需要一些调整和打磨,已成为完美适合特定珠宝的模型。微调就是这种调整和抛光过程。 为什么要微调?对一个语言模型进行微调有几个原因特异性。微调使模型能够理解并生成特定领域或背景的语言。例如,医疗人工智能助理需要理解和生成在医疗背景下常见,但在其他地方罕见的语言。 资源。效率。从头开始。训练一个语言模型需要大量的资源。微调使我们能够利用模型已经完成的学习,并使其更有效的满足我们的需求。 道德和公平的关注大型语言模型通常可以反映其训练数据中存在的偏见。微调提供了一个机会,通过控制后续的训练过程和数据来减轻这种偏见。如何微调?现在让我们深入了解一下微调过程的具体内容 定义你的任务并收集数据。为了开始微调,你首先需要定义你希望你的模型擅长的任务,然后为这个任务收集相关的数 数据。这可能包括从客户支持、互动级到医学期刊。这取决于你的任务预处理和格式化。下一步是预处理和格式化你的数据。这可能包括标记化、 清洗以及构造数据已匹配模型的预期输入。训练。随着任务的定义和数据的准备,你已经准备好进行微调。这涉及到在你的数据上运行预先训练好的模型并调整其参数,使其输出与预期输出之间的差异最小。 评估和测试训练结束后,评估你的模型是至关重要的。在未见过的数据上,测试模型有助于确定微调过程的效果如何。记住,要在各种例子上进行测试,以确保你的模型是稳健和通用的。 迭代微调是一个迭代的过程。根据评估结果,你可能需要收集更多的数据。调整你的任务。定义或调整训练过程 成微调的挑战。虽然微调功能很强大,但也不是没有挑战数据可用性。对于一些特定的任务,可能很难获得足够的相关数据来进行微调。过度拟合。如果微调数据过于狭窄,或者微调过程过于激进,模型可能会过度适应特定的任务, 从而降低其概括能力。资源要求。尽管比起从头开始训练,微调的资源密集度较低,但仍然需要大量的计算资源。 微调提供了一种途径,可以将通用的大型语言模型转化为为特定任务或领域量身定做的专门工具。尽管存在挑战,但他在自然语言处理领域的力量和前景是令人振奋的,其潜在应用几乎是无限的。 随着该领域的进步和我们开发出更高效和有效的微调方法,我们可能会看到越来越多的应用程序利用这一过程将大型语言模型的力量带到众多的部门和领域。

微调等大模型方法是展开工作的好方向,尤其算力有限的时候。为了方便大家的研究更有效率,以及获得更多微调大语言模型的创新点灵感,今天给大家分享三个微调大模型的代码库和两篇最新的微调方法的必读论文。这三个代码库传统的三个经典的微调方法,能够让你随时调用,减少工作量。分别是基于特征的方法、 新输出层的方法、更新所有图层的方法。而必读的论文则是关于最新的高效微调方法,对降低硬件要求和算力依赖很有用。

怎么微调一个这样的个这样的一个模型啊?那么什么叫大型的语言模型呢?就是说你这个数啊,超只说一百啊,不过两百亿,那么这样的一个语言的这样的一个预处理模型,就算是大于非常大的这个预处理的这种模型。今天我主要跟大家聊这个东西, 他的基本原理是这样的,当我们这个模型非常大的时候,如果你去微调他其实是非常困难的,因为他这个参数非常多,所以你要为他非常多的语料,那你才能去做这样做这些模型的微调,他得是这样 啊,但是这个一般是当中的话呢,你很多的语料去做微调,这种可能性不是太大的,这个可能性不是太大,那么怎么办呢啊?这个 pg 他们提供的这样的一个微调的方法,叫 r l h f 的这样一个方法,这个方法的话呢,就是人类强化,就是人类这个反馈的这样一个强化学习的这样一个算法,它作为 一个大型的语言模型的一个微调的这样一个算法,他等于是这样。那么哈根 face 之前呢,他就也推了这样的一个开源的这样一个框架,这个叫 c r l 的这样的一个 transformer 的强化学习的这样的一个 开源的框架。那么你可以通过这个框架就可以实现这个对大型语言 transformer 的这些模型的这样的一个微调,他不是为这种语料库来进行微调的,他还是通过这个强化学习来进行微调的。那我我们来看看啊,到底是怎么来微调的?今天我就给大家讲个例子,这个例子是也是在这个项目里面, 他有一个 example 的这样死的这样的一个例子,他这个例子主要是他叫这个叫情感分析的这样的一个一个例子,他这个例子呢主要是讲就如何使用 g p t two 的这样的一个模型,能够产生一些比较积极的一些就是影评,他的意思就就电影的一些评论, 你怎么通过的这种方式,然后通过 t q 的这样的一个模型,自动的能够产生一些比较积极的一个些电影的评论,积极的评论主要是主要是那个一些比较好的,不是一些贬义的,因为我们清楚就是 g p t two 的话,如果你不经过微调的话,它产生的这种评论也有积极的,也有负面的,也有中性的,他可能有三种, 我们怎么通过这种强化学习的这种微调能够让他产生一些比较积极的,或者是中性偏多的这样的一些 影评,他等于这样,好吧,那么我们就来看一看。那么呃,如你要跑这样的一个类,跑这样的一个 zample, 你主要还是要安装 transformer 的这样的一个内裤, 同时你也要安装这 t r l 的这个 transform 的强化学习的这样的一个内裤,它的也是这样,当然这个是 n d b, 这个是一个可选的,它的安装是可选这个主要是监控它的这个训练的这样的一个指标啊, 他可是跟那个呃,他是 board 这样的一个工具有点类似,那么在的话他们会用这个会比较多,那就是这样,好吧,我们就赶紧来看看原代码,原代码的我带大家读的主要是在这,在 notebooks 里面他有一个够情感分析情感的这样的一个强化学习的这样的一个东西。啊,你刻一张图,你可以看到他是怎么来做的啊? 部分的话呢?它其实它不,它的微调的话,还是通过强化学习,就是做 g p d two, 对吧?啊?然后能够产生一些 response, 然后呢?它呢是通过一个 i m d b 的这样的一个语料库啊?然后它有些问问题,通过 g p d two 自动的能产生一些影评的评论, 然后通过这个影片的评论产生的这些内容,他通过查询和产生的这个内容,他会训练一个他们原来有一个 art 的这样一个模型,这个模型会自动地产生你到底是积极的评论还是是负负面的评论?他自动通过 叫情感分析的这样的一个人工智能的一个模型,它自动的能够产生这样的一个 reward, 你到这个称之奖励。强化学习里面一个非常重要的这个叫奖励。呃,如果他的这个回答是比较积极的,那么他的 reward 会高一些,如果他的回答是比较负面的,那么他的 re reward 会变成他的奖励,会变成一个复数。通过这样的一个强化学习的这样的一个过程,他会让他 g p t two, 他的这个经过他的这个强化学习的这个微调之后,他能产生的这些评论基本上都是一些积极的或者是一些中性的这样的一些词 啊,那我们来看看他是怎么来做的?这边会比较简单,这个是他要安装的这样的三个,呃,这个 library transformers, trl, 然后 w, a, m, d, b 装完之后的话要 input 这样的这些内裤啊,这个,呃它也是上面的啊,那就, 呃强化学习法里面的一些参数啊,这个是目的原始的一个 name, 这个是一个,就是绿之绿,他这个 log 的是用这样的一个内裤去做一个学习率和 los 的这样的一个跟踪,他是通过这个来做的。好啊,这个也是一些参数,是 bench size, 他用了十六,他等于是这样好, 那么这一片分担吧,这一部分,但主要是把 i n, d b 的这个 data scent, 就是影屏的一些数据能够把它给装载进来啊,这个,这个是比较简单的啊, 呃 b, 呃 g, 呃 g p t true 的一个大型的这样的一个模型,把它可以装载进来。呃,它这个 微调的这个模型啊,然后呢,它是经过 training 的这样一个这个强化学习的一个算法进行微调的,所以这个是这个就是它的模型,这个是它 refer 的这样的一个模型啊,是它真正后面要用 用的这个模型,这个 refer 模型就是它,这个就是 g p g two 的预处理的原始的模型就是数据,你要调,你要你要微调的这个数据, 它在这个里面它还是要去装载一个 but 分类的这样一个算法。这个算法呢,它主要是做情感分析的,前面我们去讲了,因为它一句句子来,它要去自动去判断它到底是积极的还是负面的,它是通过这个 过程的这个模型去判断的,而不是手势是人为去判断的。当然你也可以去人为的去打分,人为去打分,你的这个工作量会比较大,所以他是通过一个人工智能的一个模型,积极的去判断 gpd 就产生的这样的一些影评,他到底是积极的还是中性的还是负面的?他是通过这个模型 模型来进行这个预测,他的这个 reward 就是他的奖励,他的意思。讲到他这儿就举了一个例子,如果是 bad, 那么他这个负面,他的分就很高,正 面得分就很低,如果他是非常好的 very good, 对吧?那么他的负面得分就很低,正面得分就很高,他等于是这样,他就给你看一下他这个模型,还是说他这个,嗯,这个奖励的这个数值的好,看看这边的差呢?他主要是有 g p g 啊,主要是产生的这样的一些 他产生的内容,他要设置一些参数,什么 top key, 对吧? top p compos, 一些内容啊,也参数啊,那么这个 output 的最差,大的长度,最最小的长度,对,最最大的长度,他这个都在这边定义,定义完了之后呢,他就用这个 g p t two 的这个模型,要产生,要产生这种内容,对, 就产生这样的一些内容,产生这样的一些内容。产生内容完了之后的话呢,他要到要去预测,用前面的这个模型去预测这个 reward, 就是奖励,他要去判断你产生的这些内容,你是积极 还是负面的,如果积极的话呢,你就会比较高,如果是负负面的话呢,他这个 reward 也比较低,他等于是这样啊,就把呃查询和 response 和这个 re reward 放在这个 p p o 的这个 training 的这个里面去训练,他等于是这样,哎,但是其实还是蛮简单,然后就不断的去训练,只他这样的,这样的一个结果,你可以看到是这样的, 然后变的话,这个 reward 的真菌值啊,他的奖励就很会很高,他这个模型就会马上就会能够去往这个奖励高的地方去产生内容,他等于是这样,那么他产生的内容相对来讲都是积极的,他是这么来做大型的类似于 chat g p g 的这种模型的微调,他是通过这种方式来做 好,他现在就去把这个模型训练完了之后,他去检查一下,他要把这个两个模型要把它给产生一些内容,这个就是原始的 referred model, 它产生的内容,这个 model 是他训练之后微调之后的产生的这个内容,那他就自动的产生,他就把它加在反 呃这个这个 response 的这个里面,这个叫之前产生的叫 before, 之后产生的叫 after, 它等于是这样,这个也是一样的,它这个 reward 它也会把它给拉出来,拉出来之后的话呢,它就会变成这样,这个就是查询,查询就是是指他们提供了一些影评, 他又给了一些猝死的值,不让他能够产生反馈,如果没有微调过的,那么他的反馈是这样的,如果微调过之后的他的反馈是这样, 结论肯定是他最后都产生的比较积极或者偏中性的为主了,他这个事情好的,这还是比较简单的,这个就是他他在训练之前他的平均值,对吧?只有零点幺五,训练过之后啊,就上升到这个 一点六八了,就说明经过训练之后的这个 g b t two 的这样的一个模型,产生的这种产生的这种,那个产生的这些内容,它相对来讲会比较积极。那么这样的话呢, 就是通过这种方式来微调 gpd two 的这个模型,然后产生一些积极的评论,他是通过这种方式来做,好吧?好,这段代码就给大家读到这,那么这个代码他主要做什么呢?因为他的微调有两种方式,一种这种方式呢,他比较简单,还有一种方式呢,他可以做一些指令,指令的微调, 指令的微调差异在哪里?就是他的唯一的差异,给大家看一下,前面都是一样的,他的差异在这,他有一些叫 ctrl 的一些指令,有一些叫产生负面的,有一个产生中性的,有一个产生积极的,他是在这些 task 任务之前,他会把这个东西给放进来,他等于是这样, 这个就是一个任务,他是一个负面的一个任务,中性的任务和一个一个一个积极的任务,他会在这个指令里面进行预售,他等于是这样把这个指令也放在这个查询的这个里里面,一起扔到这个 gpt 里面进行微调。他是通过这种方式去做这种方式,他的 好处是在于他的指令可以来定义啊,我要产生一个积极的评论,那么我就打积极的这样的一个任务,如果我要产生负面的,那我只要用这样的一个关键词,我就产生的这个内容就偏负面,他等于是这样,哎,你可以定义啊,那么这样让 gpd 恰恰就会比较聪明,你想产生负面的也行,你想产生积极的也可以,他等于是这样, 那么他就是放在这里面去训练前面的训练过程一样的,他默认都会产生一些比较奖励比较高的,一些比较中性和一些比较积极的内容,他都是这样的,负面的内容他就会产生会比较少,默认情况下这个是他,最后 如果他是比较负面的,那么你的指定是负面的,那么他的这个奖励的得分就会比较低的一些内容会产生。如果是比较积极的,那么他的这个内容相对来讲就是比较正面,如果是中性的,那么他的内容就比较中性,那么他这个模型的话呢,也可以保留下来之后,你这个模型 经过微调过之后,那你就可以再用这个模型能产生你需要的这样的一些影评的一些内容。他这个例子是写的不错的哈,所以给大家一起带大家简单啊,这个的话呢,他用的型叫 t 五模型,其实都是一样的啊, t 五型只是不是 g p t two 的一个模型,是一个 t 五模型的强化学习,那它是一样模型的话呢,它用了一个它的方法,这上次我们也是讲过的 packed 方法的话呢,就是,呃, cpu, 你的 gpu 内存消耗的比较少,你的计算资源比较少的时候,你可以用这 packed 这个方法,那这个里面也简单的会顶你一下, packed 消耗的这个资源会比较少,如果大家有兴趣的话也可以看一下,这个我就不带家看了。那么这个模型的话呢,它是用的 g p g 杠 n e o x 杠两二零 b 的这个模型来进行训练,这个模型之前我们也是介绍过,他们是去去去去 可能去山寨 g p t, 掐着 g p t 背后的那个模型叫 g p t 三的这样的一个模型,在开源里面就是叫 g p t 杠 n e o x 杠二零 b 的这样一个模型,那么他们也可以用一个多个 c p u, 就是多个 g p u 进行同时训练,派的就是主要是做这件事情,如果大家有兴趣也可以看一下,所以这个项目还是很有价值的,很有价值 这个是主要我跟大家介绍的这样的一个例子,因为也有朋友在给我留言说怎么样去微调这个大型的语言的模型,那么大型语言模型一般是用叫指令学习,或者叫强化学习,人类反馈强化学习来进行微调的。今天我给大家介绍的这部分原代码主要是做这部分 啊,跑这个东西他至少是要四十 gb 的 gpu 的内存,他要四十 gb 安快 cpu 至少要四十个 gb 的内存,他才能跑这样一个东西啊,那我今天就跟大家就介绍到这。

提示工程和微调是自然语言处理和机器学习中的两个重要概念,他们通常用于训练和优化文本生成模型, 两者在自然语言处理中扮演不同的角色。那么,什么是提示工程?其实, 提示工程是一种用于定义或设计,用于与文本生成模型进行交互的提示或问题的技巧。这些提示通常是用户提供的文本,用于引导模型生成所需的文本或回答。良好的提示工程可以显著影响模型的性能,使其生成更准确、 有用和符合期望的文本。另外,提示工程可以包括选择适当的问题类型、设计问题的语法和结构、指导模型关注特定方面的信息等。 再来看一下什么是微调。微调则是在已经进行了预训练的模型基础上的进一步训练过程。 在预训练阶段,模型通常在大规模的文本语料库上进行训练,学会了语言的基本结构和知识,而微调是将预训练模型进一步训练,以适应特定任务或应用领域。微调阶段通常包括使用任务相关的数据,例如问题和答案对, 以调整模型的参数,使其适应于特定任务。通过微调可以提高模型在特定任务上的性能,例如问答、翻译、摘要生成等。 在使用文本生成模型时,我们通常需要进行提示工程来构建输入提示,然后再使用微调 来针对特定任务或应用进行模型优化。这种组合可以使模型更好地满足特定需求,提高生成文本的质量和适用性。 提示工程和微调都是用于训练和优化文本生成模型的重要技术,他们各有优缺点,并在不同的场景中具有不同的适用性。下面再来对比下提示工程和微调的优缺点及适用场景。提示工程的优点,首先是控制性强, 通过设计提示,用户可以精确控制模型生成的内容和风格,以满足特定需求。 其次是灵活性好,用户可以根据任务的不同调整提示,以适应各种应用场景。再者,他易于使用,对于非技术人员来说,构建和调整 提示通常比微调更容易。那提示工程的缺点是什么呢?第一是限制性,他依赖于设计良好的提示,但可能无法处理不在提示范围内的问题或任务。 第二是知识要求,他需要用户具有一定的领域知识和文本生成经验来设计有效的提示。 再来看微调,他的优点,首先是适应性强,我们可以通过微调将通用模型调整为特定任务或领域,具有较高的适应性。 其次他支持多任务学习,允许在一个模型中同时处理多个任务,减少资源和模型复杂性的浪费。再者,微调不受输入提示的格式限制, 可以接受自由文本输入。微调的缺点有以下几点,第一是需要大量数据,微调通常需要大量的任务相关数据,这在某些情况下可能难以获取。 第二是计算成本高,相对于提示工程,微调可能需要更多的计算资源和时间。第三是需要技术专业知识。相对于提示工程,微调通常需要更多的技术专业知识来进行模型训练和调整。 在实际应用中,选择提示工程还是微调取决于任务的性质、可用数据资源和知识水平, 通常二者可以结合使用以获得最佳的文本生成性能。

大圆模型微调有哪些?常见的有 prompt by tuning, peterly, laura, q, laura。 它们之间有什么区别呢?这么多的微调方式,其实原理非常简单,而实际的原理只有一个, 一言以必字的话,就是把额外的网络城嵌入到不同的位置上。罗拉微调的原理是在模型输出的最后一步,对模型输出结果进行调整。 打个比方,有一名学徒做了一道水煮肉片,因为学徒学艺不精,能力也有限,这个时候我们就需要找来一位大厨 帮他微调水煮肉片的味道,在学徒快出锅的时候,大师帮他去调整味道,这就叫 nora ant byteling, 是在嵌入层,也就是在输入的时候进行微调,就比如大厨在他制作菜肴之前,对原材料入手,事先进行调整。而 peterning 微调, 他就是在每一层模型输出之后调整一次,这就等于大厨在他每一步制作的时候进行调整。所以说大圆模型微调的原理他非常简单,要么在输入前微调来影响结果,要么在输出 之前微调来影响结果。或者说是在每一层模型衔接的时候来微调影响结果。其本质是没有改变的,就是增加了额外的网络 过程来改变输出结果。好了,最后我们来聊一聊什么叫罗啊?当你听见这个词的时候,有没有觉得比较高大上?如果说你知道老外命名的含义,会颠覆你的认知, nora 的前面 l o r 它是 no rank 是低等次等的意思, a 是 and temptation, 那么 结合起来翻译,它就是大圆模型的低等级的适配。是不是跟你想象的高大上的 laura 四个字母有很大的差别?

伴随着大模型的不断被人关注,那么大模型的训练呢,也变得越来越重要。在大模型的训练里面呢,如何使用好数据呢?则是大模型的关键。我们看到大模型的训练呢,其实是有两个关键的步骤,一个称之为易训练步骤, 一个称之为 s、 f、 t, 也就是我们说的微调,或者叫有监督的训练步骤啊。那这两个步骤呢,对我们大模型带来的价值和意义呢,其实是完全不一样的。首先呢,我们看一下预训练步骤。 训练步骤呢,主要使用一些网络爬取的数据啊,或者说有些咱们手上现成的一些知识储备的数据, 比如说一些书籍啊等等。我们通过大模型的去理解,这些文本,其实是属于异味信息。也就是说,在这里面呢,主要获取的是知识,是我们这种所储备的一些信息。像这种信息呢,其实和传 小模型呢,是没有根本区别的。之前的小模型呢,其实也是通过大量数据的去训练,获取了各类各样的信息和知识。那么有了这些知识储备之后呢,我们将进入到第二个,也就是大模型发生质变的一个关键步骤啊,称之为 s、 f、 t 步骤 啊,我们从轮廓角度来看呢,叫做对话式形态的训练过程。那么我们说的对话形式里面呢,究竟是什么呢? 比如说一问一答,我们提个 promote 的问题,给予一个相应的回答。或者说呢,进行多轮对话啊,你一句我一句这样聊这样的一些数据呢,来进行训练。而这些数据里面呢,所蕴含的信息呢,他将是一个二维的信息, 从我们的基础的知识和常识等等信息开始提升为逻辑。我们当未 一句话的时候,应该在这句话的问题里面给予什么样的混搭啊?这是一个逻辑的问题,他不只是一个知识的回答。所以我们说这种 promote 就是这种一问一答的数据啊。其实他已经开始体验出很重要的二维信息了,也就是逻辑的关系。 如果说我们在进一步演化成多轮对话,你一嘴我一句的这样不断深入,那么他将学到的逻辑呢?将突破上下一轮的对话,而是可以进展到多轮的。这个对话。 就是说你现在这句话的回答,有机会跟你历史上几句话以前的内容呢,都关联起来。而这个地方呢,就可以进一步的让大模型的知识和信息 吉他的逻辑的储备越来越强大。好,上面是我对大模型的一些看法,欢迎大家在评论区讨论留言。

这个 carry 其实对于文兴艺人来说是有点难的,它里面有很多条件,我们需要通过文兴千帆来教会 大模型怎么能在这个特定的应用里面去学会我特定的指令和要求,并且呢还能让他有一定的泛化能力,将来处理类似于这样的 carry 能够既快又好的完成。这个就是我们用来 训练一个大语言模型的高质量的精标数据,它包括两部分,前面呢叫 prompt, 就是提示, 那么后面呢是 response, 是这个结果,我们的 shift 可以通过这个 jason 呢就可以去查询相应的结果。像这样的数据我们标了多少条呢?一百条左右,一百条左右,这样的数据呢,其实就可以 可以很好的教会我们的大于圆模型处理这一类在真正的这个行业应用和实际的这个任务中要处理的问题。打开文心千帆平台,我们看一下怎么把这个数据导入到平台并且进行训练。首先呢我们输入数据级的名称, 然后选择数据类型,创建并导入上传 xl 文件,点击确认,那么这个系统呢就收到了这一份训练的数据, 我们重新问一下这个系统,这个 carry 我们可以看到这个系统已经能够非常好的正确的理解这个 carry, 并且把相应的结果展示给我们了。这个能力其实是 他不仅是说就是完成这个 carry, 他还对于这一类的需求他有一定的泛化能力,如果我们再试更多的 carry 的话,我们也可以看到就是他也可以很好的满足我们的需求。

在一训练阶段呢,磨损者去学习一个通用知识啊,因为它是在海量的无标注的处理进行一个训练。 嗯,微调的话主要是说我拥有的一个这样训练好的训练模型之后,我可能让他更加适配具体的一个下腰肉。 比如说,呃,情感分类,我们可能会让于训练模型更加适配去做这个情感分类任务。同时呢,在微调阶段于训练模型也会学到一些下午任务数据数据集上的一些特点。

今天在回答一个之前视频里面被挑战最大的问题,大语言模型到底能不能装在手机和电脑上?应该可以的,你拥抱的呀?我给出一个信息员,感兴趣的可以自己去核实一下,是 facebook 的妈妈大语言模型 以及斯坦福根据 lama 用那个微调训练出来的 ipaca, 你们可以去自己去核实。第二个的话呢,是给大家看一下我们已经部署在个人电脑上的这个 lama, 也就是传说中的大约模型,它到底是一个什么样的?就是我们通过苹果的那个 me 的机器运行下来,那个 cp 嘛,就是最小的一个模型,然后我们问他问题呗,就是怎么去建造一个网站,对不对?我们开始运行吧,这时候我们去看看,他 开始加入模型,然后开始运行了,然后这就是他开始回答问题嘛,就是在我们这个机器上面运行,但他可能只能回答英文,他回答的能力蛮强的,这个是会比较慢的,你看八十八号就相当于一秒钟只能出十几个。 你稍微再给大家解释一下,他他在就是通过深度神经网络,通过大家们的训练找到里面的规律。我们看一个模型的时候都会有一个参数量斑马的,他出来有四个版本,一个是 tb, 然后另外就是三 b 和三十 b, 还有六十五 b。 刚才你说的那个我们运行的,我们大部分人都是说跑最小的 七 b, 七 b 一个参数它可以表示成比如三十二位浮脸型,还有就是比如说十六位的有一个功能把它又换的到整形的,然后把那个参数压缩吗?其实还是有有论知识的,他从三十二的位浮脸型往下面压,压缩成整形的时候,其实手势的精度并不是特别大,达到了百分之八十的精度,所以说还是够用的。这个时候我相信有人会评论你,听君 一起换,如今一起换,哈哈哈。第二点的话是就是手机上的门运行,我们自己没试,但是确实已经有人试出来了,其实跟我们电脑是一样的,这个是安卓的,他只是有六六 g 或者是更更大的内存吧,实际上你就是这个速度而已啊,只是说按比芯片可能会比这个上面的速度快一点吧,现在的 cpu 和内存情况就能推送出来,肯定可以考到最小的东西,七 b 的肯定可以的。 这件事对于个人来说其实意义没有那么大,但是对于企业来说意义非常大,我知道已经有企业开始用妈妈去做训练了,而且因为露出来之后把这个肺子部位也就是等于都要放开了吗?其实是故意的,其实是故意,而且他是让更多人来训练这个东西,他他作为一个开开远的项目,他一定会跑的,就像当年的林立克斯或者像那个 stepty fusion 一样。对,一定会爬上来的。

我们有些网友在问我啊,如果企业要做大模型呃,使用这些大模型的话,应该选择什么样的 gpu 啊?那就建议大家就是选择这个四零九零啊,因为它的性价比会更高啊。那啊,李博士的这样一篇啊, a 一百和 h 一百太贵,何不用四零九零啊这样一篇文章跟大家来介绍一下 啊。首先先讲结论啊,结论的话呢,就是四零九零的话呢,他是做推理,他的性价比会非常高啊, 如果做大模型的这个预训练的话是不行的,四零九零是不行的啊,那么如果四零九零做一些微调的话,其实勉强也是可以的,勉强也是可以。好,我们来看看啊,他为什么,那么我们看一下,其实一百 a 一百和四零九零,他是在算力上面,他其实相差是不大的,特别四零九零跟 a 一百,他在 p 十六的这个算力上面啊,几乎是差不多, 甚至四零九零比 a 一百还更快一点啊,那么 h 一百的话,跟四零九零的他的那个算力才接近三倍,这是一个,所以的,因为我们在推理过程当中呢,主要是用单模型,模型需要的这个数据量会比较小,所以他主要靠算力就够了,当然呃内存贷款也会比较重要一些,但是问题也不是太大啊, 它比训练的时候要少啊,那么预训练过程当中呢,因为它是要呃几千块的 g、 p、 u 进行联合训练的,所以的话非常看重这个 呃 gpu 跟 gpu 之间的这个通讯贷款啊,他会非常看重啊,这个会成为他的这个瓶颈,所以四零九零跟 a 一百 h 一百对比的话,他啊至少差了十五倍啊,所以的话呢,他的这个通讯啊, 如果有几千块 gpu 同时要进行相互的数据进行交互的时候的,那么做大模型的运行,连 h 一百和 a 一百就更合适了,四零九零就不太行了,那他这个主要的差异在这,好,我们来 看一下啊,这个网站给大家看一下啊,四零九零跟 a 一百的那个对比来看一下,我们看到那个四零九零的话是二点三九啊,他的这个速度,速度还是比较快。 a 一百二点二九,你看的话差别不是太大了, 差别不是太大,但是它的价格要相差十倍啊,甚至十对啊,所以的话它这个性价比是非常高的。 二点三九,他跟这个相差不是太大的,二点九五差不多的,这个要差,所以他的这个性价比,四零九零的性价比就非常高啊,我们测下来他的性价比至少是至少是大概是 五倍以上的这种性价比啊,除非就是说你的这个量非常大啊,你的这个量非常大。好,我们再来看一看啊,我们来讲一下他,他他如果,为什么他四零九零,他这个训练他就不太行啊,我们看一下,如果一个训练拉玛 two 七十 b 等于一个模型,他需要 两千四百块 a 一百的这个 g p u 啊,你看啊,它是需要的 g p u 是非常多的,因为它在呃喇嘛处,它不光有参数啊,它还有数数据啊,还有这个中间的每一层的这样的一个一些一些过程的一些数据和参数,它都要保留和计算,所以它需要大量的这个 g p u 大量的内存, 那么有这么多块 gpu 之后的话,他就要对 gpu 和 gpu 之间进行通讯啊,所以他的贷款就会成为一个比较大的一个成本啊,最大的一个瓶颈啊,所以四零九零的话就,呃,他只有六十四 gb, 跟九百 gb 比起来,他这个差的就太大了啊,如果用四零九零来训练的话,就成通讯就成为了最大的一个问题啊, 同时性性价比就会非常差了,他等于是这样啊,而且这么多块 gpu 的很容易坏啊,因为你 gpu 快速越多的话,他越容易坏,如果当中有一块出现问题的话,他整个模型要中断掉了,他等于是这样啊,好,我们一起来 看看。我们如果要进行这种阿玛 two 这个七百亿参数模型训练的话呢,他们需要做几个事事情啊?这个两千四百块 gpu, 第一个的话呢,他是要做数据的并行,他就是他把一个 几个 t 的这样的一个数据,他要分发到不同的这个 gpu 上面去,然后训练啊,这是叫 data 的并行数据并行啊。第二个并行的话呢,就是他会把因为你这个模型一块的这个一个模型的数据在一块 gpu 里面可能是放不下的啊,所以的话呢,他会按照每一层 把某几层放在不同的这个 g p u 上面进行串联啊,这个叫流水线并行啊,三个的话呢,它主要是叫 tensor 张亮并行,张亮并行的话是我们目前训练的这个 phone 的模型都是多头的啊,多头他每一个头其实他都是可以按照张亮来进行并行训练啊,所以他的整个一个 个呃,像阿拉玛杠七 b 的这种模型的话,会通通过张亮啊,流水线数据三种并行方式啊,从模型内层到模型层之间啊,和训练数据三个维度进行计算空间的划分, 二四两千四百块 gpu 要进行大量的这个协调和通讯计算,他等于是啊,所以的话呢,这个就导致了这个四零九零的话,通讯贷款不够的话,是不能做这方面的训练的,因为他效率会很低,效率会很低啊,这个是关键的一个因素啊。好, 那么我们再呃,再给大家再介绍一个项目啊,这个项目的话呢是 bexitis 啊,他们目前开发的啊,叫潘透斯啊,潘透斯啊,这个项目可以把很多小的四零九零的这个 g p u 啊,组成一个 p to p 的一个网络,然后它可以结合起来啊,把它变成一个网 之后,他们可以把这些网络上面的 gpu 把它连接起来,作为一个微调,或者进行一个就是推理啊,他这个就是这个也是可以的啊,通过这种方式也是可以是这样来做的。那么这个项目的话呢,他据说的话,这个 ptp 网络的话呢, 他可以把单个节点啊,呃,通过这个网络的话可以加速十倍,所以性能会也会不错啊,所以我们也不用担心,如果我们买了一些四零九零的一些 gpu 之后的话呢,他,呃,企业一般做微调的应用场景会比较多啊,那么他其实是可以用一些比较好的一些技术架构啊, 像潘斗士啊这种技术架构可以作为一些 p two b 网络的联合的这样的一个微调的这种方式去做啊。好啊,如果这个项目如果大家也有兴趣的话也可以看一下啊,目前这个项目钉啊也是比较新的啊,七点六个,七千六百个信心啊,这个热度也是比较高的。他这个项目啊,然后也有 相关那些论文啊,我也下载,如果大家有兴趣的话可以去看一下。好啊,今天的话,关于那个企业级的一些不利部署的大模型应该选用什么样的 gpu 啊?这样这个话题就跟大家就交流到这。好,谢谢各位。


受百度运邀请,下午去百度园区呢,现场参加了文星岩的发布会。因为还没有实际体验过木星岩,所以对效果不做评价,只是对百度 c t o。 王老师现场讲到了一些记录细节,做个浅吸。文星岩的模型有六个特点,有三个,和 charge g、 p 是一样的,分别是 s f t 有监督的微调, r、 l、 s、 f 人类反馈的强学习。 prom 提示词。 还有三个特点呢,是文心特有的,分别是知识增强、节奏增强和对话增强。 s、 f t 和 r、 l、 h、 f 都是在模型训练阶段的,我之前短视频也讲过。大圆模型呢,分三步走。第一步,预训练,采用的是自监督学习。第二步, s、 f、 t 给他一些标注好的问题标准答案的 pair, 让模型做 fantu。 第三步, r、 l、 h、 f 先对一个问题给出了多个答案做排序, 用这个排序数据呢去训练一个奖励模型,再用这个奖励模型利用 p p o 强化学习算法,再去进一步优化大于模型。 prom 提示词是在模型使用阶段的,在 prom 里头给出一些范例题目加答案,教会模型做新任务。这里根据视力 多少呢,可以分为 few shot、 one shot, 甚至 zero shot, 也可以统称为 in context learning。 知识增强是百度提出的新概念,是利用知识图谱去减少大约模型一本正经的胡说八道的情况。这里还细分为知识内化和知识外用两个分值。知识内化我理解就是把知识图谱的数据加入到模型与训练阶段的语料里,一起参与训练 啊。这是外用,我理解就是把视频的内容用知识图谱再比对一下,检查有没有错误。解锁增强这个图上说的基于语音理解和匹配的新一代解锁架构。我是理解的意思是,在计算 curry 和 pass 你的相关度的时候呢,也要出示 former 模型,计算一下 tension。 但是解锁增强怎么用于深圳模型没有细讲, 也许就是和牛逼一样,用搜索到结果再做一次组合的生成。对话增强。这个感觉有点错,数了一带而过。这里的记忆机制呢,我理解就是把一个三三零的问题和答案,不断累积一个问题答案,不光看当前的问题的相关度,还要加入之前的问题答案一起计算相关度。这个机制 chargep 应该也有。最后还是希望国产大模型能够给力。

这个 carry 其实对于文兴一言来说是有点难的,它里面有很多条件,我们需要通过文兴千帆来教会 大模型怎么能在这个特定的应用里面去学会我特定的指令和要求,并且呢还能让他有一定的泛化能力,将来处理类似于这样的 carry 能够既快又好的完成。这个就是我们用来 训练一个大语言模型的高质量的精标数据,它包括两部分,前面呢叫 prompt, 就是提示, 那么后面呢是 response, 是这个结果,我们的 shiver 可以通过这个 jason 呢就可以去查询相应的结果。像这样的数据我们标了多少条呢?一百条左右,一百条左右,这样的数据呢,其实就可以 可以很好的教会我们的大于模型处理这一类在真正的这个行业应用和实际的这个任务中要处理的问题。打开文兴千帆平台,我们看一下怎么把这个数据导入到平台并且进行训练。首先呢我们输入数据级的名称, 然后选择数据类型,创建并导入上传 xl 文件,点击确认,那么这个系统呢就收到了这一份训练的数据, 我们重新问一下这个系统,这个 carry 我们可以看到这个系统已经能够非常好的正确的理解这个 carry, 并且把相应的结果展示给我们了。这个能力其实是 他不仅是说就是完成这个 carry, 他还对于这一类的需求他有一定的泛化能力,如果我们再试更多的 carry 话,我们也可以看到就是他也可以很好的满足我们的需求。

我们在使用大模型的时候呢,无论是 charge b t 或者 cloud 二,能够我们对话完整回答问题。这个模型其实经过了很多步骤的,我们把这个步骤呢呃,简单的介绍一下,然后再举一个例子帮助大家理解。 呃,这个呢,是一张来自 angel capacity 讲演讲的图,我直接拿来用了,就这里插一句,之前我分享过这个演讲的视频和 ppt, 呃,强烈建议大家有时间去看一下。嗯,收获会非常大,因为它是 呃, andre 在 microsoft beauty 上的一个演讲,看完之后呢,会对整个大模型有一个框架性和结构性的理解。啊,这个地址呢,我晚点再次分分享到评论区里。 整体上这个模型呢,可以分成三个阶段,叫 pre training, supervised by tuning, 还有 reinforce learning from human feedback 这阶段呢,我们打一个比方,就好像有一个小 孩,然后 pretty 那阶段就像是让小孩去自学,让他看越多的书越好,好书查书,新书旧书不管都去看啊。所以呢,他看完之后,他对事物形成基本的理解,然后这个时候他可能还不知道怎么去用,但是他有了这个基本的理解,可以为下一步找老师做准备了。 那第二部 s f t 阶段呢,就是去找老师的一个过程,就是我们有一个老师精挑细选的一个小孩讲知识,让 一对一的告诉他碰到什么问题该怎么回答,碰到什么问题该怎么回答。因为小孩之前已经有了足够的积累,他只是没有人指导,所以在老师的这样一个指导之下呢,很快能够举一反酸,所以就能够 呃,在一个相对较少的一个训练下,小孩就能够出师了,就能够变成一个融会贯通,形成了一个优秀的普通人。但是这个优秀的普通人变成一个高手啊, 还是这个需要继续调教的,那就叫了 i h f 阶段。最后呢,需要有一个高人对小孩进行进一步的指点,那高人指点呢,一定是很高级的,他就不再像上一步一样 去给小孩一个这个一一的问答了啊,这个而是说不停的让小孩自呃,这个不停的给小孩反馈说你的答案是好还是很好,还是差还是很差,然后小孩呢?让小孩自己去反思, 所以去调呃,小孩呢,根据这样一个高人的反馈,就不断去调整自己,让自己的回答越来越倾向于高人的这个认可,然后最后这个小孩回答的答案就水平就越来越高,最后就出师了。 所以呢,打一个比方的话,这个模型呢,就是分了这三个阶段,那具体的我们来看一下。呃,这呃,这个 从技术上看一下这个他的一个逻辑。所以 pretreat 阶段呢,就像是是整个过程中百分之九十九的计算量发生的一个阶段,他呢是由海量的这个训练的数据 啊,然后来来来去做的,比如说用呃 angela 话讲,就整个 all internet 都喂给他了,然后如果没记错的话呢, g p t 呃,三应该是有零点五个吹零的 tokens, 然后拉玛一是一点四个吹零,拉玛二是两个吹零, 所以这么多头肯是要喂给一个模型就需要花呃,花上千个 gpu, 花几个月的时间,这是为什么?呃,大模型最耗最耗钱,就在这个阶段是最耗钱的。然后第二阶段呢,就到了刚才讲的一个老师教育的阶段了,所以叫老师就要介入了,就人要介入了,那这个呢, 就需要相对较少的一个量,但是需要很高的质量,然后去给这个模型进行一些培训和引导啊。所以呢,就是每一个 prompt 他都要这个都要写的非常高质量,所以对人要求很高的。比如说你这个,你同样一个问题啊,给我写一首关于秋天的诗, 或者给我解释一下计算技术和运作的。然后呢,这个是需要人就要喂给呃机器模型,机器去学习,所以这个阶段呢,就不需要那么多的计算资源,嗯,几天啊就就可以了。然后 这个阶段出来的模型叫做 s f t 的 model, 那稍微补充一下就说,呃,因为这个呃可以看到这个标题叫 g p t assistant, 就是他这个模型呢,就是以这个以以形成,以生成类似于 cha g p t 这样的模型来所举例的啊。所以这 s f t t 啊,在 s f t 阶段呢,就是用这个问答的形式,用 prom to response 这个 pair 来去来去吹你这个模型。但是呃,从广义上来讲呢, s f t 这个阶段呢,可以根据任务的不同来实行不同的方式。比如说啊,可能有的模型是来做呃 machine translation 的,呃,就是机器翻译的,或者是来做 sentiment nasas 这种情感分析的,那它就 s f t 就会有不同的呃不同的实现的方法了。 然后就到了 i l h f 阶段, i l h f 呢,就像是一个刚才讲的这个高人指点的阶段,但是这个高人呢?呃, 不是一个不是人了,就是这个高人本身其实也是被训练出来的,这个高人本身也是一个 model, 叫做 reward model, 所以呢,呃,这个 model 呢,就是,呃,在上之前的 s 三 t 毛豆的基础之上,嗯,然后呢,用 s f t 毛豆生成很多同以同样一个问题,他生成很多很多的问答,嗯,同样个 problem, 生成很多很多的 a, b, c, d, e, 然后呢由人来去评判他来进行一个排序,叫做,呃, a, b, c, d, e, 谁最好? c 最好? d 最好第二,呃,第二可能是 呃 d, 第三可能是 a, 第四可能是 e, 然后做了这样一个 ranking, 做了这样一个排序,然后呢,通过人类这样一个排序, 然后让这个 reward 的 model 学习到说,哦,原来人类是喜欢一二三四五,是喜欢这样的一些东西的,然后这个 reward 猫就会变成了一个刚才我说的那个高人,他就有一个学习的人类的一个判断的标准,所以这个是 reward model 存在的意义,他本身并不能生成问答,他只是判断 pro 的好或者坏。 然后,呃,有了 reward 猫,有了这个高人之后呢,就可以用来去训练这个在 s f t 猫的肌肉肌 进行训练了,因为我们有了 sft model, 有一个好学生啊,有了一个 reward model, 一个高人,然后就像刚才那样讲的一样,然后就让去让这个 reward model 来去监督这个 fsft model, 然后你呃,你生成同样一个 prompt, 你可能是还是生成了很多答案嘛?那我 revere 猫就来判断这个答案好,这个答案坏,这个答案有一可能非常好,那就 revere 猫就会给一些 feedback, 然后让整个模型上生成更高质量的这个方向去做,大概就是这样一个意思。

能给我们简单的解释一下大语言模型的原理,嗯,大模型,大语言模型是我理解是基于呃深度学习的神经网络,然后呢?嗯,他主要是需要有很多的模型参数,然后会通过大量的 啊语料网上的一些资料去进行无监督的学习,然后去训练出一个语言模型,然后这个语言模型的话,根据下游不同的任务还可以去基于比如说企业啊,一些客户 或者是垂直行业的一些特有的铝料去做微调,然后去适配他具体的应用场景的一些能力。对,就这是大语言模型的一个基础的原理,之前了解到就是这一块,不都是他是运训练的模型吗?啊,对,那,那我们怎么给他换出距离运训练的模型?运训练的模型其实就说像 gpt 这种的话,是他已经训练好了, open ai 已经训练好了,嗯,我们给他灌数据的话,相当于是我们可能要做,要不然就做微调,嗯,要不然就是我们基于我们自己的语料,然后去做一个 去向量检索,然后再进行那个上下文提示,这样,这样可以达到一些就是特有的一个知识,可以去灌进去的一个效果。对,了解 叉的 gbt 的出现呢?其实是我可以理解为其实是 ai 发展的一个转折点。嗯,对。那么其实如果跟过去的 ai 相比的话,现在的大语言模型为什么会有这么大的进步呢?嗯, 因为因为以前这个有一点就是以前都叫 ai 嘛。嗯,现在特别强调大语言模型,嗯,其中就是在那个大上面,嗯,就是他的模型更大,参数更多,可能以前是举个例子,可能 以前是几千万或上亿,现在都是几十亿、上百亿的参数,那这个参数的话,有了这么大的模型参数之后,他模型的这个容纳知识的能力就会更强,然后基于这个能力的之后,再用大量的语料去训练之后,他就能够把很多知识的学习进去。 然后当然就说也也知道他对数据的要求是很多的,而且对计算的算力要求也很高,那这 ona 其实也是这么过来的。嗯,有句话叫大力出奇迹, 就是大模型加大数据,再加很多算力,然后最后就把这个模型就做出来了这么这么好的一个效果。所以说主要的原因还是因为他大模型大,数据大,然后算力大,就其实他的这个数据要足够的多吗?对对,是的,最开始的时候我理解,就当时我们知道下经历 出来的时候,其实我们可以说说他是智能客服结合的点,其实是最他的用场景才是最我们说最贴合的。嗯,那我们在应用的过程中会有人说我们在做这块结合的时候,嗯,他的要点或者晚点是什么, 嗯,就是说跟智能客服是吧?对对对,嗯,我觉得,呃要点的话就是说要找准,因为大语言模型他有很多能力,嗯,比如说有对话,嗯,聊天的能力, 也有翻译呀,也有做推理,做做一些,比如数学推理,还能做一些,比如说啊 文案,对吧?比如说一些文案的一些一些推导和补充。那这个时候,比如说智能客服肯定要结合自己的使用场景,嗯,比如说自己的客户案例和客户那个产品功能,对吧?嗯,以美洽为例的话,我 觉得美恰的,比如说我们典型的就有智能客服机器人这个东西是可以跟叉的 gbd 这种大于原模型的,这个 叫什么?多轮对话,这个能力是可以结合的比较好的。对,这个是,这个是说要要点就说找准自己的应用场景去用到他适当的能力。 难点的话就是说呃,多方面,就一方面就是说呃大圆模型刚我们讲的他是用训练的,用训练的话他是拿了很多通用的语料去训练的,也就说可能他 对于世界的通识来讲他是比较强。但是呢,对于具体比如说我们的一些,通常我们做智能客服肯定是要去为企业出逼,为企业提供能力,对吧?那每个企业他自己的知识是不太一样的,这样的话如果用原生的大圆模型的能力,其实用他自自由的知识其实不够的,我们需要去 把企业自身的一些特有的知识或者是垂直行业的知识给他结合起来,这个就是一个难点。我理解的难点在这 刚刚其实讲到的有一些场景呢,比如说刚刚听到的什么翻译这种场景,其实我们之前其实也有这种可以接入的这种第三方的应用啊,或者是比如说我记得阿里云啊,这种其实都是可以提供的。嗯,但比如说拆了 gdp 跟他有什么不一样的点?嗯, 如果从功能上来讲的话,其实都是翻译嘛?嗯,就是说,比如说把一种语言翻译成另外一种语言,是吧?嗯嗯,要说不一样的话,可能就是说 背后用到的语言模型不太一样,而且可能支持的语种也要看训练的数据,因为可能比如说一些三方的服务云场上,比如阿里云这种,他可能支支持的语言比较多,但那这个东西可能也要也要看他 他的抗造能力,嗯,因为特别是有些,呃,还有方言啊之类的,可能不一定他能翻译的很好,嗯,对吧?那那个是语音了,我说的是语音方面的,嗯。如果是文字的话其实都不存在,对吧?啊? 嗯,我觉得可能就是说一个是说他,嗯翻译的效果好吧,以及于总支持了多少,嗯,呃。还有就是说他的,呃。怎么说啊? 呃。单纯翻译来讲我觉得可能差不太多啊。差不太多本质上就是从一段文字翻译成另外一种语。对,那这一类型的大语言模型大家对行业来说会有什么变化吗?就是或者是带来什么更好的这种应用,这个行业是吧?其实这个,呃网上因为 gpd 很火吗?大家都在说, 我个人理解的话就是说可能有一点我是比较赞同,就是说大圆模型能够带来呃生产力的提升, 就是很多他可能不见得说马上会替换人,但是他能能能为人带来效率的巨大的提升。第二个点就是说他可能让这个传统软件也好或人机交互也好,这个界面会变得更利用 原来的人机交互界面更多是基于一些图形化的一些界面,那以后的话可能就是我们通过自然语言就可以去跟机器去交互了。比如说举个例子,就像以前那种控制电视的,什么 天猫啊,天猫精灵啊,电信的那种,对吧?你说你要看什么台?看什么台,那就可以跳,但这个现在大圆模型可能能够带来能力会更超凡的。这个。对对对, 理解的会更到位。对对对,是哎。那我们自己在线接入的是哪一个模型的?效果怎样?我们自己的话目前是接的 gbt 的。嗯,三点五的一个模型。嗯,然后 我们就是像刚刚讲的,就是我们智能客服的话,想就是说还是要跟实际的产品功能结合起来。嗯,我们目前主要是在机器人客服,机器人这个产品是用到 gpt 的能力,嗯,呃,就是用的 gpt。 三点五效果的话目前在初步测试阶段。嗯,呃, 就是跟我们以前这种算法的模型比起来,他的多轮的效果是更自然了。对,就是我们测试这个效果就是多轮效果更自然。而且就是说我们还把鞋头 的知识库能够结合进去,就是他能够回答企业特有的知识的一些问题。嗯,目前测试效果大家反馈都还不错。对,觉得这个模型有没有什么可以改善的点?因为好像我们自己也自己内测了,我们自己都试了。嗯,但是他现在是只能支持纯文字的。对,还不能支持一些图片呐,或者是一些丰富的什么 emoji 之类的, 但是我们正常的这种聊天过程中其实是希望更更丰富的。对对对,这块的话,就是目前确实我们只接了文本,我觉得就是怎么说呢?这个一方面因为我们现在用的 gpt, gpt 四其实是支持多么开的 所谓的多模态,就是说文本、图片、语音都支持这块,其实说目前是有这个能力,我们去接入 更多的话,应该还要去再尝试一下。嗯,对对对,那我们在接入的这个过程中,其实我记得好像刚刚上线我们就该看了,就这个时间也没有菜,因为他三点五开放到现在,其实时间也不是特别的。呃,长嘛。那这个在接入的过程当中有没有遇到什么困难的?想去解决这些问题的 困难的话,其实目前就会存在,因为 g b t 这块目前有一些国内和国外之间访问的 一些速度。对,还有就是说本来 g b t 因为很多人都在用,毕竟是三方厂商的一个 a p i。 嗯,这块的话会对一些 使用的访问频率啊,包括有时候如果用的多了可能会有些限制。这块的话就是目前是,就是说智能客服厂商要去接入这一类的 大圆模型,这种厂商提供 api, 我觉得都会遇到一些通用的问题。对,然后嗯,老师说哈,就国内的各大模型跟就是 gpd 相比的话有哪些差距呢?因为我们平时也用国内,对,国内,其实,呃陆续也发布了很多。嗯,对吧,百度的文, 还有阿里的什么通译,对对对,还有一些别的都都有。嗯,对,我觉得就是说目前看来其实网上也有很多测评。嗯,总的来说可能就是说 目前国内厂商去做这个大模型的时间积累,包括去训练的语料还不够,还不太够。目前跟 gpt 相比的话,呃,全方位来讲就是因为 gpt 的能力有很多。嗯,刚刚讲的有翻译,有做一些推理,对吧?还有做一些问答这一块,嗯,包括还有其他各方面的。嗯 啊,总做总结啊,做归纳啊,对吧?嗯,就是说国内大模型跟 cbd 比,也不是说全方位的都不好。嗯,在某些场景下可能会好一些。嗯,但总体来说总体得分可能会差一些。嗯,差距的话就像我刚刚讲的,一方面可能就是说 啊,起步还没有 oppo、 ni 来的早一些。嗯,然后训练的语料和时间,包括做的一些就是运训练中间的一些调优,可能还会有一些技巧,我觉得这块可能还是需要一些时间,可能技技术也有些壁垒。 另一方面的话就是还需要时间去做更多的训练,还是要沉淀吧。对,包括国内好多,我理解就是像百度纹身一言都是,主要是以中英文为主,其他语种他会比较差。像 tpt 就是很多语种都很好的效果。对,那文心的话,会不会对中文的这种 语料的这种识别会更准确一点?呃,看起来还好,他自己也是号称的中文是最强的,英文也不错,其他的语种可能就 弱一些。嗯,对对对,了解。那最后一个问题哈,就是未来的话,我们对大约模型与智能客服这一块场景的结合有没有一些规划或者是更多的期待呢? 呃,未来的话,其实刚才我们也聊到,就是我觉得一方面就是说我们现有的基于文字这种聊天机器人的,我们还有更多的调约的场景。第二个就是说我们基于文本,这个还是比较单一,未来可能图片啊, 语音啊、视频啊,有可能包括用户问的问题和输入的问题,我们可以更丰富、多模态,对吧?包括我们展现出来的回答的答案的内容也可以更丰富。但这块的话有依赖于首先大模型能力的一个更新迭代,另一方面我们也要结合大模型的能力去。 呃,看我们场景,我们的产品的场景和我们自己客户的一些诉求,嗯,可能据两方面去结合起来。嗯,期待的话,我觉得就是 目前 gpt 已经给了大家足够的惊喜了。嗯,未来一定,现在这个一定还是处于初级阶段,未来可能相信能够有 更多更好就是更强大的模型能够去赋能我们的智能客服,能够我们又能够反过来去赋能我们的客户。嗯,对啊,谢谢罗老师。

拆的 tpt 的微调是什么意思呢? 对我们来说有什么实际的好处呢?大家好,我是马玉婷,一个从事通信互联网行业近五十年的过来人,现在又和大家一起来玩 ai 了。 开的 gpd 的微调是在大语言模型的基础上,输入了行业或企业自己特定的数据,并对模型进行了额外的训练,这就是所谓的微调, 以使其更加适应特定的任务或领域。他的最典型的应用莫过于智能客服,我们姑且称之为客服机器人, 就是我们在拨打客服电话的时候,面对的是一个行业级的专家啊,他能够对我们提出的问题呢,对答如流,远超人工的智力。 我们已经呢看中了这样一个项目,并且投了一个这样的项目,现在已经呢在做这个企业级的测试了 啊。在此之前呢,所谓的智能客服,不过是一个文字到文字的线上关键字查询和应答的系统,远远不是今天我们讲的客服机器人。 那么建立在大语言模型下的客服,经过微调后,我们可以当做行业或企业的客服, 小到淘宝的商家,大到中国移动这样的有十多亿客户的大系统客服机器人,能够提供线上的语音到语音的实时服务。 他最大的好处是扩展人工的智力,弥补了人的头脑无法承受的大数据量,可以极大地提高客服服务的质量和水平。 推而广之呢,就是法律机器人、健康咨询机器人、投资理财机器人等一个系列啊。相信在不久的将来,这样的机器人呢,会 层出不穷啊,大量映片啊,让我们共同拭目以待!我是马玉婷,请关注我,让我们一起来玩 ai, 记得关注再走哦!

oba 重磅更新,所有开发者都可以对 gpd 三点五进行微调,用专有数据微调或者三点五在某些情况下的效果甚至能和 gpd 四掰手腕。最让人兴奋的是,地表最强 gpd 四微调版本也即将推出。 至于如何去微调 gpt 三点五,除了官方给出的文本教程之外,我推荐了解一下文达老师最新短期课程,微调大语言模型, 完全免费,整个视频内容只有一个小时学完,你将理解在什么时候应该在大语言模型上使用微调,如何为微调准备数据,以及训练和评估微调的效果。掌握这个技能,你也能打造专属的恰的 gbt, 建议收藏起来慢慢看!