随着 chat g p t 的问世,各种 ai 大模型犹如雨后春笋般应运而生,今天带大家一起体验由清华大学开园的中英双语对话大模型 chat g l m。 据官方文档介绍,该项目使用了和 chat g p t 相似的技术,其初代版本自发布以来已经在 github 上获得了三万家的 star, 可以说是非常出众的成绩了。结合模型量化技术,用户可以在消费及显卡上进行本地部署,最低只需六 g b。 现存这一位一般用户也可以在普通电脑中拥有个人专属的中文 g p t。 本期视频中实测的是 chat g l m 的第二代版本 chat g l m 二六 b, 在保留初代模型优秀特性的基础上,提升了更强大的性能。首先进行项目安装部署,在按照文档操作之前,电脑中配置好 ai 开源项目标准三件套、牌坊 get 和安德康的 这三样东西的相关教程网上多如牛毛,因此就不在这里坠述了。 chat g l m 的安装非常简单,直接按照文档操作即可下载项目代码仓库使用批评 style 命令安装项目所需依赖。注意, 安装依赖完成后补充安装 charted 依赖包以及重新安装 g p u 版本 torch。 完成上述流程后就可以启动了。 chat g l m 可以通过多种方式调用,对于普通使用,推荐网页界面运行命令启动界面,第一次启动会自动下载相关模型, 需要十二 g 左右的空间完成加载。命令提示服窗口中会显示访问地址,使用浏览器打开。 首先测试几个问题,查看是否可以正常回答, 可以看到已经能够像 chat gpt 一样进行正常交互了。 接下来测试其数理逻辑能力。首先询问一道鸡兔同笼的问题,鸡兔同笼共三十五只头,九十四只脚,问鸡兔各多少? chat g l m 给出了使用方程的解法,答案也是正确的。 chat g l m 在理解简单数学问题上表现还是不错的。接下来测试一道经典的逻辑推理题,天堂与地狱之门。天堂地狱两 扇门,两个门卫,一个说真话,一个说假话,只能对一个人提问一次,如何找出天堂之门? ai 给出的回答不知所云,我也多次尝试修改提问的方式,均未获得满意的答案。也许是语意理解偏差或者逻辑推理能力欠佳, chat g l m 在这个测试上的表现不佳。 第三个测试询问存在陷阱的问题,看看他是否会出现胡编乱造的情况。询问官渡之战刘邦为什么败给了陆讯,遗憾的是 chat g l m 没有通过这题测试,虽然指出了刘邦与官渡之战时间不符, 但是写出陆逊在官渡之战中以火攻击败了曹操。因此 chat g l m 二六比针对知识性问题,回答有几率出现胡编乱造的情况,需要用户仔细甄别。以上测试比较偏向模型的语意理解、梳理逻辑和是否会出现幻觉及胡编乱造 等基础性能。接下来尝试比较贴近实际应用的测试,让 chat g l m 判断用户商品评价的态度是正向、中性还是负面的。 chat g l m 判断评价的态度是正向的,他不光做出了正确的判断,并且给出了判断的理由, 而像使用 ai 筛选、商品评价等相似应用,可以在一定程度上帮助电商运营人员提升工作效率。最后,测试以秋天和奶茶为主题,写一篇社群营销文案 chat g l m 很快就生成了一篇文案, 文案中还包含了目标受众、社群福利、社群链接等内容。在输入命令让其添加 emoj, 它也很好地执行了我的要求。虽然测试命令比较简单,生成的文案还是 具有一定参考价值的。从效果上来看, chat g l m 在文案生成方面的表现还是不错的。综合以上测试, chat g l m 二六臂的整体体验差强任意,虽然在一些问题上表现不佳,但是对话体验、文案生成等方面的效果还是可圈可点的。 因为是使用中英双语数据训练,所以无需担心 chat g l m 中文理解能力。另外,该项目的适配性很高,无论是 windows 还是 mark, 高选存还是低选存, cpu 运行还是 gpu 运行,都可以找到相应的部署方案。作为一个可以部署在个人电脑的开源大模型是十分难得的。如果对部署环境等这些需要一定开发门槛的实在搞不懂,还可以到官网中体验更大规模的 chat g l m 模型。本期的分享就到这里了,感谢您的观看。
粉丝412获赞1973

是记录一下就是 chat g l m 这个微调的这样的一个方案啊。啊这个方案的话呢,我是在我的自己的经济上啊实实践了一下啊,确实是可以跑的。他的这他的这个开源项目确实可以把最终的那个 chat g l m 的这样中英文双语的这样的一个模型给微调出来啊。我给大家看一下啊 他整个一个微调过程的话呢,大概花了是八将近八个半小时啊,因为我是跑在那个 a 五千的这个服务器上面呢啊那么它的内存的话,呃它的 g p u 的话,呃是二十四个 g 的二十四个 g 的二十四个 g, 呃大概刨了十七个 g 啊,因为我我一个一个就是搬去 size, 就是呃跑的稍微小一点,呃它的默认值是 六啊,就是每次批次跑六个指令,但是呃我会发现他有 out of memory 的这个现象,所以我把它改成二啊四,我也改了还是不行,但后来我改成两条两条指令的时候他就内存就不溢出了。那二十四 g 的那个显存他用了十七个 g 然后跑了 八个半小时,然后 gpu 基本上跑满的啊,那基本上就跑完了。呃那么呃他的整个指令级的话呢,就像我那天介绍的他是用的羊驼的那个产生的指令级,一共是五点二万条指令啊。 呃我也跑了五点二万条指令啊,然后我也看到它的 los 的话基本是在不断收敛的啊,不断在收敛的,嗯应该还可以啊。 e pro 的话大概是我是跑了三啊。 那整个训练过程中还有一个时间比较长的话呢,他就要加载那个预训练的那个模型啊?那个就是 chat g。 呃, chat g l m 杠六 b 的这个模型啊,因为他有,我之前跟大家介绍过他有这个八个差不多将近两 gb 的这样的一个 呃数据,呃,他需要下下载,所以的话呢,呃下载的时间会比较久,一般情况啊,然后我给大家看一下他这个深层训练完之后的深层的这些数据在哪里?他是放在这个 alt toot 这个目录下的, 它会放在 altput 下面,然后会生成一个用 roller 模型生成的这样的一个小模型啊,因为它是微调的,微调的话呢,它其实没有在大模型上改,它只是生成了这样的一个呃可插拔的这样的一个小模型啊,然后它可以叠加 在这个 chat 呃, chat g l m 杠六 b 的这个模型上面,然后进行训练啊,我给大家看一下啊,他这是怎么跑的啊?这我已经跑过了啊,这个是加载,这是加载 chat g l m 杠六 b 的这个模型,你把它给装载起来,哎,装载完了之后呢,这个是装载它的那个 talking 啊,这个这个两条渔具都是装载它的模型。 那这个地方啊,因为我是放在这个训练完的这个罗拉的这个模型是放在 output 木头下面的啊,他生成的是这个东西,所以的话呢,你要把这个东西也要加载进来 啊,把这个模型也要作为一个可插拔的能够加载进来,它等于是这样啊,加载进来之后的话呢,你就可以加载这个数据,然后进行预测了啊,这个是加载数据。 呃,我就把原来训练的这个模型加载进来,加载进来的话呢就可以训练。 对,然后 d cod 一下,然后是输出, 他这个是给了一个指令,是一个,呃,就是保持健康的三条 tips 啊,然后他这个是讲了一下怎么吃蔬菜水果等等一些一些东西啊。 第二条他是要做一些规则的一些活动啊, 大量的喝水和睡,准时的吃早饭啊,这个是他的建议。 嗯,这是他的回答, 看上去应该还不错。我觉得他回答了三个问题。 嗯,因为羊驼的它这个 指令集里面我们是介绍过的,他是有英文,以英文为主的,中文很少啊,所以我们其实,呃,下次的话呢,应该还是要把这个羊驼的指令要把它换掉啊,要换成我上次介绍的那个 就是中文的那个指令来进行训练,这样的话呢可能会效果更好一些啊?好,这个是,嗯,记录一下这个运行的效果吧。啊?运行的效果。

跟大家再来讲一个 chat glm 杠六 b 又发布了一个新的模型啊,它这个模型是支持三十二 k 的上下门 啊。上下文呢,我们清楚的,特别是在一些知识问答啊,特别是长文本的一些知识问答里面,它是非常重要的,之前我也是介绍过啊, chat g m l 二代的时候,他原来在 l m c s 啊,他们刚开始研究了一下,刚开始 chat g l m 二代杠六 b 啊,他刚刚发布的时候啊,他的那个,他的那个长文本啊,这个 context lens, 他能力是非常差的,当他超过十 k 的时候,他的准确度几乎为零,他等于是这样啊, 所以的话呢,就是说呃,恰特 glm 二代杠六 b 的这个模型的话,原来它对那个上下纹,虽然说它能够支持非常长的这个上下纹,但是当它超过一定的这个值的时候,它的准确度下降会非 非常快啊,他有这样的一个问题啊,最近两天他们刚刚公布了一个新的模型啊,这个模型的话呢,他可以把呃上下纹的这个长度啊,达到了三十二 k, 他等于是这样啊,他也是用了一个叫位置差值的这样的一个 一个方法,我怕把在原来 chat g l m 杠六 b 的这个基础上啊,进一步的微调,然后把它变成一个加强版的 chat g l m 的这样一个版本啊,那么这个版本的话呢,它有些好处啊,第一个的话呢,它就 呃,从从他公布的这个资料来看,他说他的那个性能会更强啊。另外一个的话呢,他从原来的那个八 k 啊,八 k, 因为二代的话,他从八 k 扩展到了三十二 k 更长的这个上下文,他对处理这个多轮对话,包括处理一些长文本会有更大的好处啊。另外一部分他也是用了一个多头 carry attention 的这样一个技术,所以的话他所以处理速度更快, 占用的险程会更低啊,这个是他讲了一下啊,那目前呢? chat g l m 杠六 b 杠三十二 k 的这个目前他已经放出来了,在哈根 face 上面我看到刚刚前两天他已经把这个模型给放出来啊,那这个模型的话从零零一到零零七啊,他有七个文件啊,差不多 呃,差不多十五个,十五个 gb 啊,十五个 gb 啊这样的一个模型啊,目前这个模型我还没测啊,回头有机会的话我可以去测一下,因为这个是我们在特别在处理一些 呃,智能问答啊,特别是他的这个文件啊,他的那个文本比较大的这个前提下,如果有三十二 k 的这样的一个上下文的话,那么他的处理的性能会更好啊。 从他目前公布的这个数据来讲啊,他自己公布了一下三十二 k 的这个数据来讲啊,他的这个性能会更好,他比 chat g l m 杠六 b 的这个性能会更好一些,他是这个里面也讲 了一下啊,回头我们也可以去测一下啊,那目前他在中文榜单里面,他的这个性能也是得到了一些比较大的一些提升啊。原来二 b 的这个 二代六 b 的这个模型呢,主要是它平均大概是二十二点五啊,现在的话呢,达到了四十一点三啊,这个能力还是比较强的,它在中英文方面处理都非常好啊,它也啊公布了一个数据,它在大于八 k 的时候啊,你可以看到 chat glm 杠六 b 三十二,它的性能的话不降反身啊,它等于是这样啊, 所以这个这个还是不错的啊,所以我们回头会再来测测一下这个模型啊,看看是不是他像像他这个公布的这个数据一样啊, 我觉得这个还是相对来讲还是比较真实的,因为他们也公布了一个 long bench 的这样一个测试的一个任务集啊,这个 long bench 里面的话呢,他也有这个单文档啊,多个文档啊,这这种类似的这个六大任务,二十个不同子任务的这样一个测试啊,测试 下来的话呢,因为他也拿了一些对照的一些模型去测啊,测下来的话他们的一些性能都相对来讲还是不错的啊,他等于是这样啊,他的中英文的能力我看他好像都不错啊,都是相当不错的,他这个 对我们企业来讲那肯定又是多了一个选择了啊,又多了一个新的模型,而且可以免费商用,而且性能会更好,而且能够支持更长的上下文,可以处理多轮对话,可以处理更长的那个文本啊,做一些摘要。好啊,今天这个视频就跟大家就介绍到。

本地部署 chat gpt, 无需安装,直接解压到本地,一键启动,完全免费开园,无需科学上网,国内直接使用国产大模型 chat glm 二遥遥领先 chatglm 二六 b 是国产大原模型, 一键启动包已经给大家准备好了安装包,加入粉丝群,查看群公告,直接领取粉丝群的入口。在和我私聊的界面右上角,我们把 chitglm 压缩包下载到本地,按右键选择解压到本地 点按完成以后打开 tit gmr 文件夹,首先安装 denit 运行环境,双击打开选择安装。如果你的电脑已经安装过 denit 运行环境,无需再次安装,直接关闭。然后进入 titiglmryblim 录,双击一键启动器,快速启动 chatglmr。 打开 外部 ui 启动器以后,先选择模型,我们这里有两个模型,一个是聊天大圆模型,另一个是程序员写代码使用的模型,我们选择 itgm 二六 b, 根据你的显存配置下启动参数,我选择巴比特模式节约显存,然后选择一键启动,抖速运行会比较慢, 如果启动界面报错,那可能是启动参数配置和你的显存不匹配,或者电脑性能和运行环境不支持。 启动成功以后,命令还会显示 running on localuil, 并自动弹出浏览器。打开地址,我们来测试一下菜菜 gmr 六 b, 你好,选择詹德瑞特生成,生成速度还是很快的,效果也很不错,非常的完美。

清华发布的 chat jm 第二代模型是否比 gpt 四还要厉害?是否可以断网运行?粉丝小伙伴一直有问到这些问题,我准备接下来换点时间,通过几期实测分享来回答这些疑问。 cat g m 六 b 是清华大学 k e g 实验室今年发布的黑本地部署大约模型,六月底推出了六 b 的第二代版本, 有着更长的上下文和更高效的推理能力。今天先分享如何不输安装 chat j m 二、六 b 模型,并用模型完成简单问答。目前在基站有完整的安装攻略,在 先安装项目仓库到电脑上,然后执行这条指令,安装相关医疗文件。执行完以后就可以下载六 b 模型了,通过手机运行调试代码就可以自动下载,比较简单。我参考官方设立写了一个六 b 模型的问答教本,其中会通过引用和调用六 b 模型来触发模型的下载动作。这里 要特别讲一个问题,所有的本地大约模型的推理对内存 g p u c p u 的要求都比较高,六 b 也是一样的道理,你的电脑配置不行, 那推理会特别慢,待会会给你们看我电脑的运行效果。小伙伴需要根据自己的电脑配置,在六倍模型加载代码进行相应的初始化设置,需要根据有没有 gpu 显存和内存的大小进行不同的初始化, 甚至因为没有独显和内存过小,我们只能用炼化后的模型。我这里根据官方的提示,整理了五种不同电脑硬件配置对应的模型加载蛋白段,大家可以暂停看看 继续运行概念码会检测是否本地已下载模型,没有则开始下载,会出现以下的进度条。溜冰模型总共会有七个变味键,因为是从 honky face 下载,可能会因为网络产生中断,比如这样重新执行交款会继续断点下载。这里还是比较人性化的 模型,下载完以后,脚板就可以进行提问了。这个是小伙伴可以打开 cpu 和内存的占用率监测,可以看到占用率基本都会百分之百拿满,反正我的电脑是这样。我先让六倍进行自我介绍,为了直观看到问答的问题间隔,我加了时间显示, 简单的问答基本都要三到四分钟。再问一个需要思考的问题,比如如何学习 ai 知识, a few moments later, 直接等了十多分钟, 哎,该换电脑。对了,官方的代码仓库提供 gradu 界面的网页版代码,执行这条视频就可以打开网页。 从简单的问答来看,因为我这个破电脑的限制,回答的速度肯定没有 gpt 是快,这也是本地模型和云端模型不同的效果,不过对于推理的准确性,我还要再仔细研究对比一下。大家可以持续关注,希望今天的安装教程对大家有帮助,有用的话记得点赞收藏。

l m 杠六 b 的这样的一个中文中英文双语的这样的一个模型,然后我们怎么对它进行来微调?因为这个模型是中国人研发的,还是有很多人在问说这种模型应该是 英语训练模型,应该是怎么样做一些微调?这个我跟大家一起来交流一下,那么这个模型微调,我们可以看一下大学最近圆的这样的一个比较流行的叫羊驼的这样的一个模型啊,这个模型的话呢,就是目前非常火,可以给大家看一下模型, 看一下就上福大学推出来的这样羊驼的这样的一个模型。简单介绍一下,这个模型的推出,主要是美国的这个学术界就是发现 gpd chat chat gpd 就是非常火, 但是这个项目基本上都是碧源的,学术界的话呢,就比较难去复制他这个模型,所以他们也是要进一步去研究的,所以斯坦福大学的话呢,他们就想方设法要去把 下的 gpd 的这个模型能够在开源的能够复制出来他的,那么他呢就是呃,他们就结合了一些,嗯,然后把呃就推出了这样羊驼啊这样的一个模型啊,那么这个模型,嗯过那个双盲测试啊,他们也测试了一下,就是 啊,然后可以低着去呃模啊,然后呢他们也帮测试啊,那么双方测试测试下是发现的,哎,模型比较小,但是他的能力的话呢,倒也适于恰特 gpg 的这种能力啊,所以的话呢,这个一下子这样的一个开源的这个项目就流行出来了,他等于是这样可以给大家看看啊,他这个项目 星星非常多,对吧?非常非常多,非常热的这样的一个全是在他的话呢,就是目前是对那个这个开原版的恰的 gpt 这个模型是是目前是做的是相对是比较好的他这个这个模型,那么这个模型呢,我们可以给大家看 看一下它它这个模型是怎么训练出来的?它的基础模型呢?它是用了 facebook, 就是 manta 的,它有一个叫 m m a m a 的七 b 的这样的一个基础模型,这个模型的话呢本身也不是太大,是 facebook 开源的, 他在这这个模型基础上,他用了五五点二万调的,然后进行监督的进行叫微调,然后在这个档他就会变成这样的叫 alpaca 的这样的七 b 的这样的一个模型啊,这个的话就是七十亿的这样的一个参数,他有七十亿的这样的一个参数啊,那么这个模型的前面也是讲了,他的这效果还是非常不错的,他的也是这样,那么他在这个当中呢,还是有个创新,这个是一个创新点,他在 五点二万条这个提示指令,它是通过一个,它是通过 chat g p t 自身产生的,它对它是这样来做的,它其实本质上来谈它是有有一百七十五个这样的一个指令,这 个呢是手书的,它有这种指令,通过这个指令通过这个掐的 g p t, 然后自动地产生了五点二万条这个 训练的这个指令,然后再跟这个 l l a m a 这样的一个模型进行监督学习的微调,最后变成了这样的一个模型,这个模型目前在学术界里面是最接近于 chat g p t 就是 g p t 三点五五的这样的一个模型啊,它 还是这样,他们也也找了五个学生做了一些舞台,等于是这样。这个双盲测试的评估啊,发现就是说他的这个能力啊,跟掐的 gpg 类似,很类似。他这个功能上面他们他提供了一个数据,他跟我讲好像是 非常接近,他们做了一个双黄测试,双黄测试里面他们好像是八十九十比八十九这样,他们做了一个看到底这个内容是哪个模型产生的,双黄测试里面 几乎是看不出来到底是哪个模型产生的一些内容。那他当然也是讲了这个模型目前还是有些问题的,这个问题的话跟那个恰的 g b t 是类似的,他的这个问题主要就是还是这就是胡说八道啊,他就是等于是为他录有些模型他不知道的内内容的话呢,他就会逼邪模型,这个叫幻觉啊,他等于是这样。 那个羊驼的这个模型的话呢,在 gitch up 上面也开源了它等于是这样。好,这个模型我就展示给大家,介绍到这儿,我们看看它的代码,看它的代码,看一下它的代码,这个在 git up 上面, 他的这个代码主要是公布了他的五点二万条的条的这个数据集,就是个指令啊,原来也是解释过的,叫提示学习的指令啊,这个是他是把这个数据给公布出来了, 而且他也公布了如何产生这个五点二万条的这个提示指令的这样的一个代码,他也是什么呢?对他有一个创新的方法啊,这个方法的话 看一下他,呃,十年的年底啊,波斯顿大学他们就推荐论文啊,主要是如何自动的产生这个提示的指令啊?他是通过这个模型 怎么自然语言的模型,怎么自动的产生一些提示的指令?他这篇文章里面就讲他有一百七十五个随机的这样的一个任务, 他通过类似的,当然他自然语言的情,他们目前羊驼他们用的是直接掉了欧奔 i 的这个,呃,恰特基的这样的一个指令啊,然后自动的就是问那个恰特 g p t 去产生这样的一个内容,他等于是这样啊,这个五点二万条的这样的一个指令产生的话呢?他的论文上面讲他只花了五百块, 嗯,生成出来的。原来的话呢,那个 chat g p t 的话呢,它是通过人工来收集人工去做的啊,它现在的话呢,就是直接绕过了人工,接通过 他的 gpt 来产生的这种内容啊,成本就更低更快。那他在开源的这样的一个项目里面,他也把这些数据给公布出来。我也看了一下,他这个内容非常多啊,什么早餐的建议啊,他还有一些各种各样的像面试的一些问答,他,他包括一些医医庙的男生,他有很多很多的任务啊,他这个里面 啊,这个就是题指令,当然他也有一些数学题目啊,包括他也有把这个文本 to c 口的这样的一些任务啊,他这个都算是任务,我看了一下,非常多,还有什么 html 的任务,就是你怎么起 html, 他这个里面也有包括还有一些什么 news 的,呃,摘要啊,呃,他做啊,我看了非常基本的啊,其实 一百七十五种吧,一百七十五种看他数据库里啊,对,是一百七十五种,七十五种任务跟大家就聊到这,那么这部分代码也是啊,中文的这些吧,啊,也是有非常好 参考的这种价值,因为他这个数据提示指令是非常重要的,因为这些提示指令你写的好,你才能让这个模型啊。呃,能够压制那个比较重要后呢,他这项里面最后一部分呢,他也提供了个呃,这个么微调的这样的一个。呃, 啊,这个 pad 的话呢,那它也基于这个 hurt and face transformer 的这样的一个内裤啊,的一个 transformer 的一个大型的这样的一个。呃, 处理语言做了一下这个微调啊,他是他产生五点三万条指令的这个指分布啊,他有颜色就是代表词,各种各样的能力啊,各种各样的能力,他有解释的能力啊,他有数学的能力,还有分类的能力等等,还有查找的能力,他有分辨的能力,他是这样的,这个是他微调的具体的参数, 它一 pro 主要是三次,否则多的话它会过离合。它也讲了一下它的整个一个训练,它用了四块 a, 一百的八十 g 的 gpu, 它应该跑大概五个多小时吧,然后它就跑完了,所以的话呢,它是一个比较低成本的 ppt 的这样的一个开源的这样的一个模型啊,那目前它主要是支持的是英文啊,英文它是支持的英文, 当然他这个这个吗是他训练的脚本,训练的脚本这个项目大家要注意的,这个注意的他是不能商用的,因为这个是他日坦福大学,他是声明的,你可以作为学术用途,但是你你可以作为研究,但是你不能利用在啊,因为他是用了那个 ai 的一些呃,诶,通过 obanai 呃的 chat gpg 产生了一些些内容,呃,因为 obanai 里面他也是强调的你,你是不能用 obanai 的内容,然后再去去跟 ai 做商业的竞争,他是等于是这样 看一下,不了给大家解释。那再来看一下就是 chat g l m 六 b 的这个中英文双语的这个模型是如何进行微调的,因为 我们前面就是说就他们羊驼的那个模型啊,这样来进行微调的啊,其实也是可以学他们这个方法论啊,和一些数据,然后看看怎么来微调。我们来一起来看一下,这个是目前微调的这个代码的,也是公布在 git up 上面的,也有 也有人,我们是可以看一下他这个数据集的话呢,他就直接用了他们羊驼产生的这个数据集啊,所以呢,这个数据集的话呢,他是只有那个本的 他,他只有英文的,他中文可能也有,但是会比较少,他等于是这样,他微调这个是他需要的一些硬件,最好的话呢,要超显存,要超过十六 gb, 最好是二十四 gb。 羊驼型的话是四块 a 一百的这样的一个实际的这样的一个 g p u, 它是跑在这儿,那么中国人这个开源的这个项目,它把精度调的更低了,这个我之前也是介绍过的,它是用了哈根 face 里面的叫 p e g f 的这样的一个内裤,它 降低了他的用了一个 rora 的这样的一个模型,他在做那个 transformer 的这样的一个低成本的这样的一个训练。看看啊,我们看看元代码,看一下元代码在这,元代码在这, 主要你还是要先把他的这个微调的代码库,要把它下载下来,不要安装他的依赖还有 requirement, requirement 里面也其实也没啥,主要是用了这个这两个,这个是他跟 face 要做 transform 训练式加速的一个内裤,这个内裤的话呢,主要是用在他是八位整形的这样的一个 模型,训练的时候,他把精度降低,要用到这样的一个内裤。另外他那个 chat g、 b、 l 的这个模型的话呢,他要用到了这几个内裤,他也基于那个拍 touch, 然后基于这个我们看到的 p e、 f t 这样的一个内裤。好,我们看看他是怎么来进行微调的。安装完了之后的话呢,他就把这个羊驼 这个数据进行数据转换,转换成他要的数据。然后的话这句话的话呢,他主要是做一个编码,编码把他的这个英文啊中英文进行编码处理 好,处理完了之后的话呢,他就去加载这个 cat g b l 杠六 b 的这个模型。他在预训练之前的话呢,他在微调之前的话,他先做一些测试,他就是看看他在微调之前他的回答,他的到底是怎么样子的,他就把这些参数,把这些 date tens 给捞了进来, 他去构造这样的一个吹,这样一个训练的这样的一个内裤,这个是具体训练的一些参数,他就去运行这样一个训练就可以了,我看他也是一样的,他跑了这个三个一 pro, 他就训练完了,因为他的那个参数比较低,他的参数精度会比较低,所以的话呢,他用的 g p u 会比较少啊,内存也比较少,他等于是这样训练完了之后,他又做 做了前面一样的那个测试,他会发现测试的结果可能要比前面要好。最后他把这个训练完的这个模型,把它给保存下来,这个是整个他的一个恰特 gbl glm 的这样一个微调的这样一些代码,还是比较简单的,应应该也不难。 那这个微调过程的话呢?探点在我觉得还是在这,你怎么通过一百七十五个任务自动的去产生他这个是五点四万条的预训练的这个指令,这个指令是什么?我觉得是比较重要的,而且你指指令的质量也是比较重要的,那么他们做了一个取巧的方案,直接去问恰的 gpt 要内容, 等于是这样他就呃产生了大量的这些指令,这些指令的话呢,然后再作为一个建度训练的这样微调的这样的一个数据,把最终的这个模型给训练出来,他等于是这样,那么我们看到的是那个 chat g l m 的这个模型,那其实 是类似于这个 gpg two 的这样一个模型,但是他这个模型好的是在于是用那个中英文的语料去进行训练的,他等于是这样,所以的话呢,他相对对中文来讲,他的那个强一点啊,活的这个能力的话,他这个模型呢,是目前主要是英文,所以的话呢,他中文还不支持,所以当然他可能聪明度可能会更高一些。 好,这个就是我今天要跟大家交流的哈,我也欢迎大家能够给我留言。好,今天就介绍到这。

啊,同学们好啊,最近呢,我一直在做大模型,然后呢积累了一些经验吧,也踩了一些坑,然后今天呢录个视频跟大家分享一下啊,就是大模型呢,最重要的就是就是三个地方,模型架构,算力以及数据 啊,目前为止呢,就是各类大模型呢,毫无意外,价格都是 transform, 区别呢只是在参数量和训练方法上啊,这其实说明啊,现有的模型架构啊, 效果仍然没有达到上限,就是还有提升潜力,你可以不断的通过堆数据来提升他的潜力啊,我们在这里呢综综合考虑呢,主要是考虑到模型的使用场景以及算力和推理的实际情况 啊,最终选择了清华大学开元的这个叉 j m 六 b 这个模型呢,作为大模型的基座啊。算力方面呢,我这是用了八张 a 一百的卡进行微调 啊,并没有遇到明显的算力平均啊,我个人认为啊,算力这个玩意吧,早晚会被突破,并且根据摩尔定律呢,会越来越便宜,因此呢,现在遇到的困难呢,应该只是短期的问题 啊,在微调的时候呢,我这用的是 laura 这个技术,这个技术呢,别看原理简单,但真的非常有奇效 啊,不过需要注意的是呢,设置 rank 的大小是根据业务领域来的,如果你的领域呢,垂直性越强,这个 rank 呢就要设计的越大。 其实比较有意思的事呢,我个人认为是数据啊,这个事呢,看上去呢,最没有技术含量,大家也不愿意去做, 但是呢,其实这呢是最难的啊,我做的是垂直领域的大模型,我们的数据收集呢,面临诸多的问题,比如我们的数据呢,比较少,而且非常封闭,缺乏标注,网上也不太好找。 垂直领域呢,对模型的结果呢,要求非常高,毕竟呢,他是直接上线真实场景,然后呢,如何呢防止模型呢胡说八道,也是一个非常有挑战的事。 然后呢,我们的业务领域的答案呢,长短不一,短的可能就几十字,然后长呢有上万字啊,比如一些操作的说明书啊,手册啊等等啊,如何运用训练 超长文本,那也是下了一番功夫,最后采用的方案呢,就是对长文本呢进行先分段,然后呢对各段呢进行摘要抽取,然后呢大模型呢只负责生成答案的摘要,然后呢,我们再通过另外一个大模型 啊,这里选用的呢是 but, 然后对摘药呢再进行扩写,最终完成长文本的生成 啊。另外啊,还有些知识啊,基层的变化啊,就比如说商品的售价等等啊,可能一天一个变 啊,如何让模型呢快速响应?这个变化也是比较头疼的,因为你训练一次模型的时间还是耗费的比较长啊,目前呢采用的折中方案呢,就是配备知识库,用知识库呢,对这类问题呢进行快速的 啊。还有一个值得注意的就是生成是模型的一系列审核机制啊,比如说对用户的数据进行审核,用户的输入,你得防止他输入一些有诱导性的问题。然后呢,模型呢也要对他的回答进行审核, 就是内容审核啊,内容风控一定是上线之前的重中之重,这个呢,大家一定要重视啊,然后呢,我最近呢在搞大模型的,差不多搞了有将近两个月的时间。然后呢,上述呢,是我个人 积累了一些经验,当然这个经验呢,还不算很成熟,应该呢还有很多优化的地方。然后呢,也希望大家在评论区留言讨论,我们一起进步,谢谢大家。

叉提 lm 六必基于 glm 架构,可以支持中英双语问答。对话具有六十二亿参数,目前由权重格式不同区分不同的版本,不过对模型的效果没有影响。首先自定义数据集, 当数据及定义成句子对,需要考虑下游任务以及 prompt 的构造案例。在进行多轮对话时需要考虑到上下对话并汇总。在 history 中,我们如何对六 b 进行微调呢?训练过程中直接设置自定义的数据及路径就可以了,然后也需要设置上图的超参数, 其中 self prompt 强度和训练的学习率分别是这两个函数,通过调节可以取得最优的效果。我们要注意, petching new v 二方法会冻结全部的模型参数, 通过调整 quantization bit 可以被原始模型量化等级。当模型训练完,就可以加载模型并进行预测。如果需要加载的是就 check point 或者进行的是全参数微调,直接加载整个 check point 即可,之后可以进行量化或者直接使用。你们学会了吗?

国产 chat g l m 二六 b 来了!之前刚介绍了 chat g l m 六 b, 没过多久,今天看到我们国产的 chat g l m 二六 b 又来了,是对之前的模型进行了升级, 下面我们来详细的介绍一下 chat g l m 二六 b 大模型。 chat g l m 二六 b 是 chat g l m 六 b 的第二代开元中英双语对话模型。在保留了初大模型对话流畅、 部署门槛较低等众多优秀特性的基础之上, charge g l m 二六比增加了一些新的特性。 更强大的性能。开发团队升级了基于 chat g l m 初代模型的 chat g l m 二六 b 的基座模型。 chat g l m 二六 b 在多个数据集上表现出色,性能大幅提升, 并在同尺寸开源模型中具有较强的竞争力。更长的上下纹通过使用 flash tension 技术,开发团队扩展了叉 glm 六 b 模型的上下纹,长度从二 k 扩展到了三十二 k。 在对话阶段,开发团队使用了八 k 的上下纹长度进行训练,这允许进行更多轮次的对话。 不过 ch h g l m 二六比目前对于单轮超长文档的理解能力还有限,开发团队会在后续的迭代升级中重点进行优化。更高效的推理利用 multi query attention 技术, t h g l m 二六 b 在官方的模型实现下,推理速度比初代提高了百分之四十二。 int 四量化下,六 g 显存支持的对话长度从一 k 提升到了八 k。 同时,该技术使用更低的显存,占用更开放的协议。开发团队的开源模型权重是完全开放的,并且在获得官方书面许可后也可以商业使用。 梦露英文方面的评测结果相比于初代模型提升了百分之二十三。 cf 中文方面的评测结果相比于初代模型提升了百分之三十三。 g s m 八 k 数学方面的评测结果相比于初代模型提升了百分之五百七十一,这个提升相当显著了。 b b h 英文方面的评测结果相比于初代模型提升了百分之六十,这个提升也是相当的不错了。 chat g l m 二六 b 使用了 multiquary attention, 这提高了生成速度,相比之前现在生成两千个字 的平均速度更快了。 因此,使用六 g b 显存的显卡进行 int 四量化的推理时, charge g l m 二六 b 模型可以生成至少八千一百九十二个字符,而不会提示显存耗尽。 经过测试发现,量化对模型性能的影响是可以接受的。小伙伴们还在等什么?快来支持一下我们国产的大模型吧!

买了一块显卡,然后加了点内存,然后搞定了 chat g l m 的本地化部署,这个是本地化部署的一个 后端的一个界面,然后这个是 vivoi, 我们来看一下他做那个对话的一个情况, 好了,这个就是他回答问题的。

刚给大家演示一下那个 chat glm 的一些功能啊,一些他这个模型的一些基础功能啊,我主要是演示以下这几几个方面啊,主要是一个自我认知啊。写,呃,提纲写作,文案写作,然后邮件写作,然后他也可以做一些角色扮演啊, 然后也可以做些呃这个评价的比较啊,然后还可以做一些本地知识库的一些问答啊,然后我就给大家演示一下啊, 先我们看一下他那个 cat g a m 的那个自我认知啊,界面打开之后的话,选择这个 l l m 的话呢,主要是这个机器人对话啊,这个知识库问答的话呢,就是利用本地的这个知知,知识库就加载这个知识库可以进行问答,他等于是这样我可以看一下。 对,我先问你是谁啊?你好你是谁,他就会比较好的回答, 介绍一下你的优缺点啊, 强大的对话功能,灵活的知识库,友好的界面设计,实时的更新他主要的缺点。 好,我让他帮我写一个培训的提纲。 这个是什么东西啊?啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧。 然后我让他写一篇新闻稿新闻稿, 然后我让他写个邮件, 再让他写一个视频的脚本 角色扮演。角色扮演就是他是以比如说是一个那个新闻工作者的这个角度去报道, 他也可以对 这些东西进行比较。 最后一个我们来看一下 这个是不基于这个知识库的这种回答, 我们看看 g 知识库的回答, 基知识库回答的话呢,其他先在本地知识库里面去寻找跟这个问题最相关的一些文文档,然后再根据文档的这些内容,加上那个 l l m 的这样的一个文字逻辑的这个能力,然后再回答。 那么基本地知识库的回答的话,相对来讲它它会更加精准,更加基于这个企业的这样的一个 内容啊,回答出来的问题的话呢,就会更加准确一点,然后如果不记知识库的话,你可以看到就是他回答出来的东西比较通用啊,比较 宽放,他等于是这样啊,所以,呃,各有各的优势啊,如果在企业内部应用,如果你要准确回答一些问题的话呢,你还是要给他一些,呃,支持他,等于是这样给他一些内容啊。 好,这个就是恰特 glm 杠六 b 目前能做到的一个能力啊。他目前的话呢,我看他十五号也更新了一个新的版本啊。呃,一点一这个版本啊, 他这个一点一版本的话呢,据说是主要更新是因为他平衡中文和英文之间的这个翻译的问题,但是我看他好像这个 bug 没解决,上述内容翻译成专业英语, 因为我看到他的那个中英文还是还是在乎 还是有这个中英文混的这样的一个问题,当然比原来会好一点,比那个一一点零版本会好好好一些的这个,但是他那个英文还是有些问题,他这个可能跟他的那个 chat g l m 里面的那个编码规则是有关系的。嗯, 可能他是中英文混编的,会导致这个中中文和英文之间相互创客,他存在这样的一个问题。好啊好,今天的话就跟大家就演示到这了。

刚刚的 chat glm 杠六 b 他就宣布免费商用了啊,我看他的 kitch up 上面的那个官网上面也已经公布了啊,他更新了一下,他说更开放的协议啊, 恰着 glm 二杠六 b 权重对学术研究完全开放,在填写问卷登记后,易允许免费的商业使用啊,所以我也点了一下啊,他这个调查问卷里面,你只要填写一下,备注一下,然后他就可以免费的商用他等于是这样啊, 所以对我们中国的一些企业来讲,他又多了一个中英文的这样一个双语的这样一个版本啊, l l m 的这个大模型又多了一个这样的一个版本啊。之前呢,因为我们也是拿到过那个智普 ai 他们的报价啊,私有化部署的这个大模型的一个报价,他们原来的他恰特 glm 杠幺三零 b 目前还是收费的啊,原来的报价的话是比较贵的, 将近一千九百万啊。那么 chat g l m 杠六 b 这个模型,它现在它原来的报价是每年授权费用在一百八十万,我这个是 license 的费用啊,每年的费用,这个是它提供了一些人天的咨询, 包括一些微调部署的这种,提供一些在线客服啊,他整个一个包啊。所以如果是一百八十万的话,对一些企业来讲成本还是蛮高的,那个不是所有的企业都用得起的,现在的话,他已经免费了,对所有的企业用户来讲 就省了一百八十万啊,这个也是比较好的。嗯,当然他这个是看例价,那实际成交价我之前有朋友跟我讲,大概在三十万左右,那么现在三十万每年都不需要付了啊,立刻马上就免费了啊,他情况是这样的,嗯, 我们可以看看他为什么目前是立刻马上宣布免费了,主要因为中国我经常看这样一个榜,这个榜单上面的话,目前有两个模型,目前都排在 chat g l m 杠六 前面。一个的话呢,是上次我介绍过的 internal l m 杠七币啊,这个是上海 ai 实验什么壳他们研发的这个这个的话呢,它的性能, 呃,目前排名上来看是性能要比那个 chat g l m 杠六币要稍微强一些,它等于是这样这个模型的话,目前它也是可以免费商用的,它也是 采用那个备案制啊,只要你跟他提出申请啊,那么他你就可以免费的商用啊,这个模型啊,也是比较有竞争力的啊。另外一个百川目前推出了一个一百三十一杠十三 b 的这样一个模型啊,这个模型他比那个六 b 要大一倍啊,所以的话呢,他的性能会更强, 性能要更好啊。百川的他也提供了一些量化的一些模型,所以他在小的这些二十四 gb 的这些 gpu 消费级的显显卡上还是可以跑啊,性价比也是非常高啊,准确度又很高啊。所以的话呢,这个 百川幺三 b 的这个模型啊,目前它也是可以免费商用的啊,这样会导致就是说目前恰特 g l m 因为它一直原来是领先的,所以呢,它就收费啊,但它看见最近市场上推出了两个 呃,性能比较好,而且免费的这样的一个模型的话,那么他立刻马上就宣布这个架特 gim 二代杠六 b 的这个模型啊,他就开始正式的可以免费使用了啊,他等于是这样的啊,所以我觉得他也是竞争的一个关系吧,对我们企业来讲,那,呃啊,总归是受益的。好吧。嗯,大家,呃啊, 那么如果在中中文选择模型上,我前面讲的这三个模型其实目前都是可都可以免费商用的,大家都可以去试一试啊。 好,那么目前的话 chat g a m 二杠六 b 它的整个生态来讲或者知名度来讲是相对来讲是比较完善的啊,是应该是最完善的啊,这个这个的话呢是后期持续有这个,目前看百川的这个模型的话发展势头是比较猛的。好啊,今天这个话题就跟大家就聊到这。

今天听说清华大学的国产大语言模型 check glm 六比开元公测了,迫不及待的下载部署,简单体验了一下,回答速度挺快的。我觉得最大的优点是可以本地部署,对配置要求也不高,只需要七 gb 的现存即可。 不过由于规模较小,只有六十二亿参数,而叉 g p t 是一千三百亿个参数,还是差了好几个数量级。 正如他官网所说,还是有相当多的局限性,比如事实性、数学逻辑错误、可能生成有害、有偏见、内容 较弱的上下文能力等。这是官方博客上的发展路线图,可以看出目前还是迭代了好几个版本了。以下是我这次的对话体验,除了我打字部分做了加速处理,他回答的部分都是元素。播放。 好了,这就是今天视频的全部内容了,如果你也想体验一下,但又觉得官方的部署工作很麻烦的话,可以在视频下方留言,给大家准备了懒人安装包。

六月二十五号,清华这边又公布了一个 chat g l m 这个模型的第二代产品,我看到他在 example 上刚前几前五个小时,他刚刚把这个原代码和他的这个模型刚刚公布出来。呃,这个也是 chat g l m 杠六 b 的第二代产品,他的 简单介绍了一下,他在这个 redmi 里面也简单讲了一下。那么他这一代产品,因为最近中文的预训练大模型有很多都已经出来了,包括百川呐,什么香港中文大学阿 w k v 啊等等就非常多。那么 chat glm 我昨天还讲了一下, chat glm 目前的那个排名, 在你不管是在 l m c s 还是在哈根费斯的这个 l l m 的这个排行榜上面,他的那个排名都在不断的下降。今天突然之间他就发布了一个第二代的这个模型,第二代的模型的话,很明显他优先先发布了一个小模型六 b 的这个模型,因为六 b 模型是应用场景是最多的啊,对 企业独立化部署来讲是最有价值的,消耗的资源也会比较少。他这一代产品他自己介绍更强大的性能,他对比了 m m u l 他这个评测,这是一个基于英文的这样的一个评测,真这个性能提升了百分之二十三,基于中文的 see level 的这样的 see evo evo 的这样的一个评测的话,提升了百分之三十二。 还有基于一些其探测的话,就是大幅提升了他这个,呃,在同等尺寸六十亿的这样参数的这个模型当中,他还是比较具有竞争力的啊,这是第一点,那点的话呢,他能够支持更多的上下文,他就是他主要还是就是能够进一步的。呃,跟那个 open ai 是一样的,他的支持的那个上 从二 k 支持到三十二 k 啊,这个的话对我们做一些硬啊,那就带来非常大的好处,因为它可以读更大的文档啊,这个也是非常力啊,基于 flashing attention 的这样的一个技术,那么这些技术的话都是开源的,他们也是把它吸收消化到 目前的这个 chat glm 第二代的这个模型商啊,那么第三个的话呢,我觉得也是比较有亮点的啊,他主要是就是推理的速度啊,要比初代要提升了百分之四二啊,还是挺厉害的。呃,他呃呃话呢,这个跟整个 obai 的这样的一个趋势是相似的,就是我们现在要发明的是啊,在同等性能的前提, 呃,他要这个推理这个成本啊,要能够下降,那么能够更加普。呃呃,就是 l l m 就是大型运训练模型的这样的一个硬场景啊,来看的话,他还是非常依赖于 g u 啊,那么如果他的这个推理速度能够提升的话呢,那么他相对来讲他就是下降了他的整个 g p u 的这个资,这也是非常有价值的。 那么他在网当中呢,也是讲他也是在准备下一代 chat g l m 三代的,那么我们还是非常期待的啊。那么他目前测的话呢,他主要是公布了, 我看到在百度上面,我看到有一个数据,他还是很厉害的,超过了我看对 他这个就是他在 evil 的这样的一个中文能力的这样的一个处理的排行榜中,呃,他平均得分达到七十一点一分, 已经超过了第四啊,这个我觉得是非常不容易的啊,能够超过第四的还是非常不容易的。他跟 mouse 比起来还是差啊,相对要差啊,他要比原来第一代的呃, chat glm 杠幺三零 b 四十四分,要达到整啊,这个这个性能提升还是蛮还是非常夸张的 好。他画的这个 chat g a m 杠六 b 这个模型呢,达到五十一点七分,达到五十一点七分,这个在小型的六十亿的这个模型当中也是非常不容易的。那 chat g p t 和 cloud 为一点三这个版本已经非常近了, 那么他的大模型恰特 gam 杠二的这个模型的话,我看到他已经得分已经超过了 g 四了啊,这个是非常了不起的,我觉得这个清华这个团队还是非常厉害的,真的是非常非常厉害,让我们呃有更多的就就是中国人在这个大门上面啊,就又又感情啊,又美国的这些 ai 的这些空 好再来看啊他,我们再回到这儿来看,就那么然后这次的话呢,他也推出 量化的模型,即 r n t 八 r c 四啊,它这这个很明显它跟恰的 g p t 走了两路线,嗯,恰的 g p t 呢,它主要是走的是大,就是越来越大,性能越来越好,当然它这个 模型越大,这在其实模型越大的提升视线的话呢,那个 chat g a 第二代的话呢,它主要还是走的是一条这性价比的路线,我觉得它这个还是非常聪明的,因为中国人性价比的话还是 非常这个,呃,那么目前在本地也在下载,下载完的话会给大家再演示一下啊,因为他这个模型的话用起来也是比较方便的,跟一带差异啊,没有什么, 也可以基于这个 cpu 的部署,也可以基于 mac 的电脑的这个部署,他都是可以支持。然后这次呢,他还有一个更不错的一个,就是说就是允许在商业上面使用啊,他如果获得官方的书面许可后,易允许商业使用啊,他等于是这样。 呃,模型的话呢,他的那个授权范围啊啊,就是会更好啊,他的好啊,今天的话呢,这个 chat g m 啊,二代的这个模型啊,就跟大家就介绍到这。

我是用了 check 二到六币,因为是 mac 加 a 卡,所以只能用 cpu 跑,最简单的视力用时二十八秒,我问他你好,他给我回复过度,不知道是不是我使用方式有误,还是挺奇怪的。

超越 taggbt 四点零的中文理解能力, chitgmm 二正式开源公布,这是一款由清华大学出品的 ai 大语言模型,直接部署到本地就可轻松运行,而且对配置要求在逐渐降低,增加了逻辑思维和语言理解能力。接下来大家跟老张快速的体验一下。 首先我们打开对应的一件包,在这个一件包当中呢,咱们会拿到以下这四个对应的内容。首先咱们先说安装包,安装包是本次运行必备的环境之一,必须要把它先进行安装一次, 安装成功以后,咱们接下来需要先把这个一键安装包,对应的工具就是咱们说的一键启动器,把它解压出来,解压出来在这就是对应的这样的一个效果啊,有一个快速启动咱们可以看到,然后这个解压出来之后,紧接着第二步咱们需要做的就是把 把这两个对应的模型也就解压出来,这个模型是咱们今天的主角 chin gm 二,号称可以和 chintpp 四点零掰手腕的国产 ai 模型,这一款呢是我们程序儿界啊非常好用的专门写程序的代码模型,今天老张就不做演示了,如果你需要,你可以把它给下载下来, 然后解压出这款内容。之后呢,咱们把解压出来,他是一个对应的文件夹,咱们把这个文件夹复制,然后放到咱们当前的一键包中, 找到这个 models 文件夹,把它直接粘贴过来,这样的话就可以在一键启动器上找到咱们的 check gml 二对应的这个 an 模型, 找到之后呢,咱们可以直接在这选择快速启动好,然后在这选择对应的模型,因为咱们我这呢有两个模型,咱们要的是这个,对吧?拆个 gm 二杠六 b, 然后这款模型启动完成之后呢,咱们首先先根据您 的显卡来进行选择,比方说老张是八 g 闪存的,我就选择这一项,如果您是四 g 闪存,直接选择下一项就可以了,对吧?根据您对应的内容来进行调试, 可能首次加载他的时间会非常的长,咱们可以稍作等待,如果说他出现了一些报复原因,你一定要检查是不是你电脑显存不扣导致报显存等相关问题。好的,当咱们进行重新之后,你可以看到有一个编个地址栏,可以把这个地址复制,直接就可以打开了,这个就是咱们对应的模型选择, 咱们可以在哪呢?可以在这个模型选项中进行看,对吧?这是咱们这个模型,这是没问题的。好,然后咱们这是文本驱动器,在这就可以直接进行对应的应用效果呢?如果您的电脑配置够好,效果还是非常不错的,但是如果电脑配置一般的兄弟们可能要稍微的差一点。

啊,当然啊,我们说相比幺三零 b 来说啊,六 b 这个模型还是会更加方便来进行实现一些的啊,所以我们在课程当中呢,也是选择六 b 这个模型来进行重点的讲解, 当然得益于六 b 更加清亮的啊,这样的个体量啊啊,所以六 b 这个模型现在在开元社区内的这个使用其实也非常非常的广啊,所以呢,也为我们的这个学习呢啊,相当于是提供了更多啊可以借鉴的一些思路和方案。 那么六 b 这个模型总共呢是六十二亿的啊,这个参数,那么它呢,是在呃 et 的 talking 量上来完成的模型的训练,并且更为难得的是啊,它这个训练的 et 的这个 talking 量啊啊,是 中英双语一比一的这个比例啊,来构建的这样的一个语料,那么可想而知,对于这个模型来说,它肯定是中文和英文呢啊,掌握的非常好,对吧。那么更加重要的是啊,在这一 一比一的这个语料当中的啊,其实中文的语料质量是要高于英文语料质量的啊,所以就 chat g l m 这个模型来说啊,他对中文语句的这样的问答的效果啊,是好于英文语句的这样的一个问答的啊,这点其实非常非常难得了。 那么此外啊,对于六 b 这个模型来说啊,清华大学是考虑到开源社区的实际使用需求啊,所以呢,是提供了很多个不同的实线的版本哈,总共呢是有三种啊,不同实线版本叫做 f p 十六啊, inter 八和 inter 四啊,三种不同的版本啊,当然 严格来说这三个呢啊,不是说三个这个模型不同的版本,而是模型它可以运行的三种不同的模式,三种不同精度的模式,那么 fp 十六啊,是最高精度的啊,这样的一个运行的这样的模式,然后呢 inter 八呢,精度稍微低一点啊,再往下 inter 四呢,这个精度 更低一点。那之所以啊,六 b 这个模型需要设置三个不同的这个运行的精度啊,实际上也是考虑到大家实际的这个啊,硬件的这样的一个环境啊,对吧,精度越低啊,当然对这个硬件要求呢,也会更低一些, 在最低的啊, int 四的这样的一个模式下啊,那么官方给出的这个硬件要求呢?是啊,我们只需要六 g 的这个显存啊,就可以来进行推理,然后呢七 g 的这个显存就可以啊,来进行高效微调。 当然所谓这个推理的指的是啊,我可以运行了,我可以跟他对话了啊,这个是这个是他的这个推理,他最低的门槛呢是六 g。 而啊所谓的高效微调呢,指的是啊,我需要围绕这个模型来进行一些额外的些微调,那么往往我们说微调一个大别模型,他需要消耗的这样的个显存,他需要占用的硬件资源肯定是要比他在进行推理的时候 啊,硬件资源要更高的,那么我们会发现啊,在最低精度的啊,这样的一个情况下啊,对于六 b 这模型来说,只需要六 g 跟七 g 就可以来进行运行跟微调了,这个门槛其实非常非常低的, 基本上我们说在一张二零六零的这个显卡下就可以运行,如果啊,你有一张二零八零太的这个显卡的话,那么啊,在最低精度模式下,这个推理呀和微调啊都能非常顺畅的啊来完成。 当然有同学可能会觉得说啊,那这个还是呃有一定的这个硬件门槛呀,对吧,毕竟他还是需要有张显卡哦你才能运行。 呃,确实是这样的啊,但是我想说的是,这个已经是大语言模型非常非常低的啊一个运行的呃门槛了,因为毕竟他还是一个大模型,而目前来说,大多数大模型的使用跟应用场景仍然还是工业级的啊,这样的应用场景在 工业级的应用场景当中啊,一个这么低的硬件门槛的要求已经是非常非常难得了啊。当然就这个硬件门槛这个问题,我们稍后呢会做专门的一段啊来讲解说,如果你要想用好六 b 这个模型的话啊,这个硬件呢应该如何配置?如果你想自己实验的话,应该如何配置?如果 你们是一个团队啊,想进行这个更加复杂的微调,应该如何来进行配置啊?如果是企业啊,想进行大模型研发的话,应该如何来进行配置?这个呢,我们稍后会有专门的一段视频来进行好好讲解。但不管怎么样,我们说更低的啊,这个硬件使用门槛 也让啊六 b 这个模型呢在开运设计上得到了非常好的啊一个传播和使用。当然啊,这里面我们可能还需要解释一下到底什么叫 f p 十六, inter 八和 inter 四啊,这三种不同的这个精度,其实哈啊,这三种其实也不难理解, f p 十六啊, 指的是全参数进度, inter 八呢代表的是它的参数,总共呢只保留八位数。那么 inter 四呢代表了它,它的参数呢?总共啊只保留四位数。 那么对一个神经网络模型来说啊,肯定是有非常非常多的参数,那每一个参数呢,肯定都是有好多好多位对吧啊,这个时候呢,你当然是保留的位数越少啊,那么你参数呢, 这个损失的信息呢就越多啊,但是呢,计算速度呢就会越快啊,是这样的一个过程,所以 inter 四呢,代表的是总共的保留四位参数啊,然后呢, inter 八呢是每个参数呢啊,总共只保留八位啊, f p 十六呢是全参数精度啊,大概是这样的一个情况, 那么呃,这里我们需要说明的是,它虽然是给出了三种不同的精度啊,让你去选择,让你去运行啊,但是 inter 四的这个情况下呢,它的这个呃,由于参数本身的精度呢 是比较低的,所以它最后结果其实并不会非常非常的准确啊,所以大多数情况下,我们的实际运行呢,可能都是在 inter 八啊或者 fp 十六下来进行运行啊。不过如果你只想跑通这个模型的话, inter 四呢啊是没有什么问题的。 然后啊,同时对于这个模型来说,还有一点可能需要注意的,就是啊,这个模型呢,他会伴随着你的多轮对话的这个次数不断增加呀,他需要占用的这个显存呢啊,也是会不断增加的啊,所以尽管啊,我们说 啊,在 inter 四的模式下,最低六 g 的线存你就可以跑起来啊,但是你多对话几次的话,它的显存占用量呢,会非常非常的多啊,所以我们还是推荐大家如果是一个使用啊这个把它跑通这个模型,并且想测试它的 多轮对话的话,那么最好呢还是上二零八零太,二零八零太的话呢,呃,总共呢是有十一 g 的这个显存在 inter 四的模式下运行六 b 这个模型完全是 ok 的。好啊,当然你说如果啊,你希望我他是以全精度的这个模式来进行运行的话啊,并且是进行多轮对话,他需要占用很多现成的话啊,差不多需要二十 g 的啊,这个现存的量, 那么二十 g 的显存量消费级的显卡可能至少也得是三零九零啊这样的一个级别了啊,这个呢啊,我们先简单说明一下啊,我们稍后呢会有详细的这个硬件配置这样的讨论, 但不管怎么样啊,我们说正是得益于六 b 这个模型非常低的啊这个使用门槛,所以呢他在目前开源社区传播也是非常非常广啊,尤其是中文领域的这开源社区传播是非常非常广的,那么也是自啊六 b 这个模型诞生之后, 现在呢啊 get up 上也有非常非常多的啊,围绕六 b 呢来进行的一系列的啊开源的项目, 那么其中啊最有名的啊四个项目呢,我给大家列到这啊,因为这些项目呢,我们后面呢或多或少都会来进行一些讨论啊,大家感兴趣的话也可以先自己去看一下。那么首先第一个呢啊,就是 chat glm 六 b 加 petuni v 二的啊,这样的一个微调的这个项目, 当然啊,大家会说这个 v ptuni vr 是个什么东西啊?首先这个呢,是个微调框架啊,稍后呢,我们会来讨论啊,这个微调框架到底是什么样的一个含义,以及什么样的功能? 那么 p tony vr 呢,它本身也是清华大学提出来的一个微调这样的一个方法,并且这个微调方法呢,是非常非常 适合啊,这个六 b 这个模型来进行微调的啊,所以清华大学在推出六 b 这个模型之后没多久啊,就开源另外一个项目,就是 chat glm 六 b 加 ptoning vr 来进行微调的啊,这样的个项目,那这个项目现在目前也基本上可以看成是啊,所 所有的你要去学六 b 这个模型,微调这个必不可少得去学的啊,这样的项目非常非常具有这个指导意义。那么第二个啊,就是 chat gm 六 b 加 lora 微调啊, lora 微调是另外一个微调的框架,稍后我们也会来进行讨论啊,那这个呢,同样啊,也是 这个开源社区里面目前讨论的非常火的啊,未来的一个研究的方向啊,就是去看各个不同大语言模型啊,在 lorr 下如何来进行微调啊,那么六 b 这个模型,同样啊,在 lorr 下进行微调呢,也能够调,也能够有一个非常好的这个微调效果,这个项目呢啊,也是属于非常火的一个项目, 那么同时呢,还有一个啊, chat j l m 六 b 加 long chan 的这个项目啊,那 long chan 我们就开始提过,提过一嘴,对吧啊,它呢是用来去构建一些 ai 应用的开发范式,那么六 b 呢,同样也是可以和 long chan 来进行无缝集成的啊,这个项目呢,在啊,开元社区目 目前也非常火啊,但是这个项目目前他基于 longent 这开发,主要是啊,这个围绕本地智库来进行一些问答啊,是这样的一些呃功能。但这个项目呢,同样啊,也是国内第一个啊,用六 b 和 longente 来进行协同开发的一个项目啊,这个项目呢,也是非常具有参考价值的。 那么此外啊,对于六 b 来说,由于它本身是一个这个对话类的这个模型嘛,啊,所以开源社区里面还有一个非常火的项目啊,就是把它这个对话呢,搬到这个网页端啊来完成。 那么这我们现在这个看到的啊,实际上就是一个 web u i 的一个对话展示的项目啊,这个项目同样我们说如果你需要去使用 g b t l 六 b 这个模型来进行对话的话来进行调试的话,有一个外部前端啊,肯定是会方便很多。那么这四个项目也是目前啊,整个围绕着六 b 开源社区最具有代表性的啊,这四 的项目,那么后面呢,也会啊,在正式的课程当中啊,来好好讨论一下啊,这些项目分别是如何来进行实现的?

小伙伴们大家好,之前两期分享了清华大学团队开园的中英双语对话模型 chat g、 l、 m 和代码生成模型 code gigs。 今天带来的是由北京大学团队开园的中文法律大模型 chatlog, 该项目问时候在知乎上热度颇高,项目负责人也在相关帖子下面亲自做了回答,目前在 github 上已获得了五千加 star。 项目主页中介绍 chatlog 系列模型,目前有 chatlog 十三 b、 三十三 b 和 text to bike 三个版本, 而十三 b 是本期视频中要演示的模型,但想要获取能在本地运行的 ai 模型,需要用户自行合并,并保证磁盘有二十五 g 左右的空间。在这过程中可能会遇到各种各样的问题, 且官方文档中的内容非常简略,因此最好的解决办法就是直接下载别人合并好的模型。欢迎有兴趣体验的小伙伴在评论区留言哦!执行命令 运行程序,等待模型加载完毕后自动生成链接,使用浏览器访问。 接下来尝试询问几个问题,测试 chatload 生成效果。第一个问题, 详细阐述签订劳动合同需要注意哪些内容,点击提交,等待 ai 做出回答。叉特劳十三 b 模型较大,生成回复一般需要三到四分钟左右,查看结果差特劳列举出了包括用工形式、工作岗位、 薪资待遇、休息日、违约责任等需要关注的几个方面。整段文字的中文表现力还是相当不错的,但是引用的就业促进法似乎并不是十分精准,再试试。第二个问题,酒驾撞人逃逸如何处罚?测试这个问题时,在参考资料文本框中填入刑法中 交通肇事罪的相关法条,看看 ai 会给出怎样的解答。由于参考资料的助力,个人感觉 ai 给出了更为专业的解答。文本中不光考虑到了不同的情况, 而且对问题进行了一定反馈,指出没有提供详细按键背景,无法确定具体处罚方式。在此次测试中, chatlo 的表现确实可圈可点,最后用之前一生会热点新闻作为案例,向 ai 提问,一男子向一女子搭讪索要电话号码未果后将该女子殴打,智商这种情况应该怎么办? ai 给出了他的回答,小伙伴们感觉怎么样呢?总结个人实测感受, chatlo 十三 b 是一款比较优秀的法律大模型,有很好的中文表现力,能够给出具有一定参考价值的专业回答,当然也确实存在问答效果不佳的情况。另外,官方文档中写道,在未来迭代中,将致力 提升模型逻辑推理能力,优化模型回复准确性,减少幻觉。因此,个人感觉这个法律大模型是值得持续关注的。以上就是本期分享的内容了,感谢观看,欢迎关注我,一起探索前沿的 ai 开源项目。