粉丝3.5万获赞41.1万

话呢,是这些开源的模型纷纷的就是推出能够支持的上下文非常大。他举了一个例子,像 o p t 杠七 b 对吧,你杠 story writer, 他据说能支持六十五 k b 的这个上下文。 那么像最近刚刚公布的 cat g l m 二杠六 b 的话呢,它能支持三十二 k 的这个上下文。你们越来越长的那个上下文,就相当于一个 l l m 的里面的那个脑子的短期记忆的容量。这个容量如果越大,那么它能够支持的这样的一些应用,能够支持的字符的这个数量就越大。那么也是评价一个 l l m 这样一个模型的这个先进程度的指标,核心指标之一。它等于因为自从 p t 三点五支持十六 k 和 g p t 四支持三三十二 k 之后,越来越多的一个主流的方向就是开源的这些 l l m 的模型,它要支持的这个 contex 就要越来越大。 像商业的还有一个 clue 的,它支持一百 k b 的这样的一个长度。那么这篇文章主要是介绍什么呢?这篇文章主要是讲就是目前开源的这些模型,虽然它能支持呃长度, context 的这个长度是很长,但是它随着它这个长度的变化, 就是他的 context 里面的内容越来越多,他的精度会变化的会非常厉害,他的精度会显著的下降。他举了一个最明显的例子,就是刚刚公布的那个恰特 glm 杠六 b 的这个模型,他在三 k 的时候, context 在三 k 的时候,他的准确度是非常高的,达到将近要超过百分之八十, 但是达到六 k 的时候,他的精度就要将近下降一半,只有百分之四十几,他等于是这样。所以的话,如果达到十 k 以上的这个 contex 这个长度的话,他的精度几乎为零。所以他们说呢,这就就是这篇博客,他们这些研究者也就新的算 研究了一种新的算法和研究了一种新的长的这个 context 的这样的一个评估的方式。它主要是讲这个。我们就一起来看一看。根据它的新的这个方法和算法,他们也公布了这样的一个模型啊,这个模型的话叫 long chat 啊。 那么目前公布出来的话呢,它是十六 k, 它最大能支持十六 k 啊,因为如果是再大,它会发现它的它的这个精度就会显著下降。它会有这样的一个问题。好,我们来看一看它这个模型,它在哈根 face 上也已经公布出来了这个模型,它也是基于这个 l l a m a 的这样的一个模型的基础框架不经过微调, 因为我们知道这个 l l a m a 的这个模型它是它默认是两 k 的,它的上下文默认是两 k 的,就是二零四八,它是默认的这个欲训练模型玩的这个长度。那它呢?通过了一种新的技术,在微调过程当中把这个字符能够呃加到 inbiting 的, 把这个位置的信息加到 in bedding 的这个里面去,让他的这个能够支持的上下文能够变长。那么这个方案在哈坑 face transformer 的这个这个类里面已经实现了。他他叫什么旋转门 这个位置的 invading 的这样一个操作。它其实本质上是什么呢?我们来看一下。它举了一个例子,假设你要最后微调 context 的长度是这么这么长的,那它现在旋转门,它的旋转系数是八,因为是二 k, 最最大支持就是十六 k 呃,这个上下纹的这个长度,所以它会把这个位置如果是一万,那它就去除以八,那么这个位置的 id 就是幺二五零,它等于是这样,那么它会从这个幺二五零开始, 然后这个位置就从这再往下排。他是通过这种方式去做的,就相当于我做了一个除法,他等于是这样。好经过这样的一个位置的这样的一个旋转门的这个编码排序之 后,他在又做了一个微调的,根据这个 ctrl c 型的数据再做了一次微调。那他整个一个消耗大概是花了将近七币的话呢,他说花了三百美金,如果是十三币的话呢,是花了七百美金,他就做了一下。做完之后,他的这个用他这个技术,目前他评估出来他的效果还是可以的。绿颜色的这一部分, 绿颜色的这部分,他说他的这个准确度还是非常高的。那么我们看看他们是怎么评估的?他评估他专门做了一个评估的一个工具包,叫 专门是针对非常长的这个 con context 这样的一个评估。它这个评估它能够支持什么,八 k、 三十二 k 啊,甚至达到一百 k, 它是最新版本都能支持它。这个评估里面它主要是做两部分,它主要是有两个 包,里面是比较重要的。第一个评估,他在这个 conversation 里面,他就是出力度的去判断你到底在这个交流过程当中到底有多少个 topic 在沟通和交流, 这是他叫粗力度的这样的一个获取 topic 的这样的一个能力。第二个他是获取细节的这种能力,你在这个 topic 的里面,他能够在你这个 topic 里面能够把一些比较细的一些知识点能够自动的提取出来,这个也是一个要评估的这个能力。那么他根据这两个评估能力,我们会发现这个是他最终的那个 评估的结果的话呢,那它也把那个 chat g l m 杠二代的杠六 b 的这个模型也默认它的预训练的上下纹大概是在八 k 八 k, 然后 chat g m 二代,他和对外公布他的那个上下纹的长度能够支持大概是在三十二 k, 但是我们会发现如果他是三十二 k 的话,他后面是非常低的,精度是非常差的。就是这个他的这个精度能力就 它有这样的一个问题啊,包括 m t p 杠三零的这个模型,它也是一样的,就随着它的这个 context 长度的变长,它的精度是 快速的下降。他会有这样的一个比较大的一个问题,但是你看到那个像商业的一些解决方案,像那个 clud 啊,包括呢 gpd 三点五啊,他们是没有这方面的问题的。他他的那个上下文支持很长,他的精度是不会降低的。 这个目前开源界还是有待于努力的。这样的一个一个方向,虽然支持这个上下纹很长,但是呃你的支持上下纹长的时候,你的精度是不足的,这个是一个比较严重的问题,这个也是目前开源里面一个比较 一个缺陷嘛,啊一个缺陷,但是的话呢,目前 l m c, 那么他们开发了这个叫 long chat 的话呢,就相对来讲,目前在开源的里面,相对来讲它的支持的 支持十六 k, 但是他的精度目前是相对来讲还是是比能够接受的一个范围,他等于是这样,如果超过十六 k, 那么他肯定也是比较惨。这个肯定也是跟这个算法有一定的关系啊,这个跟算法是 有一定的关系。好,这篇博客他核心主要是讲的是这样。最后结论啊,他的结论是是这样的,我们看一些开源的模型,不光你要看他的他对外的这个上下纹支持的长度,你光看这个长度的话是不行的, 而且你还要测它的相应的这个长度里面,它的这个两个的这个能力,它这个获取出力度的这个 topic 的能力,和它在这个长对话当中,它的这个获取 information 的这样的一个准确的一个精度到底是怎么样?那么目前来看呢,那就是 chat g l m 杠六 b, 它在这个方面能力还是比较弱的, 能力还是比较跟目前国外的一些先进的一些模型来比的话,它这个方面还是比较差的。所以我们在使用 chat g l m 二代的这个过程当中,我们的那个上下 呃也不能太长,呃,我看了一下,应该不要超过六 k, 超过六 k 的话,那基本上这个精度就惨不忍睹了。他这个是这样的。好好,所以今天这个博客 就跟大家就交流到这,当然他这个文章里面,他们也会讲目前下一步他们的这个动作是什么,因为呢,对呃,非常长的 context 的这个内容的产生这个性能啊,包括一些更快的速度啊。 foremans 上面他有更多的这个需求。所以的话,他们会开发一个新系统,用一些新的技术去改善 非常长的上下纹里面的他的这个 performance 的这样的一个,不管是效率也好,还是这个精度也好,他们希望计划去开发一些新的技术,去改善目前开源界的上下纹长而导致这个精度下降的这样的一个严重的问题。好吧。

哈喽,最近踹的 gpt 四点零不上线了吗?也非常火吗?啊,最近我的视频也做了一大堆关于 excel 的视频吗?让我们来看一下 trietgpt 四点零能不能帮我们出 excel 啊?首先我们来看一下 triggpt 点开, 然后呢,我们最近问的最多的呢就是装修的 excel, 我们来看一下这个,他能不能帮做一个装修的做法表 哎,他说当然能做一个,然后看,哎,符合的要求啊,没有写出什么,那我就帮忙做一个装修的造价 excel 表, 但是做一个颜色好的点线,铜线,然后他做出来了标格,哈哈, 这个是电器 气的,哎,我能不能,我能不能做个土建呢? 做一个图鉴的墙面处理,地面处理,瓷砖,水电改造,还说水电灯具哦, 每一行可以输入具体的信息哦,明白了明白了,他就是说在里面输入具体的信息,你改里面就可以了,然后通过数量。嗯, 那我让他做一个加装的 excel, 简单的加装还是墙面处理?地面处理啊,吊顶瓷砖啊,卫浴灯具,家具合计啊? 复杂的啊,诺诺迪要一个更复杂的加装表格, 这个是够复杂的,看看 前期准备,工程垃圾清运,材料费,哈哈哈,水电改造,木工阶段, 墙面处理,工程柜啊,乳胶漆,喷漆工程材料乳胶漆啊,单单独把人工和材料还给你拆开了呢?地面处理,地板安装马桶哦, 我安装和家具很都拆开了哦,这个很棒哎,那如果用这表,那我就把这表复制看看试试复制到一个字表里面,看看咱们能用不,哎,粘贴哎,直接做出来了 哎,非常方便哦。可以可以可以可以可以,这个真是提高了不少效率啊。这呢就是今天跟大家的分享,分享我们问的什么 try to g p t 的问题,可以在底下留言,然后我帮你提问, 然后后期也会做到视频里喜欢灶台赶我请持续关注我,我是灶家福建一。

叉 g l m 三一键部署,保姆级别教程,不会技术也可以。效果演示发一个,你好,速度很快,接下来将会带你一步一步的实现这个效果。首先浏览器输入 dos fifi come, 打开我的博客回车,点击开始阅读,点击左侧菜单的 ai 打模型,点击叉 tlm 三一键部署,电脑配置显卡四千零九十, cpu 一万四千九百个。 第一步,点击模型下载的链接将会跳转到百度网盘进行下载。第二步,点击环境下载链接,和第一步骤一样,这里就演示一下,把窗口调小 一点。假如你把这两个文件下载下来,默认浏览器会把文件放到下载目录这里,根据自己的情况来。现在你已经有了叉 g l m 三这 models, 这在桌面创建一个文件夹,名字叫做 chat, 然后把刚刚下载下来的文件拷贝到这个文件夹中,选中叉 g l m c, 鼠标右键提取到叉 g l m models 最也是一样的操作。视频二十倍快进 解压后会得到两个目录,拆至 m m 三和 models, 先关闭演示窗口,然后看一下 文档上的操作,文档上解压下载的压缩包和我们现在的效果一致。找到第四步骤,需要进入叉 g l m 三目录,然后点击零一,启动叉 g l m butt, 此时你会看到一个黑色的窗口,等待一下,在你的默认浏览器会自动打开一个本地的地址,正在启动中, 黑色的窗口会有加载的进度显示,加载出来了,如果你的效果和我的效果一样,恭喜你叉 t l m 三一键部署成功。发一个你好,测试一下,成功。