兄弟们插播一条消息, t 七 l m 第三代六 b 模型发布,发布时间是三天前,目前已经有一千八百颗星。众所周知, t t l m 是国产开源大模型的扛把子,这次 t t l m 三带来的新能力再一次领跑国产甚至全球开源大模型。比较离谱的是 t t l m 三六 b 基础模型 是目前开源社区里实力以下模型中最强,而且他原生支持函数调用和代码解释器,在官方 demo 里就能直接体验到代码解释器的能力,同时在 demo 中还有函数调用的视力,大家也可以开发自己的函数。目前官方一共发布了三个版本的模型, 上下文最大的有三十二 k f p 一六精度运行需要十三 g 的显存,和前几代模型差不多,如果显卡不够的话可以考虑在斯比特精度下运行,效果肯定没那么好,但是 至少可以跑 cpu 部署的话需要三十二 g 的内存,速度就比显卡慢太多了。苹果部署和多卡部署这里也有解决方案,大家自行参照。第三代三十二 k 的模型相比前一代提升非常显著,兄弟们不得不说,前期 lm 真的是惊喜不断。
粉丝3.5万获赞41.1万

清华发布的 chat jm 第二代模型是否比 gpt 四还要厉害?是否可以断网运行?粉丝小伙伴一直有问到这些问题,我准备接下来换点时间,通过几期实测分享来回答这些疑问。 cat g m 六 b 是清华大学 k e g 实验室今年发布的黑本地部署大约模型,六月底推出了六 b 的第二代版本, 有着更长的上下文和更高效的推理能力。今天先分享如何不输安装 chat j m 二、六 b 模型,并用模型完成简单问答。目前在基站有完整的安装攻略,在 先安装项目仓库到电脑上,然后执行这条指令,安装相关医疗文件。执行完以后就可以下载六 b 模型了,通过手机运行调试代码就可以自动下载,比较简单。我参考官方设立写了一个六 b 模型的问答教本,其中会通过引用和调用六 b 模型来触发模型的下载动作。这里 要特别讲一个问题,所有的本地大约模型的推理对内存 g p u c p u 的要求都比较高,六 b 也是一样的道理,你的电脑配置不行, 那推理会特别慢,待会会给你们看我电脑的运行效果。小伙伴需要根据自己的电脑配置,在六倍模型加载代码进行相应的初始化设置,需要根据有没有 gpu 显存和内存的大小进行不同的初始化, 甚至因为没有独显和内存过小,我们只能用炼化后的模型。我这里根据官方的提示,整理了五种不同电脑硬件配置对应的模型加载蛋白段,大家可以暂停看看 继续运行概念码会检测是否本地已下载模型,没有则开始下载,会出现以下的进度条。溜冰模型总共会有七个变味键,因为是从 honky face 下载,可能会因为网络产生中断,比如这样重新执行交款会继续断点下载。这里还是比较人性化的 模型,下载完以后,脚板就可以进行提问了。这个是小伙伴可以打开 cpu 和内存的占用率监测,可以看到占用率基本都会百分之百拿满,反正我的电脑是这样。我先让六倍进行自我介绍,为了直观看到问答的问题间隔,我加了时间显示, 简单的问答基本都要三到四分钟。再问一个需要思考的问题,比如如何学习 ai 知识, a few moments later, 直接等了十多分钟, 哎,该换电脑。对了,官方的代码仓库提供 gradu 界面的网页版代码,执行这条视频就可以打开网页。 从简单的问答来看,因为我这个破电脑的限制,回答的速度肯定没有 gpt 是快,这也是本地模型和云端模型不同的效果,不过对于推理的准确性,我还要再仔细研究对比一下。大家可以持续关注,希望今天的安装教程对大家有帮助,有用的话记得点赞收藏。

语言类大模型 基于 model scope 打开 visual studio code, 打开文件夹 check them 二到六 b 新建文件 demo p 选拍赞环境 坎达建立的 model scope contact 环境安装 看下面终端 copy 这些代码到 demo p 运行。 demo p 有版本不兼容, 因为我同一个环境弄过 c v 修改对应版本后出结果了。 这就是只能六币原因。

六月二十四号,清华大学和智普科技开源了第二代六 b 模型 t l n 二六 b, 在之后一个月的时间里,该模型获得了接近一万个 get hop star, 到定 face 网站上的模型,下载量更是高达一百四十多万次。 相比于上一代六 b 模型, gln 二六 b 有着巨大的进步。在最新的中文排行榜中, gln 二六 b 和 gpt 三点五的评分非常接近。接下来,我将在中文语境下让他们进行一场全方位的 pk, 一起来观战吧! 曹贼拿命来杀 我要争一口气,不是想证明我了不起,我是要告诉人家,我失去的东西我一定要拿回来。 最终, g l m。 二六 b 小胜 g d t 三点五。作为一个跑在个人电脑上的模型, g l m 二六 b 确实非常给力了。接下来我们看一下运行 g l m 二六 b 的 gpu 使用情况为和模型对话时, gpu 利用率不是很高,显存占用十四点九 g, 其中包括三点六 g 的共享显存。和模型对话时 gpu 利用率快速提升到百分之一百,显存占用依然是十四点九 g。 关于如何在本地运行 gl 二六 b, 大家可以看一下官方文档,这里只贴一下我在安装和运行过程中遇到的问题,大家可以做个参考。今天的视频就到这里,感谢收看。

本地部署 chat gpt, 无需安装,直接解压到本地,一键启动,完全免费开园,无需科学上网,国内直接使用国产大模型 chat glm 二遥遥领先 chatglm 二六 b 是国产大原模型, 一键启动包已经给大家准备好了安装包,加入粉丝群,查看群公告,直接领取粉丝群的入口。在和我私聊的界面右上角,我们把 chitglm 压缩包下载到本地,按右键选择解压到本地 点按完成以后打开 tit gmr 文件夹,首先安装 denit 运行环境,双击打开选择安装。如果你的电脑已经安装过 denit 运行环境,无需再次安装,直接关闭。然后进入 titiglmryblim 录,双击一键启动器,快速启动 chatglmr。 打开 外部 ui 启动器以后,先选择模型,我们这里有两个模型,一个是聊天大圆模型,另一个是程序员写代码使用的模型,我们选择 itgm 二六 b, 根据你的显存配置下启动参数,我选择巴比特模式节约显存,然后选择一键启动,抖速运行会比较慢, 如果启动界面报错,那可能是启动参数配置和你的显存不匹配,或者电脑性能和运行环境不支持。 启动成功以后,命令还会显示 running on localuil, 并自动弹出浏览器。打开地址,我们来测试一下菜菜 gmr 六 b, 你好,选择詹德瑞特生成,生成速度还是很快的,效果也很不错,非常的完美。

今天听说清华大学的国产大语言模型 check glm 六比开元公测了,迫不及待的下载部署,简单体验了一下,回答速度挺快的。我觉得最大的优点是可以本地部署,对配置要求也不高,只需要七 gb 的现存即可。 不过由于规模较小,只有六十二亿参数,而叉 g p t 是一千三百亿个参数,还是差了好几个数量级。 正如他官网所说,还是有相当多的局限性,比如事实性、数学逻辑错误、可能生成有害、有偏见、内容 较弱的上下文能力等。这是官方博客上的发展路线图,可以看出目前还是迭代了好几个版本了。以下是我这次的对话体验,除了我打字部分做了加速处理,他回答的部分都是元素。播放。 好了,这就是今天视频的全部内容了,如果你也想体验一下,但又觉得官方的部署工作很麻烦的话,可以在视频下方留言,给大家准备了懒人安装包。

买了一块显卡,然后加了点内存,然后搞定了 chat g l m 的本地化部署,这个是本地化部署的一个 后端的一个界面,然后这个是 vivoi, 我们来看一下他做那个对话的一个情况, 好了,这个就是他回答问题的。

跟大家再来讲一个 chat glm 杠六 b 又发布了一个新的模型啊,它这个模型是支持三十二 k 的上下门 啊。上下文呢,我们清楚的,特别是在一些知识问答啊,特别是长文本的一些知识问答里面,它是非常重要的,之前我也是介绍过啊, chat g m l 二代的时候,他原来在 l m c s 啊,他们刚开始研究了一下,刚开始 chat g l m 二代杠六 b 啊,他刚刚发布的时候啊,他的那个,他的那个长文本啊,这个 context lens, 他能力是非常差的,当他超过十 k 的时候,他的准确度几乎为零,他等于是这样啊, 所以的话呢,就是说呃,恰特 glm 二代杠六 b 的这个模型的话,原来它对那个上下纹,虽然说它能够支持非常长的这个上下纹,但是当它超过一定的这个值的时候,它的准确度下降会非 非常快啊,他有这样的一个问题啊,最近两天他们刚刚公布了一个新的模型啊,这个模型的话呢,他可以把呃上下纹的这个长度啊,达到了三十二 k, 他等于是这样啊,他也是用了一个叫位置差值的这样的一个 一个方法,我怕把在原来 chat g l m 杠六 b 的这个基础上啊,进一步的微调,然后把它变成一个加强版的 chat g l m 的这样一个版本啊,那么这个版本的话呢,它有些好处啊,第一个的话呢,它就 呃,从从他公布的这个资料来看,他说他的那个性能会更强啊。另外一个的话呢,他从原来的那个八 k 啊,八 k, 因为二代的话,他从八 k 扩展到了三十二 k 更长的这个上下文,他对处理这个多轮对话,包括处理一些长文本会有更大的好处啊。另外一部分他也是用了一个多头 carry attention 的这样一个技术,所以的话他所以处理速度更快, 占用的险程会更低啊,这个是他讲了一下啊,那目前呢? chat g l m 杠六 b 杠三十二 k 的这个目前他已经放出来了,在哈根 face 上面我看到刚刚前两天他已经把这个模型给放出来啊,那这个模型的话从零零一到零零七啊,他有七个文件啊,差不多 呃,差不多十五个,十五个 gb 啊,十五个 gb 啊这样的一个模型啊,目前这个模型我还没测啊,回头有机会的话我可以去测一下,因为这个是我们在特别在处理一些 呃,智能问答啊,特别是他的这个文件啊,他的那个文本比较大的这个前提下,如果有三十二 k 的这样的一个上下文的话,那么他的处理的性能会更好啊。 从他目前公布的这个数据来讲啊,他自己公布了一下三十二 k 的这个数据来讲啊,他的这个性能会更好,他比 chat g l m 杠六 b 的这个性能会更好一些,他是这个里面也讲 了一下啊,回头我们也可以去测一下啊,那目前他在中文榜单里面,他的这个性能也是得到了一些比较大的一些提升啊。原来二 b 的这个 二代六 b 的这个模型呢,主要是它平均大概是二十二点五啊,现在的话呢,达到了四十一点三啊,这个能力还是比较强的,它在中英文方面处理都非常好啊,它也啊公布了一个数据,它在大于八 k 的时候啊,你可以看到 chat glm 杠六 b 三十二,它的性能的话不降反身啊,它等于是这样啊, 所以这个这个还是不错的啊,所以我们回头会再来测测一下这个模型啊,看看是不是他像像他这个公布的这个数据一样啊, 我觉得这个还是相对来讲还是比较真实的,因为他们也公布了一个 long bench 的这样一个测试的一个任务集啊,这个 long bench 里面的话呢,他也有这个单文档啊,多个文档啊,这这种类似的这个六大任务,二十个不同子任务的这样一个测试啊,测试 下来的话呢,因为他也拿了一些对照的一些模型去测啊,测下来的话他们的一些性能都相对来讲还是不错的啊,他等于是这样啊,他的中英文的能力我看他好像都不错啊,都是相当不错的,他这个 对我们企业来讲那肯定又是多了一个选择了啊,又多了一个新的模型,而且可以免费商用,而且性能会更好,而且能够支持更长的上下文,可以处理多轮对话,可以处理更长的那个文本啊,做一些摘要。好啊,今天这个视频就跟大家就介绍到。

是记录一下就是 chat g l m 这个微调的这样的一个方案啊。啊这个方案的话呢,我是在我的自己的经济上啊实实践了一下啊,确实是可以跑的。他的这他的这个开源项目确实可以把最终的那个 chat g l m 的这样中英文双语的这样的一个模型给微调出来啊。我给大家看一下啊 他整个一个微调过程的话呢,大概花了是八将近八个半小时啊,因为我是跑在那个 a 五千的这个服务器上面呢啊那么它的内存的话,呃它的 g p u 的话,呃是二十四个 g 的二十四个 g 的二十四个 g, 呃大概刨了十七个 g 啊,因为我我一个一个就是搬去 size, 就是呃跑的稍微小一点,呃它的默认值是 六啊,就是每次批次跑六个指令,但是呃我会发现他有 out of memory 的这个现象,所以我把它改成二啊四,我也改了还是不行,但后来我改成两条两条指令的时候他就内存就不溢出了。那二十四 g 的那个显存他用了十七个 g 然后跑了 八个半小时,然后 gpu 基本上跑满的啊,那基本上就跑完了。呃那么呃他的整个指令级的话呢,就像我那天介绍的他是用的羊驼的那个产生的指令级,一共是五点二万条指令啊。 呃我也跑了五点二万条指令啊,然后我也看到它的 los 的话基本是在不断收敛的啊,不断在收敛的,嗯应该还可以啊。 e pro 的话大概是我是跑了三啊。 那整个训练过程中还有一个时间比较长的话呢,他就要加载那个预训练的那个模型啊?那个就是 chat g。 呃, chat g l m 杠六 b 的这个模型啊,因为他有,我之前跟大家介绍过他有这个八个差不多将近两 gb 的这样的一个 呃数据,呃,他需要下下载,所以的话呢,呃下载的时间会比较久,一般情况啊,然后我给大家看一下他这个深层训练完之后的深层的这些数据在哪里?他是放在这个 alt toot 这个目录下的, 它会放在 altput 下面,然后会生成一个用 roller 模型生成的这样的一个小模型啊,因为它是微调的,微调的话呢,它其实没有在大模型上改,它只是生成了这样的一个呃可插拔的这样的一个小模型啊,然后它可以叠加 在这个 chat 呃, chat g l m 杠六 b 的这个模型上面,然后进行训练啊,我给大家看一下啊,他这是怎么跑的啊?这我已经跑过了啊,这个是加载,这是加载 chat g l m 杠六 b 的这个模型,你把它给装载起来,哎,装载完了之后呢,这个是装载它的那个 talking 啊,这个这个两条渔具都是装载它的模型。 那这个地方啊,因为我是放在这个训练完的这个罗拉的这个模型是放在 output 木头下面的啊,他生成的是这个东西,所以的话呢,你要把这个东西也要加载进来 啊,把这个模型也要作为一个可插拔的能够加载进来,它等于是这样啊,加载进来之后的话呢,你就可以加载这个数据,然后进行预测了啊,这个是加载数据。 呃,我就把原来训练的这个模型加载进来,加载进来的话呢就可以训练。 对,然后 d cod 一下,然后是输出, 他这个是给了一个指令,是一个,呃,就是保持健康的三条 tips 啊,然后他这个是讲了一下怎么吃蔬菜水果等等一些一些东西啊。 第二条他是要做一些规则的一些活动啊, 大量的喝水和睡,准时的吃早饭啊,这个是他的建议。 嗯,这是他的回答, 看上去应该还不错。我觉得他回答了三个问题。 嗯,因为羊驼的它这个 指令集里面我们是介绍过的,他是有英文,以英文为主的,中文很少啊,所以我们其实,呃,下次的话呢,应该还是要把这个羊驼的指令要把它换掉啊,要换成我上次介绍的那个 就是中文的那个指令来进行训练,这样的话呢可能会效果更好一些啊?好,这个是,嗯,记录一下这个运行的效果吧。啊?运行的效果。

叉提 lm 六必基于 glm 架构,可以支持中英双语问答。对话具有六十二亿参数,目前由权重格式不同区分不同的版本,不过对模型的效果没有影响。首先自定义数据集, 当数据及定义成句子对,需要考虑下游任务以及 prompt 的构造案例。在进行多轮对话时需要考虑到上下对话并汇总。在 history 中,我们如何对六 b 进行微调呢?训练过程中直接设置自定义的数据及路径就可以了,然后也需要设置上图的超参数, 其中 self prompt 强度和训练的学习率分别是这两个函数,通过调节可以取得最优的效果。我们要注意, petching new v 二方法会冻结全部的模型参数, 通过调整 quantization bit 可以被原始模型量化等级。当模型训练完,就可以加载模型并进行预测。如果需要加载的是就 check point 或者进行的是全参数微调,直接加载整个 check point 即可,之后可以进行量化或者直接使用。你们学会了吗?

演示一下用 chat g l m 阅读一下这篇英文的新闻,不自动的可生成摘要给大家演示一下。我就先用 chat g l m 的 l l m 的这个对话功能,然后把这个英文的文章复制一下,然后 给了一个指令,以上内容生成中文摘要,然后它就自动的就生成了这样的一个摘要。这篇文章里面的话呢,它主要是讲了 dob, 它一个 深层是填充的。在 photoshop 里面有一个呃新的功能,能够快速的扩展图片啊,添加对象什么的可以用文本提示。跟那个 stable diffusion 是比较类似的,目前处于 ba 它的阶段,这是第一个。 那么第二个的话呢,主要是微软。微软把 copilot 引入进来,然后成为让那个 windows 成为第一个集中 ai 辅助 pc 的这样一个平台,就可以帮助用户更高效地完成任务啊,并成并并且提高效率。他等于是这样。当然那微软还把冰 chat 也引入到了 这个 windows 当中。那么还有一个新闻主要是指的研究员使用 ai 帮助腰部以下截肢的,这个用户能够重新获得对身体的控制。那么这个也是 ai 残疾人士的这样的一个一个一个一个非常强大的一个功能。他这个里面举了一个例子,就是在二零一一年,这个人在一次摩托车中做了截肢。不的话呢,他们开发了一个叫数字桥的这样一个功能,让他的大脑跟他的脊椎能够连接,有效的绕过了受损区域,他就能够控制, 能够用的自愿的能够运动。他等于是说通过 ai 去解码,他等于是这样。我也可以,因为这些内容还是比较多,我也可以让他进一步的提供他,等于是这样,那么他就很好的能够把这个 给给帮助我能够生成出来的。那这样的话,我看这篇文章,看这个新闻的话,会比较简单,有这样的一个功能,他这个里面三个点我看他都包含了,所以他这个能力还是比较强的好。嗯,这个我就演示到这。

我是用了 check 二到六币,因为是 mac 加 a 卡,所以只能用 cpu 跑,最简单的视力用时二十八秒,我问他你好,他给我回复过度,不知道是不是我使用方式有误,还是挺奇怪的。

刚给大家演示一下那个 chat glm 的一些功能啊,一些他这个模型的一些基础功能啊,我主要是演示以下这几几个方面啊,主要是一个自我认知啊。写,呃,提纲写作,文案写作,然后邮件写作,然后他也可以做一些角色扮演啊, 然后也可以做些呃这个评价的比较啊,然后还可以做一些本地知识库的一些问答啊,然后我就给大家演示一下啊, 先我们看一下他那个 cat g a m 的那个自我认知啊,界面打开之后的话,选择这个 l l m 的话呢,主要是这个机器人对话啊,这个知识库问答的话呢,就是利用本地的这个知知,知识库就加载这个知识库可以进行问答,他等于是这样我可以看一下。 对,我先问你是谁啊?你好你是谁,他就会比较好的回答, 介绍一下你的优缺点啊, 强大的对话功能,灵活的知识库,友好的界面设计,实时的更新他主要的缺点。 好,我让他帮我写一个培训的提纲。 这个是什么东西啊?啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧啧。 然后我让他写一篇新闻稿新闻稿, 然后我让他写个邮件, 再让他写一个视频的脚本 角色扮演。角色扮演就是他是以比如说是一个那个新闻工作者的这个角度去报道, 他也可以对 这些东西进行比较。 最后一个我们来看一下 这个是不基于这个知识库的这种回答, 我们看看 g 知识库的回答, 基知识库回答的话呢,其他先在本地知识库里面去寻找跟这个问题最相关的一些文文档,然后再根据文档的这些内容,加上那个 l l m 的这样的一个文字逻辑的这个能力,然后再回答。 那么基本地知识库的回答的话,相对来讲它它会更加精准,更加基于这个企业的这样的一个 内容啊,回答出来的问题的话呢,就会更加准确一点,然后如果不记知识库的话,你可以看到就是他回答出来的东西比较通用啊,比较 宽放,他等于是这样啊,所以,呃,各有各的优势啊,如果在企业内部应用,如果你要准确回答一些问题的话呢,你还是要给他一些,呃,支持他,等于是这样给他一些内容啊。 好,这个就是恰特 glm 杠六 b 目前能做到的一个能力啊。他目前的话呢,我看他十五号也更新了一个新的版本啊。呃,一点一这个版本啊, 他这个一点一版本的话呢,据说是主要更新是因为他平衡中文和英文之间的这个翻译的问题,但是我看他好像这个 bug 没解决,上述内容翻译成专业英语, 因为我看到他的那个中英文还是还是在乎 还是有这个中英文混的这样的一个问题,当然比原来会好一点,比那个一一点零版本会好好好一些的这个,但是他那个英文还是有些问题,他这个可能跟他的那个 chat g l m 里面的那个编码规则是有关系的。嗯, 可能他是中英文混编的,会导致这个中中文和英文之间相互创客,他存在这样的一个问题。好啊好,今天的话就跟大家就演示到这了。

超越 taggbt 四点零的中文理解能力, chitgmm 二正式开源公布,这是一款由清华大学出品的 ai 大语言模型,直接部署到本地就可轻松运行,而且对配置要求在逐渐降低,增加了逻辑思维和语言理解能力。接下来大家跟老张快速的体验一下。 首先我们打开对应的一件包,在这个一件包当中呢,咱们会拿到以下这四个对应的内容。首先咱们先说安装包,安装包是本次运行必备的环境之一,必须要把它先进行安装一次, 安装成功以后,咱们接下来需要先把这个一键安装包,对应的工具就是咱们说的一键启动器,把它解压出来,解压出来在这就是对应的这样的一个效果啊,有一个快速启动咱们可以看到,然后这个解压出来之后,紧接着第二步咱们需要做的就是把 把这两个对应的模型也就解压出来,这个模型是咱们今天的主角 chin gm 二,号称可以和 chintpp 四点零掰手腕的国产 ai 模型,这一款呢是我们程序儿界啊非常好用的专门写程序的代码模型,今天老张就不做演示了,如果你需要,你可以把它给下载下来, 然后解压出这款内容。之后呢,咱们把解压出来,他是一个对应的文件夹,咱们把这个文件夹复制,然后放到咱们当前的一键包中, 找到这个 models 文件夹,把它直接粘贴过来,这样的话就可以在一键启动器上找到咱们的 check gml 二对应的这个 an 模型, 找到之后呢,咱们可以直接在这选择快速启动好,然后在这选择对应的模型,因为咱们我这呢有两个模型,咱们要的是这个,对吧?拆个 gm 二杠六 b, 然后这款模型启动完成之后呢,咱们首先先根据您 的显卡来进行选择,比方说老张是八 g 闪存的,我就选择这一项,如果您是四 g 闪存,直接选择下一项就可以了,对吧?根据您对应的内容来进行调试, 可能首次加载他的时间会非常的长,咱们可以稍作等待,如果说他出现了一些报复原因,你一定要检查是不是你电脑显存不扣导致报显存等相关问题。好的,当咱们进行重新之后,你可以看到有一个编个地址栏,可以把这个地址复制,直接就可以打开了,这个就是咱们对应的模型选择, 咱们可以在哪呢?可以在这个模型选项中进行看,对吧?这是咱们这个模型,这是没问题的。好,然后咱们这是文本驱动器,在这就可以直接进行对应的应用效果呢?如果您的电脑配置够好,效果还是非常不错的,但是如果电脑配置一般的兄弟们可能要稍微的差一点。

啊,同学们好啊,最近呢,我一直在做大模型,然后呢积累了一些经验吧,也踩了一些坑,然后今天呢录个视频跟大家分享一下啊,就是大模型呢,最重要的就是就是三个地方,模型架构,算力以及数据 啊,目前为止呢,就是各类大模型呢,毫无意外,价格都是 transform, 区别呢只是在参数量和训练方法上啊,这其实说明啊,现有的模型架构啊, 效果仍然没有达到上限,就是还有提升潜力,你可以不断的通过堆数据来提升他的潜力啊,我们在这里呢综综合考虑呢,主要是考虑到模型的使用场景以及算力和推理的实际情况 啊,最终选择了清华大学开元的这个叉 j m 六 b 这个模型呢,作为大模型的基座啊。算力方面呢,我这是用了八张 a 一百的卡进行微调 啊,并没有遇到明显的算力平均啊,我个人认为啊,算力这个玩意吧,早晚会被突破,并且根据摩尔定律呢,会越来越便宜,因此呢,现在遇到的困难呢,应该只是短期的问题 啊,在微调的时候呢,我这用的是 laura 这个技术,这个技术呢,别看原理简单,但真的非常有奇效 啊,不过需要注意的是呢,设置 rank 的大小是根据业务领域来的,如果你的领域呢,垂直性越强,这个 rank 呢就要设计的越大。 其实比较有意思的事呢,我个人认为是数据啊,这个事呢,看上去呢,最没有技术含量,大家也不愿意去做, 但是呢,其实这呢是最难的啊,我做的是垂直领域的大模型,我们的数据收集呢,面临诸多的问题,比如我们的数据呢,比较少,而且非常封闭,缺乏标注,网上也不太好找。 垂直领域呢,对模型的结果呢,要求非常高,毕竟呢,他是直接上线真实场景,然后呢,如何呢防止模型呢胡说八道,也是一个非常有挑战的事。 然后呢,我们的业务领域的答案呢,长短不一,短的可能就几十字,然后长呢有上万字啊,比如一些操作的说明书啊,手册啊等等啊,如何运用训练 超长文本,那也是下了一番功夫,最后采用的方案呢,就是对长文本呢进行先分段,然后呢对各段呢进行摘要抽取,然后呢大模型呢只负责生成答案的摘要,然后呢,我们再通过另外一个大模型 啊,这里选用的呢是 but, 然后对摘药呢再进行扩写,最终完成长文本的生成 啊。另外啊,还有些知识啊,基层的变化啊,就比如说商品的售价等等啊,可能一天一个变 啊,如何让模型呢快速响应?这个变化也是比较头疼的,因为你训练一次模型的时间还是耗费的比较长啊,目前呢采用的折中方案呢,就是配备知识库,用知识库呢,对这类问题呢进行快速的 啊。还有一个值得注意的就是生成是模型的一系列审核机制啊,比如说对用户的数据进行审核,用户的输入,你得防止他输入一些有诱导性的问题。然后呢,模型呢也要对他的回答进行审核, 就是内容审核啊,内容风控一定是上线之前的重中之重,这个呢,大家一定要重视啊,然后呢,我最近呢在搞大模型的,差不多搞了有将近两个月的时间。然后呢,上述呢,是我个人 积累了一些经验,当然这个经验呢,还不算很成熟,应该呢还有很多优化的地方。然后呢,也希望大家在评论区留言讨论,我们一起进步,谢谢大家。

啊,当然啊,我们说相比幺三零 b 来说啊,六 b 这个模型还是会更加方便来进行实现一些的啊,所以我们在课程当中呢,也是选择六 b 这个模型来进行重点的讲解, 当然得益于六 b 更加清亮的啊,这样的个体量啊啊,所以六 b 这个模型现在在开元社区内的这个使用其实也非常非常的广啊,所以呢,也为我们的这个学习呢啊,相当于是提供了更多啊可以借鉴的一些思路和方案。 那么六 b 这个模型总共呢是六十二亿的啊,这个参数,那么它呢,是在呃 et 的 talking 量上来完成的模型的训练,并且更为难得的是啊,它这个训练的 et 的这个 talking 量啊啊,是 中英双语一比一的这个比例啊,来构建的这样的一个语料,那么可想而知,对于这个模型来说,它肯定是中文和英文呢啊,掌握的非常好,对吧。那么更加重要的是啊,在这一 一比一的这个语料当中的啊,其实中文的语料质量是要高于英文语料质量的啊,所以就 chat g l m 这个模型来说啊,他对中文语句的这样的问答的效果啊,是好于英文语句的这样的一个问答的啊,这点其实非常非常难得了。 那么此外啊,对于六 b 这个模型来说啊,清华大学是考虑到开源社区的实际使用需求啊,所以呢,是提供了很多个不同的实线的版本哈,总共呢是有三种啊,不同实线版本叫做 f p 十六啊, inter 八和 inter 四啊,三种不同的版本啊,当然 严格来说这三个呢啊,不是说三个这个模型不同的版本,而是模型它可以运行的三种不同的模式,三种不同精度的模式,那么 fp 十六啊,是最高精度的啊,这样的一个运行的这样的模式,然后呢 inter 八呢,精度稍微低一点啊,再往下 inter 四呢,这个精度 更低一点。那之所以啊,六 b 这个模型需要设置三个不同的这个运行的精度啊,实际上也是考虑到大家实际的这个啊,硬件的这样的一个环境啊,对吧,精度越低啊,当然对这个硬件要求呢,也会更低一些, 在最低的啊, int 四的这样的一个模式下啊,那么官方给出的这个硬件要求呢?是啊,我们只需要六 g 的这个显存啊,就可以来进行推理,然后呢七 g 的这个显存就可以啊,来进行高效微调。 当然所谓这个推理的指的是啊,我可以运行了,我可以跟他对话了啊,这个是这个是他的这个推理,他最低的门槛呢是六 g。 而啊所谓的高效微调呢,指的是啊,我需要围绕这个模型来进行一些额外的些微调,那么往往我们说微调一个大别模型,他需要消耗的这样的个显存,他需要占用的硬件资源肯定是要比他在进行推理的时候 啊,硬件资源要更高的,那么我们会发现啊,在最低精度的啊,这样的一个情况下啊,对于六 b 这模型来说,只需要六 g 跟七 g 就可以来进行运行跟微调了,这个门槛其实非常非常低的, 基本上我们说在一张二零六零的这个显卡下就可以运行,如果啊,你有一张二零八零太的这个显卡的话,那么啊,在最低精度模式下,这个推理呀和微调啊都能非常顺畅的啊来完成。 当然有同学可能会觉得说啊,那这个还是呃有一定的这个硬件门槛呀,对吧,毕竟他还是需要有张显卡哦你才能运行。 呃,确实是这样的啊,但是我想说的是,这个已经是大语言模型非常非常低的啊一个运行的呃门槛了,因为毕竟他还是一个大模型,而目前来说,大多数大模型的使用跟应用场景仍然还是工业级的啊,这样的应用场景在 工业级的应用场景当中啊,一个这么低的硬件门槛的要求已经是非常非常难得了啊。当然就这个硬件门槛这个问题,我们稍后呢会做专门的一段啊来讲解说,如果你要想用好六 b 这个模型的话啊,这个硬件呢应该如何配置?如果你想自己实验的话,应该如何配置?如果 你们是一个团队啊,想进行这个更加复杂的微调,应该如何来进行配置啊?如果是企业啊,想进行大模型研发的话,应该如何来进行配置?这个呢,我们稍后会有专门的一段视频来进行好好讲解。但不管怎么样,我们说更低的啊,这个硬件使用门槛 也让啊六 b 这个模型呢在开运设计上得到了非常好的啊一个传播和使用。当然啊,这里面我们可能还需要解释一下到底什么叫 f p 十六, inter 八和 inter 四啊,这三种不同的这个精度,其实哈啊,这三种其实也不难理解, f p 十六啊, 指的是全参数进度, inter 八呢代表的是它的参数,总共呢只保留八位数。那么 inter 四呢代表了它,它的参数呢?总共啊只保留四位数。 那么对一个神经网络模型来说啊,肯定是有非常非常多的参数,那每一个参数呢,肯定都是有好多好多位对吧啊,这个时候呢,你当然是保留的位数越少啊,那么你参数呢, 这个损失的信息呢就越多啊,但是呢,计算速度呢就会越快啊,是这样的一个过程,所以 inter 四呢,代表的是总共的保留四位参数啊,然后呢, inter 八呢是每个参数呢啊,总共只保留八位啊, f p 十六呢是全参数精度啊,大概是这样的一个情况, 那么呃,这里我们需要说明的是,它虽然是给出了三种不同的精度啊,让你去选择,让你去运行啊,但是 inter 四的这个情况下呢,它的这个呃,由于参数本身的精度呢 是比较低的,所以它最后结果其实并不会非常非常的准确啊,所以大多数情况下,我们的实际运行呢,可能都是在 inter 八啊或者 fp 十六下来进行运行啊。不过如果你只想跑通这个模型的话, inter 四呢啊是没有什么问题的。 然后啊,同时对于这个模型来说,还有一点可能需要注意的,就是啊,这个模型呢,他会伴随着你的多轮对话的这个次数不断增加呀,他需要占用的这个显存呢啊,也是会不断增加的啊,所以尽管啊,我们说 啊,在 inter 四的模式下,最低六 g 的线存你就可以跑起来啊,但是你多对话几次的话,它的显存占用量呢,会非常非常的多啊,所以我们还是推荐大家如果是一个使用啊这个把它跑通这个模型,并且想测试它的 多轮对话的话,那么最好呢还是上二零八零太,二零八零太的话呢,呃,总共呢是有十一 g 的这个显存在 inter 四的模式下运行六 b 这个模型完全是 ok 的。好啊,当然你说如果啊,你希望我他是以全精度的这个模式来进行运行的话啊,并且是进行多轮对话,他需要占用很多现成的话啊,差不多需要二十 g 的啊,这个现存的量, 那么二十 g 的显存量消费级的显卡可能至少也得是三零九零啊这样的一个级别了啊,这个呢啊,我们先简单说明一下啊,我们稍后呢会有详细的这个硬件配置这样的讨论, 但不管怎么样啊,我们说正是得益于六 b 这个模型非常低的啊这个使用门槛,所以呢他在目前开源社区传播也是非常非常广啊,尤其是中文领域的这开源社区传播是非常非常广的,那么也是自啊六 b 这个模型诞生之后, 现在呢啊 get up 上也有非常非常多的啊,围绕六 b 呢来进行的一系列的啊开源的项目, 那么其中啊最有名的啊四个项目呢,我给大家列到这啊,因为这些项目呢,我们后面呢或多或少都会来进行一些讨论啊,大家感兴趣的话也可以先自己去看一下。那么首先第一个呢啊,就是 chat glm 六 b 加 petuni v 二的啊,这样的一个微调的这个项目, 当然啊,大家会说这个 v ptuni vr 是个什么东西啊?首先这个呢,是个微调框架啊,稍后呢,我们会来讨论啊,这个微调框架到底是什么样的一个含义,以及什么样的功能? 那么 p tony vr 呢,它本身也是清华大学提出来的一个微调这样的一个方法,并且这个微调方法呢,是非常非常 适合啊,这个六 b 这个模型来进行微调的啊,所以清华大学在推出六 b 这个模型之后没多久啊,就开源另外一个项目,就是 chat glm 六 b 加 ptoning vr 来进行微调的啊,这样的个项目,那这个项目现在目前也基本上可以看成是啊,所 所有的你要去学六 b 这个模型,微调这个必不可少得去学的啊,这样的项目非常非常具有这个指导意义。那么第二个啊,就是 chat gm 六 b 加 lora 微调啊, lora 微调是另外一个微调的框架,稍后我们也会来进行讨论啊,那这个呢,同样啊,也是 这个开源社区里面目前讨论的非常火的啊,未来的一个研究的方向啊,就是去看各个不同大语言模型啊,在 lorr 下如何来进行微调啊,那么六 b 这个模型,同样啊,在 lorr 下进行微调呢,也能够调,也能够有一个非常好的这个微调效果,这个项目呢啊,也是属于非常火的一个项目, 那么同时呢,还有一个啊, chat j l m 六 b 加 long chan 的这个项目啊,那 long chan 我们就开始提过,提过一嘴,对吧啊,它呢是用来去构建一些 ai 应用的开发范式,那么六 b 呢,同样也是可以和 long chan 来进行无缝集成的啊,这个项目呢,在啊,开元社区目 目前也非常火啊,但是这个项目目前他基于 longent 这开发,主要是啊,这个围绕本地智库来进行一些问答啊,是这样的一些呃功能。但这个项目呢,同样啊,也是国内第一个啊,用六 b 和 longente 来进行协同开发的一个项目啊,这个项目呢,也是非常具有参考价值的。 那么此外啊,对于六 b 来说,由于它本身是一个这个对话类的这个模型嘛,啊,所以开源社区里面还有一个非常火的项目啊,就是把它这个对话呢,搬到这个网页端啊来完成。 那么这我们现在这个看到的啊,实际上就是一个 web u i 的一个对话展示的项目啊,这个项目同样我们说如果你需要去使用 g b t l 六 b 这个模型来进行对话的话来进行调试的话,有一个外部前端啊,肯定是会方便很多。那么这四个项目也是目前啊,整个围绕着六 b 开源社区最具有代表性的啊,这四 的项目,那么后面呢,也会啊,在正式的课程当中啊,来好好讨论一下啊,这些项目分别是如何来进行实现的?

中国,中国开源的类似于这个 chat g p t 的这样的一个模型,它是中英文双语的一个对话语言的这样的一个模型,这个给大家一起来介绍一下。那么这个项目它是 给大家看一下这个项目的话呢?他也是昨天,昨天在 gap 上面就是开源出来了啊这个项目,这个项目是我看了一下,他是中国人拔的清华系的一家公司做的这样一个项目,他也把它开源在 gap 上面,整个一个模型是六十二亿的这个参数, 我也在我的机器上安装了一下,也可以跑一跑,他对那个中文他会比较友好一一一些,他是这样的,那么安装,呃,也是比较简单的,主要你根据他的这个 redmi 的这样的一个说说明,你就去安装。而他但他我自己看了一下,他必须要要 windows 或者是 linux, 它在苹果电脑上是不支持的,在我自己苹果电脑上装是失败的,所以我就找了一台 linux 的机器去装, 它是可以成功跑起来的。那么它也是由网页版和所谓的这个就是命令行的这个版本,我跑的是这个命令行的这些版本,这个项目它也是如果不用 cpu 它也是可以的,我看它这个文档上也可以讲的,它就是用 cpu 去部署, 只要那个十六 gb 的内存就可以了,但是他会推理的话,他会推理会比较慢,他整个模型下载的还是蛮大的,我自己看了一下,他大概两个 gb, 大概有八个,两个 gb 的大概这种文件有十几个 g, 那你要那在 k 叉不上面,他要把这个与系列模型给下载下来,他这个整个一个 他这个模型的话呢,叫 chat g l m 杠六 b 这样,这个模型的话呢,他有些功能啊,他女他们这个文章当中也讲了他有叫自我认知,你可以问他你是谁,他会自己回答的。他可以写这个写作的即纲,他可以写这些文案的,写作都是中文的,他这个都可以,包括邮件写作助手, 他也是能够支持,他也可以做收取信息的一些收取角色的扮演,你可以让他扮一个二,扮,扮一只狗,让他让机器人扮演这个二,是一只拆家的狗,你可以跟他去对话,他这些功能都能支持。另外他也可以做一些评论的比较,他们举了一些例子, c 罗跟梅西他也可以去,谁厉害他也可以去比较啊, 那么他也可以做一些旅游的向导。我也问了一下他,我前面问了一下,就说在在上海能否推荐一些旅游景点,那他就给我推荐了一些旅游景点,什么外滩上海博物馆啊,城隍庙,什么田字坊啊,迪士尼乐园,对对,海洋世界啊,什么什么。我又问他,就是能不能详细的给我讲一下上海迪士尼乐园,那他就输出了一二三四, 他有什么景点,他有什么旅游设施,他有什么样的演出,他有什么样的餐饮,他就可以跟你像聊天一样,大概是这样的一个功能。好,这个是一个最基本的 一个功能。我跟大家我们再来讲一下这家公司开源的这个项目,他是他背后的这家公司叫智普 ai 啊,他是清华记下面的一一家 ai 的一家公司。然后我们看网, 他这家公司的原来可能在中应该是有点名气的,只是说还没这么出名啊,主要也是做这个这个大模型的,就是人工智能的这种与训练的这种大模型,他他也开发出好多的这种模型,但他有一个模型是比较有名的,叫 g l m 杠幺三零 b, 就是有一千三百, 有一千三百亿的这样的一个参数。他在这个文当中也是他们在官网当中也是介绍了他是二零一一年斯坦福大学的这个大型模型中心,对全球三十个主流的大模型进行全方位的评测,那么这个 glm 杠幺三零并是亚洲唯一路选的这样的一个大模型,所以他也 他们这家研究机构也是在跟 oppo、 ai, 包括谷歌啊、微软脸书啊等这呃,这种大门进行比测啊,那么他也供了这样的一个报告啊,我也看了。呃,跟那个 g p d 三啊,当然是没有微调过的 g p d 三,他说相差也不是太大,包括在准确性、辱棒性、因性上面,他其实跟 g p d 三 啊,不是太大了,但是它跟那个就是 instruct g p g 的话呢,差异还是蛮大的,就是它比较的是一个没有微调过的 g p d 三的这样的一个模型, 如果经过那个提示学习,微调过的叫 instruct g p t 的话,那它的距还是蛮大的,差距还是蛮大的。我们看到 包括它的一些所谓的一些误差偏见啊,有毒,因为 structure g p g 的话呢,它确实背后就是 g p g。 呃, chat g p g 背后用的那个模型确实要比中国的这个模型还是要领先的,它的意思是这样啊,但是我看了一下他们目前的公布了, 这个模型跟 g p d 三的差距不是太大,跟我前几天讲的那个叫 g p g 杠 n e o x 模型有二十 b 的这样的一个参数,就是有两百亿个参数,他比那个要更强一些。但是他这次开源出来的不是幺三零 b 的这样的一个大模型,他是有一个六 b 的这样的一个模型,他其实是个小模型,他是可以跑在单个单个 cpu 上面的,他是这样的, 我们就介绍到这啊,换了他推出了一些其他的一些开源的项目啊,包括我前面讲的就 g l m 杠幺三零 b 的这样的一个大模型,他也开源出来了,那么我们可以看看他这次开源出来的叫 chat g l m 杠六 b 的这个模型, 这个模型我们可以看一下他的元代码,我们一起可以来看一下,我们看一下他的元代码,他其实开放出来的话,我看了一下他,他并没有把怎么训练恰恰的 gl g l m 杠六 b 的这个模型给放出来,他只是给了一个 demo 的例子,怎么样像我前面给大家演示的 天的这样的一个功能,聊天的这样的一个功能,他把它给放出来。这个原代码我自己也看了一下,也是比较简单的,他也没有用什么人类反馈强化学习的那些算法,他没有用,他还是比较简单就直接去问 大模型,去要一些预测一些啊,一些内容,然后直接可以聊天啊,是这样,他也没有把那个极微调的指令到底用些什么数据,对吧?来在这个开源的文档当中去分享,他也没有这样做,我们可以看一下他用了哪些内裤,他还是基于的 transformer, 呃,不来进行 开源的这样一个内裤去做的。所以的话呢,我估计他们这个 at g l m 杠六 b 的这个模型的话呢,也是基于这个开源的这些 g p t 三或者 g p t 模型去啊,为了一些中文的数据,然后去喂养的啊。这个是这家公司在哈根 face 上面的这样的一个空间,这个空间里面的话也讲了他们开源了一些八个模型,八个这个大模型他也把它给放出来,这个模型这次开源出来的是这个模型 chat gbl 杠六 b, 但这个模型里面呢,它还是没有怎么训练,用哪些语料库它是没有讲的,它主要还是还是把这个训练完成的模型给放出来,让大家去使用它等于是这样。 这篇文章当中,他们的那个官网当中,呃,也也讲了他们目前开放出来的这个 chat g l m 杠六 b 的这个模型跟那个 gpd chat 还是有些差距的。在技术上面,嗯,他等于是这样。但是对我们来讲他有个好的地方是,呃,我们可以利用他的这个模型可以非常快速的搭建这样的一个智能的一个聊天机器人, 这个能力是可以的。好的,这个是哈根 face 上面,这个是 gap 上面,他们的主要的一些一些开源的一些其实公司,其实,呃开源那么多项目的,之前可能大家不是太关注,但是这次他把这个模型放出来之后的话呢,很多人又开始去关注他,他等于是这样。 那我还是给大家稍微再演示一下,他到底是怎么来用的啊?这个是其实跑起来还是比较简单的啊。他有一个提示框,就是用户,用户输入,对吧?目前是应该没有上下语境的这些功能的,我估计他是没有的, 他还是可以的。我前面跟他讲的是迪士尼,我让他推荐一些中餐,但我没有提到迪士尼,但是他马上就跟我讲了,迪士尼乐园提供了多种中餐,有什么小笼包啊、红烧肉啊,烤鸡翅是中餐吗?炒饭、无冰晶火锅是梦想餐厅的,他是这样的, 多少钱你知道吗?

你想自己部署一套人工智能 chat gpt 网站吗?不需要,懂技术,简单配置几步就行,零成本免费开园,看我教程,手把手教,三分钟 搞定,跟我部署成功!评论区六六六,遇到任何问题,评论区有问必答,不学不要钱,学了也白学,你先收藏,给自己留一个抓住人工智能时代的机会。 thap 上免费开园的叉特 glm 杠六 b 代码库,他是一个免费开园的,支持中 英双语的对话语言模型六 b 的意思就是他有六十二亿个参数,参数越大能力越强,他可以训练并实现和 chat gpt 一样的能力,并且他是完全开放,允许免费商业使用, 我们可以使用它进行免费零成本项目预演,也可以进行模型微调,定制化行业 g p t 大模型。目前 get d l m 支持自我认知、提纲、写作、 评论、比较旅游向导等能力。马克档文档中也有详细的部署和使用教程,但是如果部署到本地 pc, 流程比较复杂,问题比较多,还需要我们电脑的环境和配置支持。所以我们使用云浮 o two d l a i 云进行部署。云服务就是把你的电脑从你家搬到我家,然后你通过网络访问你的电脑,并且我二十四小时帮你运维,你随时都可以访问。 使用二十四小时在线,并且帮你安装上常用的环境,通过配置即可一键部署。 ai 云服务其实就是一台远程的电脑,云服务可以帮我们摆脱电脑硬件限制, 解决环境问题,提高 ai 训练效率。并且凹凸 dl 集成了 pat glm 社区镜像,我们直接使用社区镜像,通过脚本进行简单的配置即可部署成功。首先先注册一个凹凸 dlai 云账号,网址是 账号注册完成,登录成功以后,选择控制台,选择算力市场,租一台云服务器。计费方式选择按流量计费,必须选择北京 a 区 gpu 数量一,配置 rtx 三零九零部署 chitgmr 够用,选择一年可租配置默认即可。镜像,选择社区镜像,搜索 kite t l m 档 web ui, 选择第一个,立即创建, 创建完成,实力创建中,实力创建成功,等待开机,已开机状态显示运行中。然后选择快捷工具 dumpterlab, 打开云浮的控制台,左侧是云浮的目录,右侧是命令行终端。 我们首先先把菜菜 glmybui 移动到凹 to d l temp 目录中,因为凹 to d l temp 是云服务的默认数据盘,系统盘目前占用百分之五十六,数据盘占用百分之十四,但是我们的系统盘只有 三十 g, 数据盘有免费的五十 g, 所以我们尽量把项目和下载的模型都放在数据盘。当我把 pat d m 移动到数据盘以后,数据盘占用百分之二十五,系统盘降到了百分之十三。然后重新打开云服务控制台,打开数据盘,凹 to d l temp, 找到我们的项目,打开 redmi, 开始部署,根据命令按步骤执行即可。 只用这两行山药命令就可以安装环境,或者直接运行 instyle sh 脚本,脚本里面已经帮我们写好了安装所需环境的代码,我们看一下 sstyle 点 sh, 其实它执行命令和文档中的命令是一样的,打开终端,复制 bis instyle, 点 sh, 打开命令行, 选择终端。首先 pwd 检查一下我们是否在项目目录下安装环境。之前我们需要先开启学术加速,只需要一行命令回到凹凸 dl 控制台,选择帮助文档搜索加速,选择学术资源加速,选择对应的地区, 北京 a 区实力复制,开启学术加速,命令回到命令行,粘贴回车,然后再打开终端,更新一下项目,运行一下 update, 点 sh 脚本 is update, 点 sh 进行刷新一下目录,然后再使用安装环境命令。安装环境 icin style, 点 s h 环境,安装完成,回到 到马课堂文档,使用 pass 运行外部 ui, 点 kypat glm, 使用的开发语言是 pass 复制回到终端粘贴进行命令安装环境的时候一定要开启学速加速, 否则下载环境会出问题,运行外部 ui 的时候会报错,运行外部 ui 的过程中会帮我们下载模型,耐心等待即可。咱们这行最后一行出现 running on local uil 地址时,说明项目运行成功,不要着急,接下来还会帮我们自动生成一个随机的官网链接。生成官网链接,我们需要把十二参数改为处,打开 models, 选择 opens, 点 p y 修改 shire 参数,把后面的代码删除。我们可以把 prefix projection 的设置复制过来复制粘贴,这里一定要注意格式不要写错,并且 force 改为不首字母大写保存。 ctrl 加 s, 回到终端, ctrl 加 c, 停止当前运行, 再次运行外部 ui plus 脚本出现软宁昂 pablicul, 随机的官网链接生成,成功复制并开一个浏览器标签页 粘贴链接回车,我们部署的 tt gm 已经打开了,但是页面是乱的,并且随便发送一句六六六是无法发送的。选择设置搜索工具,开发者工具,选择控制台, 发现控制台已经报错了,四零四没有找到资源,这个路径多了一个反斜杠是不对的。如何设置路径?回到命令行,打开 opposence 点 p y pass perfect 是控制路径的参数,默认 路径前缀是有一个斜杠,把它删掉变成空字幕串保存回到终端, ctrl 加 c 停止运行,重新运行外部 ui 脚本运行成功,又帮我们随机生成了一个官网链接,打开成功,没有报错。我们来测试一下你是谁? 车,我是太太 g l m。 云端部署完成,最后当我们云服务不使用的时候,一定要记得关机,否则就会一直计费到完为止。

刚刚的 chat glm 杠六 b 他就宣布免费商用了啊,我看他的 kitch up 上面的那个官网上面也已经公布了啊,他更新了一下,他说更开放的协议啊, 恰着 glm 二杠六 b 权重对学术研究完全开放,在填写问卷登记后,易允许免费的商业使用啊,所以我也点了一下啊,他这个调查问卷里面,你只要填写一下,备注一下,然后他就可以免费的商用他等于是这样啊, 所以对我们中国的一些企业来讲,他又多了一个中英文的这样一个双语的这样一个版本啊, l l m 的这个大模型又多了一个这样的一个版本啊。之前呢,因为我们也是拿到过那个智普 ai 他们的报价啊,私有化部署的这个大模型的一个报价,他们原来的他恰特 glm 杠幺三零 b 目前还是收费的啊,原来的报价的话是比较贵的, 将近一千九百万啊。那么 chat g l m 杠六 b 这个模型,它现在它原来的报价是每年授权费用在一百八十万,我这个是 license 的费用啊,每年的费用,这个是它提供了一些人天的咨询, 包括一些微调部署的这种,提供一些在线客服啊,他整个一个包啊。所以如果是一百八十万的话,对一些企业来讲成本还是蛮高的,那个不是所有的企业都用得起的,现在的话,他已经免费了,对所有的企业用户来讲 就省了一百八十万啊,这个也是比较好的。嗯,当然他这个是看例价,那实际成交价我之前有朋友跟我讲,大概在三十万左右,那么现在三十万每年都不需要付了啊,立刻马上就免费了啊,他情况是这样的,嗯, 我们可以看看他为什么目前是立刻马上宣布免费了,主要因为中国我经常看这样一个榜,这个榜单上面的话,目前有两个模型,目前都排在 chat g l m 杠六 前面。一个的话呢,是上次我介绍过的 internal l m 杠七币啊,这个是上海 ai 实验什么壳他们研发的这个这个的话呢,它的性能, 呃,目前排名上来看是性能要比那个 chat g l m 杠六币要稍微强一些,它等于是这样这个模型的话,目前它也是可以免费商用的,它也是 采用那个备案制啊,只要你跟他提出申请啊,那么他你就可以免费的商用啊,这个模型啊,也是比较有竞争力的啊。另外一个百川目前推出了一个一百三十一杠十三 b 的这样一个模型啊,这个模型他比那个六 b 要大一倍啊,所以的话呢,他的性能会更强, 性能要更好啊。百川的他也提供了一些量化的一些模型,所以他在小的这些二十四 gb 的这些 gpu 消费级的显显卡上还是可以跑啊,性价比也是非常高啊,准确度又很高啊。所以的话呢,这个 百川幺三 b 的这个模型啊,目前它也是可以免费商用的啊,这样会导致就是说目前恰特 g l m 因为它一直原来是领先的,所以呢,它就收费啊,但它看见最近市场上推出了两个 呃,性能比较好,而且免费的这样的一个模型的话,那么他立刻马上就宣布这个架特 gim 二代杠六 b 的这个模型啊,他就开始正式的可以免费使用了啊,他等于是这样的啊,所以我觉得他也是竞争的一个关系吧,对我们企业来讲,那,呃啊,总归是受益的。好吧。嗯,大家,呃啊, 那么如果在中中文选择模型上,我前面讲的这三个模型其实目前都是可都可以免费商用的,大家都可以去试一试啊。 好,那么目前的话 chat g a m 二杠六 b 它的整个生态来讲或者知名度来讲是相对来讲是比较完善的啊,是应该是最完善的啊,这个这个的话呢是后期持续有这个,目前看百川的这个模型的话发展势头是比较猛的。好啊,今天这个话题就跟大家就聊到这。

大家好,自从我发布了基于本地大模型构建企业私有知识库系统的视频,很多小伙伴在后台留言让我出教程。最近一直忙着交付一些本地大模型和私有知识库的系统项目,一直腾不出时间来,现在总算有空了来安排。 首先我的视频会分为硬件和软件两个部分,教会大家从零开始部署一个基于本地大模型的私有知识库系统。首先是硬件篇, 做到硬件必不可少的就是四零九零了,现在的大模型动辄十几个 g 的最低显存要求,对于消费级硬件,这也足够了。视频最后是配置单,按照这个配置单的电脑基本上跑六 b 七 b 的模型很流畅,十三 b 的拉玛兔稍微有点卡, 传奇的过程我就直接快进了。考虑到散热,我配置了一个比较大的机箱。因为我对酷炫的灯光不太感兴趣,所以选择硬件的时候灯光效果不在我的考虑范围内。我主要从性能、稳定性、价格几个层面去考量。 这个配置的机器我已经用了三个月了,各方面我还是非常满意的。 关注小百,了解更多 ai 干货!