他有一个排行榜是专门是针对就是代码生成的这样一个场景啊,通过大约模型生成这个代码啊,目前排名比较高,基本上都是些大模型啊,三十四 b 的这些大模型都会比较高啊。那今天我给大家介绍一个在十三 b 的模型当中叫 wisder pyson 杠十三 b 杠零一的这个版本啊,这个版本是目前十三 b 版本里面是最优的。那你可以看到它在 human ever 那个 python 的这样的一个评测里面啊,它达到了六十二点幺九分啊, java 的这个评测里面,它达到了四十一点七七分,贾 ha script 它达到了四十八点四五分啊,同时的话呢,每秒钟的吞吐量它达到了 是二十五个字符,相对于其他的这些模型来讲啊,还是比较还是比较快的,还是比较快的他这个模型啊,今天我们给这个模型给大家一起来介绍一下啊,这个模型他目前也是开源的啊,他也是目前是放在 阿登 face 上面,它已经是把权重呃都放上去了。那么这个模型它是基于 aluma two 的这样一个架构,然后 再进行微调啊,他是基于阿拉玛兔的这个架构在进行微调的,他这个模型的话,目前公布出来他的性能还是非常好的,他有两个模型,一个是三十四 b 的这个模型,哎,他的性能要达到七十三点二,我们前面看得到的将近是七十点七三啊,他就是这个啊, 还有一个呢,它基本上就是等同于 g p d 四和 g p d 三点五了。还有一个呢,就是我们今天要介绍的 visitor coder 杠十五 b 杠一的这个版本,那么他的这个 pass 一就是这个 human ever, 他他的这个评测的话呢,要达到五十七点三,五十七点三, pass at 一就是他这样的一个评测,我们一起回头来测一下,我机器也是现场搭了个环境,然后测了一下,看看能不能他到底能够达到多少分,因为有些模型 公布的这个数据一般是偏乐观的,那么你自己的机器可以测一下,看看他到底达到多少分。嗯,好。呃,我们这个评估是用这个 human ever 这样的一个评估的一个程序的,程序的话呢,也是很有名的,也是 open ai 啊,在二零二一年 啊,他们公布的这样的一个评估的一个套件啊,这个套件里面呢,他有一百多个这样的一个问题, 它有一百多个这种一百六十四个的这个 test 的这种问题,它是基于 python 的啊,它公布了这样一个数据集啊, 一共是一百六十三个啊,同时他也评估了这个拍审的这样的一些代码啊,可以通过这个拍审的代码自动的去帮你去做这个模型的评估,得到一个评估的这个数据啊,我也是把这个环境搭了一下啊,他的这个评测的话呢,他也是基于这个,他们的有一个论文,在二零二一年啊,他就是评估这个大语言模型啊, 在代码上面的这个评估,原来的话呢,他们主要是评估的是 codex, 三点五之前出来,他有一个专门用 gd 三啊来训练代码的这样一个模型啊,叫 codex, 他主要是研究他的拍摄的这个代码的这个编写能力啊, 他在基于这个场景上面啊,他就编写了这样的一个数据集合,这样的一个测试的这样一个脚本啊,这篇论文我们就不看了啊。那么 pass at k 的话呢,它主要是讲 因为大模型的话呢,它是可以多次产生代码的,那么它主要是讲就是 at k, 如果 pass at e 就是市值,就是它第一次产生代码就能通过这个单元测试啊,这个它就是称为 pass at e 啊。那么目前我们 主要测试的就是 pass at 一的这种测试方式,那我们来看一下这个是评测方式,给大家介绍一下他目前公布的这个数据的话呢,就是 pass at 一的话, 他的数据是大概是让我看看,他大概是五十五十七点三,五十七点三,我测出来大概是五十三左右啊,没有他公布的这么好,当然也不是太差啊,我们来看一下这个是我最后测试的这样一个环境,先看看这个, 我一共测了是一百六十四个数据机啊,大概测试的时间的话要将近五十分钟左右,五五十分钟左右,他测完了差不多是五十三五十三左右,他的 pass x 一的这样的一个性能 是在我的机器上是这样的,然后它的构造的话呢,它那个因为提示工程也是比较重要的啊,它的提示工程是这样来写的 啊,就是根据下面的指令,然后产生这个合适的这个代码来完成这个需需求啊,他是这样,那他就是在下面就产生这个 response 啊,他是通过这种来做,他把 response 拿出来之后,他会呃 成最后的这个结果啊,五十三点几啊,这个是跟我这个差不多啊,五十三点几,他测试的话,我这个大概用时用了五十五分钟,差不多五十四分钟,五十五分钟左右啊,他整个一个测试 好的,所以我们这些模型的话,一般情况都是要通过这个自动化测试啊,通过这种自动化测试评估他的这个 a, 他自动的打分,看一下他这个模型的这个准确率。 那么差不多啊,他原来技术上公布的大概是五十七左右,现现在我测下来呢,因为我测了两次五十三左右啊,还,我一共测了两次,差不多这个评分都是差不多的,这次评分也是一样的,五十五十三点六五, 他是这样的。好,那么如果我们有了这种比较性能比较可靠的模型之后,我们评测完了之后,我们就可以针对这些模型啊,可以让他去在参与在这个软件开发流程当中啊,他可以做很多的事情啊,可以做一些单元测试。 是啊,可以自动的让工程师用这个模型产生原代码啊,包括原代码的注释啊,原代码的这个文档的产生啊,他其实都是可以的啊, 下次我有机会就给大家再来介绍一下这一部分啊,我们首先可能是应用在这个软件测试和原代码注视检查这个方面,我觉得会比较有价值一些啊,好啊,今天的话呢,就是这个视频,就跟大家就聊到这。
粉丝4.6万获赞35.7万

今天我们再给大家来演示一下那个书生普语的 incol lm chat 二十 b 的两百亿参数的这个模型,我们看看能不能把它刨起来啊。因为是二十 b 的两百亿的这个参数,所以他基本上是要用四 四十 gb 的将近四十 gb 的这个内存啊,来跑啊。呃,我是用两块 gpu 啊,我们来一起来跑一下。目前这个模型我已经下载下来,它的整个模型的大小将近 四十四十一 g 左右啊,他有五个文件啊,那还是相对来讲还比较大的。下载完了之后呢,我们已经跑起来了啊,我给大家看一下,我们已经跑了,跑了用两块 gpu 把它跑起来了。我前面也测了一下,他整个一个两块 gpu, 零一和零和零一啊,他每块 gpu 大概占用的是将近二十 十 g 的内存,他推理的时候每块 gpu 大概是负载大概是在百分之五十以下啊,他大概情况是这样,我用的两块 gpu 是三零九零啊,两块。结果前面也测了一下,他可以跑通了,也用了那个欧奔 ai 的那个 sdk 啊,基本上跑起来了啊。 into l m chart 二十笔,我用了他的是这个聊天的这个模型啊,不是他的那个预训练完成的一个模型,他是已经微调完的一个模型啊,我让他做了一些简单的一些测试啊,这个也是可以的。测了一个聊天的接口啊,测了一个 inbeding 的这样一个接口, inbeding 这个接口,他回来的这个 不像其他的模型,回来是一零二四个像量的这个数组啊,他是比较大五幺二零五幺二零的这个 inbiding, 所以一般的话我估计 inbi inbiding 的话应该不会用这个模型的啊,他这个数组像量会 非常大,比较占空间的。其他的话我看了一下都是正常的啊,我们看一下再跑一遍,速度还是挺快的。两块 gpu 跑,所以它性能还是可以的啊,这个又跑了一下啊, 两块 gpu 基本上百分之五十的负载。呃,内存变化不是太大。好,我们再来测一下,怎么把它跑在八个 bit 上面,看看它的内存是不是会下降一些啊?我们再来做个实验啊,它模型加载的话呢,它需要一定时间的,这个有可能不成功呢,因为八个 bit 亮化的话,它是目前是不支持多 cpu 的, 我们看看吧,应该会凹 off memory 的。那他只跑了一块 gpu, 很快就崩掉了,他亮化的话估计只能跑在一块 gpu 上面。好,这个跑起来了,看一下 我估计是不成功了。跑成功了吗?八位量化,但是我看他没有跑,他这个八位量化是假的,他还是跑 bf 十六的,这样一个浮点,用了两块鸡皮跑。好。今天话呢,就简单的测试,就给大家就就演示到这。

internal l m 啊,就塑身两百亿的这个大模型啊,我们也做了一下压力测试啊,做了一个压力测试啊,那么还是跑在 两块 gpu 上面啊,三零九零,三零九零的 gpu 啊,三零九零两块的 gpu, 我们来跑了一下,那么呃,第一种的话呢,是标准模式啊,我们跑了一下标准模式,标准模式的话呢,它的吞吐量是比较低的, 大家可以看到这个标准模式的话呢,它的吞吐量我们是用八个线程同时跑,然后它是个压力测试嘛,然后每秒钟只能参产生不到两个 word 啊,就是两个字符啊,一点三六,一点四九,一点六八,一点六八 啊,差不多就是一个两个制服不到一点的这样的一个性能啊。那么第二种的话呢,我们用了一个优化的一个算法炮啊用,用了一个优 化的算法和你明显看到就如果用优化算法的话呢,它这个 cpu 的利用率马上就上去,那么它占用的内存呢?也是差不多二十一 g 啊,也是差不多啊,内存波动还是比较小的啊, 然后我们看一下他的这个,那么他的这个性能就马上就上来了,一个达到一百零六,一百零九,一百零九,一百零六,一百十,他这个是性能是非常非常好的啊,我们很快就可以测完了啊,我们看一下,你看一百一十一啊,他这个性能就会非常好,所以的话呢就是, 嗯,同样的这个模型啊,虽然是两百亿的模型,但是跑在不同的算法上面,那么它即使它的性能啊,差异还是非常非常大的,差异还是非常大,我们通过这个呃看到的这个内存和 gpu 的内存和 gpu 的利用率,我们就可以看到如果你的算法不是太好的话,你 gpu 是没有办法充分把硬件 利用起来。那么这个就是我们之前前面前几期讲的一些,呃,如何让这些大约模型在部署在生产环境里面优化的一些比较重要的一些算法。呃,当我们的这个网络结构确定了之后,那么算法就比较重要,在相同硬件下算法就会比较重要。好,那么这个 我就给大家就再演示一下吧,就是再稍微演示一下大概的一个情况。啊。好啊,这个演示就跟大家就介绍到这。好,谢谢各位,嗯。

大家好,我是来自摩达社区的工程师黄景涛。 多模态大模型是能够理解文字、图像、视频、音频等多模态信息的大模型。 千万 vl 及其视觉爱助手千万 vl chat 据上线 model scope 摩达社区开源免费可商用,即此前推出 m 六 offer 系列多模态模型之后, 巴黎云通一千万团队又于近日开源了基于千万七币的大规模视觉源模型千万 vl 千问 vl 基于同一千问七十亿参数模型千问七 b 开发,模型尺寸约为九 b, 是一个支持中英文等多种语言的视觉语言模型。相较于此前的 vl 模型, 千万 bl 除了具备基本的图文识别、描述、问答及对话能力之外,还新增了视觉定位、图像中文字理解等能力, 可以用于知识问答、图像标题生成、图像问答、坟道问答、细腻度、视觉定位等多种场景。比如一位不懂中文的外国游客到医院看病,不知如何去网,对应科室, 要拍下楼层导影图,问千万 vo 外科在哪层,耳鼻喉科去哪层,千万 vo 会根据图片信息给出文字回复,这是图像问答能力在。 比如输入一张草原背景的图片,让千万 vl 找出所有长颈鹿,千万 vl 能用检测框框出每只长颈鹿,这是视觉定位能力。千万 vl 是业界首个支持中文开放域定位的通用模型。开放域视觉定位能力决定了大模型视力的准确度, 也既能否在画面中精准地找出想找的事物,这对于 view 模型在机器人操控等真实应用场景的落地至关重要。千万 view chart 是在千万 view 的基础上使用对齐机制打造的基于大语言模型的视觉 ai 助手, 可让开发者们快速搭建具备多模态能力的对话应用。 千万 vl 可以图像文本检测框作为数, 并以文本和检测框作为输出。千万别有系列模型的特点,包括强大的性能,在四大类多模态任务的标准英文测评中均取得同等通用模型大小下的最好效果。 多元对话模型天然支持多元对话,端到端支持图片、中音双语的长文本识别、多图交错对话、支持多图输入和比较、指定图片问答、多图文学创作等。首个支持中文开放与定位的通用模型, 通过中文开放语语言表达进行检测、光标注、细腻度识别和理解。相比于目前其他开源的大规模视觉语言模型使用的二百二十四分辨率,千万 vio 是首个开源的四百四十八分辨率的大规模视觉语言模型。 为了测试模型的多模态对话能力,通以千问团队构建了一套基于 g p d 四打分机制的测试级 touchstone, 对千文 v o chat 及其他模型进行对比测试。千文 vo chat 在中英文的对齐评测中均取得开源大规模视觉语言模型的最好效果。在 touchstonev 零点一中评测同时包含英文版本和中文版本。 评测基准总计涵盖三百多张图片、八百多道题目,二十七个类别,包括基础属性问答、人物地标问答、影像作品问答、视觉推理、 款式时推理、诗歌创作、故事写作、商品比较、图片解题等类别。为了弥补目前 g p 四无法 直接读取图片的缺陷,研究团队给所有的带品色图片提供了人工标注的详细描述,并且将图片的详细描述问题和模型的输出结果一起交给 gpt 四打分。 从八月初开元通以千问七十亿参数通用模型千问七币、可对话模型千问七币 chat, 到现在开元千问 vl。 阿里云希望通过开源优质大模型,让海量的中小企业和开发者们更快的进行大模型技术研发,推动中国大模型技术进步与产品落地,实现大模型技术普惠。

aia 镜头目前在整个业界被认为是大模型落地最有希望的方向,市面上的 aia 镜头有很多,大部分是基于 bimapi 构建的。摩拉社区最近开源了 moscopaeigent 这个以开源大模型作为核心中枢,通过使用工具来提升大圆模型的整体能力。 今天我们花五分钟教大家如何基于开源大模型来开发一个 a 进的系统。首先我们介绍一下 a 进的,如果把大模型比作人脑中枢, a 进的就是人体。 在任务执行中,大模型负责规划调度的命令发布,由 ag 的协同各种 ai 小模型或者 api 就能够很容易将大模型实际落地到各个行业的应用场景。 接着我们看一下 agent 是如何执行任务的。用户输入请求后,摩拉 ant 会先做一系列的工具检索,比如用 户想要生成一个商品文案以及对应的商品视频介绍 a 呢,就会先去检索相关的 a p i 大模型进行规划调度,调用对应的视频生成 a p i a 型的去执行对应的一篇,然后把执行的结果返回给大模型,大模型最终整理一段回复反馈给用户,为你带来全新的 vr 视觉盛宴。 而为了完成以上任务, ant 主要调用了三个模块协同工作,以大模型为中枢,包括记忆模块和工具使用模块。大模型中枢模块主要负责任务规划调度以及回复生成。 而记忆控制模块主要包含知识检索以及 promote 管理。最后工具使用模块包含工具库以及工具检索和工具的可定制化。现在教大家怎么使用模达 aj? 首先我们打开 notebook, 将 moscopy 的代码可弄过来,打开 demo 里的这个文件,接下来我们读取环境变量文件和工具配置, 构建好后,搭建工具向量检索。这里提供了基于阿里云 darescope 引斑顶和摩拉社区开源引斑顶两种,我们这里拿 darescope 引斑顶作为演示。然后我们启动中枢大模型, 这里以 msa 镜的千万七 b 作为样例,点击直行 a 型的就会拉取七 b 的大模型进行部署。 模型部署完成后,现在我们用于构建 a g 特的工具配置工具检索大模型部署均已完成,这样我们直接完成了 a g 的系统构建。接下来我们测试下构建好的 a g 特,让它生成一张有花有酒的图片, a 景的自动检索图片生成工具生成请求,并调用相关的 api。 接下来我们看一下生成的图片, 可以看到这里很好的生成了有花有酒的一个高清大图。接下来我们给大家演示一下怎么基于摩大 aj 的使用检索工具构建行业问答。在 notebook 里打开另一个文件,读取环境变量和工具配置部署大模型 到这里的操作和刚才演示的是一样的。 接着我们需要配置向量检索服务,这里拿摩达社区开源的 corel 文本向量模型来演示。 构建好向量服务后,我们导入摩大社区的知识文档以及对应的切分工具切分知识库文件, 然后将文件和支库服务导入近开源的向量检索工具 face 向量检索引擎构建完毕,我们测试一下向量检索引擎召回的效果,问他一个摩纳社区相关的问题,比如 model scop 模型可以在互联网使用吗? 我们看一下 ad 的调用知识库前的回答,可以看到里面存在着大量的知识幻觉。他说摩拉社区很多模型都支持非网络下使用,这是不正确的。然后再看知识库调用完成后的回答, 这下回答正确。未来摩达 a 进程还会接入更多的开元大模型,以及开放更多基于摩达 a 进程开发的应用,包括个人助力分身、 sora 进程、 智能导演助理等等。也欢迎大家将摩达 a 进展用于工业制造、游戏开发、智能互联等各行各业。

开发机器学习 ml 或深度学习 dl 模型似乎是一项相对简单的任务。他通常涉及研究收集和预处理数据、提取特征、构建和训练。模型评估和推理大部分时间消耗在数据预处理阶段,其次是建模阶段。如果精度达不到标准, 我们就会重复整个过程,直到找到满意的精度。当我们想在现实世界中将模型投入生产时,困难就出现了。该模型的性能通常不如在训练和评估阶段那样好。发生这种情况的主要原因是概念漂移或数据漂移以及有关数据完整性的问题。 因此,测试 m l 模型变得非常重要,这样我们才能了解它的优缺点,并采取相应的行动。这里我们将讨论一些可用于测试 m l 模型的工具。为什么模型测 测试很重要?基于我们刚刚讨论的内容,模型测试允许开发者查明可能导致模型预测能力下降的错误或关注区域。这可能会随着时间的推移逐渐或瞬间发生。无论哪种方式,了解他们可能在哪个区域失败,以及哪些功能会导致他们失败总是好的。 他暴露了缺陷也可以带来新的见解。从本质上讲,这个想法是建立一个可以有效处理不确定数据条目和异常的健壮模型。模型测试的一些包括视频所示 模型测试与模型评估是否相同。模型测试和评估类似于我们在医学上所说的诊断和筛选。模型评估类似于诊断。其中,根据某些指标,如 f 一分数或 m, s, a 损失检查模型的性能。这些指标 提供关注的重点领域。模型测试类似于诊断其中诸如不变性测试和单元测试之类的特定测试,旨在发现模型中的特定问题。典型的机器学习测试流程包括哪些内容? 机器学习测试流程通常包括用于检测概念漂移和数据漂移等不同类型漂移的测试模块,其中可以包括预测漂移等。这些问题通常发生在数据集中,大多数时候, 数据级的分布随时间变化影响模型准确预测输出的能力。除了测试数据外, m l 测试套件还包含用于测试模型预测能力以及过度拟合、嵌拟合方差和偏差等的工具。 测试框架的想法是在开发的三个主要阶段检查流程、数据提取、数据预处理和模型评估。 robust intelligence 和克里娜 等一些框架会在这些给定区域自动严格测试给定的 ml 流程,以确保生产就绪。模型本质上,机器学习测试流程将包含一、在代码库级别运行的单元测试二、回归测试,从修复的模型的先前迭代中复制错误。 三、集成测试。模拟条件通常是观察模型行为的运行时间更长的测试。这些条件可以反映 ml 流程,包括预处理阶段、数据分发等。机器学习模型测试的最佳工具是什么? 现在让我们讨论一些用于测试 ml 模型的开源工具。深度测试 deep checks 是一个用于测试 ml 模型和数据的开源拍反框架。它基本上使用户能够在三个不同阶段测试 ml 流程一、预处理阶段之前的数据完整性测试 二、数据验证在训练之前,主要是将数据分成训练和测试三、机器学习模型测试。这些测试可以同时进行,甚至可以独立进行。上图显示了可以在 ml 管道中执行的三种不同测试的架构。 deep checks 引入了三个重要术语 check、 condition 和 sweet。 值得注意的是,这三个术语共同构成了框架的核心结构。一、数据检查涉及围绕数据漂移、重复、缺失值、字符串不匹配、数据分布等统计分析的检查。 可以在检查模块中找到各种数据检查工具。检查模块允许您为数据级精确设计检查方法。例如,我们可以检查数据级是否有重复项。我们将从检查模块导入 get 丢 percase 类,并将数据级作为参数传递。这将返 回一个表,其中包含有关数据及是否具有重复值的相关信息。上表提供了有关数据集中存在的重复项数量的相关信息。现在让我们看看 dp checks 如何使用视觉辅助来提供相关信息。在该视力中,我们将检查数据集中的特征特征相关性。 为此,我们将从检查模块导入 feature feature accuration 类。结果可以以表格或图形的形式显示,甚至可以同时以两者的形式向用户提供相关信息。二、模型检测涉及过拟核、嵌拟核等。 与数据检查类似,我们还可以在检查模块中找到各种模型检查工具。视频中这些是一些用于模型检查的工具。 随机森林分类器的模型检查或检查视力。 三 condition 它是可以添加到 check 的函数或属性。本质上,它包含一个预定义的参数,可以返回通过失败或警告结果。这些参数也可以相应地修改。该图显示了特征标签相关性的条形图。 它本质上衡量的是一个独立特征,能够自行预测目标值的预测能力。四、 sweet 它是一个包含数据和模型检查集合的模块。它是有序的集合,所有检查都可以在模块中找到。 总之, check condit 审核 switch 允许用户在他们各自的任务中实质上检查数据和模型。这些可以根据项目的要求和各种用力进行扩展和修改。 deep checks 允许以更少的工作量对 m l 管道进行灵活性和及时验证。他们强大 的样板代码可以让用户自动化整个测试过程,从而节省大量时间。 deep checks 允许以更少的工作量对 ml 流程进行灵活性和及时验证。他们强大的代码模板可以让用户自动化整个测试过程, 从而节省大量时间。关注怕怕喵!把握 ai 新知识喵!

让我介绍一下关于 ai gc 方面如何产生这个代码的这样的一些模型啊,那么今天的话呢,他他想讲一下那个 starco 的这样的一个模型啊,这个模型的话呢,也是哈根飞是开源的啊, big code 里面的一个模型之一啊,这个模型跟大家来一起来介绍一下啊,我们可以一起来看一下,到底目前 在 aigc 产生这个原代码里面到底是哪些模型会更好一些,他们到底是怎么评测的啊? 我们先来看一下这个 star 扣的这样的一个项目啊,这个项目他其实是非常大的啊,他这个是一个大模型啊,他是要跑在那个八块的那个 类似于 a 一百的这种 g p u 上面的啊,它至少要四十 g 的这样的一个呃, g p u 的这个内存,它才能跑这样一个模型的啊,那么这个模型它这个里面讲了它一共有呃八十种开发的语言,它是都是能 够支持的啊,就我们市面上看得到的各种各样的开发的语言,他目前都是支持的,而且他这个是呃训练的是比较大,将近有六 t 的这样的一个原代码的这个数据啊,包含了将将近三百五十八种的这个开发语言啊,他做了这样的一个项目啊,那么这个语言里面他是啊精选了一些 语言,它是有八十种,像那种 javascript 啊, go 语言啊, python 加啊、 c 口啊,各种各样的这这些语言它是都是能够支持的, c 加加 c 啊,对吧? c 下爬它这种语言都是能够支持的啊,它主要是这样的它这个项目啊,目前这个 big start coder 这样的一个模型的话呢,且它的支持的 context window 的话,就是那个上下纹的这个环境变量的话呢,它是支持到八 k, 就是八千一百九十二个那个 token 十啊,它是这样,然后它还用了一种就是 编写原代码里面比较经常用的是呃, few middle 对这个 object 这样的一种方式,他这个主要是因为原原代码的话一一般都会,他不会是往下写,他主要是前面和后面都有了,让你中间来填空啊,他通过这种方式来来训练的, 所以他这个跟一般的这个大语言的这个模型还有些不太一样啊,他是他的训练方式啊,那目前他支持八十种的这个开发的语言,他用的话呢,也是比较简简单的啊,他也是基于这个 transformer 的这样的一个开源的类啊,也是可以运行的。 目前这个项目的话,像我们之前讲过的这个 t g i 啊,包括那个 faster chat 啊,它这种啊,它是都是能够进行加速的,而且,呃,它是目前是这样,这个项目的话,目前它在商业上面应用是有一些 license 的限制啊,它是有些 license 的限制啊,当然你就作为一些研究的话,你还是可以用的啊, 他也基于拍 touch 的这样的一个这样的一个底层的那个人工智能的那个模型啊,他是这样的啊,那么这个模型, star coder 这个 产生代码的这个模型是不是目前目前在开源界是最优的呢?啊?应该不是啊,他不是最优的,我给大家介绍一个最优的一个模式,那么他们一般的话呢,这个种啊,就是产生代码的这种大模型,他们也有一种叫评测的,对不对? apple 的这样的一个评测,那这个评测的话呢,它主要是自动的,可以做各种各样的这个告诉你一些原代码,写一些那个算法什么的,然后他进行评测的,他就是 pass 一一次性通过的这个准确率和十次通过的准确率,他有这样的一个评测,一般的话主要看这个 pass x e 的这样的一个评测指标啊,目前最高的话呢,是这个模型是最高的,而且他也比较小啊,他只有三 b 啊,三十 的这样一个,他在哈根 face 上也是有开源的这种内裤的啊,这个模型大概是在啊十个 gb 左右啊,他目前是目前是业界测下来他的性能是最好的啊,排名第二的话呢,是这个模型的话呢,也是一百五十亿参数的啊, 相对来讲性能也是不错的。这个 stock 的这个模型的话呢,也是一百五十亿的参数,排名是在第三的啊。其他模型的话呢,也有,如果大家有兴趣的话呢,也可以拿出来看一看,拿出来看一下, 像 l l a m a 杠七 b 的这种模型的话,它的啊,它是一个全能的通用模型啊,它也是能产生代码,但它的那个能力会差一点,你可以看到它这个能力相差还是比较大的, 一个是十二点一对吧,一个要六十三点五啊,相差将近要五倍到六倍的这样的一个性能,这个相差还是比较大的好的。在 big coder 里面呢,它其实还有一个模型啊,这 这个模型叫嗯, santaco 的啊,这个模型的话错的。嗯,这个模型也是相对来讲也是不错的,这个模型啊,他要比 starco 的要稍微小一些,然后更专注一点,他主要是专注于那个 python 加码和假巴 script 三种语言的这样的一个模型啊,这个模型差不多是一点一 十一个亿的这样的一个参数啊,所以这个模型的话虽然小,而他更加专注。如果你的产生代码主要是集中在在这三个语语言的话,用这个模型也是不错的。好啊,今天就简单的跟大家来交流一下,就是说我们在选择这个代码, a, i, g, c 产生代码的这些模型上面应该怎么选择?有哪些模型可以使用啊?哪些模型会更强一点?一般呢?他们用一些什么东西去评估啊?回头的话我可以把这个网址可以发给大家啊,这个网址的话叫 cold ever。 二,他这样的一个项目啊,这个项目的话也是不错的啊,他可以自动化的去评估你各种各样的这个大模型,产生这个代码,产生这个代码能够通过这个测试率的这个能力。好吧,好,今天我们就跟。

四月底,复旦大学开源了目前国内最大的大约模型 mos, 百亿级的规模,据说呢是对话编程,事实问答啊,样样精通,那趁着假期呢,用三零九零测试了一波单显卡量化成 inter 四的模式下, 效果到底如何啊?我们一起来看一下。首先呢,我们先出一道小学的数学题,我们看看食堂有二十四斤大米,每天呢吃四斤,请问多少天可以吃完? 大概花费了二十七秒左右,答案就显示出来了,我们可以看到答案是正确的,看来这个对他来说是小菜一碟。接着呢,我们让他推荐一些广州的旅游景点,大概又等了大概 六十秒左右吧,那么这里的话也是啊,因为他这里的这个默认最大的限制呢是六十秒,那么总体看起来推荐也是正确的,也没有瞎编,就是感觉速度有点慢了, 然后也是只是显示了一部分啊,就是六十秒就显示了这么多,那么后面的话,我们把这个响应长度啊,还有这个响应的时间啊,稍微提高一点的话,那么他可能就会给我们一个比较完整的,当然的话,我们现在的话也可以继续让他去完成剩余的内容, 那么总体看下来的话,呃,剩余内容的话也是写的还是可以的,那这两个上下文都是能够正确的进行完成。那么接下来的话,我们再来编写一下代码的能力,让他呢使用这个 js 编写代码,那通过监听窗口大小的一个变化,我们去设置 cavers 宽高,也就是我们的画布窗口的大小。我们来看一下代码方面有没有什么太大的问题? 现在生成好了,我们可以看到代码总体来说是没有任何问题的,也是非常的简洁。那最后的话我们再回答一个比较常识性的问题,比如说重庆女生为什么是辣妹子,怎么跟辣妹子相处? 我们可以看到在经过了七十多秒的这个时间啊,那么回答的是中规中矩,当然要答的点啊都有,然后也不会答非所问,但是感觉起来真的是太久了啊。这个也是在单卡三零九零还要七十秒左右才能 能看得到答案,如果本地部署的话,我个人感觉啊,还是,呃使用精华的这个 gla 六 b 啊, 还是比较实用的,可操作性也比较强。那当然的话,呃,还是等待 mos 进一步优化吧,我觉得,呃还是非常看好的。

前不久啊,美塔发布了开源可商用大模型 lama two, 能够在 windows 电脑上运行,还将登录高通骁龙的智能手机。 这不,拉玛兔刚刚发布,老纪工作室的小伙伴就用欧拉玛工具在 macbook 上下载了七十亿餐桌的拉玛兔大模型。这个大模型占了三 g 的内存容量,小伙伴花了一个小时才当落下来。 咱们就在这台电脑上不借助云端对拉玛兔做一个测试。首先,咱们考考拉玛兔的知识,以咱们最常用的阿拉伯数字一到十为例,问问他罗马数字怎么写都写对了。 其次,咱们测一下他的数学水平,先出一道简单的数学题,一加二加三, 一直加到十等于多少呢?答案是五十五。妈妈兔又答对了。接下来咱们要盘盘他的编程水平了,请用最常用的拍摄语言写断代码,从一数到十。 这一次拉玛兔又写对了,看来啊,咱们得加大难度了,让他写首诗歌颂一下 ai 的未来吧。拉玛兔迟疑了几秒钟,写了一大篇老纪工作室英语八级的小伙伴来判断写诗的水平,也就是搜搜版 前面啊,咱们用英文对拉玛兔做了虽然简单,但是还算全面的测试。这不,测完没几天,拉玛兔的中文版也开始登录各大开源社区,有兴趣的朋友可以自己去测一下吧! 各位朋友,你 get 到了吗?点击下方头像关注老纪,一起感受科技的魅力!

我们再来呃,测一下这个 mister 七 b 的这个模型啊,号称它这个性能就是它的准确性啊,它是超过能打的非常十三 b 的这些模型啊,甚至达到能打三十四 b 一代的这个模型啊,这个很厉害,它性能非常好,同时我又测了一下它的性能,也是非常应该说是非常炸裂的啊, 因为我们一般测通一千分,如果是在那个三零九零上跑啊,七 b 的模型一般最多达到我们之前测过的性能,大概是在一百一百九十左右,就一百九十左右,他的性能已经是非常好了,九十到一百九十啊,我们看十四 b 是九十 十五币,七币的话通一千万七币的话一般是一百九十,一百九十每秒钟的吞吐量已经是很厉害了啊。呃,我刚刚测完的话,发现他的这个性能已经达到了一个很恐怖的一个数字,达到了九 百九百五十八每秒钟,他能产生九百五十八的每秒钟的这样一个单词,又要翻了将近五倍左右啊,这个性能是非常非常厉害的,这个就是我前面讲的他有一个就是 滑动窗口的这样一注意力的这样一个算法,因为它的这个网络结构啊,导致它的那个 k v catch 啊,它用的就很少 啊,所以它能够高效的充分利用这个 gpu 里面的内存,进一步降低这个内存强啊,所以它的性能就非常炸裂,又比像同样的这个七 b 的模型,我们可以看出来他要差的五倍的这个性能啊,所以的话他所以为什么老外他对这个模型这么趋之若雾,我觉得也是有原因的,一方面他的准确性啊, 又非常好,另外方面的话它又非常高效,它在 g p u 上面的高效推理的话,要比一般的七 b 的模型要快个五倍,所以这个是它非常厉害的一个地方。 我给大家测试一下,我也测了一下它相关的一些功能啊,它的 api 的一些功能啊,完全是能够治正常的啊,它所有的这些接口都能支持到这个 oba ai 的 这个 api, 而且性能非常好啊,我看了一下这个功能没有问题,我们再来看一下,给大家跑一下,看一下他的这个性能测试,他高峰的时候每秒钟可以跑到一千次,一千一千两,一千三的这样的一个头肯的这样一个数数数量。而且你可以看到他这边的那个 k v catch 的利用率 啊,我这个是三零九零的这个 gpu, 他的利用也他使用到了只有百分之六十三啊,所以他跑的非常快,很快就跑完了,他目前跑到是八百七十七啊,我们再跑一下,所以的话通一千问,跟他这个性能比起来啊,他他的这个性能就差了四五倍,这样啊,他很快就跑完了,我们看一下 还在跑,跑完了七百多,八百多、九百多,对吧?至少八百多啊,他这个已经跑完了八百七十七,性能还是不错的。他的是他的这个性能为什么这么好?我前面,呃,我们上一期视频讲的这个和跟他的这个注意力的这个机制是有关系的,他这个里面用了一个叫 滑块窗口的这样的一个注意力的一个机制,他他的那个权重的话,他的那个权重他是会节省至少百分之五十的这样一个内存的这个 catch, 而同时这个会导致他的整个一个性能就会非常非常好,他在 m t 半局的那个测试上面的这个准确率也很高,同时他的 这个高效的推理性能就非常好。啊,这个确实啊,这个创新很厉害啊,经过我们这个测试的话,他呃确实可以称之为那个目前在英文版里面是最强的这样的一个七 b 的模型。那我估计的话,那个中文模型的话,很快也会 将这个滑动窗口的这样注意力的这样的一个算法就应用到这个模型里面来。我那么如果应用进来的话,我相信,呃中文的这个相应的这个处理能力啊,包括他对那个高效推理的能力也会进一步增强。好啊,今天的这个视频和演示就跟大家就聊到这。

上一个清华智普发布的一个叫 eating the bench 啊,他是,嗯专门是用来测试这个大模型啊,他使用这个工具的这个能力啊, 啊,它这个目前它在那个 git up 上面也已经开源了,我看到它,嗯, agent bench, 这个我跟大家介绍一下啊,它的呃 他这个 a、 d、 m 班级的话呢,他主要是测大模型啊,这个大模型他对呃结合一些所呃对环境交互的能力和使用工具的能力做一些测试的啊,他有这样的一个测试集合啊,那么他这个 测试集合里面呢,就是包括啊对操作系统 os 的一些使用,呃,包括对数据库的这个查询啊,包括我们现在很主流的这个啊,知识库的一些查询,包括还有现在比较多的一些电子卡片的一些游戏啊,包括一些拼图的一些游戏啊,它可以跟一些 电子的游戏进行互动啊,他他这个都可以做一些评测,他这个评测里面还有一个三个应用场景,我觉得是非常有意思的一个呢,他是可以让这个大模型啊,他可以呃处理一些家居的一些指令啊,你在家啊,他可以通过语音或者通过文字啊,去去开关你家里的一些东西啊, 一些一些物联网的一些设备啊,包括呢他也可以做一些电子商务的一些购物,他也可以做网络的一些浏览啊,他他这个 aiding the banch 里面它都有这些任务,它就是定义这些任务,看看这个开源的这些大模型,或者闭源的这些 l、 l、 m 的大模型, 他们目前的这个性能到底怎么样?我们看一下这个数据的这个测试的这个结果,他当然他这个里面会呃有很多的这样的一些指标,我们这个就不细细看了啊,他这个里面像数据库的话,他会有一些指令啊, knowledge base 的话就是指示库的话呢,他有 一个 f 一的这样的一个准确度啊。那么游戏的话呢,它主要是就是胜利的这样的一个呃准确度吧。啊胜胜利的这个比例,它的包括一些呃网络购物啊、网络浏览啊,它都是有些指标的。我们看一下它整个一个开源的 a p i 和碧源的这个大模型它的性能的一个对比, 他把这个都列出来了。那目前总体来看,开源的目前的这些模型,他对这个环境的认知和对这个 a 镜他的操控,包括对 a p i 的这个操控能力还是比较差的。跟这个碧源的像这个 chat g p d 四目前是最强的,呃, cloud 是其次的, 那么 gp 三点五是紧随其后的,这个是排在前三的。他对目前那个清华智普推出来的恰特 glm 呢,在开源的模型里面,他们目前评测下来还算是不错啊,但是呢相对来讲能力也是比较弱的啊,他也只把那个单项的这个测 测试的能力在他的那个 tiktok 上面,包括他的这个论文上面都做了些公布啊。我看了一下,比较有意思的是像一些数据库的一些操作,像 wisder m l 的十三 b 的模型会更强一点,像一些操作系统的一些指令啊什么的,那个他也是呃叫 wisder 杠三零 b 的这个模型会强一些啊,因为这些模型的话,应该他的对原代码的这个处理会更多一些啊,是知识库的这个推理,就是欧奔恰特的这个杠十三 b 的这个模型,能力会更强的,达到六点八啊,跟恰特 glm 是一样的啊,差不多也是六点八啊。 那我比较关注的像那个网络,网络的那个网络购物的话,我看了一下那个 chat oban chat 杠十三 b 的这个模型也很强啊,它的准确度达到了百分之五十点二啊,跟开源的模型比起来差很厉害。嗯,它已经非常接近这个 chat gpt 啊,或者是 gp 四的这样的一个能力啊。打网络游戏的能力的话,目前普遍都会比较弱一点啊,普遍都会比较弱,包括那个闭园的,开园的都会稍微弱一些啊,他们也是讲这个也是将来的这个大模型应用的一个趋势啊,他都是会跟现实的一些应用场景结合起来啊。所以的话呢,他在这个评测当中 把那个居家控制啊,网络购物啊,网页浏览啊,他都把它加入玩游戏啊,包括一些,呃,生成一些代码, c 口的代码,生成操作系统的一些处理的一些代码,他都放在整个一个评测里面啊。 最后我们再来看看啊,他的这个结论,他还是来讲,就是目前就是碧源的这个顶级的这个大模型,他已经具备了啊,处理真实世界环境交互的强大能力啊,他已经在这个方面,特别是 gpd 四啊,他说他这个在家居处理上面啊,他的成功率达到百分之七十八啊,他非常 具有一些实用性,他等于是这样开源的一些模型相对来讲会比较弱一些啊,那么这样也是对开源模型提出了一些挑战啊,大家认识到这样一些问题,他们就有待于这个在这个方面进一步的来提高啊, 所以我之前也跟大家是介绍过的,目前这个大模型他越来越注重于这个外部的环境的交互和外部工具的使用啊,这个会变成越来越重要的这样的一个能力啊。 在这个评测当中的话,我是没有看到阿里的那个通一千问的,因为通一千问的话呢,它自己之前它的论文里面是公布过,它对这个环境和对这个工具的使用能力的话呢,它要超过 g p 四的啊。目目前在清华智普 a i 的这个论文里面是没有看到 充一千万这个模型啊,他这个里面有百川的模模型,但我估计他性能不是很好,所以他都加进去了,包括也有我昨天讲的那个上海人工智能的呃,英, 嗯,樱桃 lm chart 杠七 b 的这样的一个模型啊,就是猪身啊,就是上海那个人工智能实验室推出来的这个模型,它这个性能都不是很好啊,那么它可能是 语言类会更强一些啊,对于这个环境的这个交互啊,包括对工具的使用这方面的能力会更弱一点,所以我看到目前这些国内的也好,国外的一些模型也好,他们纷纷的都是在 a 进程这个方面啊,做了更多的一些尝试啊。好啊,今天这个话题就跟大家就聊到这。

如何让 gpt 教你学习最新的开源项目?今天我们让大模型来教我们使用最新的开源项目游路 v 八。我们知道长安 gpt 最新的知识,直到二零一年九月,并且最多也只能输入一万个单词,根本无法处理这么长的文档。 所以今天我们要用的是 cloud 一百 k 能支持七万多个单词,可以直接把优乐微八的原文档一股脑的丢进去。我们先让大模型来做个总结,这里我们就知道优乐微八可以做目标检测、实力分割、关键点检测等任务。以目标检测为例,我们可以让他根据文档生成代码, 训练目标检测模型设计到的配置文件,同样也可以让他根据文档给出格式和参考视力,按照要求配置好后,就可以直接运行代码训练模型了。训练完成后可以再让大模型给出推力代码,这样我们就轻松学会了 ulov 八。

ai 界的安卓系统正式开源了,羊驼二可以称之上目前开源系统中最强的 ai 大语言模型,而且可免费商用。今天老张教大家如何把羊驼二部署到你的本地,咱们提前体验一下。首先看一下效果,可以直接将拉玛尔部署到咱们的本地电脑上, 根据您电脑性能不同,咱们可以选择不同的版本,性能越强,它的效果也就越好。接下来老张教大家如何轻松的把它部署到你的本地,咱们提前体验一下辣么二究竟有多强大。首先第一步,咱们可以去 dd hop 网站中搜索 test 杠 generation 杠外部 ui, 要这样的一款 ui 工具, 咱们可以往下去拉,找到最底端的这个下载选项,根据您的电脑系统进行下载。下载完成以后,直接将压缩包解压出来,然后双击进入,然后选择 start 杠温 六字典 b a t 这个文件双击打开。如果过程当中有任何问题,欢迎在评论区当中进行留言,老张会给大家一一解答。好的,安装成功以后呢,咱们会发现他会自动的给您产生一个 test 杠,占地 recent 杠 y b u i 拿到他以后,咱们不要着急启动。 老张呢给大家提供了这样的一个拉马尔七 b 的一个语言包模型,如果您这边说老张我自己想下载,我去哪下呢? 可以直接去这个憨狗 face 上找到这个 mate lamar 这样的一个文件,然后选择您对应的版本,因为它本身是三个模型嘛。七 b 十三 b 七十 b, 根据您的显卡进行选择,如果您是第一次打开这个网站,会让您先去做一个申请,因为我这边已经申请过了,咱们可以直接选择文件和版本,然后可以在这直接进行对应的下载,这是第一个下载方式,第二个下载方式可以直接 下载对应的版本,注意咱们的版本后缀是 ggml 这样的一个版本信息。当然如果说你说老张我什么都不想下,我只想体验一下所有东西,我会给大家打包整理好,到时候你可以直接在老张这进行领取。 ok, 然后这个地方都配置完成以后,咱们再次的双击打开,如果双击过程当中爆了一些错误,咱们可以先尝试更新一下对吧?这有一个更新系统,然后双击打开,当咱们打开之后,他会弹出一个 uil htvp, 冒号幺二,七点零点一,冒号七九零八,证明咱们这次启动是完全 ok 的, 咱们就可以直接打开您本地的浏览器,直接启动就可以,启动完成之后不能直接使用。注意上方有一个 model 啊,这个这模型对吧?把模型这个位置一定要选择咱们的这个拉吗?二,这样的一款模型,这款模型 咱们放在哪呢?放在咱们 test 杠 generation 杠外的 ui 的文件夹中,有一个 models 文件夹,把这个模型放到这个里面,我会给大家把模型提供,你直接拽进来就可以,然后在这个位置选择模型,一定要选择复合,然后再点击刷新, 刷新之后回到这就可以轻松的进行聊天了啊。因为现在这个羊驼二呢,他刚刚开源,对中文呢还是不太理解的,所以说咱们不要担心,你先把他部署上,后续都会逐一更新的。

l m 杠六 b 的这样的一个中文中英文双语的这样的一个模型,然后我们怎么对它进行来微调?因为这个模型是中国人研发的,还是有很多人在问说这种模型应该是 英语训练模型,应该是怎么样做一些微调?这个我跟大家一起来交流一下,那么这个模型微调,我们可以看一下大学最近圆的这样的一个比较流行的叫羊驼的这样的一个模型啊,这个模型的话呢,就是目前非常火,可以给大家看一下模型, 看一下就上福大学推出来的这样羊驼的这样的一个模型。简单介绍一下,这个模型的推出,主要是美国的这个学术界就是发现 gpd chat chat gpd 就是非常火, 但是这个项目基本上都是碧源的,学术界的话呢,就比较难去复制他这个模型,所以他们也是要进一步去研究的,所以斯坦福大学的话呢,他们就想方设法要去把 下的 gpd 的这个模型能够在开源的能够复制出来他的,那么他呢就是呃,他们就结合了一些,嗯,然后把呃就推出了这样羊驼啊这样的一个模型啊,那么这个模型,嗯过那个双盲测试啊,他们也测试了一下,就是 啊,然后可以低着去呃模啊,然后呢他们也帮测试啊,那么双方测试测试下是发现的,哎,模型比较小,但是他的能力的话呢,倒也适于恰特 gpg 的这种能力啊,所以的话呢,这个一下子这样的一个开源的这个项目就流行出来了,他等于是这样可以给大家看看啊,他这个项目 星星非常多,对吧?非常非常多,非常热的这样的一个全是在他的话呢,就是目前是对那个这个开原版的恰的 gpt 这个模型是是目前是做的是相对是比较好的他这个这个模型,那么这个模型呢,我们可以给大家看 看一下它它这个模型是怎么训练出来的?它的基础模型呢?它是用了 facebook, 就是 manta 的,它有一个叫 m m a m a 的七 b 的这样的一个基础模型,这个模型的话呢本身也不是太大,是 facebook 开源的, 他在这这个模型基础上,他用了五五点二万调的,然后进行监督的进行叫微调,然后在这个档他就会变成这样的叫 alpaca 的这样的七 b 的这样的一个模型啊,这个的话就是七十亿的这样的一个参数,他有七十亿的这样的一个参数啊,那么这个模型的前面也是讲了,他的这效果还是非常不错的,他的也是这样,那么他在这个当中呢,还是有个创新,这个是一个创新点,他在 五点二万条这个提示指令,它是通过一个,它是通过 chat g p t 自身产生的,它对它是这样来做的,它其实本质上来谈它是有有一百七十五个这样的一个指令,这 个呢是手书的,它有这种指令,通过这个指令通过这个掐的 g p t, 然后自动地产生了五点二万条这个 训练的这个指令,然后再跟这个 l l a m a 这样的一个模型进行监督学习的微调,最后变成了这样的一个模型,这个模型目前在学术界里面是最接近于 chat g p t 就是 g p t 三点五五的这样的一个模型啊,它 还是这样,他们也也找了五个学生做了一些舞台,等于是这样。这个双盲测试的评估啊,发现就是说他的这个能力啊,跟掐的 gpg 类似,很类似。他这个功能上面他们他提供了一个数据,他跟我讲好像是 非常接近,他们做了一个双黄测试,双黄测试里面他们好像是八十九十比八十九这样,他们做了一个看到底这个内容是哪个模型产生的,双黄测试里面 几乎是看不出来到底是哪个模型产生的一些内容。那他当然也是讲了这个模型目前还是有些问题的,这个问题的话跟那个恰的 g b t 是类似的,他的这个问题主要就是还是这就是胡说八道啊,他就是等于是为他录有些模型他不知道的内内容的话呢,他就会逼邪模型,这个叫幻觉啊,他等于是这样。 那个羊驼的这个模型的话呢,在 gitch up 上面也开源了它等于是这样。好,这个模型我就展示给大家,介绍到这儿,我们看看它的代码,看它的代码,看一下它的代码,这个在 git up 上面, 他的这个代码主要是公布了他的五点二万条的条的这个数据集,就是个指令啊,原来也是解释过的,叫提示学习的指令啊,这个是他是把这个数据给公布出来了, 而且他也公布了如何产生这个五点二万条的这个提示指令的这样的一个代码,他也是什么呢?对他有一个创新的方法啊,这个方法的话 看一下他,呃,十年的年底啊,波斯顿大学他们就推荐论文啊,主要是如何自动的产生这个提示的指令啊?他是通过这个模型 怎么自然语言的模型,怎么自动的产生一些提示的指令?他这篇文章里面就讲他有一百七十五个随机的这样的一个任务, 他通过类似的,当然他自然语言的情,他们目前羊驼他们用的是直接掉了欧奔 i 的这个,呃,恰特基的这样的一个指令啊,然后自动的就是问那个恰特 g p t 去产生这样的一个内容,他等于是这样啊,这个五点二万条的这样的一个指令产生的话呢?他的论文上面讲他只花了五百块, 嗯,生成出来的。原来的话呢,那个 chat g p t 的话呢,它是通过人工来收集人工去做的啊,它现在的话呢,就是直接绕过了人工,接通过 他的 gpt 来产生的这种内容啊,成本就更低更快。那他在开源的这样的一个项目里面,他也把这些数据给公布出来。我也看了一下,他这个内容非常多啊,什么早餐的建议啊,他还有一些各种各样的像面试的一些问答,他,他包括一些医医庙的男生,他有很多很多的任务啊,他这个里面 啊,这个就是题指令,当然他也有一些数学题目啊,包括他也有把这个文本 to c 口的这样的一些任务啊,他这个都算是任务,我看了一下,非常多,还有什么 html 的任务,就是你怎么起 html, 他这个里面也有包括还有一些什么 news 的,呃,摘要啊,呃,他做啊,我看了非常基本的啊,其实 一百七十五种吧,一百七十五种看他数据库里啊,对,是一百七十五种,七十五种任务跟大家就聊到这,那么这部分代码也是啊,中文的这些吧,啊,也是有非常好 参考的这种价值,因为他这个数据提示指令是非常重要的,因为这些提示指令你写的好,你才能让这个模型啊。呃,能够压制那个比较重要后呢,他这项里面最后一部分呢,他也提供了个呃,这个么微调的这样的一个。呃, 啊,这个 pad 的话呢,那它也基于这个 hurt and face transformer 的这样的一个内裤啊,的一个 transformer 的一个大型的这样的一个。呃, 处理语言做了一下这个微调啊,他是他产生五点三万条指令的这个指分布啊,他有颜色就是代表词,各种各样的能力啊,各种各样的能力,他有解释的能力啊,他有数学的能力,还有分类的能力等等,还有查找的能力,他有分辨的能力,他是这样的,这个是他微调的具体的参数, 它一 pro 主要是三次,否则多的话它会过离合。它也讲了一下它的整个一个训练,它用了四块 a, 一百的八十 g 的 gpu, 它应该跑大概五个多小时吧,然后它就跑完了,所以的话呢,它是一个比较低成本的 ppt 的这样的一个开源的这样的一个模型啊,那目前它主要是支持的是英文啊,英文它是支持的英文, 当然他这个这个吗是他训练的脚本,训练的脚本这个项目大家要注意的,这个注意的他是不能商用的,因为这个是他日坦福大学,他是声明的,你可以作为学术用途,但是你你可以作为研究,但是你不能利用在啊,因为他是用了那个 ai 的一些呃,诶,通过 obanai 呃的 chat gpg 产生了一些些内容,呃,因为 obanai 里面他也是强调的你,你是不能用 obanai 的内容,然后再去去跟 ai 做商业的竞争,他是等于是这样 看一下,不了给大家解释。那再来看一下就是 chat g l m 六 b 的这个中英文双语的这个模型是如何进行微调的,因为 我们前面就是说就他们羊驼的那个模型啊,这样来进行微调的啊,其实也是可以学他们这个方法论啊,和一些数据,然后看看怎么来微调。我们来一起来看一下,这个是目前微调的这个代码的,也是公布在 git up 上面的,也有 也有人,我们是可以看一下他这个数据集的话呢,他就直接用了他们羊驼产生的这个数据集啊,所以呢,这个数据集的话呢,他是只有那个本的 他,他只有英文的,他中文可能也有,但是会比较少,他等于是这样,他微调这个是他需要的一些硬件,最好的话呢,要超显存,要超过十六 gb, 最好是二十四 gb。 羊驼型的话是四块 a 一百的这样的一个实际的这样的一个 g p u, 它是跑在这儿,那么中国人这个开源的这个项目,它把精度调的更低了,这个我之前也是介绍过的,它是用了哈根 face 里面的叫 p e g f 的这样的一个内裤,它 降低了他的用了一个 rora 的这样的一个模型,他在做那个 transformer 的这样的一个低成本的这样的一个训练。看看啊,我们看看元代码,看一下元代码在这,元代码在这, 主要你还是要先把他的这个微调的代码库,要把它下载下来,不要安装他的依赖还有 requirement, requirement 里面也其实也没啥,主要是用了这个这两个,这个是他跟 face 要做 transform 训练式加速的一个内裤,这个内裤的话呢,主要是用在他是八位整形的这样的一个 模型,训练的时候,他把精度降低,要用到这样的一个内裤。另外他那个 chat g、 b、 l 的这个模型的话呢,他要用到了这几个内裤,他也基于那个拍 touch, 然后基于这个我们看到的 p e、 f t 这样的一个内裤。好,我们看看他是怎么来进行微调的。安装完了之后的话呢,他就把这个羊驼 这个数据进行数据转换,转换成他要的数据。然后的话这句话的话呢,他主要是做一个编码,编码把他的这个英文啊中英文进行编码处理 好,处理完了之后的话呢,他就去加载这个 cat g b l 杠六 b 的这个模型。他在预训练之前的话呢,他在微调之前的话,他先做一些测试,他就是看看他在微调之前他的回答,他的到底是怎么样子的,他就把这些参数,把这些 date tens 给捞了进来, 他去构造这样的一个吹,这样一个训练的这样的一个内裤,这个是具体训练的一些参数,他就去运行这样一个训练就可以了,我看他也是一样的,他跑了这个三个一 pro, 他就训练完了,因为他的那个参数比较低,他的参数精度会比较低,所以的话呢,他用的 g p u 会比较少啊,内存也比较少,他等于是这样训练完了之后,他又做 做了前面一样的那个测试,他会发现测试的结果可能要比前面要好。最后他把这个训练完的这个模型,把它给保存下来,这个是整个他的一个恰特 gbl glm 的这样一个微调的这样一些代码,还是比较简单的,应应该也不难。 那这个微调过程的话呢?探点在我觉得还是在这,你怎么通过一百七十五个任务自动的去产生他这个是五点四万条的预训练的这个指令,这个指令是什么?我觉得是比较重要的,而且你指指令的质量也是比较重要的,那么他们做了一个取巧的方案,直接去问恰的 gpt 要内容, 等于是这样他就呃产生了大量的这些指令,这些指令的话呢,然后再作为一个建度训练的这样微调的这样的一个数据,把最终的这个模型给训练出来,他等于是这样,那么我们看到的是那个 chat g l m 的这个模型,那其实 是类似于这个 gpg two 的这样一个模型,但是他这个模型好的是在于是用那个中英文的语料去进行训练的,他等于是这样,所以的话呢,他相对对中文来讲,他的那个强一点啊,活的这个能力的话,他这个模型呢,是目前主要是英文,所以的话呢,他中文还不支持,所以当然他可能聪明度可能会更高一些。 好,这个就是我今天要跟大家交流的哈,我也欢迎大家能够给我留言。好,今天就介绍到这。

小伙伴们大家好,之前两期分享了清华大学团队开园的中英双语对话模型 chat g、 l、 m 和代码生成模型 code gigs。 今天带来的是由北京大学团队开园的中文法律大模型 chatlog, 该项目问时候在知乎上热度颇高,项目负责人也在相关帖子下面亲自做了回答,目前在 github 上已获得了五千加 star。 项目主页中介绍 chatlog 系列模型,目前有 chatlog 十三 b、 三十三 b 和 text to bike 三个版本, 而十三 b 是本期视频中要演示的模型,但想要获取能在本地运行的 ai 模型,需要用户自行合并,并保证磁盘有二十五 g 左右的空间。在这过程中可能会遇到各种各样的问题, 且官方文档中的内容非常简略,因此最好的解决办法就是直接下载别人合并好的模型。欢迎有兴趣体验的小伙伴在评论区留言哦!执行命令 运行程序,等待模型加载完毕后自动生成链接,使用浏览器访问。 接下来尝试询问几个问题,测试 chatload 生成效果。第一个问题, 详细阐述签订劳动合同需要注意哪些内容,点击提交,等待 ai 做出回答。叉特劳十三 b 模型较大,生成回复一般需要三到四分钟左右,查看结果差特劳列举出了包括用工形式、工作岗位、 薪资待遇、休息日、违约责任等需要关注的几个方面。整段文字的中文表现力还是相当不错的,但是引用的就业促进法似乎并不是十分精准,再试试。第二个问题,酒驾撞人逃逸如何处罚?测试这个问题时,在参考资料文本框中填入刑法中 交通肇事罪的相关法条,看看 ai 会给出怎样的解答。由于参考资料的助力,个人感觉 ai 给出了更为专业的解答。文本中不光考虑到了不同的情况, 而且对问题进行了一定反馈,指出没有提供详细按键背景,无法确定具体处罚方式。在此次测试中, chatlo 的表现确实可圈可点,最后用之前一生会热点新闻作为案例,向 ai 提问,一男子向一女子搭讪索要电话号码未果后将该女子殴打,智商这种情况应该怎么办? ai 给出了他的回答,小伙伴们感觉怎么样呢?总结个人实测感受, chatlo 十三 b 是一款比较优秀的法律大模型,有很好的中文表现力,能够给出具有一定参考价值的专业回答,当然也确实存在问答效果不佳的情况。另外,官方文档中写道,在未来迭代中,将致力 提升模型逻辑推理能力,优化模型回复准确性,减少幻觉。因此,个人感觉这个法律大模型是值得持续关注的。以上就是本期分享的内容了,感谢观看,欢迎关注我,一起探索前沿的 ai 开源项目。

最近, visa d m m 团队开源了一款全新的代码大模型 visa dakota, 它打破了碧源辅助编程模型的垄断地位,显著超越 crowder 与谷歌 burden, 获得广泛关注。这个视频主要分享如何在本地部署体验。 visa dakota 最新的微册的 cod 主要有三十四 b 和十五 b 两个版本,他们都是通过 evo instruct 方法训练的。 其中三十四 b 版本在 human ever 测试中得分为七十三点二,并可稳定附线,仅次于 chat tpt, 是最新得分 高于 t x c p t 三点五和壳腰带等臂圆模型。另外还有个十三 b 模型,得分六十四,排名第八,性能也很不错。目前该项目已在迪克 开源,并给出了 demo, 可以体验与使用。先体验一下 demo, 随机选一个立特的高难度题进行测试,然后再分享如何本地部署使用。 由于是体验 demo, 这里需要等几秒钟将结果复制早恋后的,并调整一下格式 提交验证完美通过。接下来我们看一下如何在本地附属规则的 coder。 首先要根据自己的机器性能选择合适的模型。官方模型都是 十六比较吃现存,如果电脑配置比较低,可以选择量化版本。我们可以在哈丁 face 上找到 golf 格式的量化模型。 golf 格式是 lama cpp, 新推出的格式将会取代 g g m l, 相比于 g g m l, gap 格式具有更好的拓展性,并且支持保存更多元数据,包括 top t v c 甚代码及特殊 top guns 等。目前支持 gap 的有 lawma cdp、 text generation、 my v e, 偷画的 c d p 等。 这里我们使用 text generation level, 只需要下载对应系统的压缩包, 解压后点击启动脚本,等待安装完成就可以了, 我这里之前安装过就不再演示。之后我们选择对应的量化模型进行下载,可以看到相比于原模型,量化模型会显得 占用要小很多。根据自己的机器配置选择合适版本的量化模型并下载。下载完成后,将模型移动到 text jenna, 一首 mapping the model 键加下,然后点击启动小本,等待程序启动。 点击 url 打开 vip u i 页面, 在 model 这里选择我们刚才下载好的模型,点击加载,等待模型加载完成。 加载完成后就可以在开界面进行兑换了。 以上就是在本地部署使用最强开源辅助编程模型 vsadcoder 的部分内容, 后续可以将模型接触 discount 等。二、第一周将使用 gitacopopi 的提养辅助编程,提升开发效率。免费且无互联网的编程入手,你期待吗?

起猛了,我好像看见了大模型在训。大模型面壁智能联合清华大学又放大招,研究出 ai 届多边形战士 accident, 它是一个可以自主解决复杂任务的 ai 智能体。 accident 的表现在所有基准测试上都全面超越了 otogpt。 x agent 以大语言模型为核心,理解人类指令后,外循环进行全局任务规划,内循环,确保细节落地执行。为避免死循环、错误调用等执行出错的现象, x agent 加入人机协作交互能力, 人类可以干预建议, accident 也学会了主动寻求帮助。此外, accident 还具备超强工具调用能力,会从 tool server 选择合适的工具,安全高效得完成特定目标。如有必要,它甚至能根据特定任务训练专属 bird 模型。 整个过程的每个步骤, x agent 都会进行反思、评估、进展记录、优化迭代,堪称素质极高的自来卷卷王。举个例子,张三这周末需要和五个朋友一起聚餐,让 x agent 推荐餐厅,他会这么做。外循环,将 任务划分成理解、偏好、搜索、餐厅,给出推荐三个部分。内循环在每个部分里继续拆分步骤,每个步骤又都按照想法、理由计划、评价工具,使用五步进行思考和执行 任务。第一部分,推荐餐厅。用户口味、偏好、花销、预算倾向、地点等信息 x agent 并不知道,于是他请求人类提供帮助,在不确定的情景不随意行动,而是想办法获取更加确定的信息,完成决策。所以开始迫使人类 根据用户的餐厅编号, accident 使用网页搜索工具寻找符合要求的餐厅,但是辨别筛选信息又遇见了麻烦,直接在网页搜索还是有针对性的。参考餐厅评论网站,如果搜索引擎不能识别低脂概念又怎么办? accident 丝毫不慌,思维链条紧密咬合,采取行动有理有据,完美解决 nice 评估对比之后,给出他认为合适的 top 五餐厅名单以及推荐理由供用户挑选。就说周到不周到, accident 这种无论如何也要解决 用户需求的自觉已经到了令人发指的程度。比如用户只是提出让他对一个典型电影数据集做情感分析, x agent 首先自己下载了包含五万条电影评论的 i m d b 数据集,然后自己判断出群一个 bird 模型能够更好完成这个任务。 于是他就真的自己训了二的模型,用他对电影评论进行分析,并说出可视化结果。我当时的表情好像看见了连写日报都要做酷炫 ppt 的卷王同事。 accident 的字母 x 代表未知和无限的可能性。他目前的表现已经突破了现有单个 ai 智能体在执行复杂任务中的能力天花板。在未来, accident 还拥有像生物一样升级进化的潜力。反复 prompt 大模型实在疲倦了,要不要试试一步到位完成任务的 accident?

我跟大家再来介绍一下的,上次也是介绍过的,亚马逊的就 m m c u t 的这个一个多模态的这个模型啊,的话呢,是不是很大,他用两亿多的这个参数就可以在嫩搭的这个数据集上,他的这个测试可以超过 cat 的那个, 就是 gpt 三点五的这样的一个模型,那么我们可以看一下啊,今天我主要跟大家一起来看一下它的源代码,我们会比较关注的是它到底是怎么训练出来的,它这个 多模态的具有思想链推理的这样的一个人工智能的模型,他到底是怎么训练出来的?好,呃,这个模型档次我也是给大家介绍过,是亚马逊开源的,他叫 mcut 这样的一个模型,那么 这个模型他在 d 叉不上面也已经共享出来的,包括他的论文,包括他的原码,包括他的数据,他是怎么训练的,他都是已经共享出来的,所以今天我们把整个一个原码都下载下来了,然后在自己的机器上也 跑了跑了一下,看看大家一起来交交流一下,好吧,模型的话是我是介绍过的,他他这个模型我还是给大家介绍一下,简单的介绍一下他这个模型他是用的就是叫 its qa 这个科学问答数据集 进行训练的,他等于是他是在 google 开源的 t 五的这样的一个 n l p 的这样的一个模型的基础上,在进行 sci t s q v 的这样一个科学问答的数据集进行微调, 他产生了模型具有这种人工智能的这种推理的能力,那么他这个推理的能力强到什么程度呢?他在这个里面公布了一个数据,这个数据里面他是这么讲的, 如果是他的这个问题都是涉及方方面面,他都涉及一些什么生物啊,地球的这个科学,物理,这个化学,这个工程,一些测量,还有地理一些写作的技巧,全球的历史他也包含一些经济学学术, 也有一些所谓的那个社交技巧,也包含一些。这个怎么发音?这个 caberry 就是一些一些 grammar, 就是英文的一些语法啊,怎么分?呃,怎么做一些那个就是做那个,这啊?怎么去学习?他的这个是个动词,他大概是 整个一个科学问答的数据集,他大概一共是包含了这个二十六个 topic, 就是二十六个主题,一百二十七个分类,一共是包含了三百七十九个 school。 就技巧涵盖的问题,他大概是一共是 两万多个,两万多个问题,他是包含在整个一个科学问答的这样的一个数据集里面,他再去分析的,再去训练的。那么这些问题的,如果你是人类一般的随机的去问问问答,他提供了这样的一个平均值,他平均的得分大概是四十几分,最低的大概是三十几分,平均分大概是三, 是九分左右。人类一般的平均分就是人做这些科学的这些数据级的这个题目,他的平均分是八十八分,八十八分,八十八点四零分, gpt 三点五。如果他去做,他的平均得分最高是七十五点一七,他没有超过人类,但是, 但是如果用亚马逊开源的这个多模态的 cut 的这个模型去做,它的平均得分是八十四点九一分, 如果用垃圾大的这个模型去算,就是有九十一点六八分,他就是超过了人类,所以这个就是我上次是讲的这样,今天我们还是来看一下他到底是怎么训练的,他到底给数据为了些什么? 他是到底是怎么训练出来的?我们一起来看一下。首先呢我们来看一下他这个 sites qa 的这个科学科学问答题啊,他这个数据级的话呢,包含了两万一千零八个问题。然后就是选择题啊,他这边只能 一个例子,他这个选择题,如果他是清楚,他先给了一张图片,只说有一个小孩坐在婴儿车里面,他手去拉那个门, 想看一下那个门里面那个柜子里面到底是什么东西,他就他有这样一张图片,他有一个问题,他就问这个力,这个小孩拉这个门,他的这个力是向内的还是向外的? 他是个选择题, a 就是推, b 是拉,那么他这个人工智能是怎么做的?人工智能他首先他先会产生一个,他根据这张图片和这个问题,然后呢他会 自动产生一些内容,这个内容叫 reason 啊,就是回到题目的一些理由,他说啊推是对一个物体上面的一种啊一一种力量,他是等于是这样,但是我是离开的话,就是这个是推,如果往里里啊开的话呢,就是拉,往里面的话呢,就是推,他是这样去 解释的,然后他会看这张图片,他的小孩的这个手,他是往外的,所以他这个答案叫 a, 这个就是他的推理能力,所以这个是他在整个一个人工智能,他们是这么来处理的,所以你给他训练的时候呢?你要给给他什么呢?第一个你要给他一个问题, 第二个你要给他一个答案,第三个你要给他一个图片,说他这个解释,解释,你要告诉他,解释他的也是这样。所以的话你把这些,他们就是把这个两千多个问题都把他这个数据都准备好了,就为给这个叫 t five 的这个模型, t five 的这个 模型,这个回头我会跟大家解释一下这个两千多个问题呢,我前面讲了他会分很多个类,他分了二十六个 topic 主题,一百二十七个分类,有三百七十九个这个 school 技巧,他等于是这样。这个里面我前面讲过了,他包含了一些什么,你,你的一些生物学、地理学、物理学、化学地, 包括一些那个地球的科学,包括一些工程学,包括一些社会学,也包括一些语法,包括一些如何去社会学里面的协作,包括一些历史,全球历史、历史学他都会囊括在这个数据集里面,一共是两万多个题目,他会输入到整个一个 t 五的这个模型里面去,他等于是这样来做的。 最终的结论他的大家清楚,就 g p t g p t chat, 用背后用的 g p t 三点五这个模型的话呢,是非常大的,有有 一亿五,有一千五百亿的这个参数,但是它 t 五模型,它的垃圾模型只有二点二亿,它这个模型非常的巧, 但是呢他加入了图片的这个属性,他等于是这样进行微调,他的逻辑推理的能力要超过了 gp 七三的这个模型,他是这样的,那么我我们来看看什么是 t 五模型。 t 五模型我一直在讲就是 t 五模型是谷歌开源的这样一个 nlp 的这样的一个大模型,他等于他主要是做那个开源的 文本到文本的这样的一个 transformer 的这样的一个模型,它也是一个深度学习的模型,但是呢,它是类似于,它是类似于这种 g p t 三点五的这样的一个模型,但是它的参数要比 g p t 模型要小很多,它是等于是这样, 它这个模型跟原来的那个 nlp 的像。姑姑,原来开源的二零一八年开源的 boat 这个模型有些什么不一样呢?因 boat 这个模型我们也是清楚,它也是文本到文本的 incoding 和到 dcoding 的这样的一个 transformer 的这个模型,那么它跟 t 五模型有些什么不一样?它跟原来的那些模型有些什么不一样的地方?它的不一样的地方就是 他会把各种各样的任务都会集中在这个 t 五模型里面,他叫统一模型,统一模型他这个里面会把叫翻译,比如说他这个里面举了一个例子,怎么把英文翻成中文,翻成德语,你这样一个东西啊,一个问题,你是怎么把英文翻成德文的?他也是可以作为一个输入和输出, 然后在这个 t 五模型里面进行训练了,他有个统一编码,包括是回答问题,他提了一个问题,也把答案输入到整个一个 t 五模型里面去,包括做一些选择, 选择题,就是前面的那个分类他也是一样的,所以呢他用一个各种各样的任务,他用一个统一的一个模型,等相同的这个模型进行训练,这个模型就叫 t 五,那么他能处理 nlp 里面的各种各样的任务,他把整个一个,他呢就是用相同的模型,相同的损科损失函数和超参数 包含在整个一个 t 五的模型里面,这个就是 t 五模型。当然它跟 gpt 三这种唯一不一样的地方是什么呢?它的模型会比较小啊,它的模型会比较小,嗯,我们可以看一下啊, 模型的话, google 开一样的一个模型的话,它也用 a 四的这个数据级进行训练的, c 四数据级的也是 g p t 三, g p t 二,它训练的数据是一样的,训练的数据是一样的, 他都是通过网络去把全世界的这个数据,然后的话他会去做一些处理,预处理,就是比如说把一些符号把它给去掉啊,他过也比如说内容很有些网页,他也会过滤一些脏,呃,就是字符,那个说脏话的一些网页 啊,会去过滤一些这个非英文的,就是西方字母的,比如说中文是不会放在这个里面去训练的,他等于是这样,然后也删除了一些重复的数据,那么这样的一个数据集,他大概是在七百五十个 g, 他有一个这个数据集叫 c 五, c 五的这样一个数据机,那么他把这个数据机就扔到这个 t 五模型里面去做训练,这种训练方式的话叫监督训练,非监督训练,那么他就去训练这个地方,我们也他在这个模型当中,我们也可以看到第一种方式把做了一些,就是运气,就是把一些不必要的一些,这名字啊,字符啊,就是把它给处理完,大概在七八, 在四十五 gb 啊,他这样训练,当然他任何不处理的,他们也去训练的有六点一个 t, 他等于是这样,如果任何不做任何处理的话呢?他的精准度要差一些,大概是八十一点四六,如果做了一些过滤处理的一些过滤,他会更精准点,大概在八十三点二八, 他是等于是这样,他是这么来处理的,所以他这个有一个结论,就是 t 五,他们训练的时候,他有一个结论,就给这个模型越精准的这个数据,比如说他们也训练了一些,叫 那个老外用品 vicky 里面的一些,当然 vicky 的数据会比较少,然后他上了一些书,他们会呃姑姑姑会把所有的这个书把它电子化,然后把它内容扫描进去,大概有二十个 g, 那么他达到的效果跟把全世界所有的这些数据六十六点一 t 的数据类似,就是六十一点一 t 的数据,跟二十 g 的数据出现的这个精准度差不多八十三点六五。但是他们也是讲了,数据越大, 他的泛化能力会越强,所以他们在 t 五训练的时候也是建议用更多的数据去训,去训练,他是等于是这样啊,好,那么 t 五这个模型,他会根据这个数据量和参数的不同,他划了五个模型,有的模型叫 small, 有的模型叫贝斯,有的模型叫垃圾, 还有的一个叫三亿的一个天大的模型,还有一个最大的模型就是一百十亿的这个模型,肯定的这个模型越大,那他他的精准度肯定会越高,他等于是这样。目前的话呢,他在 这次呢,亚马逊用他主要是用了两个模型,一个就用贝斯模型,不是他用最大的那个模型。第二个呢,他用一个垃圾的模型,他用这两个模型去训练的 类似模型呢,它的参数是在我看看啊,在六千万垃圾模型是在二点二个亿它的,然后呢它又会些那个图,一些数据啊,所以的话文本又是数据,所以这个称之为多模态 啊。这个数据的话呢,这个模型非常小,而只有二点二亿的这个参数,但是他的这个推理的能力已经超过了恰恰 g p t 三点五的,就是一千七百亿参数的这样一个大模型,因为他那个模型他只有文本,他没有图像,他等于是这样, 所以他的推理能力更强。好,这个我就简单的跟大家去讲一讲什么是 t 五模型,我们再来看一下他是怎么训练的。训练前面的那个数据集我已经跟大家介绍过了,那么他有两万一千二百零四个问题,他会划分成三个集合,一个呢叫训练集合,是大概拿一千两百七, 一万两千七百二十六个问题做训练,用四千两百四十一个问题做验证,剩下他再会拿四千两百四十一个问题做测试,他把这个两万多个划成三个问题级,然后进行扔到那个 t 五的模型里面。 t 五模型已经训练完了,他先通过非常大的 五十个字的这个数据先进行这个多训练,训练完了之后,再把那个两万多个问题里面的添七百二十六个问题进行扔进去,进行微调啊,这个微整啊,就是产生这个问题的结论。第二个阶段呢,他做选择就是分类,他等于是分这个两个阶段去训练啊, 大概是这样的。好,最后我们看看啊,他训练的这个效果啊,只要给训练完的这个 m m c u t 啊,他是个小模型啊,两亿多算是个小模型。那么你只要给他一张图片,然后给给给他一个问题,然后你给他几个 choice, 这个都是些科学性的问题,里面举举了一个例子啊,他是这个叫什么高高登 test, 就是一个气球,他做一个试验,其实我也不是太清楚啊,然后他有三个 abc 啊,第一个做高登测试是做那个,呃,宇航器 的这个,这个,这个,另外一个的话呢,是这个我也搞不清楚啊,他啊,因为反正他是做这个,因为我也不擅长他的这种科学的问答,也是蛮专业的。搞不清楚啊,然后你就扔给人工笔啊,然,然后我们的模型会告诉你, 他告诉你这个这个测试到底是一个什么东西啊,在什么每小时,什么两百公里,然后做测试,然后他主要的作用是这个宇航器在降落的时候,他有一个降落伞, 如果速度过大的话,他这个降落伞会抖动,会导致这个宇航的这个设备在降落的时候会坠毁。所以的话呢,要做什么高端测试?最终他的回答是正确的,是选 a, 他是等于是这样 b, 他在回答问题的时候,他也是会分两阶段告诉我们,第一,他会告诉你为什么选 a 的理由是什么,第二个他为什么选 a, 他是等于是这样,这个就是 t five m m c u t 的这个模型,他到底是怎么样做解答的啊? 最后的话呢,我给大家看一下,因为机器本我自己的机器也安装了,安装完之后我给大家稍微看一下他是个什么样的一个东西,这个是我本地安装的这样的一个环境,他呢是与那个怕起来进行, 然后那个哈根 face 的 chose former 的四点二一点一的这个版本如果你要安装环境也是简单的,比较简单的,它主要是要把那个数据集要下载下来,数据集它只要是包含两部分,一部分的话呢,就是我前面讲的就三 it cqa 那个两万多个问题,还有一个呢,你要把两万多个问题里面的那个图片 image 要把它给下载下来。 我看了一下,他的整个 amg 大概是在一个 g 左右,他会分成三个包,一个是测试,一个是验证,一个是训练,大概是这样的,你这你还要下载一个什么?你还要下载一个的是因为他要把这个图像进行编码,所以的话呢,他会用到一个,我之前也是跟大家是介绍过的,他也是用到一个叫 d e t r 的这样的一个编 编码格式,编码也是一个人工智能图像 invading 的这样的一个人工智能的一个模型,所以你要把这个模型愈愈训练的模型,你要把它给下载下来的,可以放在这个叫他有一个叫 mission futures 的这样一个目录下面,它有一个叫 de t r 点 n p y 的这样的一个一个模型,英语训练模型,它等于是这样。当然你也可以用那个叫 resnet 的这个模型,它也可以的,还它也能支持叫 clips, c, l, i p, 我看到它这个模型都有,你可以把它下载下来,然后放在这个这个目录下面。 missing features 的这个目录下面,你这 data 的话呢,你就放在这儿。 jtsqa 下面是 image, 它分三个目录, test, training, 还有一个它本身是带在这个里里面的。好的,下载完你可以训练它,当然你也可以直接下载它这个,你把这个模型下载下来,你可以放在这个 models 这个下面,这下面他提前训练好,因为训练的话他是需要时间的啊,应该也需要蛮久的,训练完了之后的,虽然他只有两亿的这个参数,但是他训练的蛮久的啊。然后你可以把它放在 models, 他这个两个有两个模型,一个叫 answer, 一个叫 易振波,就是产生理由的帮舍就是产生理由之后根据理由再回答最终的选择题,他等于是这样。好,呃,他有一个慢函数, 主主的函数,这个还是比较简单的。好,我们再看看。那么环境,环境的安装,我是跑在那个拍,拍成这个三点八上面的,让你环境里就直接安装这个就可以了。 gip insto 杠二,这个 requirements 点 t x t 就可以了。但是有一个要注意的是什么?它这个代码里面是有问题的,它是有一个原码是有问题的,就第一个就是哈根 face 的,你要把那个后面等于号的那个要把它给拿掉,否则的话会有冲突。另外一个 要加加一个内裤叫 rich, 两个,因为我跑的时候安装的时候会有问题,你只要按照这个来做就没有问题。好,跑完之后,然后安装这个就是安装完成的截图,怎么用怎么用的话,还是他这个还是比较简单的,怎么用他也是比较简单的,就我前面讲的他和能回答问题,那他问题的主要是给他一张图片, 你给他问题他就先去有两个过程去处理,第一个就是产生理由,第二个回答问题他分两阶段也是一样的,所以他在这个 这个当中呢,也是也是提供了两个脚本,你只要跑就好了,他会动的,会帮你去回答,你这个测试里面的四千两百四十一个题目,他都会去帮你批量的去回答。我自己看了一下,大概回答一个问题的话大概要十秒钟,就我自己的机器, 因为我的机器也不是很好,我是跑在耐克 me 的这个机器上面也是 cpu 跑的,我没有 gpu, 所以大概回答一个问题大概在十秒钟,差不多时间 我可以给大家看一下,现在还在跑,你要把所有的这些问题四千两百四十一个问题全回答,我现在大概要时间会比较久,大概要我看了一下,大概要五个小时左右,把这些问题全部回答完,他等于是这样。 好吧,大概我就跟大家就聊到这,如果大家有些什么问题还是可以给我留言,我也可以跟大家一起来探讨一下。好,今天就跟大家就聊到这,好吧,好,谢谢各位。

最近 ai 绘画账号可会把平台给占领了,各种各样的美图层出不穷,加上最新出的 ai 绘画大模型 sd xl, 虽然出来图像都很有质感,非常好看。其实市面上很多 ai 开源的工具都可以生成, 但是我们究竟用什么 ai 工具来搭配呢?用哪一款 ai 工具才能达到最佳的效果和效率呢?本期就要测试一下这三款主流的 ai 生图工具, web ui、 comfort ui 和 focus 使用 sdsl 生图的效果和速度的一个对比视频。最后我会给出针对零基础新手玩家选哪一个工具的一个建议。 我们准备一段描述词,正向词是傍晚、日落、风景、蓝天、自然,玻璃瓶里有一对情侣在牵手,反向词就填文字和水印就可以了。然后这段描述词如果是以前一点五模型的话,是很难出来这种复杂描述的内容的,会造成 各种的翻车,要不是情侣出不来,或者是瓶子出不来,更别说瓶子里面的情侣了。 ok, 我们先简单的概括一下 sd xl 的一个生成原理,他以前的模型是不同的,是需要两个模型,一个是 face 基础模型,一个是 vivid 细节模型,先是经过基础模型生成一张小图, 然后再到 refine 模型加细节,这样才是 s d s l 的一个声图的完整流程。我们这次测试也固定在一零二四的分辨率来出图。 好,那么现在来到 wifi, 现在 wifi 一点六版本已经支持 sdsl, 支持两个模型的导入。然后我们在左上角先选 base 模型下面 refiner 的选项卡选 refiner 模型 旁边这个切换时机零点八的意思就是如果一百步迭代步数的话,跑八十步他就会切换到 refine 模型,继续生成,我们根据这个来,然后这个选项卡是一点六版本才有的,比如 的话先更新一下分辨率一零二四乘以一零二四三十步,长期用 ola 速度测试,我们先生成五张,然后去取一个平均值圈好参数以后就可以生成了,然后转到后台看一下,可以看到百分之八十的时候,就是二十四步的时候就开始切换模型, 然后这个动作是比较影响速度的,显存章率最高也达到十一句,波动非常大,跑跑停停的,这里为了节省时间,视频就加速一下 好,那么最终 rap u i 五张图共耗时一分四十一点七秒,平均每张图耗时二十秒,然后下面五张图就是生成的结果, s d, s l 很好地按照我们需求来出图, 虽然有些错误,但是多跑几张就可以了, ok。 然后是 comfort ui, 选一样的模型,总步数三十步到百分之八十之后就切模, 也就是二十四步的时候,提示词也是用一样的,分辨率一零二四乘以一零二四,然后我们也是生成五张去取一个平均值好切后台显存占用率在刚开始一小会,最高峰去到十五点二 g, 最后就全程平稳在十四点八 g, 证明呢利用率很高。 那么最终 confu i 五张图共耗时二十五点三秒,平均每张图耗时五秒以上。这些图你们喜欢哪一张? convert ui 生成的时候,整个过程是非常的顺畅,没有像 web ui 需要切模型,这个动作自然就挺好。 然后最后到 focus 一个新的 ai 工具,最近也更新到二点零的版本,它界面是最为简洁的,没有那么多选项,本身也很多东西都是内置好的,我们测试用的正向词和反向词先答上去,分辨率一零二四乘以一点二四,好切到风格这里工具默认选的好 好几个风格,这样生成的时候会加一些词上去,我们是不需要的,所以把这些勾都去掉,我们需要原声的好也是五张开始生成,因为这里没有长按器选,但根据官方说应该是用 dpm 系列的, dpm 系列会比 ola 慢一点,所以最终的结果可能会有点偏差。显存占用率最高去到九点一 g, 全程也是非常的稳定,只是生成完一张图以后,到开始生成另外一张的时候,显权会骤降, 那么最后 focus 五张图一共耗时二十八秒,平均每张耗时五点六秒,那么这一次你们又喜欢哪一张呢? ok, 最后总结一下基本同样的参数, rap ui 二十秒一张, configue y 五秒, focus 五点六秒。就速度而言,如果是单单针对 s, d, s, l 的话, rap ui 是直接出局的,可能它底层会带 买的问题,他切换模型这个动作非常的耗时, comfort ui 和 focus 速度差不多, focus 似乎就更多样化一些。那么如果你是新手,刚开始接触 ai 生图的话,只是想简单的快速的让 ai 生图的话,我这里直接建议你使用 focus, 相比其他的它是最为简单,不但界面简单,而且使用也非常简单,文件解压以后直接双击就可以打开,不需要繁琐的安装部署,而且生图的时候显存占用率最少,最少四 g 显存都可以直接使用,那些好多年前的旧显卡都可以一试, 用起来也很简单,基本上你只需要写好词,点几下鼠标就能出图,效果和风格也很多样化,可以为你们提供各种的创意灵感。如果你需要定制图片,让 ai 按照你的想法来生成,那么建议你用 rapui, 虽然它 s d s l 目前支持很 很差,但是用它玩之前的一些模型还是很香的。他出了最早生态也是最好的,有各种各样的模型,有各种各样好用的插件,而且上手也不难,很直观的一个界面,对新手非常友好。但由于可能是底层代码的问题,最少六 g 或是以上显卡。如果你想要深入去学习 ai 生图, 想要去理解原理,或者你需要用 ai 来工作,我建议 configure, 它是最为效率的,从显存占用率就可以知道,全程它就让显卡去跑, 不带歇的。但确实这样生成是最具效率的,而且用的是节点形式的交互。有些朋友可能看到这种年年看就头大,所以说学习需要一定的成本, 他可以做出自己的工作流,就相当于开始弄好了一个模板,后面直接套用就可以了。 a 幺幺幺的 rebui 和 configui 我基本上一开始都在用,所以我非常熟悉里面的操作和内容。 box 是一个新出的 ai 工具,之后更新也会教他更多的玩法。这三个 ai 工具我都打败好了。想要获取看评论区或直接私我。好,那么最后想要了解 ai 更多玩法资讯的别忘记关注我。

用大语言模型做应用才是正确的方向。今天给你们分享一个可以像搭积木一样构建 ai 应用的工具。 promot fro 是微软最新开源的一套开发工具,它大大简化了基于大语言模型端倒端开发 ai 应用程序的周期, 实现了从构思、圆形设计、测试评估到生产部署和监控一条龙服务。具体来说,你可以用 promote pro 把不同的工具和代码组合在一起,形成一个可以运行的工作流。接着利用 vsq 的将工作流可视化,方便你进行调试和修复问题。 特别是与大语言模型的交互部分,如果你对 python 比较熟悉,可以按照这个入门教程实践一下。另外,官方还提供了实用的案例,教你从零到一搭建和 pdf 聊天的 ai 应用。整体体验下来啊,我认为这个工具比我之前给你们分享的 province 好用不少, 我们最近也开始利用此类工具基于大于模型来开发 aibox。 如果刚好你也对 promtang new 感兴趣,欢迎一起学习交流。