清华 ai 智普啊,他们又开源了一个新的视觉模型啊, v l m colg v l m 是一个视觉模型啊,上来就可以输入图片,然后你可以问一些问题,然后根据这个图片的这个场景,然后可以描述图片,可以问答这个图片当中的一些问题啊。啊,这个项目的是 一百七十亿参数的这样一个模型啊,它是等于是在清华 ai 智谱的话,它原来也有一个视觉模型呢,叫 video 啊, g l m 杠六 b 的那个模型,这个模型的话等于是它二代的这个模型啊,它又升级了,这个模型是十七 b 的, 它其中啊有有一百亿的,它是一个视觉的一个模型,再加上它七 b 的一个语言的模型啊,那么七 b 模型的话,它是就是用它的 pat g l m 二代啊,六 b 的那个模型做的啊, 以这个底座为做的 gb 这个模型的话,跟一般的这个视觉模型都一样,用那个 vit vit 的这样的一个模型来构建的啊,两个模型啊,组成了这样一个视觉的模型,那目前这个模型它也已经开源出来了, 可以免费商用啊。之前因为我们也看过那个阿里通一千问的这样一个视觉模型啊,目前他跟那个通一千问比起来的这个模型要比通一千问啊,就是通一千问的 vl 这个模型要更强啊,你可以看到啊,通一千问是在这他基本上是子的那一个外圈啊,相对来讲他这个能力还是比较强的 啊,他甚至超过了一些非常大的一些模型,像五十五 b 啊,包括八十四 b 啊,他是他十七 b 的模型,就可以达到别人非常大的这种模型的这种性能啊,这个也是非常不错的啊,目前这个模型的他只支持中文啊,而他只支持英文啊,他中文的话 他的那个还没有提供出来啊,所以,呃,这个是他说他后续会提供这个中英文双语的这样一个版本。我们,呃他目前推出来的这个 colk v l m 这个版本是只支持英文的,他是这样, 他也比较了一下拉拉最新的迷一点五和 mini g p t 杠四的这样一个版本。呃,那么他他就说就是他的这个 cog vlm 的这个模型的话呢,他有更少的幻觉啊,那他就举了一张例子他他就举了一些例子,但是他没有给出一些呃,这些模型的一些对比啊,他这张图里面你可以看到人也比较难看到,他就是一桌子菜哎,这边有块镜子,他等于是这样,他就让他去 描述一下这张图片 go 个 v l m, 他就比较好的能够把这个描述清楚,包括这个桌子下面有一个镜子啊,反射出来的这个东西啊,他还可以看到某某 有一个人穿了这个蓝色的袜子,是很厉害的,他这个这这这,所以他这个描述还是非常清晰的啊,拉袜的话呢,相对来讲他可以把这个描述清楚啊,但是他没有描述的细节这么多啊,他等于是这样啊,他没有描述这个镜子,也没有描述那个腿啊, 细节这个方面还是不如啊,不如 colk v l m 的啊。老师,这个差距。呃,我们再来看一下啊,我们再比较一下那个拉瓦跟 poke v l m 它的结构上面的一些差异啊,我们先来看一下啊,这个是 poke v l m 啊,它的网络结构的话也是一样的,它是有一个文本模型和一个视觉模型 组成的,当然他也是做交叉的,但他这个交叉的话呢,他是在每一层,每一层的这个每一层的 tansion 层,他都是做这个交叉很细节的,他把文字和图 图片相互的进行做连接的这样的一个操作,他不像喇叭的这个结构的话,我给给大家看一下啊,喇叭的结构的他是把它分的比较开的啊,他是个视觉模型上面的话,他就是一个,他是一个大圆的模型啊,他这个两个他是分开的啊, 它是它虽然也是连接的这个关系,但它不是在每一层连接的,它就直接把视觉的这个编码,它的用的编码都是一样的,就 vit 的这样一个编码 做了一个权重的转化啊,他就训练了一个权重啊啊, vip 视视觉的 inco 的把它变成了这个 叫 token 啊,把它变成了这个 lang language model 的这个 token 啊,再根据这个人类的这个 language 的这个指令啊,把这个两个连接起来,再输出到这个 language model 里面,然后再输出出来的, 它是这样来做的,所以呢,它是两个模型叠加的,是比较,它不是像这个它们这个模型啊,就是它是自觉的 vit 的 incode 的它的每一层啊,每一层的 tension, 注意力层跟每一层的文本的这个 attention 啊,它是相互交织的这样的一个连接,它是这个属于比较紧密,所以的话呢,它会对这些图片它描述的都会比较细节,都会描述的非常清晰啊,这个是它一个比较大的一个区别啊, 像这张图里面他也讲了一下他这个啊,他这个地方甚至可以看得出预预测的出来啊,这个其实也是一个 house 啊,这个是一个 house 的一部分啊,这个是细节,他对这个细节讲的是非常好的啊, 所以他这个里面就讲了这个里面有四个 house, 而而不是像这个 gpd 四 b 的这个模型里面只有三个啊,所以他这个方面是有优势的啊,因为他是对每 一层的这个视觉和文本啊,这个多头啊,参选进行交叉的这样的一个连接啊,这个连接的话呢,这个对他会比较强啊,所以他这个的话是这样的啊,当然他这种方式的话会比较简单啊,训练起来成本会比较低啊,他只要只训练一个 w 的这样的一个模型啊,然后在 呃在训练一个微调的 language model 的这样一个模型就可以了啊,它就直接可以利用现有的这个 大圆模型,所以拉玛它基本上是基于拉玛处呃和呃 mikuna 这个上面进行微调出来的啊,它是啊,它是基于这个原来别人的模型之上微调出来的这个模型呢,靠个 v l m 的话,它就不一样了啊,它基本上都要重新训练了,它这个里里面的权重都是需要重新训练的啊, 这个训练的代价会比较大啊,但是他带来的好处就是他对这个模型,这个图片的这个细节掌握就会非常 啊,他等于是这样啊,好,那么如果你要用这个模型,他在这个文档上也讲了啊,那么你至少要用两块啊,四零三零九零二二十四 gb 的这样的一个 gpu 啊,当然你也用一块 a 一百的八十 g 的也是可以啊,他可以做推理啊,如果你要做微调,呃,你的数量就会比较多了,他建议一直用四块 a 一百八十 g 的这样的一个 gpu 啊,做微调,或者用八块八块这个四零九零二十 gb 的这个 gpu 做一些微调啊,这个是可以的啊,他也提供了一些微调的一些脚本啊,他们也是提供了啊。好,这个是他的一个界面啊,那你可以把这个图片拖进去之后,你可以去问问他一些问题啊,这个相对来讲还是比较容易用的啊,容易上手的啊, 如果你要去做微调的话也是可以的,你可以准备一些数据。呃,数据准备完了之后呢,你可以训练一个微调的一个 bra 的一个模型。好,那么这个项目的话,目前是也是基于这个阿帕吉二点零的这个 license 啊,它是 是可以免费商用的,他等于是这样啊,这个项目的话呢,也是比较新啊,也是清华智普,清华智普的他们最新的这样的一个一个一个就是视觉模型啊,这个也是他们新一代的这个视觉模型,目前这个项目的热度也是比较高的啊, 就一千一百颗星星啊,热度还是比较高的。好吧,好,今天的话呢,就是我们就呃简单的跟大家介绍一下啊,一个新的这样啊, colk vlm 的这样的一个模型。好,今天就跟大家就交流到这。
粉丝4.6万获赞33.9万

再来介绍一个在知乎上非常火的北大团队发布的有一个中文的一个法律的大模型,叫恰克罗啊,这个模型的话我也下载了他们的整个一个论文啊,这个模型呢,他也是在开源的模型基础上进行呃,微调的啊,那我看了一下,他也是有些创新点的,他也有蛮多的一些创新点啊, 我们看一下他们做这个模型的他最主要的一个初衷是什么啊?他主要是讲了一下他的主要初衷还是就是说中国的很多呃, 人很多了,是他说那个全国的法院受理的案件,每年大概有三千三百万律师受理的,他不到三分之一啊,将近就是百分之七十四,就四分之三啊,四分之三都是背后都不是专业律师写的,那么当, 那么就是百分之二十五等于是律师做的百分之七十五将近都不是律师做的。所以中国的老百姓其实是找不到律师 去做一些事的啊。他就说对普通来人来讲,遭遇了这个社会的不公啊,很难能找到律师,也不知道如何通过法律的这个运用法律去维护自己的权益啊。所以他有这样的一个初衷 的话,他们就北大这个团队就做了这样的一个模型,因为他也看到有些金融的模型,对吧?也有些华佗的这个中文的一些医疗方面的一些模型,他主要是 这样现在的那个恰的 gdp 啊,这些模型它普遍因为没有收入到这个中文的一些法律法规,所以的话呢,它会有些幻觉, 讲的这些东西都不是对的啊,那所以他们就做了这样一个模型啊,这个模型的创新点呢,他主要是他具备了这个法律鲜知鲜艳知识啊,他,呃,他讲的是这个东西,这个鲜艳知识呢,通俗的来讲就是他通过人的这个问题啊,一个法律的一个问题,再通过一个就是大模型能够提取他的一些关键词 啊,法律的一些关键词,当然这个是要微调过之后的一个模型啊,提取法律词之后,他在这个矢量数据库里面去找到相应的这些法律的,中国的这些最新的一些法律的一些条纹啊,把这些条纹作为一些参考啊, 再放在这个恰成 roll 的这样的一个 l l m 的大模型里面,再去回答这个用户相关的一些问题,他是这么来做的啊,所以他这套技术方案,他就是定义为叫 啊鲜艳知识约束的这样一个方案,这套方案他进行呃,法律条款的这个鲜艳知识的约束之后呢,他能深层确保这个模型生成出来的 是正确的法律法规,避免别人问答的时候说出现一些幻觉,就是答非所问或者胡说八道的这样一个问题啊,他们呢也做了一些测试啊,这中国这个司法考试啊,他有两千个问题,做了一个测试机,他会发现他们目前幺三 b 的 这个 chatlo 的这样的一个模型啊,它的得分是最高的啊,超过了,呃, g d 四啊,它的这个能力啊,它的这个模型发布了之后的基本上就是说就很火爆了,在网上搜的人群非常多啊,导致他们那个机器都不够用啊,他对他主要是讲了这样的一个东西啊, 啊,这个是核心的啊,那么他在这个模型里面呢,他在这个印当中呢,他也可以把你的一些相关的一些证据,包括相关的一些按键的一些背景的一些文本 都可以上传上来啊,上传上来之后,他作为一个 background 的背景资料,去生成一些呃,事实性的一些法律的一些建议,甚至是些法律的文书啊,他他他他他这个都能自动的产生,所以呢,他这个用途还是非常广的。 他们后面的话,我看了他们这个项目,目前在 example 上面也公布了这样一个法律的大模型,嗯的话,他公布了三个模型,而目前核心的模型主要还是基于姜子牙的这个模型 上面进行微调出来的啊。幺三 b 这个模型啊,那么这个模型他说是回答法律问题,相对来讲是比较好啊,相对来讲啊。另外呢,他也公布了一个,就 loy contest to victor 啊, 就是他用一个 boss 模型训练的,呃,将九十三万的这个判决书,呃做成的这样的一个案例,然后去匹配这个模型啊,让那个用户的问题啊,对应到相应的法规的条款上面, 他有这样一个也开放了这样的一个模型。好的,呃,这个是他的数据集啊,训练的这个数据集啊, chat low 的他训练的一些数据集,他这个数据集大部分是用了一些新闻法条、司法解释、法律咨询、 法律的考试题目、判决文书等等啊,他大部分都是这些东西做了一些分类,做了一些分类效果的话呢,他还是比较不错的啊,那么他这个模型将来的话呢,他 会考虑,就说目前他还发现法律的一些东西,他的逻辑推理能力要比较强,所以的话他后面会上一个大模型啊,三零 b 的一个模 模型,目前呢他是用了一个幺三 b 的一个模型,后面他会上一个三百亿的一个大模型啊,因为他需要用到这个里面的一个复杂的一个推理过程啊。好吧,好,那今天法律的中文大模型就跟大家介绍到这。

太给力了啊,国内终于有一个开源的视频大模型了,这个呢,就是阿里云近期推出的一个视频大模型啊,只需要上传一张照片,就能生成一个七二零 p 的视频。不仅如此啊,这个模型呢,还能生成各种风格的,无论是科技感、电影色还是卡通素描风格,都能轻松搞定啊,最重要的他是开源的!兄弟们 来看看这个生成的效果啊,他生成的视频呢,不仅连续性好,而且是七二零 p 高清的哦,生成的质感呢,也不错。 其实阿里云在两年前在图片处理方面就已经遥遥领先了,比如图片视频的超分上色、图片智能抠图等等。而如今呢,他推出了自己的视频大模型,也算是众望所归啊, 这次呢,还比较给力啊,直接开园了,更期待的是,未来这个模型还可以实现两 k 的超星视频生成啊,也许在未来人人都是导演的时代,可能真的要来了。

今天也是借这个机会的话,向大家正式宣布整个我们 cold feels 整个代码大模型是正式开源, 只有说把这样一个整个模型的技术开源跟社区对接,让更多的人去使用他,才能够让他去解决整个软件研发领域的各个环节的一些问题。

aia 镜头目前在整个业界被认为是大模型落地最有希望的方向,市面上的 aia 镜头有很多,大部分是基于 bimapi 构建的。摩拉社区最近开源了 moscopaeigent 这个以开源大模型作为核心中枢,通过使用工具来提升大圆模型的整体能力。 今天我们花五分钟教大家如何基于开源大模型来开发一个 a 进的系统。首先我们介绍一下 a 进的,如果把大模型比作人脑中枢, a 进的就是人体。 在任务执行中,大模型负责规划调度的命令发布,由 ag 的协同各种 ai 小模型或者 api 就能够很容易将大模型实际落地到各个行业的应用场景。 接着我们看一下 agent 是如何执行任务的。用户输入请求后,摩拉 ant 会先做一系列的工具检索,比如用 户想要生成一个商品文案以及对应的商品视频介绍 a 呢,就会先去检索相关的 a p i 大模型进行规划调度,调用对应的视频生成 a p i a 型的去执行对应的一篇,然后把执行的结果返回给大模型,大模型最终整理一段回复反馈给用户,为你带来全新的 vr 视觉盛宴。 而为了完成以上任务, ant 主要调用了三个模块协同工作,以大模型为中枢,包括记忆模块和工具使用模块。大模型中枢模块主要负责任务规划调度以及回复生成。 而记忆控制模块主要包含知识检索以及 promote 管理。最后工具使用模块包含工具库以及工具检索和工具的可定制化。现在教大家怎么使用模达 aj? 首先我们打开 notebook, 将 moscopy 的代码可弄过来,打开 demo 里的这个文件,接下来我们读取环境变量文件和工具配置, 构建好后,搭建工具向量检索。这里提供了基于阿里云 darescope 引斑顶和摩拉社区开源引斑顶两种,我们这里拿 darescope 引斑顶作为演示。然后我们启动中枢大模型, 这里以 msa 镜的千万七 b 作为样例,点击直行 a 型的就会拉取七 b 的大模型进行部署。 模型部署完成后,现在我们用于构建 a g 特的工具配置工具检索大模型部署均已完成,这样我们直接完成了 a g 的系统构建。接下来我们测试下构建好的 a g 特,让它生成一张有花有酒的图片, a 景的自动检索图片生成工具生成请求,并调用相关的 api。 接下来我们看一下生成的图片, 可以看到这里很好的生成了有花有酒的一个高清大图。接下来我们给大家演示一下怎么基于摩大 aj 的使用检索工具构建行业问答。在 notebook 里打开另一个文件,读取环境变量和工具配置部署大模型 到这里的操作和刚才演示的是一样的。 接着我们需要配置向量检索服务,这里拿摩达社区开源的 corel 文本向量模型来演示。 构建好向量服务后,我们导入摩大社区的知识文档以及对应的切分工具切分知识库文件, 然后将文件和支库服务导入近开源的向量检索工具 face 向量检索引擎构建完毕,我们测试一下向量检索引擎召回的效果,问他一个摩纳社区相关的问题,比如 model scop 模型可以在互联网使用吗? 我们看一下 ad 的调用知识库前的回答,可以看到里面存在着大量的知识幻觉。他说摩拉社区很多模型都支持非网络下使用,这是不正确的。然后再看知识库调用完成后的回答, 这下回答正确。未来摩达 a 进程还会接入更多的开元大模型,以及开放更多基于摩达 a 进程开发的应用,包括个人助力分身、 sora 进程、 智能导演助理等等。也欢迎大家将摩达 a 进展用于工业制造、游戏开发、智能互联等各行各业。

不知道是 mata 疯了,还是扎克伯格疯了,竟然一次性开源了自己上千亿的 ai 研究成果。我们都知道谷歌、微软、欧鹏 a 等巨头选择的是封闭的商业模式,而 mata 的扎克伯格好像正在发动一场 ai 的全民战争, 几乎开源了自己所有的 i 研究成果,让所有人都可以使用他们的基础模型来训练自己的人工智能助手。有一种什么感觉呢?就是谷歌开源安卓系统,让所有的手机厂商联合起来大战苹果 iys 的感觉。 这次 meta 开源的模型叫 inmate 办的,用超级浓缩的一句话来概括,就是利用现有的 ai 技术,将文字、图片、视觉、听觉、底层传感、数据这些信息集合到一个模型里面,全方位模拟我们人类接收处理信息的方式。当我们看到一 张图片,其实是会不自觉的联想到这个场景的声音,甚至是其他相关联的一些场景信息的。 meta 这个 inmate 卖的 demo 呢,也给我们展示的这些功能。例如我们看到这个狗狗的图片是会联想到狗叫,看到老虎的图片是会联想到老虎的咆哮,那反过来,我们听到鸟叫的声音,是不是也会联想到一只鸟飞过的画面, 听到火车的轰鸣声,也会联想到火车在轨道上飞驰的画面,这说明什么问题呢?我们的人类大脑接收处理信息其实不是孤立分离的,而是全方位立体的。 那未来借助 ai 技术呢?文字、图片、声音、视觉、听觉,甚至是触觉,这些数据都会变得非常容易相互转化,相互关联,这 大概率会带来一个这样的结果,那就是重塑整个搜索引擎的形态,这意味着我们可以快速的用图片、语音、视频来搜索任何我们想要的相关资料,而不是像现在这样基本还局限在文字搜索框里面。大家有什么看法也可以在评论区里面留言讨论。

多模态最近很火,分享一个开源的大模型视觉助手拉瓦,这是一个端到端训练的多模态模型,它能够实现类似 gpd 四的多模态效果, 不仅能理解文本,还能理解图像,像根据图片实现前端代码识别。冰箱的食材给出菜谱都不在话下,亲测效果还不错。我刚给他上传了一张茅台酒的照片,他会告诉我这是一个中国白酒标签,上面有中文字。如果你是 ai 应用开发者,我强烈推荐你去体验一下,毕竟 gpd 视觉版的 api 还没有对开发者开放。 最后啊,我预告一下,过两周我们的产品也会更新类似 gpd 四的视觉能力,等上线了我会发一期演示视频,喜欢记得收藏。

ai 界的安卓系统正式开源了,羊驼二可以称之上目前开源系统中最强的 ai 大语言模型,而且可免费商用。今天老张教大家如何把羊驼二部署到你的本地,咱们提前体验一下。首先看一下效果,可以直接将拉玛尔部署到咱们的本地电脑上, 根据您电脑性能不同,咱们可以选择不同的版本,性能越强,它的效果也就越好。接下来老张教大家如何轻松的把它部署到你的本地,咱们提前体验一下辣么二究竟有多强大。首先第一步,咱们可以去 dd hop 网站中搜索 test 杠 generation 杠外部 ui, 要这样的一款 ui 工具, 咱们可以往下去拉,找到最底端的这个下载选项,根据您的电脑系统进行下载。下载完成以后,直接将压缩包解压出来,然后双击进入,然后选择 start 杠温 六字典 b a t 这个文件双击打开。如果过程当中有任何问题,欢迎在评论区当中进行留言,老张会给大家一一解答。好的,安装成功以后呢,咱们会发现他会自动的给您产生一个 test 杠,占地 recent 杠 y b u i 拿到他以后,咱们不要着急启动。 老张呢给大家提供了这样的一个拉马尔七 b 的一个语言包模型,如果您这边说老张我自己想下载,我去哪下呢? 可以直接去这个憨狗 face 上找到这个 mate lamar 这样的一个文件,然后选择您对应的版本,因为它本身是三个模型嘛。七 b 十三 b 七十 b, 根据您的显卡进行选择,如果您是第一次打开这个网站,会让您先去做一个申请,因为我这边已经申请过了,咱们可以直接选择文件和版本,然后可以在这直接进行对应的下载,这是第一个下载方式,第二个下载方式可以直接 下载对应的版本,注意咱们的版本后缀是 ggml 这样的一个版本信息。当然如果说你说老张我什么都不想下,我只想体验一下所有东西,我会给大家打包整理好,到时候你可以直接在老张这进行领取。 ok, 然后这个地方都配置完成以后,咱们再次的双击打开,如果双击过程当中爆了一些错误,咱们可以先尝试更新一下对吧?这有一个更新系统,然后双击打开,当咱们打开之后,他会弹出一个 uil htvp, 冒号幺二,七点零点一,冒号七九零八,证明咱们这次启动是完全 ok 的, 咱们就可以直接打开您本地的浏览器,直接启动就可以,启动完成之后不能直接使用。注意上方有一个 model 啊,这个这模型对吧?把模型这个位置一定要选择咱们的这个拉吗?二,这样的一款模型,这款模型 咱们放在哪呢?放在咱们 test 杠 generation 杠外的 ui 的文件夹中,有一个 models 文件夹,把这个模型放到这个里面,我会给大家把模型提供,你直接拽进来就可以,然后在这个位置选择模型,一定要选择复合,然后再点击刷新, 刷新之后回到这就可以轻松的进行聊天了啊。因为现在这个羊驼二呢,他刚刚开源,对中文呢还是不太理解的,所以说咱们不要担心,你先把他部署上,后续都会逐一更新的。

用大语言模型做应用才是正确的方向。今天给你们分享一个可以像搭积木一样构建 ai 应用的工具。 promot fro 是微软最新开源的一套开发工具,它大大简化了基于大语言模型端倒端开发 ai 应用程序的周期, 实现了从构思、圆形设计、测试评估到生产部署和监控一条龙服务。具体来说,你可以用 promote pro 把不同的工具和代码组合在一起,形成一个可以运行的工作流。接着利用 vsq 的将工作流可视化,方便你进行调试和修复问题。 特别是与大语言模型的交互部分,如果你对 python 比较熟悉,可以按照这个入门教程实践一下。另外,官方还提供了实用的案例,教你从零到一搭建和 pdf 聊天的 ai 应用。整体体验下来啊,我认为这个工具比我之前给你们分享的 province 好用不少, 我们最近也开始利用此类工具基于大于模型来开发 aibox。 如果刚好你也对 promtang new 感兴趣,欢迎一起学习交流。

manta 最近开源了一个 limbdar 二维基做的一个生成代码的一个大模型,叫 cold limbdar, 那 codeland 的话呢,它是基于 number 二的这样的一个预训练模型上面,然后再经过微调啊,那么形成了这样的一个专门生成这个代码的这种大大模型啊,那目前这个大模型的话,我在哈根 face 上它也已经开源出来了,它在 多语言的这个代码模型的这个评估上面,目前他是非常靠前的,他的胜率最高的,目前是三十四 b 的这个模型, 当然 cold limber 十三 b 也是不错的,性能也是不错的。嗯,跟他类似的有一个叫 with the coder 杠十五 b 的这样一个模型啊,目前这个模型的话是 limber 二的这个模型的性能是非常不错的啊,那么他也是 manta 开源的, manta 开源他这个模型的话,目前也是完全可以免费的啊,可以用于研究和商业 用途啊。那么他在 detap 上面也把一些相关的一些资料给放出来了,这次的话,他公布的这几个模型,他主要是公布了有,呃,三个模型啊,一个呢,抠的冷板啊,一个基础的代码模型,还有一个呢,是针对于拍摄的一个优化的一个模型,还有呢是经在经过一些指令微调的, 更加容易理解这个自然语言的这个三种模型啊,那每三种模型的话,它分别又有七 b, 十三 b 和三十四 b 的这样的一个网络啊,这个是七十亿,一百三十亿和三百四十亿参数的啊, 那么三乘三就九九个模型啊,那么目前的话呢,他的这个上下纹呢,他的处理能力都是挺厉害的,他最多的话可以达到一百 k, 上下纹的这个长度可以达到一百 k 啊,目前是我目前看到的是开源的里面,目前这个上下纹长度只是最长的了。好,这个是他的一个视力啊,产生的这个 g 加加 拍摄类似的这些代码,当然他也可以去解释这个代码的结构,他也是可以的啊,他你就输入一段代码,然后他会给你一些这个文字的解释啊, 或者是代码的补全调试啊,他目前都是支持的。嗯,目前他的性能也是非常应该说是非常炸裂吧,非常厉害的啊,是在目前开源里面属于排名第一第二的啊,就除了达到 g b d 三点五的这样的一个能力啊,基本上要能够跟 g b d 四相当了,他这个能力啊,已经超越了 g b d 三点五,他这个能力 human airbow pass e, 我们之前也是经常介绍的啊,这个是专门是衡量那个 python 这个语言的这样的一个代码评测的这样一个准确度啊,他分数越高啊,那么就代表他能力越强。好, 因为我们之前也是介绍过中中文的啊,中文的话呢,也有几个啊,像我们原来就是 code g x two 啊,杠六 b 模这个模型呢,跟他比起来的话呢,还是差的,还是有些差距的,当然他只有六 b 的这个这样的一个性能,在同等规模下的话,你可以看到那个七 b 的,对吧? 它是二十九点九八六 b 的性能达到三十三点四九,也不是很差,也不是很差。 code g x 六 b, 但是它的那个性能 可能会弱一些啊。还有一个是这个啊,这个也是在 code g x 上面进行优化的一个模型,杠七 b 的这个模型目前看起来性能也是不弱的啊,四十二点二八,你可以看到他跟七 b 的比起来也不是很差啊, 就是他们这种的话呢,就评分很高,但是你如马这个两个模型生成代码的时候你会发现,哎,别人就会觉得这个抠的人打杠七 b 的可能会胜率更高一些,他主要是这样的一个问题。

插播一条最新消息,阿里云今天发布了同一千万七币的开源模型,同一千万七币是今天中午左右开源出来的,目前在哈根 face 上面已经提供了七币和七币 chat 两个模型要下载。这个评测数据相当的炸裂,这个模型一经推出是直接超过了市面上大部分同规模的模型的 兄弟们,新一代的大模型卷王他来了,总之这个数据是看起来非常非常惊艳的呀,实际使用效果有待后续的验证。模型的上下的长度大概是在八千 tokens 左右,同时这个模型是针对插件相关的调用做了优化了,能够有效调用插件以及升级为 agent cbt 的。这个模型是针对 api、 数据库模型等工序的调用做了特殊优化的,基本上可以看出案例为了推出这个模型是做了不少准备的。关于模型的使用协议,这两个模型是允许商用的,在项目的威力密中也提供了使用这个模型进行推你的视力代码,你也可以在 model scop 社区里面体验同一千文的问答。项目第一天开展出来,获得了将近五 百颗星,感兴趣的兄弟们可以去体验一下,或者是把模型下载到本地实际测试一下。模型占用空间大概是十五个 g 多一点,模型量化之后最低是需要七点几个 g 的显存来跑,不做量化的话,正常是需要十六个 g 以上的显存。

他有一个排行榜是专门是针对就是代码生成的这样一个场景啊,通过大约模型生成这个代码啊,目前排名比较高,基本上都是些大模型啊,三十四 b 的这些大模型都会比较高啊。那今天我给大家介绍一个在十三 b 的模型当中叫 wisder pyson 杠十三 b 杠零一的这个版本啊,这个版本是目前十三 b 版本里面是最优的。那你可以看到它在 human ever 那个 python 的这样的一个评测里面啊,它达到了六十二点幺九分啊, java 的这个评测里面,它达到了四十一点七七分,贾 ha script 它达到了四十八点四五分啊,同时的话呢,每秒钟的吞吐量它达到了 是二十五个字符,相对于其他的这些模型来讲啊,还是比较还是比较快的,还是比较快的他这个模型啊,今天我们给这个模型给大家一起来介绍一下啊,这个模型他目前也是开源的啊,他也是目前是放在 阿登 face 上面,它已经是把权重呃都放上去了。那么这个模型它是基于 aluma two 的这样一个架构,然后 再进行微调啊,他是基于阿拉玛兔的这个架构在进行微调的,他这个模型的话,目前公布出来他的性能还是非常好的,他有两个模型,一个是三十四 b 的这个模型,哎,他的性能要达到七十三点二,我们前面看得到的将近是七十点七三啊,他就是这个啊, 还有一个呢,它基本上就是等同于 g p d 四和 g p d 三点五了。还有一个呢,就是我们今天要介绍的 visitor coder 杠十五 b 杠一的这个版本,那么他的这个 pass 一就是这个 human ever, 他他的这个评测的话呢,要达到五十七点三,五十七点三, pass at 一就是他这样的一个评测,我们一起回头来测一下,我机器也是现场搭了个环境,然后测了一下,看看能不能他到底能够达到多少分,因为有些模型 公布的这个数据一般是偏乐观的,那么你自己的机器可以测一下,看看他到底达到多少分。嗯,好。呃,我们这个评估是用这个 human ever 这样的一个评估的一个程序的,程序的话呢,也是很有名的,也是 open ai 啊,在二零二一年 啊,他们公布的这样的一个评估的一个套件啊,这个套件里面呢,他有一百多个这样的一个问题, 它有一百多个这种一百六十四个的这个 test 的这种问题,它是基于 python 的啊,它公布了这样一个数据集啊, 一共是一百六十三个啊,同时他也评估了这个拍审的这样的一些代码啊,可以通过这个拍审的代码自动的去帮你去做这个模型的评估,得到一个评估的这个数据啊,我也是把这个环境搭了一下啊,他的这个评测的话呢,他也是基于这个,他们的有一个论文,在二零二一年啊,他就是评估这个大语言模型啊, 在代码上面的这个评估,原来的话呢,他们主要是评估的是 codex, 三点五之前出来,他有一个专门用 gd 三啊来训练代码的这样一个模型啊,叫 codex, 他主要是研究他的拍摄的这个代码的这个编写能力啊, 他在基于这个场景上面啊,他就编写了这样的一个数据集合,这样的一个测试的这样一个脚本啊,这篇论文我们就不看了啊。那么 pass at k 的话呢,它主要是讲 因为大模型的话呢,它是可以多次产生代码的,那么它主要是讲就是 at k, 如果 pass at e 就是市值,就是它第一次产生代码就能通过这个单元测试啊,这个它就是称为 pass at e 啊。那么目前我们 主要测试的就是 pass at 一的这种测试方式,那我们来看一下这个是评测方式,给大家介绍一下他目前公布的这个数据的话呢,就是 pass at 一的话, 他的数据是大概是让我看看,他大概是五十五十七点三,五十七点三,我测出来大概是五十三左右啊,没有他公布的这么好,当然也不是太差啊,我们来看一下这个是我最后测试的这样一个环境,先看看这个, 我一共测了是一百六十四个数据机啊,大概测试的时间的话要将近五十分钟左右,五五十分钟左右,他测完了差不多是五十三五十三左右,他的 pass x 一的这样的一个性能 是在我的机器上是这样的,然后它的构造的话呢,它那个因为提示工程也是比较重要的啊,它的提示工程是这样来写的 啊,就是根据下面的指令,然后产生这个合适的这个代码来完成这个需需求啊,他是这样,那他就是在下面就产生这个 response 啊,他是通过这种来做,他把 response 拿出来之后,他会呃 成最后的这个结果啊,五十三点几啊,这个是跟我这个差不多啊,五十三点几,他测试的话,我这个大概用时用了五十五分钟,差不多五十四分钟,五十五分钟左右啊,他整个一个测试 好的,所以我们这些模型的话,一般情况都是要通过这个自动化测试啊,通过这种自动化测试评估他的这个 a, 他自动的打分,看一下他这个模型的这个准确率。 那么差不多啊,他原来技术上公布的大概是五十七左右,现现在我测下来呢,因为我测了两次五十三左右啊,还,我一共测了两次,差不多这个评分都是差不多的,这次评分也是一样的,五十五十三点六五, 他是这样的。好,那么如果我们有了这种比较性能比较可靠的模型之后,我们评测完了之后,我们就可以针对这些模型啊,可以让他去在参与在这个软件开发流程当中啊,他可以做很多的事情啊,可以做一些单元测试。 是啊,可以自动的让工程师用这个模型产生原代码啊,包括原代码的注释啊,原代码的这个文档的产生啊,他其实都是可以的啊, 下次我有机会就给大家再来介绍一下这一部分啊,我们首先可能是应用在这个软件测试和原代码注视检查这个方面,我觉得会比较有价值一些啊,好啊,今天的话呢,就是这个视频,就跟大家就聊到这。

今天我们也隆重的推出了新的一款开源大模型,那这一款呢是基于十四 b 的这样一个参数的规模, 我们希望呢通过一系列这样一个模型的建设,通过我们 models service 的建设,我们真正实施呢能够把我们 ai 的能力, 把最近大模型的千变万化的,核心的创新,核心的技术的突破,能够带给我们的开发者,能够带给我们的企业,能够让我们的算力更普惠,让我们的 ai 更普及。

找一个新的模型啊,中英文双鱼的一个新模型啊,这个模型的话呢,也是中国的清华的团队啊,叫志远啊,他们开源的可以免费商用的这样的一个模型啊。这个模型叫天音啊, 呃,他这个他这次公布出来的话呢,有两呃,一共是两个模型,一个呢是七 b 的模型,还有一个是三十四 b 的一个大模型,相对来讲是目前 开源出来的这个参数最大的。我们之前是了解过上海 ai 实验室啊,推出来过一个二十 b 的模型,就两百亿参数的。那么这次天鹰 他们推出来的这个模型,这个开源的模型就达到了三百四十亿这样的一个参数啊,是目前开源出来是最大的这样的一个模型。那么我们看看他的这个效果到底怎么样?这是他们公布的这个模型的一些性能的一些情况。那目前看的话呢,他可以他对比的阿里的通一千 问对比了这个嗯,上海实验室的樱樱桃 l m 的二十 b 的这样一个模型,目前它三十四 b 的这个模型性能是最好的啊,它甚至超过了拉玛二的七十 b 的这个模型啊,它是这样的。那么它的七 b 的这个模型呢? 通一千万的这个七 b 模型的性能接近啊。那么三十四 b 的模型是目前中英文双语模型里面,目前开源出来的是最强的一个模型啊。这个是它呢整个一个性能,它这个代码生成能力也不弱。我看了一下,这个是一个中英文对话的这样的一个 performance, 嗯,能力也蛮强的,它语言推理 理解呃,同时他也推出了一个呃长上下纹的这样的一个模型啊,就十六 k 啊十六 k 啊,相对来讲这个模型目前他们啊性能也是不错的。这个模型的话目前在呃他的原代码是在 ketchup 上面已经开源出来 啊,他在他可以通过这个他给叉不上面的这个模型进行微调。目前这个项目的话呢,星星数不是太多,因为在国内的话,目前开源的模型非常多了,大家对这个模型又开源,其实啊热度在下降。但飞鹰这个模型我觉得他是他有个比较好的好处,就是他规模比较大,他有一个三十四 b 的这样一个模型, 在这个基于有些大模型上面啊,他目前我们在这个上面可以再做一些比较好的一些应用啊。他的推理能力相对来讲大的模型会比小的模型更强一些, 他不断的在往前在推进啊,这个对我们整个中国中英文的这个开源模型来讲也是有一些推动作用的啊。所以我今天跟大家介绍一下啊,下次有机会我给大家再测试一下,看看他的实际性能到底怎么样。好吧好啊,今天这个话题就跟大家就介绍到这。

本月初,阿里云开源了千万七 b 和千万七 b trace 模型,最近我们又开源了基于千万七 b 的大规模视觉源模型千万 vl 模型在主流的四道多模态任务测评中均取得了同等通用模型代表下的最好效果显示。首个支持中文开放预定位的视觉源模型。本次开源的模型均免费可商用,现已在摩大社区上线了。 首先我们来对模型做一个基础介绍,多模态一直是与训练大模型最重要的技术方向之一,从单一改观仅支持文本输入的语言模型,到五感全开让大模型接受文本、图像、音频等多个类型的跨步态信息,这其中蕴含着大模型智能跃圈的最大可能。 千万 vl 是阿里尼在千万七币语言国行的基础上,以欧根 keeper vip bg 作为视觉编码器的数字化,中间加入单层随机数字化的 cross attention, 经过约一点五 b 的部分数据训练,得到可支持知识问答、图像问答、细度、视觉定位、多图理解等开发场景。同时,在千万 b l 的基础上,公益千万团队使用对齐机制打造了基于 l m 的视觉 ai 助手千万 b l chat, 开发者可基于该模型快速搭建具备多模态对话能力的引用。那么接下来我们先看一下千万 vl check 的模型能力,这里可以通过摩大社区充空间直接体验该模型。 首先是多轮视觉问导,比如说我们先给他一张电影的海报, 我问他这是什么电影,他回答这是乱世佳人,并回答了作者信息。然后我们在 问他女主角是谁,他回答绯闻力是正确的。然后我们再来一个视觉定位的问题,我们上传张小杨的头像,然后问他当初所有的小杨 可以看到他框出了显示框,然后我们再问他一共有几只,他回答是四只是正确的。接下来我们来看一下模型文字理解的能力,我们先给他一张路标,然后我们问他去广州有多远, 他识别出来了有二百九十三公里。然后我们再给他一张更复杂的图片,我们给他一张医院的指示牌,然后直接问大模型外科应该去几楼,他找到了,在三楼三个。我们再测试一下模 型的图片理解的能力。我们先来一道简单的题目,我们给他一张图片,然后我们让他写一首七言绝句, 他回答,远山青青近水柔,小舟荡漾月如钩。写的不错,还押韵了。然后我们再给他一个随机手绘的漫画,我让他根据图片写一个搞笑故事, 啊,确实挺搞笑的。测试了文字和图片的理解能力后,我们再来测试一下篇推理类的问题。先给一个数学公式的图片,然后问大模型等于多少, 他得出的结果是四六七五六是正确的。然后再给他一张图标,问他这张图描述了什么,他回答了这张图片的具体信息,然后我们再追问他一下订单的输入标是多少, 可以看到他给出了准确的数字。最后我们再来试一下更复杂的多图理解问题。我们给出两张城市风景图,会员大模型分别在哪里? 他回答了分别是重庆和北京,也进上了相关的信息,那么我们再来问他能不能给一个第一张图的旅游计划, 嗯,好的,大模型给出了一个非常详细的计划。以上就是千万 dl chat 模型的基本演示,那么对于想要进行本地部署的开发者们,我们最后再来演示一下模型的推理。 首先是贝斯模型的推理,点击运行,我们先进行模型的加载,然后输入张图片,生成这张图片的标题并画框,可以看到模型正确的生成了标题,并且生成了一张图片,图片中框出 出了女孩和狗,然后我们再来看一下圈子模型,点击运行,这里也是先导入模型和图片,然后问他图片中这是什么,可以看到模型也正确的生成了秒数内容。这里我们再让模型输出狗的检测框,然后我们来看一下他的图片, 可以看到他正确的框出了其中的狗,那就是千万也有模型的相关介绍。未来结合行业数据计,多模态通用大模型,可在医疗、教育、游戏等领域做 smt 训练多模态行业模型。 后续摩大社区也会推出多模态大模型的训练和微调方法,欢迎开发者们一起体验更多的模型玩法。

internal l m 的这个模型啊,二十两百亿参数的这个模型已经呃公开,呃就是开源了啊,然后这个也是国内第一个两百亿的这个大模型,那么这个模型的话,之前我也演示过,如果你要呃进行推理的话呢,它至少需要四十几笔的那个 gpu 啊,所以的话,如果你不做, 如果你不做那个量化的话呢,它至少需要两块 gpu 啊,最好啊。那么现在的话呢,我们就用了一个呃,把这个模型两百亿的模型做一个四十 bit 的这样的一个压缩啊, 量化操作啊,量化操作完了之后的话呢,我们一起来看一看啊,他他的整个内存的这个消耗,量化操作的话呢,还是比较简单的,我们之前也是介绍过用了一个叫呃,叫 ot gpt 的这样一个项目啊,那么这个项目的话首先要进行量化啊,进行量化操作,那么他量化的话呢,他是要把所有的这个模型 加载在这个 cpu 的内存里面,他需要消耗的内存是比较大的啊,然后大概要跑四十五分,跑到大概二十五分钟这个样子啊,那么他基本上就跑完了啊,跑完了之后呢,你就可以把这个模型给加载起来,然后进行呃操作了啊,那我看了一下, 呃,我是让他输出这个 auto g p t 是一个什么样的一个啊?那么他也是能够准确输出出来啊,那么他的整个过程当中,我们可以看一下他的内存的占用啊,内存占用的话,他他还是比较少,只有十三 gb, 就是原来从四十 gb 下降到十三级,差不多下降到原来的三分之一左右啊,比原来的三分之一还低,低一点啊。差不多啊,原来的三分之一左右跟原来的这个理论值是一样的, 那么这样的话呢,那么他就可以在单块的这个 gpu 上进行运算啊,进行推理和加速啊。好,呃,这个就给大家演示到这啊,那么如果大家有兴趣的话呢,可以给我留言啊。

过去半年,大家都为大语言模型的发展感到兴奋,大模型是一次重大的技术革命, 大语言模型驱动的智慧涌现,又一次将人工智能技术推到了一个新的制高点。最近,全球各行各业都在讲大模型的研究与应用,可以说是大模型遍地开花。 而在这个背景下,鹅厂居然官宣了,腾讯云太平台已经全面接入 number two、 falcon、 dolly、 vecuna、 bloom、 奥派克等二十多个主流模型。啥意思?上降了这么多大模型能干啥?简单来说,就是腾讯云可以帮助企业客户解决各种大模型实际落地难题,多个场景、多个大模型,可以为企业客户提供更多的选择,去适配他们所处行业的各种场景项。目 前,腾讯云已经为金融、文旅、传媒、政务、教育等十大行业提供了超过五十个大模型解决方案。在腾讯云的太平台内置的高质量行业大模型基础上,企业加入自己的场景数据, 可以快速生成自己的专属模型,同时也可根据自身业务场景需求量体裁衣,按需定制不同参数、不同规格的模型服务。在腾讯云助力下,企业会快速跟上大模型的浪潮,并对更多科技带来的变化。

大家好,昨晚 facebook 由深夜访河南新鲜速度的拉玛尔大约模型,它免费开源项目。我今天发了朋友圈,说拉玛尔的发布不知道有多少公司会浮云在厕所,有多少公司会笑醒。在深夜。拉玛尔这次发布了三个参数的七十亿,一百多亿和七百七百。回答问题的质量和像极品三千五在一个水中线。 这是非常恐怖的。这意味着很多在大模型上又高额投入的公司变得没有那么多价值。拉玛尔的发布也意味着平民化大模型时代的到来。我早就预测过,开源模型会使得大模型的价格白菜。每家公司都可能有自己欠的一件。 时代要到来了。而校系在深夜的公司,就是像我们这样大模型去做业务,终于可以用非常低的成本为我们的客户提供完全自主的一个大模型,使得我们整个社会的生产效率都能大幅度提升。我们相信在大模型时代做好应用是非常有价值的。我也会更多的跟大家分享这个业内的知识。当然也希望你们关注我们的体育大模型很多产品。

四月十二日, data break 发布了赵丽二点零。 data break 表示,赵丽二点零是业内第一个开源遵循指令的 l u 音。它在透明且免费提供的数据集上进行了微调。该数据集也是开源的, 可用于商业目的。这意味着大力二点零可用于构建商业应用程序,无需支付 api 访问费用或与第三方共享数据。

郎辰是一个神奇的开源框架,他让使用 ai 开发者能够把像 g p t 四这样的大语言模型和自己的计算或数据资源结合起来。今天我们就来给想了解郎辰的朋友们介绍一下他的基本原理。我们都知道像 g p t 或者 g p t 四这样的模型具有丰富的知识,问啥都能回答的不错。但想象一下,如果你能让这个模型从你的数据文件里 找点特定的东西,那该有多好。这可能是一本书,是一个 pdf 文件,或者是带有专有信息的数据库。 long chain 就能让你把 gps 这样的模型连接到你自己的数据源。我们说的可不是把文本文件的一小部分粘贴到叉 gpt, 而是使他能引用一个装本你自有数据的数据库。而且一旦找到所需信息, long chan 还能够帮你采取行动,比如说发个带有特别信息的电子邮件等等。要实现这个功能,你得把想让语言模型用的文档切成小块,然后存到向量数据库里,这些小块以嵌入的形式储存,也就是说他们是文本的向量表 表示。这样你就能构建遵循通用流程的语言模型应用了。例如,用户提一个问题发到语言模型,在向量数据库里,用这个问题的向量表示搜相似内容,这样就能从向量数据库里找到相关的信息块给到语言模型。现在语言模型既有了初始问题,又有来自向量数据库的相关信息,所以能回答问题或采取行动了。 long chain 就是帮你搭建这种流程的应用,这些应用既能用我们自己的数据,又能采取实际行动,而不仅仅是回答问题。 这种能力为很多实际用力提供了可能性,像个人助手方面就显得尤为重要。你可以让大语言模型帮你预定机票、转账、交税等等。你还可以让大语言模型引用教学大纲,帮你快速学习资料,包括编码数据、数据科学分析都会因此受益。狼犬的核心价值可以分为三部分, 有 l l m 的包装器,让我们连接到像 t p、 t 四这样的大型元模型,或者是哈利 f 的模型。然后有锁眼,让我们为 l l m 提取相关信息链,也就是 chain, 让我们把多个组件组合起来,解决特定任务,构建整个 l l m 应用程序。 最后有 agent 让 l l m 跟外部 api 互动。当然, long chant 有很多东西要了解,而且每天都有新东西加进来,但大体上这个框架就是有模型和模型包装,有 prompt, 有链,有嵌入和项链存储,然后有 agent。 希望这段简介能帮助你快速入门 long chant。 这里是未来 ap 社,关注我,了解更多 ai 咨询。