粉丝1427获赞6990

ai 界的安卓系统正式开源了,羊驼二可以称之上目前开源系统中最强的 ai 大语言模型,而且可免费商用。今天老张教大家如何把羊驼二部署到你的本地,咱们提前体验一下。首先看一下效果,可以直接将拉玛尔部署到咱们的本地电脑上, 根据您电脑性能不同,咱们可以选择不同的版本,性能越强,它的效果也就越好。接下来老张教大家如何轻松的把它部署到你的本地,咱们提前体验一下辣么二究竟有多强大。首先第一步,咱们可以去 dd hop 网站中搜索 test 杠 generation 杠外部 ui, 要这样的一款 ui 工具, 咱们可以往下去拉,找到最底端的这个下载选项,根据您的电脑系统进行下载。下载完成以后,直接将压缩包解压出来,然后双击进入,然后选择 start 杠温 六字典 b a t 这个文件双击打开。如果过程当中有任何问题,欢迎在评论区当中进行留言,老张会给大家一一解答。好的,安装成功以后呢,咱们会发现他会自动的给您产生一个 test 杠,占地 recent 杠 y b u i 拿到他以后,咱们不要着急启动。 老张呢给大家提供了这样的一个拉马尔七 b 的一个语言包模型,如果您这边说老张我自己想下载,我去哪下呢? 可以直接去这个憨狗 face 上找到这个 mate lamar 这样的一个文件,然后选择您对应的版本,因为它本身是三个模型嘛。七 b 十三 b 七十 b, 根据您的显卡进行选择,如果您是第一次打开这个网站,会让您先去做一个申请,因为我这边已经申请过了,咱们可以直接选择文件和版本,然后可以在这直接进行对应的下载,这是第一个下载方式,第二个下载方式可以直接 下载对应的版本,注意咱们的版本后缀是 ggml 这样的一个版本信息。当然如果说你说老张我什么都不想下,我只想体验一下所有东西,我会给大家打包整理好,到时候你可以直接在老张这进行领取。 ok, 然后这个地方都配置完成以后,咱们再次的双击打开,如果双击过程当中爆了一些错误,咱们可以先尝试更新一下对吧?这有一个更新系统,然后双击打开,当咱们打开之后,他会弹出一个 uil htvp, 冒号幺二,七点零点一,冒号七九零八,证明咱们这次启动是完全 ok 的, 咱们就可以直接打开您本地的浏览器,直接启动就可以,启动完成之后不能直接使用。注意上方有一个 model 啊,这个这模型对吧?把模型这个位置一定要选择咱们的这个拉吗?二,这样的一款模型,这款模型 咱们放在哪呢?放在咱们 test 杠 generation 杠外的 ui 的文件夹中,有一个 models 文件夹,把这个模型放到这个里面,我会给大家把模型提供,你直接拽进来就可以,然后在这个位置选择模型,一定要选择复合,然后再点击刷新, 刷新之后回到这就可以轻松的进行聊天了啊。因为现在这个羊驼二呢,他刚刚开源,对中文呢还是不太理解的,所以说咱们不要担心,你先把他部署上,后续都会逐一更新的。

大家好,我是卷福同学,今天来给大家讲一下 mate 最近开源的大模型 mr, 然后今天会来教大家怎么简单的部署,来玩一玩这个对话大模型。 我所有的操作都会放到我的 github 博客上,然后博客链接会放到视频的简介里面,大家也可以自行查看。 现在的话我们基于这个博客来先说一说 number two 是个啥的话,嗯,梅勒的首席 啊,首席科学家就是杨燕乐村表示的话就对他做了一些介绍嘛,懂得来说就是把他开园了,然后我们开 可以在 mate ai 上直接访问的。好,现在我们直接去他的官方网站上去看一下他的一个简介, 这上面说他是下一代开源大语言模型代码二。 嗯,对模型做了一些简单的介绍,就对比莱玛一啊,首先是训练数据方面,用了两万亿的头啃,然后上下他还有一篇论文就是专门对这个 number two 做了一个讲解,然后也和吉利斯也做了一下对比,在嗯, 论文里面提到了,就是在有用性方面是比 gpt four 更优的。我们这里的话因为电脑配置一般人电脑配置也都不够嘛, 我们直接在服务器上部署,然后我这里的话选用的是兰瑞忻州这个平台的 gpu 服务器啊,他这个的话三零九零只需要一块九一个小时就非常的便宜。然后你新用户注册的时候,你记得填一下邀请码,就 这个是我的邀请码,四幺零四可以白嫖两个小时的算力。好,接下来我们的就来简单教大家一下怎样部署和使用这个模型吧。 接下来我们在这个平台上进行操作,我们从头开始 工作,空间创建好之后先登进来,登进来之后会看到有三个目录进到 data 目录里面,然后拉满,目录已经有了, 我这里带大家从头走一遍,所以我的话先先把这个目录给他删掉, 然后拉拉一下代码, 现在我们把代码拉下来了,然后的话把把这个目录的权限改大一点,因为等会我们要直接修改文件了。 好,然后按照这个博客里写的开始安装依赖, 大概等个几十秒就安装完成了。然后我们来测试一下他的文本不全能力, 文本补全的话官方是给了一个脚本,你们可以点进来看一下,大概意思就是给了钱就咱们给了模型前半句,让模型来给我们补后半句, 那前半句就写了, hi, everyone hi, just。 后面不知道是啥了,现在我们把这一段这个脚板给执行一下,那看看模型会给我们什么内容的,补全好。现在看到模型已经给我们回复了,大概等了六十 九秒吧,看他回复的内容是啥。 hi, everyone, i just wanted to say a bigger congratulations, tim i know。 红了篮球,我要祝贺你启动了一个新的网站,我认为他看起来 很有趣,很令人激动。不管了,不过这个大模型的话现在对中文的知识不太好,然后我们现在来试一下他的那个对话能力, 这里的话我们直接修改这个 china complex completion, 就是脚本照着文档里来改一下,目录已经改过了,然后改一下这两个路径,修改为模型的绝对路径,直接照着口比一下就行, 哎,等一下直接 copy 这样, 然后 ctrl 加 s 保存一下,这个点没有了,这就说明保存成功了。然后运行这个文本就是不对话,对话脚本运行一下它, 同样的还是要等待。嗯,一两分钟吧, 我们欢迎回来。这是咱们生成回答,用了八十三秒,真是够长的啊。嗯,来看看他的回答吧, 因为这里的话,这个对话系统给他的角色是始终用表情包来回复,那最后他的回答就是一串表情包,然后我们修改一下这里的脚本,让他用中文来回复 潜力,对吧?然后保证一下,然后再重新测试一下脚本, 同样的还是估计得等待一分多钟的时间。咱们接着对话回答生成完成,这是只用了二十二毫秒,不对,用了二十二秒,看一下他的回答,祝您旅行愉和, 从北京到纽约。嗯,我给他的角色是一直用中文回答问题,但是整体的话 他的中文还是比较少,说明这个大模型的话,对咱中文的训练数据样本太少了。不过没关系,你想下载更多模型的话,可以去他的官方网站那去下载,我这里只演示了七 b 这个规格的, 你还可以演示十三 b 和七十七十 b 的那个大小的规格的数据,然后下载方法的话也都贴在博客里了。 各位先生,再讲说一点,就这个平台而言的话,刚才我从跟着哈弗下载代码失败了啊,如果下载失败的话,你可以先拉到本地上,然后这有个一个网盘,你可以上传上传文件夹,就把代码直接从这里直接上传过去, 有关那么的那么 q 的模型介绍就到这里了,后续如果有新东西的话,我会接着做视频分享给大家的,希望大家多多支持,多多关注,感谢大家。

最近, visa d m m 团队开源了一款全新的代码大模型 visa dakota, 它打破了碧源辅助编程模型的垄断地位,显著超越 crowder 与谷歌 burden, 获得广泛关注。这个视频主要分享如何在本地部署体验。 visa dakota 最新的微册的 cod 主要有三十四 b 和十五 b 两个版本,他们都是通过 evo instruct 方法训练的。 其中三十四 b 版本在 human ever 测试中得分为七十三点二,并可稳定附线,仅次于 chat tpt, 是最新得分 高于 t x c p t 三点五和壳腰带等臂圆模型。另外还有个十三 b 模型,得分六十四,排名第八,性能也很不错。目前该项目已在迪克 开源,并给出了 demo, 可以体验与使用。先体验一下 demo, 随机选一个立特的高难度题进行测试,然后再分享如何本地部署使用。 由于是体验 demo, 这里需要等几秒钟将结果复制早恋后的,并调整一下格式 提交验证完美通过。接下来我们看一下如何在本地附属规则的 coder。 首先要根据自己的机器性能选择合适的模型。官方模型都是 十六比较吃现存,如果电脑配置比较低,可以选择量化版本。我们可以在哈丁 face 上找到 golf 格式的量化模型。 golf 格式是 lama cpp, 新推出的格式将会取代 g g m l, 相比于 g g m l, gap 格式具有更好的拓展性,并且支持保存更多元数据,包括 top t v c 甚代码及特殊 top guns 等。目前支持 gap 的有 lawma cdp、 text generation、 my v e, 偷画的 c d p 等。 这里我们使用 text generation level, 只需要下载对应系统的压缩包, 解压后点击启动脚本,等待安装完成就可以了, 我这里之前安装过就不再演示。之后我们选择对应的量化模型进行下载,可以看到相比于原模型,量化模型会显得 占用要小很多。根据自己的机器配置选择合适版本的量化模型并下载。下载完成后,将模型移动到 text jenna, 一首 mapping the model 键加下,然后点击启动小本,等待程序启动。 点击 url 打开 vip u i 页面, 在 model 这里选择我们刚才下载好的模型,点击加载,等待模型加载完成。 加载完成后就可以在开界面进行兑换了。 以上就是在本地部署使用最强开源辅助编程模型 vsadcoder 的部分内容, 后续可以将模型接触 discount 等。二、第一周将使用 gitacopopi 的提养辅助编程,提升开发效率。免费且无互联网的编程入手,你期待吗?

今天给大家讲一下深度学习模型部署的六种方式。第一种就是简单的一个带帽演示,只看这个效果,我们可以从这个咖啡 tf 开放式的框架中随便选一个,切到这个他自由的一个 tis 的模式,拿着拍摄跑一跑就好。这组写一个简单的一个 gui 来展示结果, 高级一点的话可以用这个 cps 包一层接口,然后用这个 c 家家工程去吊用,然后需求二是放到服务器上方,呃,不要求这个吞吐和食盐。然后我们可以在这个呃咖啡 tf top 十等框架中随便选一个,按照官方的呃部署教程,老老实实的用这个 c 家来附属, 比如这个排套使用性用这个 liutes, 然后在 libear 下方,然后这种还是没有脱离这个框架有很多为这个训练方面而保留的一些特性,没有去除性能的话并不是自由的。另外这个这个框架要么是 cpu, 要么是因为达到一个 gpu 对应电平台有要求,不灵活。而且还有这个就是框架是真心的大占内存,然后就是 tf 的话占前存,占私房,然后第三是发到福气上跑,要求这个吞吐和食言,重点是这个吞吐这种应用在这个互联网企业居多,一般是互联网产品的一个后端, aig 算,嗯,你比如说这个人脸验证语音服务应用了这种学习的一个智能推荐等等。 呃,一般都是一个应适用于一个大规模的部署,这时不仅仅要求考虑趁头试验,还要求考虑这个工好的成本。所以除了硬件外,除了除了一个软件之外,硬件上也会下功夫, 然后在硬件上推理的话,只是应用了一个专用的英语单位批示,含五 g 的 m, 二用一百等,这些推理卡比专专门极限卡工号低,单位文号下的他的这个 阶段效率更高,而且音乐结构更适合高吞吐量的情况。呃,在这个软件上啊,一般不会采用直接采用这个生殖器的一个框架。对英美达的产品,一般你比如说用这个特色 rt 来这个加速,英美达这个特色 rt, 呃,用用了这个酷达 sudn, 而且还有一个途优化,呃, fp 十六, ant 八量化等等一些就是方法。然后需求四是放在这个英伟达嵌入式平台上跑,他注重一个誓言,你比如说 ps, two, tstv 元等, 然后就是参考上面的话,也是稍微贵了一点点。啤酒五的话,就是放在其他的牵手式平台上跑,比如说我们的一个,呃,手机,呃,在这,他这个在这个硬件方面要根据这个模型的计算量和实验的要求,结合成本和工况要求。然后就是选择合适的一个牵手式平台,你比如说模型计算量大的,可能就是选择一个 带这个 gpu 的一个 soc, 用这个 oppo, oppo gr, 那就是还有这个 oppo 编程也可以试试这个 npo 你,不过这个 npo 现在支持的算子不多,一些自定义 op 多的一个网络可能不支持部署啊。对于小型模型或者针对要求不高的,可能用这个 cpu 就已经足够了, 不过需要做一点优化,你比如说减脂量化,就是 smd, 一个汇编等,在手机上部署智能学习模型也可以归在此行列。 呃,就是上述部署的一个和优化的一个软件工作,在一些移动的开,移动端的一些开放价就是有人做的,我们拿来使用的话就是改一改这个 参数就可以了,性能还是不错的。呃,七九六的话是如果上述部署方案都不不满足你的一个需求的话。呃,你比如说开元移动端的框架速度不够,你可以自己来写一套,你比如说像这个 上趟了旷世了,还有都有自己的一个前项传播框架,然后性能应该都比这个开源的框架比较好,只不过是自己写一套比较费时费力。嗯,然后而且如果没有经验的话,你可能 就是很费时间,费半天劲也写不好。这个就是一个深圳学习模型部署的六种方式。嗯,感兴趣的话可以关注一下,谢谢大家。

在我前面的几期视频里啊,我介绍了如何基于 cheat c p t 呢,进行 function 或者说进行 being body, 把 j g b t 从一个通产变成一个专产。但是啊,问题来了,如果啊是国内的企业啊,想做类似的事情,基本啊是不可能基于 chag t 的实现了。 原因啊,有一些两点,第一个呢,使用 tstp 的模型呢,会涉及到数据隐私和数据安全问题。而第二个呢,无论你是通过 web 还是通过 api 的方式来访问 tstp 呢,都要搭个梯子,这样的话性能和稳定性啊都不会太好。 目前啊,最可惜的解决方案呢,是找一个开源的大约模型,然后呢部署到自己的服务器上。目前网上可选的开源模型啊,比较知名且效果不错的呢,主要有三款。第一个呢叫羊驼家族,这个家族呢,大家长呢,叫 nama, 中文名字叫大羊驼。嗯,这个呢是 meta 啊,它的原名叫这个公司,之前叫 facebook, 后来改名叫 meta。 是 meta 出品的啊,一个开源的大约模型。那第二个呢,叫 appleca, 中名的呢叫羊驼啊,这个是斯坦福呢,在 nama 的基础上进行微调得到的。 那这家族第三个呢,叫 dq 的啊,中文名字叫小羊头啊,这个呢是斯坦福联合 uc, 福克利还有 cmu 的机构呢,在 number two 上进行微调得到的,有七 b 呢和十三 b 两个不同参数版本。 那第二款比较知名的这个开源模型呢,是我们国内啊,清华大学也就是我的母校出品的,叫 chad j m 啊,它有六 b 啊和十三 b 两个不同参数版本,其中呢,六 b 这个版本呢是开源的。那最后一个呢啊,开源的模型呢,叫 blue 啊,这个是 big size 啊,这个 应该说是个社区吧,他其实不是一个一个一个公司哈啊,出品的一个开业模型,目前啊,从网上各种测评的这个效果数据来看呢,维克纳呢,据说是效果最好的一个开业模型,而且他对中文的知识也不错, 据说呢,达到了前期 bt 百分之九十以上的能力。所以啊,接下来我来演示一下如何来私有化部署一个 weqla 啊,小羊驼这样一个单元模型,记得关注再走哦。

aia 镜头目前在整个业界被认为是大模型落地最有希望的方向,市面上的 aia 镜头有很多,大部分是基于 bimapi 构建的。摩拉社区最近开源了 moscopaeigent 这个以开源大模型作为核心中枢,通过使用工具来提升大圆模型的整体能力。 今天我们花五分钟教大家如何基于开源大模型来开发一个 a 进的系统。首先我们介绍一下 a 进的,如果把大模型比作人脑中枢, a 进的就是人体。 在任务执行中,大模型负责规划调度的命令发布,由 ag 的协同各种 ai 小模型或者 api 就能够很容易将大模型实际落地到各个行业的应用场景。 接着我们看一下 agent 是如何执行任务的。用户输入请求后,摩拉 ant 会先做一系列的工具检索,比如用 户想要生成一个商品文案以及对应的商品视频介绍 a 呢,就会先去检索相关的 a p i 大模型进行规划调度,调用对应的视频生成 a p i a 型的去执行对应的一篇,然后把执行的结果返回给大模型,大模型最终整理一段回复反馈给用户,为你带来全新的 vr 视觉盛宴。 而为了完成以上任务, ant 主要调用了三个模块协同工作,以大模型为中枢,包括记忆模块和工具使用模块。大模型中枢模块主要负责任务规划调度以及回复生成。 而记忆控制模块主要包含知识检索以及 promote 管理。最后工具使用模块包含工具库以及工具检索和工具的可定制化。现在教大家怎么使用模达 aj? 首先我们打开 notebook, 将 moscopy 的代码可弄过来,打开 demo 里的这个文件,接下来我们读取环境变量文件和工具配置, 构建好后,搭建工具向量检索。这里提供了基于阿里云 darescope 引斑顶和摩拉社区开源引斑顶两种,我们这里拿 darescope 引斑顶作为演示。然后我们启动中枢大模型, 这里以 msa 镜的千万七 b 作为样例,点击直行 a 型的就会拉取七 b 的大模型进行部署。 模型部署完成后,现在我们用于构建 a g 特的工具配置工具检索大模型部署均已完成,这样我们直接完成了 a g 的系统构建。接下来我们测试下构建好的 a g 特,让它生成一张有花有酒的图片, a 景的自动检索图片生成工具生成请求,并调用相关的 api。 接下来我们看一下生成的图片, 可以看到这里很好的生成了有花有酒的一个高清大图。接下来我们给大家演示一下怎么基于摩大 aj 的使用检索工具构建行业问答。在 notebook 里打开另一个文件,读取环境变量和工具配置部署大模型 到这里的操作和刚才演示的是一样的。 接着我们需要配置向量检索服务,这里拿摩达社区开源的 corel 文本向量模型来演示。 构建好向量服务后,我们导入摩大社区的知识文档以及对应的切分工具切分知识库文件, 然后将文件和支库服务导入近开源的向量检索工具 face 向量检索引擎构建完毕,我们测试一下向量检索引擎召回的效果,问他一个摩纳社区相关的问题,比如 model scop 模型可以在互联网使用吗? 我们看一下 ad 的调用知识库前的回答,可以看到里面存在着大量的知识幻觉。他说摩拉社区很多模型都支持非网络下使用,这是不正确的。然后再看知识库调用完成后的回答, 这下回答正确。未来摩达 a 进程还会接入更多的开元大模型,以及开放更多基于摩达 a 进程开发的应用,包括个人助力分身、 sora 进程、 智能导演助理等等。也欢迎大家将摩达 a 进展用于工业制造、游戏开发、智能互联等各行各业。

超越 taggbt 四点零的中文理解能力, chitgmm 二正式开源公布,这是一款由清华大学出品的 ai 大语言模型,直接部署到本地就可轻松运行,而且对配置要求在逐渐降低,增加了逻辑思维和语言理解能力。接下来大家跟老张快速的体验一下。 首先我们打开对应的一件包,在这个一件包当中呢,咱们会拿到以下这四个对应的内容。首先咱们先说安装包,安装包是本次运行必备的环境之一,必须要把它先进行安装一次, 安装成功以后,咱们接下来需要先把这个一键安装包,对应的工具就是咱们说的一键启动器,把它解压出来,解压出来在这就是对应的这样的一个效果啊,有一个快速启动咱们可以看到,然后这个解压出来之后,紧接着第二步咱们需要做的就是把 把这两个对应的模型也就解压出来,这个模型是咱们今天的主角 chin gm 二,号称可以和 chintpp 四点零掰手腕的国产 ai 模型,这一款呢是我们程序儿界啊非常好用的专门写程序的代码模型,今天老张就不做演示了,如果你需要,你可以把它给下载下来, 然后解压出这款内容。之后呢,咱们把解压出来,他是一个对应的文件夹,咱们把这个文件夹复制,然后放到咱们当前的一键包中, 找到这个 models 文件夹,把它直接粘贴过来,这样的话就可以在一键启动器上找到咱们的 check gml 二对应的这个 an 模型, 找到之后呢,咱们可以直接在这选择快速启动好,然后在这选择对应的模型,因为咱们我这呢有两个模型,咱们要的是这个,对吧?拆个 gm 二杠六 b, 然后这款模型启动完成之后呢,咱们首先先根据您 的显卡来进行选择,比方说老张是八 g 闪存的,我就选择这一项,如果您是四 g 闪存,直接选择下一项就可以了,对吧?根据您对应的内容来进行调试, 可能首次加载他的时间会非常的长,咱们可以稍作等待,如果说他出现了一些报复原因,你一定要检查是不是你电脑显存不扣导致报显存等相关问题。好的,当咱们进行重新之后,你可以看到有一个编个地址栏,可以把这个地址复制,直接就可以打开了,这个就是咱们对应的模型选择, 咱们可以在哪呢?可以在这个模型选项中进行看,对吧?这是咱们这个模型,这是没问题的。好,然后咱们这是文本驱动器,在这就可以直接进行对应的应用效果呢?如果您的电脑配置够好,效果还是非常不错的,但是如果电脑配置一般的兄弟们可能要稍微的差一点。

大家好,我是陈希汪,然后前段时间有很多粉丝问我项目开源项目,然后怎么下载下来,怎么不熟,怎么去把它,嗯,从在呢个环境上怎么把它跑起来,嗯,这种问题已经收到很多反馈了,然后我最近就想搞一期这种视频, 现在是以若一开源系统为例子,然后在这个呃,是在阿里云生的 os 八上面去 安装部署,然后跑起来给大家演示一下。就是因为很多小白容易在安装软件时候把 问题或者中文乱码问题等等问题会卡住,然后本期出的视频就是按小白有一个思路,然后可以通过这些我的那个笔记安装的一个详 细的笔记,然后能够通过笔记能够把项目能够跑起来。项目的大概步骤我这个大概简单的说一下,其实就分这几步啊,就在前期你要准备一个阿里云,嗯,云服务圣诞 s 八,嗯, 虚拟机也行,然后上面会安装 gdk manget, 然后为添加 ss h 功效,然后在 excel 上面会装刀口,刀口里面会装埋射口,然后从 给他上面会拉起这个开源项目若一的代码,并且在这个执行若一项目里面的买四口缴本, 最后修改这个项目里面的配置项并启动,这是整个一个过程,大家可以看一下我具体的一个视频,然后结合我的笔记去操作一下这个 很容易上手的, 黑头的眼睛, 总有些星期

今天给大家带来最强开源十三 b 模型,百川十三 b button、 十三 b 中英文大模型、极高性能、完全开源、 免费可商用等诸多优势于一身。相比此前发布的 battle one 七 b, battle one 十三 b 在一点四万亿 token 数据集上训练超过 nol arm 十三 b 百分之四十,是当前开源十三 b 尺寸下训练数据量最大的模型,对话 角色扮演能力接近 g p t 四,简直太强了。 推理能力不错,我加上了 int 八量化要十六 gb 显存 点启动自动下载模型,开启网页, 启动前先把环境中加两个缓存,要不然会把模型下到 c 盘。

今天教大家下载这个比库纳模型,号称是可以达到拆 gbt 百分之九十的水准,然后打败了拉玛和斯坦福的奥帕卡, 我在学了一个办法,然后下载这个东西会变得非常非常的简单,就只需要一行代码,我们不需要再去 get up 上面,然后把乱七八糟那些什么安装那些再读一遍啊,然后再下载乱七八糟文件,首先呢,我们建一个文件夹,对吧? ok, 然后叫做 e tuna matata, 然后呢,建好这个文件之后, ok, 它是这样的,我们直接点 power seal, 大家就照着我做就行了啊,然后抛物秀就出来了,然后下面要输,哎,等一下,我搜一下他要输什么, ok, 你们就跟着我输 idx 到 i r m 库拉到,好吧,到停停, ok, 然后就好了,兄弟们就好了,你敢信啊?然后他问你是什么机 p u 的,你有英尾达的显卡,你就按 a, 没有的话他就会在 c p u 上面跑,然后就好了呀, 然后当你看到这段字的时候啊,他其实也有说明到底之后要怎么安装,其实你就是把它标注下来,然后右键一下,然后当你点继续的时候,他会出现一段文字,然后你就按一下 l, 看一下这个键,然后再右键一下,再把这个复制进去,然后再点回车就 ok 了,因为时间关系啊,这个模型比较大,然后我就不想再重新再装一遍了,那个实在是 太麻烦了,反正该跟大家说的我都跟大家说的,这个模型简直是太简单了这个安装方法,然后我给大家演示一下他是怎么样的, 他可以,你可以跟他说中文,我问他什么是人生的意义,然后他给了我一段话,但很奇怪的他好像又帮我继续提问了,然后他又自己回答了下面那两句话,不是我,不是我问他的, 不知道是我的问题还是大家下载了都是会这样,大家如果下载下来然后再玩这个模型的,可以跟我说一下,你们觉得他有没有达到 chagbt 的百分之九十。

欧盟 ai 的它其实是提供了一个 tax embedding 的这样一个 model 啊,它这个名字的话呢,叫 tax embedding ada 零零二的这样一个模型啊,这个模型的用处也是非常多的啊,特别是我们在做一些外部注视库跟大模型结合的时候啊,他要做一个 text invading 的这样的一个操作的时候,他经常会用到啊,我们给大家看一下这个,这个什么东西,我们看到就是如果做检索增强生成的一些应用的啊,你要把这个文档要能够 进行结构化的进行划分成快,把这个快再进过一个 embedding 的这个操作的话,就要经过我们前面讲的这个模型 text embedding a 打零零二的这样一个模型。如果你是用 oba ai 啊,作为一个文本嵌入式模型的这样的一个操作的话,你就要用这样一个模型啊,那包括你在查询的时候,你也要把这个查询的这个文本进行 debating 的这样一个操作啊,它其实这个操 操作的话,是我们这些大模型啊,他要把文本变成一串的数字,他才能在这个文本里面做一些相似性啊,包括做一些呃,预预测下一个 token 啊,这一次的这种操作啊,他都要经过这样 invading 的这样一个操作啊。那么 这篇文章主要是讲啊,我们能不能有一个更好的一个方案,能够性能要比 oba ai 的提供的更好,同时的话呢,它成本更低,效率更高,有没有这种方案呢?今天我们主要讲这个答案肯定是有的啦。嗯,好,我们先来讲一下,如果要替换 tax in building a 打零零二的这样的一个模型的话,我们首先要去比较一下,就,呃,这种模型就是文本嵌入的这种模型,他需要去对比一下,就是哪些模型啊,会开源的跟闭源的要进行对比啊,那么他的这个这个方面就讲了一个,有一个叫哈根 face 啊,他们提供的叫 m t e b 的这样一个评测的一个 方案,你可以看一下他这个评测,他评测的话呢,有八个任务,五十八个数据集,然后专门来评测这个 tax in bedding 的这样一个 benchmark, 就是这样一个性能啊,他又分了非常多啊, 什么剧类分类啊, rank 排序啊, summarize 啊,摘药,包括一些获取增强啊,这个配对等等,我们看看啊,我已经它的这个排行榜在这儿,它有中英文两种,英文的话呢,它是 j t e b 这样一个排行榜,我们可以看到 uber ai, open ai 的叫在哪里啊? open ai 的在这 text embedding ada 零零二,它这个模型啊,它这个性能,它目前不是,虽然是碧源的,当然它也不是最强的话呢,目前是这个叫 b e g large e n, 这个是中路 中国,中国就是清华智普他们那个团队研究的这样的一个推出的这样一个模型啊,回头我会再来讲一讲啊,这是英文的, 当然也有中文的啊,中文的话呢,它叫 c m 就就是 c, 就是 chinese 的 m t e b 的这样一个排行榜啊,那么这个排行榜里面的 b g 杠、辣子杠 c h 一一点五的这个排名也是比较靠前的啊。啊,目前我们推荐的话呢?还是目前我们推荐的话呢,还是有一个模型,然后作为一个 text invading 的作啊, 那么我们来看一看。呃,他,他这他就是要进行独立部署啊,进行独立部啊,然后的话呢,呃,他这边这这篇文章用了一个,呃,因为他是老外的,他用个一样的一个模型啊,一五的这个模型,一五的模型,这个也要好一点 啊,一五的模型是在这啊,他要比那个 text invading a 档一些啊,类似 vr 版本啊,性能要比这个好,他是对比的。这个啊,我们先稍微看一下这个一五的模型啊,这个一五的模型的话呢,他也讲了一下啊,这 怎么进行?呃,部署,独立部署,他要大概十六个进程,然后这是他安装啊,要有 gpu, 英伟达布达的 driver 安装完之后,然后他就可以。他 啊,如果用 gpu 的话,你可以看到它的速度会更快速的啊。用 oppo ai 的话呢,它的速度没有这么快啊。这是如果用 cpu 的话呢,那肯定是肯定是不行的啊,一定要用这像这种深度学习模型的话,一定可以看到啊。 然后呢,他也对比了一下那个啊,反正对比下来的话呢,会更便宜啊,所以,嗯的话呢,就是 用部署的这种模型的话呢,成本更低,性能更好啊。同时他也指出了那个 oppo ai 的 in bed 的这个模式不能进行微调的啊,但是如果你本地部署的这种模型的话是可以,我会重点讲这个模型啊,这个中文的,因为他这篇文章主要是 讲英文的,回头我们讲一讲中文的这个模型是怎么来做的啊?这个是他的结论。好吧,那么我们那个中文,中文的话呢,我们前面讲啊,还是用青花 bup ai 的啊,这个 b 级辣级杠 c a 点五的这个模型会更强。我们讲一下他为什么要模型会更好,为什么要比那个模型会更好? 主要的用了一个那 utro 的这样的 m e a 的这样的一个算啊,它是一种这个是阿维他们 发明的这样的一种自自动编编码的这样一语训练的一个方,就是把这个训练出来,他这个鼻子,他就是通过这种方方案来训练的,所以到他这个性能会比较 rachel a 的这种算法啊,这个里面讲就是目前的模型与训练任务,他都是基于这样的一个级别的,一个每个字符这样一个级别的啊,就这个模型呢,就比较难获得 一个高质量的基于句子级别的这样一个项量啊,这个会导致他他这个模型啊,在一些检索任务上啊,他的这个就限制了他这个能,因为我们一般在问答 ig 的一些应用当中啊,大部分都是基于句句子啊,问句或者一些问题后来进行检索的啊,所以的话呢,他这个最好的高质量的 句子级别的响亮检索会更好啊。至于这样的一个情况,他们就发明了这样一个东西啊,发,发明了这样一种解决这个的话,通过两个句子啊,通过庞大的这个数据进行对比 学习。另外一种的话呢,就是字编码的这种方式啊,那么字方式的话呢,它是它是不需要训练样本的,它是通过类似 birt 的这种方式啊,它这个会加叫 ma mas, 它在 编码和解码过程当中,他会都会加一个码,然后让他找他通过这个 mask, 然后去把他这个加强他这个编码的一个过程, 这个叫重聚重建句子一个过程啊,重建句子的话,他这个 mask 加上之后,然后他抵扣的时候后,使这个解码器就应扣的啊,他把器的这个解码能力,解码的那个损耗能够降到最低,是通过这种方式来做,所以他这个通过了这个算分的算法之后,要比一五的这个模型要更强。为什么?他这个 b 字蜡纸的这个系列啊,好,那么如果我们要用这个 i 字的这样的话,其实在这个文档当中的建议对口模型叫这个 rank r 级的这样一个模型,预训类模型,它的性能它在这儿,那个之前那个 e 五的这个算法,是啊,它当然它比那个 o b i 的会要更强一些啊,但是模型会更好 b 级 rank log 啊,这个模型的话呢,中英文混用啊,它是在重排序和在获取 top key 的这样的一个印,但它特别是这 m m 的 rank 的这个算法,他的是非常大的,提成是非常大的,差不多三十,这个也是人气是非常好的啊,同时的话,有时候啊还可以进行进行微调,他也有这个微调的能力啊,他们也 他的脚本的话呢,他再发不出来,我们也是可以去用的他这个啊,他这个球的脚本。所以如果我们要做那个 ig 的这种应用的话,我们有一个非常好方法啊,他比 ai 啊提供的那个 tax invading 的这样的一个模型更好的一种模,就是 eagle rank 的这样一个模型啊,这个模型呢,它它就可以完全替代这个 tax invading 的这样一个 model 啊,而且的话呢,它性能更好,更便宜,速度更快。好啊,今天这篇文章就给大家就介绍到这。

如何让 gpt 教你学习最新的开源项目?今天我们让大模型来教我们使用最新的开源项目游路 v 八。我们知道长安 gpt 最新的知识,直到二零一年九月,并且最多也只能输入一万个单词,根本无法处理这么长的文档。 所以今天我们要用的是 cloud 一百 k 能支持七万多个单词,可以直接把优乐微八的原文档一股脑的丢进去。我们先让大模型来做个总结,这里我们就知道优乐微八可以做目标检测、实力分割、关键点检测等任务。以目标检测为例,我们可以让他根据文档生成代码, 训练目标检测模型设计到的配置文件,同样也可以让他根据文档给出格式和参考视力,按照要求配置好后,就可以直接运行代码训练模型了。训练完成后可以再让大模型给出推力代码,这样我们就轻松学会了 ulov 八。

matter 最近开源的 lam 二代的那个模型啊,我在我的机器上跑了一下,我基本上已经成功了。我跟大家再介绍一下啊,他到底是怎么来运行的啊?这个项目首先的话呢,你要去申请啊,在 lam 二的这个 git 叉的上面,他会提供一个这样的一个一个链接, 这个链接这个链接你要去申请一下,他等于是在这,你可以在这个网站上面去申请一下。对啊,你可以填你的一些姓名啊。邮箱,主要邮箱是比较重要的,因为他最终会在邮件里面发送。有一个 下载的一个密码啊,有一串的那个密密要给你的啊,我是填 china 的啊,应该他应该是没关系的,他是中国人,应该也会发发给你的。你申请完了之后,他很快啊,就会把这个链接发到你的邮箱,你打开你的邮箱, 你去查看一下就可以了。我给大家看一下我之前的截图啊,对,他会发一个这样的一个秘药啊,什么? https, download 什么 l l a m a manta 点 next, 后面有一串东西啊,他有一串的这个东西主要是通过疫苗发过来的。呃,你下载权重 这算东西是比较重要的啊,审核通过了就可以了,我是这样来下载的。你,呃,他有一个当漏的点 s h 的一个脚本啊,这个脚本里面的话呢,他会,他会问你,你到底要下载哪个啊?我下载的是七 b 杠呃, cat 的这样一个模型啊,他就 就下载,但是后来我发现下载完的话,他其实这个模型是有问题的,这个模型是有问题的,有一个坑。跟大家介绍一下,我们来看。如果你申请结束之后,你在哈根 face 上面,其实你也可以看到啊,他也可以在哈根 face 上就可以申请通过,然后你就可以去用了啊。他我之前下载的这个模型,他是这个 alama 的七 b 的这样的一个模型啊,我用的是这个模型,下载的话,你会发现他的这个,他的这个文件格式啊,跟我们原来用的那个哈根 face 的文件格式是不一样的, 虽然你可以下载下来,下载下来之后你运行的话会报错的啊,你运行在那个哈登 face transformer 的这个模型里面会出错的啊,我用的那个 faster chat 和 tgi 跑的话,你这个模型是不认的,所以你下载这个模型是有问题的,所以我就换了一种方式去下载啊,他是我用的是这个模型,就是这个 lama chat 杠 h f。 啊,原来我不太清楚这个是什么意思啊,这个 h f 其实就是哈根 face 的格式啊,就是在这啊,你可以直接的下载下,我现在本地因为已经下载完了啊,下载 他其实有两个跟原来是一样的,跟你只要下载这两个就行了。拍 touch 杠 model 杠零零一和零零二点并后面上面两个是不需要下载,你只要下载这两个就可以了啊,下载完了我给大家看一下啊。下载完了,我是下载好了,在本地,就在这个目录下,我已经下载完了,好 在这个下载的过程当中权重就下载好了。呃呃,如果你要使用的话,首先的话呢,你还得把他的这个 facebook research 的这个 l l a m a 的这样的一个模,这样一个类,这样一个项目,把它先从给 tab 上面把它给下载下来,下载下来之后你还是要安装一下它安装成功,它会有这样的一个文件, 会有这样的一个啊,他会啊, lama 杠零点,零点一安装成功了啊,那这个就说明你这个本机就可以跑了啊,安装成功之后你就可以跑,因为我是在 那个 faster chat 上面跑的,所以我是,我不是用他这个脚本跑的,我是用这个脚本跑的。给大家看一下啊,因为我是跑,跑在 fast chat 上面的啊,所以的话呢, 如果你不攻的话,跑成功的话呢,他就会起起来,是这个东西,因为用方式恰到的好处就是说他的那个 api 跟这个欧奔 ai 的这个 api 是完全一样的啊,他的啊,所以我是跑到跑在这个上面,虽然然后我本机也进行了一个测试啊,测试的话他的这个测试也都通过了 啊,他所有的这些五个接口他都是能够都是能够支持。我们看一下对 list model, 然后这个聊天 in bedding 这个接口,还有一个是聊天的这样的一个接口啊, 还有一个聊天接口的一个流逝的一个接口啊,他这个都是能支持的,所以这个就跑成功了,好啊好。呃,今天就这段视频就跟大家就聊到这。

今天再给大家介绍一下小公椅的企业开源大模型的这样一个解决方案啊,因为有很多网友在问我啊,你们小公椅到底做什么的啊?那么我们呢?就把这个呃,我就今天就介绍一下啊,目前的话呢,就是大模型,呃, 他应用的场景还是非常多的,我之前也是介绍过的啊。企业啊,哦,企业主要还是要聚焦于他要服务内部和外部的客户,通过一些 ai 的一些工具啊,要赋能给这些员工也好,还是外部客户也好,这个是比较重要。总理呢,本身有一个 智能问答的这样一个产品啊,它的背后的话呢,它是用了一个开源的这样的一个大模型啊,目前我们可以用的是在中国那个像智图 ai 的恰特 glm 二代啊,杠六 b 的这个模型,包括通一千问的啊,阿里通一千问的,包括那个百川十三 b 的这些中文模型,它其实都是可以用的啊。当然你 也是可以用那个商业的一些 obai 的一些 api 啊,也是可以支持的我们整个一个应用。那么我们跟其他的不一样的地方,主要还是接入了企业的这个知识库啊,我们通过一个适量的一个数据库啊,能够跟大模型能够结合起来, 让这个客户呃内部用户或者外部用户,他在跟这个模型在在做这些应用的时候,他会发现他的这些回答跟这个企业是密切相关的,跟他这个行业是比较相关性的啊。他是这样啊,企业的这个实量数据库呢,也是可以通过一些文本啊, 像一些 pdf 文档啊,视频,包括声音啊,图片啊,都可以导入到这个史量数据库里面去,他这个系统自动的就会把呃史量的这个知识点都能够把它沉淀下来,沉淀下来啊。当用户问一些问题的时候,他就能很好的呃找到这些最匹配的这些相关性的一些知识点,跟这个大模型结合,去回答用户的一些问。 他主要我们实现的是这样的一个应用场景啊。那么这个应用场景企业关注的点主要是什么呢?我上次也是介绍过的第一个的话呢,就是企业会比较关注你目前的这个开源大模型啊,性能到底行不行啊? 从目前的这个技术来看的话,如果大家经常看我视频,大家就清楚,就是目前开源的这个大模型,它这个性能呢,就越来越逼近于这个 gpd 四的性能。包括现在开源出来的这些模型,它的网络也是越来越大,那么网络越大,它的性能也就越强啊。像最近公布的飞音一千八百亿的这个参数,已经在某些性能上已经超过了 gpd 三点五啊, 逼近这个 g p 四的这样一些能力。如果你在做一些行业化的一些定制化的一些应用的话,变成一个行业模型的话,那么它在总体性能上应该是可以接近甚至超过 g p 四的这样一个能力啊。这个是当然,中国的话呢,目前也有一些榜榜单啊,也会公布,定期的会公布一些呃 比较好的一些模型的基础的这个测评的这个情况,我们现在一些企业大部分还是用一些开源的这样的一些模型,因为这些模型的话基本上可以商用,而且不需要付任何费用啊,而且可以在这个基础上进行微调啊,又可以独立部署,对这个数据隐私的这个保护会比较好。所以这个是我们 企业一般会比较关注的啊。那么企业关注的第二个的点,主要就是他要能够用得起。虽然现在模型很多啊, 是你要有一个高效的这样一个推理的这样一个性能啊,那我能够保证你这个尽可能用少量的这个 gpu, 因为现在 gpu 的价格就很贵, 一块 a 一百的这个 gpu, 那叫十五万啊,十几万,呃,成本是非常高的啊。那么像小工艺的话呢,这种解决方案呢,它主要是集成了很多开源的这样的一些呃优化的一些算法,保证让一些模型啊,它的推理性能能够提升 二十倍,十倍。他这样我们对我们企业来讲,那么这个就一块 gpu, 就相当于二十块在用啊,他的这个消费比和性价比,他就马上就出来了啊。如果你自己去做了,因为就是有各种各样的原因吧,你要去摸索各种各样的集成的一些算法啊,那你要花费相当大的代价啊。 这个是企业关注点,一个是要用性能要好,第二个要能用得起。现在的话呢,基本上能够用得起。目前如果你是简单的一些应用的话,一般 gpu 你用到 四零九零,基本上降一万五左右的一块 gpu, 基本上你这个应用就可以跑起来了。现在我们可以优化到这种程度啊。所以对企业来讲的话,现在成本也不是太高,独立部署的成本也不是太高了啊。 三个呢,企业会比较关注我们的这个,你做的这些应用啊,包括小工艺做的这些智能问答的这些应用啊,他能不能非常好的能够,如果我发现我的这个开源的这些模型不是太好的话,能不能 切换到无缝的切换到这种 chat g p t 或者 g p t 四的这些应用上去啊,这个是完全是可以的,我们也已经做到了。因为我们现在的这些应用基本上都是跟 oba、 ai 的 a p i 都完全兼容啊。你可以用你自己独立部署的 g p u, 你也可以用云端的这个 g p u, 甚至你可以直接调用 chat g p t 的这些 a p i 啊,它完全是能够兼容的啊,你的应用不需要做任何更改,而且对你的用户来讲是没有任何感知的啊。所以对我们来讲的话,有些应用可以用 比较高阶的这种 bpi 啊,那么这个可能费用会比较高。但有些应用,它其实用一些本地部署的这种 gpu, 它的成本会更低啊,而且可以让企业就大规模普及啊,赋能给我们的内部员工和外部客户,他等于是这样,我们小工也是能够做的到的。所以我们在三个基础上 啊,构建了这样一个应用。现在的这些应用,企业一般的路径目前都会用一个通用的这样一个大模型,在左用了一些 一条啊,或者用那些提示学习的一些方式,在这个上层上做一些应用啊。我们建议企业的话,最好你刚开始初期可以这样用,但是你到未来,呃,因为你自己建这样一个应用还是会比较慢的,所以的话呢,我们建议你还是用一个现有的 这一个标准的一个应用,这样你不需要应用开发和部署啊,非常快速的能够帮你搭建起来。而且你可以把这个提示工程啊什么的,很快的就内置在你这个应用当中,你就很快就可以用起来。他等于是这样, 如果有,你也可能会发现有些应用可能做的不是太好,他可以进行评分,评分打分,把不好的一些问答,再经过一些人工的干预和处理,包括一些比较好的、 差的、 gpt 的、 ai 的这种提示,让他去回答一些比较准确的问题,员工再确认一下,再经过指令的微调,微调出你这个行业,你企业的这种大模型。这样的话呢,你可以呃在整个一个行业里面建 你自己的这个竞争力和壁垒啊。他是这样的一个运作逻辑,目前现在大部分企业呢都在找这个逻辑在做,因为你做完的话,你调这个类似的这个外部的这些 api, 你不管是通一千万还是火星大模型,因为你这个数据不流程的话,最后这一方面你的隐私安全会有些 问题,另外方面的话,你自己的这个能力,其实你没有持续的去进化啊,他得好。那么接下来我介绍一下小工艺的这个服务啊,小工艺的话呢,他有几个?四五个服务啊,这第一个服务,我们的那个知识问答,就是智能问答,我们称之叫 rag 的应用啊,非结构化的这个数据 啊,我们可以帮助你定制,并且国画的数据有非常多啊,有文本,有图像对吧,有视频,有声音啊,最终的话,这些都会把它转化成文字啊,把它转化成 in bed 的这个项链啊,放在史料数据库里面啊。那么小公寓的话呢,它因为我们看到很多的一些论本,所以你自己企业做可能会碰到很多的坑。 我们呢就做了一些前面期的探索和性能优化的一些措施啊。像我们可以用一些时量数据库,用 elastic 社区啊,那个也是开源的,而且成本也会非常低,你不需要消耗太多的一些内存和资源,同时你能支持到非常多的非结构化的数据及一条都没问题。而且的话, elastic 社区它 还是有全文检索的功能,有 invading 的那个向量数据库检索的功能,也有一些资本的一些 cco 的检索的一些功能,可以把它组合成一种复杂的,这个混合的搜索能够满足你。这是问答的各种各样的应用场景啊,权限的控制,他等于是这样啊。 呃,在智能问答里面还有一个比较重要的,就是要进行自动化的评估啊。因为我们的这些问智能问答,因为他的数据经常会发生变化,我们模型也在不断的更新,那么我们怎么知道我们的智能问答的这个性能他持 持续在改善呢?那么所以你就要用一些 r、 e、 g 自动评估的一些框架,能够自动的呃去回答一些问题,自动的去获取到你的模型的变化,或者你有些 inbiting 的一些呃,深度学习网络的一些变化之后,会导致你整个一个框架, 整个一个应用,它的性能是不是提升啊,我们这个都是通过自动化的这个评估,自动化的这个测试的这个方案去完成的啊,包括在 ig 这个应用里面,也有各种各样的性能优化的一些关键的一些算法啊,也要把它集成在这个应用里面啊。他对 啊,这个是一个服务啊, i g 的这种应用啊,回头我也会讲一下这个 i g 应用,它也可以应用在各种各样场景上面啊,我之前都讲过啊,像这些场景,它其实都是可以用的啊, 人力资源、财税啊,供应链管理啊,特别是在营销啊,在线客服等等这些应用场景上,他这些 r a g 的应用都是可以的。他只要是非结构化的数据啊,那么你可以把它提炼成 知识点,跟大模型结合啊,他主要是做这部分。第二个服务,我们也可以做一些知识问答,主要是基于一些 c 口的一些应用啊,主要是一些结构化数据的应用啊,结构化数据的话,一般这口他查出来这个数据都会比较准啊,他不是通过概率来算的啊,那么他可以通过自然语言去 你这个数据库里面去挖挖掘你原来的一些数据的一些情况。比如说你这订单呐,包括你的一个订单的状态啊,你的一些产品的一些问答啊等等,都是可以用。只是问答的这个东西跟 cq 应用结合,来满足各种各样的应用场景啊。他这个也是一种啊, 前我也是介绍过的。呃,像有些开源的一些解决方案叫 cube, 它可以无缝的跟浪钱进行结合,通过自然语言去分析你的海量的这些大数据。因为我们现在做这个企业,这个数据量是越来越大了,之后你不可能通过呃数据分析员帮你把每个 dashboard 都把它给做出来。那么有些 应用还是要通过自然语言自动产生 c 口对吧?然后去结合。那么目前自是自然产生通过自然语言产生这个 c 口的这个模型的话,它的能力开源的这个能力也是非常强的,目前的能力已经超过了 g、 p、 d 三点五的这样的一个 能力啊。所以他已经可以替代一部分初级的数据分学啊。这个我原来在视频当中也是经常讲的啊,如果大家有兴趣也可以去看一下啊。另外 c 口也可以跟我们前面讲的 r、 a、 g 的应用进行结合,然后在特定领域里面啊,去生成特定的这种 c 口,去满足我们的各种各样的场景啊,这个都是可以在这个方面进行定时开发的啊。 那么第三个服务主要是赋能给这些软件工程师的啊, ai 机器可以产生大量的这种代码啊,拍一声 c 扣啊,假巴 script 啊,各种跟他代码。目前这种能力也是非常强的啊,特别是扣的拉玛这种代码模型发布了之后,他的能力已经超过了 g、 p 三点五,甚至达到了 g p 四生成代码的这种能力 啊。所以我们目前每家企业里面几乎都有一些数字化的系统,数字化系统的话,他就需要有软件工程师去维护啊,去服务生成呃各种各样的呃,比如说要去生成测试的代码等等啊,或者去看这个代码提交上来的代码是不是有缺陷等等,这个都是可以通过类似的扣扣的拉码这种模型, 专门生成 ai 生成代码的这种模型去进行赋能的啊。这个我们小工也可以在这个上面为大家做一些赋能定制化的一些应用啊。 那么第四个服务,我们要打造一个行业的一个大模型,通过 ig 的这种应用啊,他并不能完全百分之百的解决我们的一些问题啊,有些任务的精准度还是不够,这个时候他我们就需要做一些 行业模型的这样的一个微调啊。我们要找到这个哪些问题,他答的不是太好啊,那么他正确的答案应该是什么?把这个数据整理好,整理出这个高质量的这些数据啊。那么再进行可视化的这种微调, 我们也可以提供这种服务,帮助企业啊很快速的打造自己的这个行业的这个大模型啊。这个我们也可以做啊,为你们赋能,帮你们把这个基础平台,基础设施都建设好,做一个可视化的微调的一个界面,自动的根据你企业的一些呃 系统生成这些训练,预训练的这些数据啊,呃训练完了之后还要对整个一个模型再进行评估等等啊,这个都可以做成一个流水线,自动化的能够完成啊。 那么如果你企业去做,你要构建一个比较强大的一个技术团队,要去做这样一件事情,而且你要自己摸索啊,成本也是比较高的啊,特别是时间成本就浪费掉。最后我们小工也可以帮大家做一些多模态的一些大模型啊,当然现在多模态的大模型的话,特别在图片 和声音和语音生成上面啊,他还是会比较强的啊。包括阿里的通力千问也做了一些多模态的一些模型啊,可以通过图片来进行问答,当然他需要消耗的这个算力会更多啊。目前的话呢,这个也是可以做的。 我们也帮一些企业做过一些类似的一些应用啊等等。这个我们是第五个服务啊,多模态的这种服务啊,大大模型的这种解决方案,定制开发啊,部署独立部署都是可以用啊。好,那 总结来讲,小公益开源的这些大模型的解决方案的话,优势的话呢,我们认为有五点啊。第一个的话呢,就是快速部署啊,我们有一个成熟的这样一个产品啊,这在这个产品上面,我们也可以进行定制开发,所以你有些基本的应用,你立刻马上就可以满足的,而你就可以跑起来。有些东西的话,我们再可以帮你定制一下模型,微调一下,那自 基本上能够符合你企业的这个要求啊。第二个的话呢,它是可以我们经过了我我们这个产品啊,经过了这个二十倍的这个推理的进能的这个提升啊,所以比你自己去构建这样的一个模型,他需要用的这个资源混会更少啊, 性能会更好。他的也是这样啊,因为我们现在的这个 g p u 也很贵,成本也很高啊,因为本身就要通过 g p u 去替代一部分人工的事情,所 如果 gp 非常高的话,我们企业里面那就没法去落地啊,成本 ry 投资回报率就不高,那我们小工艺就做了二十倍的这个推理优化之后的话呢,会把这个门槛降得非常低,大家都可以用起来啊,而且我们收费也不是太高的。第三点,我们这个矢量数据库是支持 海量的这个内容的支持啊,他不管是那个文字也好啊,图片也好啊,他都是能够支支持一级的这个用户规模啊,毫秒级的这种性能啊,这个对我们企业来讲也是非常重要的啊。因为我们随便怎么讲 模型的优化,他其微调他需要有时间的那么少,至少几十分钟,慢的话呢,他只可能要几几几个小时,几十个小时, 甚至几天,他才能把它模型微调完。所以我们对有些应用场景来讲,他要快速把这个知识点要实时的加入到这个模型里面去,通过这种使量数据库的这种结合的方式是非常好的啊。那这个我们也做过很多的这种应用有成熟的这种解决方案啊。 好。第四点,我前面也是介绍过的,我们也可以帮助企业做这样微调,微调他其实是一个要改一些参数啊,要改一些这个要改一些模型的一些数据啊等等预处理啊,他其实是个挺繁琐的一个事情。但是呢,我们可以把它做原来的话呢,都是通过工程师做的啊,现在呢,我们可以把它做成一个界面啊, 训练一个罗拉的这样一个模型啊,那这样的话就会非常简单啊,你自可以自定义你自己的这样的一个大模型的,自己公司的这种大模型啊,大模型罗拉的这个小模型,跟你标准的这个大模型进行结合啊,能够生成出做下一任务的时候会更加准确啊,这个我们是可以这样来做的,把,这个门槛会降的很低, 非专业人士也是可以来进行微调的啊。第五点主要还是这个大模型的持续的优化和评估啊,这个是比较重要的啊,因为我们人工智能他有些不可控的一些因素啊,他特别是有些不可控的一些东西啊,你 可能微调了之后,他可能会丧失某些知识点啊。所以的话呢,我们像考试一样,我们要把一些考卷啊,先预支在内部啊,自动的能够去考这个大模型,看他的这些答案都能够回答是否准确,如果回答准确比回答原来的还要更好,那么我们可以用啊,如果他回答的不是太好的话,我们就要回归啊,我们这个模型就要回归,就不要去升级啊, 能够保证我们在线服务的这些大模型啊,他的这个性能和他的这个准确率啊,这个是比较重要好。目前我们的这些解决方案,目前小工也已经做到了这些 大模型的这些应用啊,可以跟我们中国的微信生态无缝的做一些结合啊,那么它可以结合在各个当中啊,像企业公众号啊,像视频号啊,小程序啊,企业微信内小程序的这种那个那种场景,或者是企业外部的这些网页的这种场景,包括现在还有 有这种客户群啊,客户单聊的这种应用场景,其实我们都是可以啊结合在一起在用的啊,让那个人和我们的 ai 的这些辅助啊,可以进一步降低我们内部的这样的一个 服务客户的这样一个成本,提升他的这个效率,同时改善外部客户的这个用户体验啊,这个都是我们目前都可以做得到的。最后的话,我们还是来讲一讲这个企业大模型的一些应用场景啊,前面都是偏技术的部分啊,我们可以做各种各样的 ig 的应用啊,这个 结构化数据库, cq 的一些应用啊,生成代码啊,对吧,微调多模态啊,我们都可以做啊。但是这些能力我们主要还是应用在目前的这几个方向上面。 营销啊,在线客服啊,这个是目前企业客户最期望的这样的一个应用场景,包括数字化办公啊,信息安全和策略啊等等啊,这个我就不一一念了啊,他是有非常多的应用场景是可以来落地的啊。关键点 目前还是要改善啊,企业内部和外部服务对象的这种体验啊,这目前是企业最关心的啊,也是企业构建核心竞竞争力一个比较重要的啊。目前的话呢,就是大家的经济效益都不是太好啊,降本增效,改善用户的服务体验啊,提升客户的整个在市场上的竞争力。这个通过 ai 来做是非常有价值的啊,而且现在成本也不 也比较低啊。重点主要是在营销方向,之前我也是介绍过的,我这边就不不一一讲了。我们就通过前面的这些不就可以赋能到我们的这个营销的应用场景,也可以辅导我们在线客服的这些应用场景啊,他这个都是可以的啊, 颜色这边的啊,他都是代表这个 ai 可以目前这个计算啊,都是可以参与的。最后像企业的一些文档和知识库的管理,其实前面也是讲的也是可以应用起来的,他这个也是一个比较大的一个应用场景。这几个应用场景是一个非常好的一些应用场景。好好,那么小 公益的这个小公益的这个企业开源大模型的这个解决方案啊,这个就跟大家就介绍到这,如果大家有兴趣啊,或者想进一步了解,可以给我留言或者给我沟通啊。那么我平时讲的这些视频里面呢,我也这次也做了一些简单的一些总结啊,放在这个 ppt 里面啊, 大家如果有进一步想了解,也可以去看一下我之前的这些视频啊,也可以去进一步的去了解我们小工艺的这个 企业开源大模型的这样一个整体的解决方案啊。主要现在还是要为能够这些解决方案,要能够为企业赋能啊,要能够企业的应用场景能够产生真正的价值,对客啊,对企业客户来讲。好吧好,今天的话呢,我就这个话题就跟大家就交流到这。

好呢啊,接下来我们来讲一些稍微啊基础一点的东西了啊。第一个就是说我们在做模型部署的时候呢,要做一个版本管理,那我们版本到底是 啊,讲版本管理的时候,到底哪些东西需要考虑在我们的版本范围考虑之内。第一个是我们的代码版本,就是我们在线上的时候啊,一般很少直接用那个 p m m 文件来做。后面我们也会讲这个东西 啊,大多数呢会写一套代码去 low 我们的模型文件,然后对外发布 api 的形式来做。所以你这至少又会有一部分那个模型的一个代码在这里面。 有些啊特征呢,也需要实时来进行一个计算的,尤其是像那个 a 卡和某一些 c 卡部分,那可能也需要一个实时的一个计算,那这个实时计算的话,那你特征部分那肯定也需要实时算对吧,那个也涉及到一些代码的一个部分, 那你的一个代码版本呢,也就需要有一个管理在这里面。第二个就是数据库的一个版本管理,那啊很多这个数据,我们线上我们啊模型输出一个东西之后,那个模型调用的那个数据特征,还有模型输出的结果,最终都需要存在一个数据库里面的, 方便以后来进行一个分析复查的一个作用啊,不能直接简单的就是啊,我来调一个数据,直接吐一个数据回去,然后什么记录也都没有,之后发现出问题了之后,也没有一个痕迹在这里面 啊,这个是要不得的。所以我们每一个模型特征的话,他都需要有一套数据库来支持里面的数据存储,那这是那个数据库的一个版本,那对应的那个模型版本的,这不用讲了对吧?那你做了一个模型,一定有一个模型优乐版,那对应的话也有对应的那个特征版本对吧?同样的你比如 比如说我做 a p p 这样一个特征,那我可能有一个同学做了一个第一版,那有一个同学做了个第二版,还有同学做了个第三版,那我现在这个模型到底用的是第几版,那我得啊很清楚才可以 对吧?那有些模型他可能啊老模型跑的效果可能还有可能比新模型好,那我可能暂时就啊不把这个老模型给啊退役下去对吧?那对应的那个老模型对应的一些特征版本呢?也就不能够退役下去 啊。在这里面的话,所以说我们线上模型一旦多起来的时候,这些所有的版本号都要有个记录在这里面才能保证。就是呃掉出来东西是对的。 那现在的话,我们一般开发节奏都比较的快哈,那我们一般在做某一个特征的时候,另另外一波同学就会在做一些啊模型,甚至在特征没有做好之前,那个模型接口就要做好 好之后去调对应的一些特征了对吧?那啊,大家在手忙脚乱在做这些东西的时候,往往就会发现就是哎,为什么版本匹配不上了啊。所以这个时候作为一个就是团队的管理成员的话啊,要做的事情就是一定要确保就大家做的东西,他的版本啊 啊,这些节奏上面要一致才能够啊,避免一些啊不必要的一些错误。那第二个呢,就是我们在做模型开发部署的时候要注意,就是说我们部署的一些环境有哪一些 啊?大多数做开发的时候呢,都会分几个重要的环境对吧?第一个是开发环境,第二个是测试环境,然后是 uvt 环境, pre product 环境跟 product 环境。那大多数公司的话都会至少有这几个环境存在。那有的话啊, test 环境和 uvt 环境可能还分好几套对吧?那个 pre product 跟 pro 大家可能也分好几套环境在这里面。那我们为什么?首先第一点是为什么要分这么多的一个环境呢?那第一个开发环境的话,基本上是每个开发人员有自己单独的一套开发环境 啊,啊,如果说啊,公司规模啊,没有说大到一定程度的话,大部分都是在自己本本级电脑上来做一部分开发,那你的环境在自己电脑上应该有一套。 那如果公司的有这个成本的话啊,能够让每个人的开发都是在云端进行的,那你那个每个人他在啊某个云端应该有自己的一个虚拟机,那你的所有的开发环境应该是在那个虚拟机上来做。

今天在回答一个之前视频里面被挑战最大的问题,大语言模型到底能不能装在手机和电脑上?应该可以的,你拥抱的呀?我给出一个信息员,感兴趣的可以自己去核实一下,是 facebook 的妈妈大语言模型 以及斯坦福根据 lama 用那个微调训练出来的 ipaca, 你们可以去自己去核实。第二个的话呢,是给大家看一下我们已经部署在个人电脑上的这个 lama, 也就是传说中的大约模型,它到底是一个什么样的?就是我们通过苹果的那个 me 的机器运行下来,那个 cp 嘛,就是最小的一个模型,然后我们问他问题呗,就是怎么去建造一个网站,对不对?我们开始运行吧,这时候我们去看看,他 开始加入模型,然后开始运行了,然后这就是他开始回答问题嘛,就是在我们这个机器上面运行,但他可能只能回答英文,他回答的能力蛮强的,这个是会比较慢的,你看八十八号就相当于一秒钟只能出十几个。 你稍微再给大家解释一下,他他在就是通过深度神经网络,通过大家们的训练找到里面的规律。我们看一个模型的时候都会有一个参数量斑马的,他出来有四个版本,一个是 tb, 然后另外就是三 b 和三十 b, 还有六十五 b。 刚才你说的那个我们运行的,我们大部分人都是说跑最小的 七 b, 七 b 一个参数它可以表示成比如三十二位浮脸型,还有就是比如说十六位的有一个功能把它又换的到整形的,然后把那个参数压缩吗?其实还是有有论知识的,他从三十二的位浮脸型往下面压,压缩成整形的时候,其实手势的精度并不是特别大,达到了百分之八十的精度,所以说还是够用的。这个时候我相信有人会评论你,听君 一起换,如今一起换,哈哈哈。第二点的话是就是手机上的门运行,我们自己没试,但是确实已经有人试出来了,其实跟我们电脑是一样的,这个是安卓的,他只是有六六 g 或者是更更大的内存吧,实际上你就是这个速度而已啊,只是说按比芯片可能会比这个上面的速度快一点吧,现在的 cpu 和内存情况就能推送出来,肯定可以考到最小的东西,七 b 的肯定可以的。 这件事对于个人来说其实意义没有那么大,但是对于企业来说意义非常大,我知道已经有企业开始用妈妈去做训练了,而且因为露出来之后把这个肺子部位也就是等于都要放开了吗?其实是故意的,其实是故意,而且他是让更多人来训练这个东西,他他作为一个开开远的项目,他一定会跑的,就像当年的林立克斯或者像那个 stepty fusion 一样。对,一定会爬上来的。

用大语言模型做应用才是正确的方向。今天给你们分享一个可以像搭积木一样构建 ai 应用的工具。 promot fro 是微软最新开源的一套开发工具,它大大简化了基于大语言模型端倒端开发 ai 应用程序的周期, 实现了从构思、圆形设计、测试评估到生产部署和监控一条龙服务。具体来说,你可以用 promote pro 把不同的工具和代码组合在一起,形成一个可以运行的工作流。接着利用 vsq 的将工作流可视化,方便你进行调试和修复问题。 特别是与大语言模型的交互部分,如果你对 python 比较熟悉,可以按照这个入门教程实践一下。另外,官方还提供了实用的案例,教你从零到一搭建和 pdf 聊天的 ai 应用。整体体验下来啊,我认为这个工具比我之前给你们分享的 province 好用不少, 我们最近也开始利用此类工具基于大于模型来开发 aibox。 如果刚好你也对 promtang new 感兴趣,欢迎一起学习交流。