今天给大家介绍一个开源框架 landflow 可视化,通过拖拉拽生成企业的模型,安装部署都很简单,只要两个命令就搞定了。启动项目后会自动打开网页访问。如果大家不知道怎么用,可以先试用一下框架提供的例子,点击 community examples, 这里有很多例子,我们随便选一个吧。选这个 pdf loader, 在 p y pdf load 这里选择我们的 pdf 文件作为数据源。 recursive character text splitter 是文本分割器,默认就行。 open aim bidens 需要配置一下 open ai api key, 它的主要功能是将分割后的文本做向量化,存到向 限量数据库 chroma, chroma 是限量数据库。 vector story 这里取个名字只能是英文字符。 vector store agent 是基于 vector store info 的数据做检索,然后再输出给大模型。 open ai 这里选择模型也要配上 open ai api key, 配好后点击右下角的图标就可以用了。在 cod 这里可以看到 r p i 调用的实力,其他系统要对接就可以参考这个 r p i 调用实力。
粉丝691获赞2195

大家好,我是卷福同学,今天来给大家讲一下 mate 最近开源的大模型 mr, 然后今天会来教大家怎么简单的部署,来玩一玩这个对话大模型。 我所有的操作都会放到我的 github 博客上,然后博客链接会放到视频的简介里面,大家也可以自行查看。 现在的话我们基于这个博客来先说一说 number two 是个啥的话,嗯,梅勒的首席 啊,首席科学家就是杨燕乐村表示的话就对他做了一些介绍嘛,懂得来说就是把他开园了,然后我们开 可以在 mate ai 上直接访问的。好,现在我们直接去他的官方网站上去看一下他的一个简介, 这上面说他是下一代开源大语言模型代码二。 嗯,对模型做了一些简单的介绍,就对比莱玛一啊,首先是训练数据方面,用了两万亿的头啃,然后上下他还有一篇论文就是专门对这个 number two 做了一个讲解,然后也和吉利斯也做了一下对比,在嗯, 论文里面提到了,就是在有用性方面是比 gpt four 更优的。我们这里的话因为电脑配置一般人电脑配置也都不够嘛, 我们直接在服务器上部署,然后我这里的话选用的是兰瑞忻州这个平台的 gpu 服务器啊,他这个的话三零九零只需要一块九一个小时就非常的便宜。然后你新用户注册的时候,你记得填一下邀请码,就 这个是我的邀请码,四幺零四可以白嫖两个小时的算力。好,接下来我们的就来简单教大家一下怎样部署和使用这个模型吧。 接下来我们在这个平台上进行操作,我们从头开始 工作,空间创建好之后先登进来,登进来之后会看到有三个目录进到 data 目录里面,然后拉满,目录已经有了, 我这里带大家从头走一遍,所以我的话先先把这个目录给他删掉, 然后拉拉一下代码, 现在我们把代码拉下来了,然后的话把把这个目录的权限改大一点,因为等会我们要直接修改文件了。 好,然后按照这个博客里写的开始安装依赖, 大概等个几十秒就安装完成了。然后我们来测试一下他的文本不全能力, 文本补全的话官方是给了一个脚本,你们可以点进来看一下,大概意思就是给了钱就咱们给了模型前半句,让模型来给我们补后半句, 那前半句就写了, hi, everyone hi, just。 后面不知道是啥了,现在我们把这一段这个脚板给执行一下,那看看模型会给我们什么内容的,补全好。现在看到模型已经给我们回复了,大概等了六十 九秒吧,看他回复的内容是啥。 hi, everyone, i just wanted to say a bigger congratulations, tim i know。 红了篮球,我要祝贺你启动了一个新的网站,我认为他看起来 很有趣,很令人激动。不管了,不过这个大模型的话现在对中文的知识不太好,然后我们现在来试一下他的那个对话能力, 这里的话我们直接修改这个 china complex completion, 就是脚本照着文档里来改一下,目录已经改过了,然后改一下这两个路径,修改为模型的绝对路径,直接照着口比一下就行, 哎,等一下直接 copy 这样, 然后 ctrl 加 s 保存一下,这个点没有了,这就说明保存成功了。然后运行这个文本就是不对话,对话脚本运行一下它, 同样的还是要等待。嗯,一两分钟吧, 我们欢迎回来。这是咱们生成回答,用了八十三秒,真是够长的啊。嗯,来看看他的回答吧, 因为这里的话,这个对话系统给他的角色是始终用表情包来回复,那最后他的回答就是一串表情包,然后我们修改一下这里的脚本,让他用中文来回复 潜力,对吧?然后保证一下,然后再重新测试一下脚本, 同样的还是估计得等待一分多钟的时间。咱们接着对话回答生成完成,这是只用了二十二毫秒,不对,用了二十二秒,看一下他的回答,祝您旅行愉和, 从北京到纽约。嗯,我给他的角色是一直用中文回答问题,但是整体的话 他的中文还是比较少,说明这个大模型的话,对咱中文的训练数据样本太少了。不过没关系,你想下载更多模型的话,可以去他的官方网站那去下载,我这里只演示了七 b 这个规格的, 你还可以演示十三 b 和七十七十 b 的那个大小的规格的数据,然后下载方法的话也都贴在博客里了。 各位先生,再讲说一点,就这个平台而言的话,刚才我从跟着哈弗下载代码失败了啊,如果下载失败的话,你可以先拉到本地上,然后这有个一个网盘,你可以上传上传文件夹,就把代码直接从这里直接上传过去, 有关那么的那么 q 的模型介绍就到这里了,后续如果有新东西的话,我会接着做视频分享给大家的,希望大家多多支持,多多关注,感谢大家。

aia 镜头目前在整个业界被认为是大模型落地最有希望的方向,市面上的 aia 镜头有很多,大部分是基于 bimapi 构建的。摩拉社区最近开源了 moscopaeigent 这个以开源大模型作为核心中枢,通过使用工具来提升大圆模型的整体能力。 今天我们花五分钟教大家如何基于开源大模型来开发一个 a 进的系统。首先我们介绍一下 a 进的,如果把大模型比作人脑中枢, a 进的就是人体。 在任务执行中,大模型负责规划调度的命令发布,由 ag 的协同各种 ai 小模型或者 api 就能够很容易将大模型实际落地到各个行业的应用场景。 接着我们看一下 agent 是如何执行任务的。用户输入请求后,摩拉 ant 会先做一系列的工具检索,比如用 户想要生成一个商品文案以及对应的商品视频介绍 a 呢,就会先去检索相关的 a p i 大模型进行规划调度,调用对应的视频生成 a p i a 型的去执行对应的一篇,然后把执行的结果返回给大模型,大模型最终整理一段回复反馈给用户,为你带来全新的 vr 视觉盛宴。 而为了完成以上任务, ant 主要调用了三个模块协同工作,以大模型为中枢,包括记忆模块和工具使用模块。大模型中枢模块主要负责任务规划调度以及回复生成。 而记忆控制模块主要包含知识检索以及 promote 管理。最后工具使用模块包含工具库以及工具检索和工具的可定制化。现在教大家怎么使用模达 aj? 首先我们打开 notebook, 将 moscopy 的代码可弄过来,打开 demo 里的这个文件,接下来我们读取环境变量文件和工具配置, 构建好后,搭建工具向量检索。这里提供了基于阿里云 darescope 引斑顶和摩拉社区开源引斑顶两种,我们这里拿 darescope 引斑顶作为演示。然后我们启动中枢大模型, 这里以 msa 镜的千万七 b 作为样例,点击直行 a 型的就会拉取七 b 的大模型进行部署。 模型部署完成后,现在我们用于构建 a g 特的工具配置工具检索大模型部署均已完成,这样我们直接完成了 a g 的系统构建。接下来我们测试下构建好的 a g 特,让它生成一张有花有酒的图片, a 景的自动检索图片生成工具生成请求,并调用相关的 api。 接下来我们看一下生成的图片, 可以看到这里很好的生成了有花有酒的一个高清大图。接下来我们给大家演示一下怎么基于摩大 aj 的使用检索工具构建行业问答。在 notebook 里打开另一个文件,读取环境变量和工具配置部署大模型 到这里的操作和刚才演示的是一样的。 接着我们需要配置向量检索服务,这里拿摩达社区开源的 corel 文本向量模型来演示。 构建好向量服务后,我们导入摩大社区的知识文档以及对应的切分工具切分知识库文件, 然后将文件和支库服务导入近开源的向量检索工具 face 向量检索引擎构建完毕,我们测试一下向量检索引擎召回的效果,问他一个摩纳社区相关的问题,比如 model scop 模型可以在互联网使用吗? 我们看一下 ad 的调用知识库前的回答,可以看到里面存在着大量的知识幻觉。他说摩拉社区很多模型都支持非网络下使用,这是不正确的。然后再看知识库调用完成后的回答, 这下回答正确。未来摩达 a 进程还会接入更多的开元大模型,以及开放更多基于摩达 a 进程开发的应用,包括个人助力分身、 sora 进程、 智能导演助理等等。也欢迎大家将摩达 a 进展用于工业制造、游戏开发、智能互联等各行各业。

最近, visa d m m 团队开源了一款全新的代码大模型 visa dakota, 它打破了碧源辅助编程模型的垄断地位,显著超越 crowder 与谷歌 burden, 获得广泛关注。这个视频主要分享如何在本地部署体验。 visa dakota 最新的微册的 cod 主要有三十四 b 和十五 b 两个版本,他们都是通过 evo instruct 方法训练的。 其中三十四 b 版本在 human ever 测试中得分为七十三点二,并可稳定附线,仅次于 chat tpt, 是最新得分 高于 t x c p t 三点五和壳腰带等臂圆模型。另外还有个十三 b 模型,得分六十四,排名第八,性能也很不错。目前该项目已在迪克 开源,并给出了 demo, 可以体验与使用。先体验一下 demo, 随机选一个立特的高难度题进行测试,然后再分享如何本地部署使用。 由于是体验 demo, 这里需要等几秒钟将结果复制早恋后的,并调整一下格式 提交验证完美通过。接下来我们看一下如何在本地附属规则的 coder。 首先要根据自己的机器性能选择合适的模型。官方模型都是 十六比较吃现存,如果电脑配置比较低,可以选择量化版本。我们可以在哈丁 face 上找到 golf 格式的量化模型。 golf 格式是 lama cpp, 新推出的格式将会取代 g g m l, 相比于 g g m l, gap 格式具有更好的拓展性,并且支持保存更多元数据,包括 top t v c 甚代码及特殊 top guns 等。目前支持 gap 的有 lawma cdp、 text generation、 my v e, 偷画的 c d p 等。 这里我们使用 text generation level, 只需要下载对应系统的压缩包, 解压后点击启动脚本,等待安装完成就可以了, 我这里之前安装过就不再演示。之后我们选择对应的量化模型进行下载,可以看到相比于原模型,量化模型会显得 占用要小很多。根据自己的机器配置选择合适版本的量化模型并下载。下载完成后,将模型移动到 text jenna, 一首 mapping the model 键加下,然后点击启动小本,等待程序启动。 点击 url 打开 vip u i 页面, 在 model 这里选择我们刚才下载好的模型,点击加载,等待模型加载完成。 加载完成后就可以在开界面进行兑换了。 以上就是在本地部署使用最强开源辅助编程模型 vsadcoder 的部分内容, 后续可以将模型接触 discount 等。二、第一周将使用 gitacopopi 的提养辅助编程,提升开发效率。免费且无互联网的编程入手,你期待吗?

交流一下怎么样让个 ai 能够产生的这个中文的这种内容,或者这中文的文章类似于像这个人类的这种写作水平。因为我上次讲过一篇,主要是能够产生这个文章,能够达到这个人类的这个写作水平,是通过英文产生的。 我也在思考一个问题,能不能通过中文产生我们能够产生的这些中文,能不能像这个人写的 就是英文?如果能做得到中文能不能做得到?我今天沿着上次的哈根 face 的这样的一个思路,找到了他们这样一个开源的这样的一个项目,这个项目在 disturb 上面叫 s i m c t g 这样一个项,项目里面的话呢,它也是二零二二年 他们发了一些比较著名的一些后,他要对比的一个社区,然后产生从那个神经网络里面产生这种内容。啊,这篇文章还是有价值,非常有价值。我看到他在这个 news 里面, 我看到腾讯智能创作的助手,他其实底层的技术,当然他有一部分也用了这家这个开源的叫 c t g 的这样的一个技术。所以我们可以看到腾讯智能创作助手,我也看了一下,他这个里面也用到了这个开源的这个技术, 就是智能创作助手。我自己也试了一下,还可以,也不是太难。所以我今天跟大家主要是介绍这部分怎么产生中文。 那么往下效果,我们先看一下效果,效果大家看到我用了一个 gpg two 的这样的一个模型,然后他是用中文训练的,训练完之后我给了他一点提示,这个提示主要是上海是中国, 后面就没有了他,他就我写了一段代码之后,他就会自动的产生。上海是中国最早对外开放的城市之一,也是中国近代工业发发祥地之一,中国素有东方巴黎的美誉,历史上曾有 过富甲一方的著名的人物在此定居生活。如如今上海已成为一座国际化大大都市,具有深厚的近代文化底蕴和众多的历史古迹、 风景名胜和自然风光。在这里我们可以看到江南水乡的宁静与秀秀美,感受到在这个都市的繁华与时尚,触摸到传统与现代交融的是他,就是我给他五个字,上海说他后面就产生了一堆,我看了一下,他比我写的好,嗯,他比我要写的要好。 那么今天的话呢?我是个讲,就是这个是怎么,这个是怎么做到的?他核心是用了那个 g p t two 的一个那个中文的一个模型,再加上我前面讲的那个项目,开开源的那个项目里面的一个叫对比搜索算法,他通过这个两者产生的这样的一个中文,他写出来的文章就会非常漂亮。我们来看一下啊,我用的是 哪个模型?因为你要产生中文的,其实我们有两两种方案的,两种方案的就一种的,我们通过 ai 产生英文,英文产生翻译成中文,这是一种方案。还有一种方案,你底层用的这个模型,它本身是用中文构建, 那么你产生的这些文字就不需要翻译,立刻马上变成中文。就像我前面给大家看到,那么我现在用的这个模型也是开源的,呃,它一个中国有一个开源的叫封神榜的大型模型,我用了它里面有一个叫文仲系列,文仲系列就是它拷贝了那个 g p t two 的这样的一个模型, 因为 g p d two 的这个模型是 a 元的,所以的话呢,中国人就把它拿过来呢,再喂给他很多的这个中文的语料,然后生成了这样一个叫文众 g p d two 呃的一起这样的一个模型,那么这个模型的话呢,力量也是非常大的,我看了一下他的官方的介绍,他在这个 上面哈根 face 上也是有介绍的,因为它是个开源的,它这个模型主要是是一个通用的 n l p 的这样的一个模型,它的整个一个模型参数达到大概三十五亿,还是蛮大的,所以我前面跑的那段代码它还是要花点时间的,我看了下,大概花了三分钟它能才能产生那那一那一段话, 他的整个模型他大概为了多少数据?我看一下他这边说是他为了数据大概是在三百个 g, 他用那个他,他们这个有一个叫五五道的这样的一个中文的一个语料库,大概整体的数量是在三百个 gb, 然后再进行训练,然后训练出来一个模型啊,它是与它的参数跟 g p two, g g p t two 的二的这样的一个模型是完全一样的,只是分数比它稍微更大一点,它的参数要比 g p t 的那个 x l 的那个模型要更大,差不多是这样,所以它生成出来的话,我看效果还是不 错的,我自己看了一下,效果还是可以的,我用的是这个模型啊,好,再给大家看一下,就是这个模型,因为是中国人的吗?我就再讲一下他这个封神榜里面还有哪些其他的系列的,中文的与与训练的这样的一个开源的模型。 他他有很多系列,什么啊?什么系列啊,蓝灯系列啊,泰语啊,这个语言啊等等。呃,中啊,我稍微跟大家讲一下啊,这个我们在做各种各样的应用场景的时候是用得到的啊,就是我前面讲的最简单的,对吧?就是产生中文的文章,你是可以可以用得到的,他还可以用在哪里啊?还可以用在就是阅读理解, 然后对话,对话的产生,还有一个羽翼的纠错,包括,当然还有一些就是比较简单的什么什么关系的抽取,什么实体的识别啊,这个是标准的 n l, 是自然语言处理的一些最简单的包括,呃,本生成图片啊,有一个叫太乙系列的, 他也能做的出来的。他他是拷贝了那个 stand by diffusion 的这样的一个模型,他就喂给他中文,他就能够中文和图片都喂给他,那就能自动的能够输入中文产生图片,他的基本的模型就是 stand by diffusion 的这个模型。好吧, 这个是他的硬场景,我给大家稍微介绍一下他的这个几个系列,一个呢叫二郎神,二郎神他是拷贝了那个 google 的他的一个模型的,呃,会员的,也是 google 开源的,那么他也为了他中文啊,那么有这样的一个中文领域里面最大的那个 boot 的这样的一个模型。这个是二郎神系列 语言系列的,他主要是为的是一些那个医疗领域的那些数据,所以他的语言系列他就具备了一些问答医疗方面的问题,据说他的准确度,准确度啊,他要达到百分之九十啊,就问他一些问题,这是都是医疗方面的啊,答你准确度高达百分之九十啊,是这样啊,这个叫语言系列,还有 这个呢,叫周文王系列,他是也是跟一家科技公司去联合开发的,也是一个新结构的大模型,他们做了一个新的一个模型,这个模型是中中国人自己研发的,他跟那个 bot, 跟什么 transformer, 跟后面讲的那个 g p t 的结构啊,叫周文王,前面用的这个叫文系列,文众系列的话呢,它的模型是 cobeco, 但是为了是中文啊,它的文众系列还有个叫蓝灯系列,蓝灯是这里面的主流模型,就是 transformer 的这个 g p t 三的这样的一个背后就是用 transformer 的这个模型,它叫蓝灯系列啊,还有叫比干系列,它主要是做那个任务纠错的啊,大概跟大家讲一讲啊,封神榜, 中国一大开源的这样的一个中文语言与训练模型里面,他到底提供哪些模型?这些模型的话呢,都有不同的用途,大家都可以去,如果有兴趣的话呢,也可以看一下。好,这个是模型给大家介绍完了,模型应用介绍 完了,我们还是来看一些,讲的稍微再深一点,再看一下他开源的这样的一个项目,开开源的这个项目,因为第一个模型我们已经有了预训练模型,别人已经帮我们训练好了,关键是你要用这个一个对比的一个搜索算法,你看看是怎么样写? 呃,拍审的这个 aps 到底是怎么用?好吧,这个我跟大家讲一下。这个网址的话呢,是在 gitch up 上面的,回头如果大家有兴趣,我也可以打给大家,我们看看啊。这个代码是怎么写的?还是比较简单的, 这个是我之前讲过的,安装的是那个哈根 face 的这个 transformers 的这样的一个内裤,只要四点四点零,它这个版本,这安装这个内裤它有什么好处呢?它里面有几百种的这种模型,它其实都可以通过这个内裤直接引用,直接调用 它会非常方便,如果你本地没有这个预训练模型,它会下自动的去帮你下载装载,它所调用的 a、 p, i 都是一样的,这个就会很方便,我们可以看 它是怎么来写的,上次其实我们也是讲过了,我就简单过一下这个 modern name, 它它这个英文是用 g p t two 杠 large, 那么我们如果是用中文,对吧?我们前面讲过的, 我们用的这个模型就是这个文重系列,对吧?文重二点零,杠 g b d two 杠三点五, b 杠 chinese。 用这个模型就是唯一不一样的,就是这个 model name 不一样,其他都一样,其他都一样, 怎么调用?其他都一样,那么他这个这个托肯对怎么把它切词,把这个 model, 把它给下载下来?欲欲训练的模型,他给了一个词,如果是英文,那么你打的是英文,如果你是中文,那你欲训练的话,你输入中文就可以了,你就让他输出,当然他会计算。 这个里面有两个参数,上次我也是讲过的,一个叫零点六,零点六是什么?还有一个叫 top k 四,就是相邻的这个里面你取四个这个往下数四个子类,它等于是这样,那么零点六 他这个里面是这样的,你原来的这个输入的这个词,你给他的这个提示,他会慢慢的衰减,他有个衰减函数的,衰减函数的比例是零点六,他的是这样,所以你不断的产生新的这个文字,新的文字越越产生新的,他的衰减率就越低,你 越在前面产生的他这个词就越少,所以这个就是他这个对比搜索的这样一个能力,他可以比比较好的,能够把这个词 能够像人一样写作一样,能够不断的写下去,而不像一个模板。我之我之前跟大家讲过的,如果一般原来没有这种算法的,他写出来的东西非常像模板,什么上海是中国的,什么什么上海是中国的,什么什么,他就一直围着这个在转,他等于是这样 啊,然后参数如果那个的话呢,也可以调,然后呢这个参数叫 max lands, 就是你产生文本的这个数量啊,你写的是五幺二啊,他就算个几分钟之后,他就自动能 能够产生的,产生的一段是产生的市场的,我就把它翻成,在百度上面翻成中文,你可以看到他这边翻出了中文,写出来的字真是非常好,我觉得他的写作水平真是可以比我还是要强一点啊,这怎么用啊?还是比较简单呢,那么我在这个是产生的是文档,按下他可以产生对话, 就是像那个恰,就是你在这个人跟机器不断的对话,你可以把人和机器的这个对话都输入在 你的这个,呃,就作为一个提示输入在前面,然后呢?它自动会产生新的这个对话,他等于是这样,他也有一个例子,这例子是讲了这个,大家看一下啊,这个挺好玩的,我觉得这个是讲了一个能和 我,我来看一下,我,我觉得挺好玩的。他他他这,他给他提示说,就是有一个人跟自人的自由女女女神像之间的聊天,他给 他一个提示,人就问他的你叫什么名字?那个那个雕塑就说,我是自由女神像,你住在哪里?那个雕塑说,这个我住在纽约,人呢,又说,你住那里多久了?好,这个就是提示你告诉这个机器 ai 的模型,他他妈神很想神奇,他会告诉你,他告诉你,他也模拟前面的这个对话的这个过程,他会告诉你,啊,我看了觉得太神奇了,这,哎,前面是一样的。他,他会问你住那边多久了?他说,自从一八八四年以来我就住那边了。人,人类问他,就是你为什么来美国?这个都是自动产生的。 他那个雕塑说,我是被法国送给美国的,作为在普法战争期间帮助法国人的礼物。然后人类又问他,你觉得美国怎么样?雕塑说,我很喜欢他,他是世界上最伟大的国家之一。然后人类又问他,纽约的天气怎么样?他说 很冷。然后人类又问他,晚上四处走动安全吗?是的,到处是警察。然后人类又问他,你有小孩吗?雕像说,还没有,我的底盘是空的。然后人类又问他,你想对那些移民美国的人说什么? 他说你过来,你在这里会很开心的,我们有你需要的一切。这个他的那个那个 ai 产生的这个内容我觉得也挺好玩的。这个后面我讲的都是他自动产生的,他就是用了 gpd two 的这样的一个模型,再加上一个对比算法,他就能产生这些好玩的东西,我觉得也挺有意思的。他这个好, 呃,今天的话呢,就是我如果大家有兴趣,我觉得还是可以看一下唱有意思,哎,我觉得非常有有有,有一点意思的啊。那么这里面他他这个里面我们要如果用欲训练模型,我们要看一下他到底是文档产生,还是用的是一个开放的一个对话的产生。你要看一下他两个欲训 模型是不一样的,你用的时候,然后他有这种语言,到底是,呃,还是那个近视的,他的也是这样。还有呢就是说有些模型那就是多语言,就是几十种语言都可以,你你给他中文、英文他都可以帮你,这个他轮流的去跟你讲啊,这个还不是最先进的这个模型,我只是跟大家讲一下。

大家好,我是浙江科友信息工程股份有限公司王菲,今天给大家介绍一款基于夹瓦开元的快速开发工具,叫 mh 口 aps。 嗯,一般来说后端接口开发使用的都是 nbc 模式,在使用布特。呃,来说,正常开发一个接口,从 ctrl 的层开始对参数进行交易和处理,然后在十二个层实现业务逻辑,呃,最后在 do 层实现数据的存取。 在项目的开发过程中,每个接口都需要重复的去定义 ctrl c、 c, 过程会有很多重复性的劳动。今天介绍的这款快速开发工具不需要重复的定义 ctrl、 c、 v、 d、 o、 map 等夹我的对象就可以实现简单接口的开发,让开发人员专注于业务逻辑的时, 可以大大的提升开发的效率。接下来让我们学习一下他是怎么操作的吧。 在我们实际使用项目中加入麦就可以 pi, 那也很简单,第一步,先在破文件里面加入麦就可以 pi 的依赖, 然后第二步,在配置文件中配置麦就可以 pi 编辑器的路由,然后再启动我们的项目就完成了麦就可以 pi 的配置,然后在浏览器之中输入呃,配置的麦就可以 pi 后台的地址就可以返还到麦就可以 pi 自带的编辑器。 嗯,我们先学习一下怎么获取到前端请求的参数,一般来说参数分成两种,第一种是 url 或者是放表单参数啊,这种情况麦克扣 api 会自动根据前端的参数 生成相同名字的变量名,我们直接获取变量名就行了。嗯,举个例子,目前请求的是直接加在 uru 上的参数,我们可以直接获取到对应的 内容。第二种情况是通过放表单提交的,放表单提交的参数也是直接通过参数名就可以获取到对应的参数。 第二种情况是通过呃 body 提交的,节省场所 博得提交的结算参数的话,那就可以避害会帮你解析成博得这个变量,然后直接通过获取博得下面的对应参数名,就可以获取到参数。 比如说这个例子中的 a 就可以通过波点点 a 就可以获取到 a 中的内容, 那就可以拍。实现业务逻辑也非常简单,直接写社会语句,然后执行社会语句就可以了。比如说当前立志中,我想要查询质量表的所有的内容,我只需要写社会语句,然后执行就可以实现我想要的功能。 并且它是自带分页的,默认参数是配角和塞子,比如说目前配置和塞子都是一,它采取的就是第一条, 当然他也支持手动分页的情况, 比如说我现在需要查两条,从第零条开始查两条,我改完之后保存,目前返回的就是两条。但让他还提供一个很方便的,就是转为投封式方式, 目前不是驼峰式的,修改为转为驼峰式方式之后,保存一下,他就转自动转为了驼峰式方式。 对于实际业务中经常需要用到的事物,买九个 api 也是支持的,他支持两种事物显示,第一种是自动事物, 第二种是手动失误,手动失误的话需要自己判断呃异常之后,然后进行事务回滚,那就可以偏爱又可以很方便的就要用夹腕写的方法,先引路对 音的 seven, 然后直接调用 seven 下面的方法就可以实现, 比如说目前的这个史莱克的版 id 方法,就可以直接返回这个方法对应的数据。 magical api 写的接口也可以很方便的被夹瓦吊用,比如说我们夹瓦中有一个 tes 的接口,需要调用 matchcoapi 的靠射扣接口。第一步我们先引入 magicoapi server, 然后直接调用麦九葵 b i 的接口就行了,第一个参数是接口类型 gat 或者 post, 第二个是接口陆游,第三个是参数,这样就可以直接实现假瓦吊用麦九葵 b i 写的接口, 比如说我们这个泰泰式的接口就已经实现了,就要用 a 就可以 pi, 那有一个最大的好处就是改完及时生效,我们不需要去重启项目,比如说目前这个接口我们是非驼峰方式的, 改完之后直接保存,也不需要去重启项目,就直接改为了图公式方式。 那这块 api 呢?也支持一些逻辑操作的基础语法,比如说易辅语法,或者前面刚看到过的拆开局语法,或者是负循环或者 yo 循环等等的一些基础语法。在实际生产过程中 使用白纸口 api 确实可以大大的提升开发效率,让开发人员真正的能够专注于业务逻辑的开发。好,今天我们的分享就到这里,谢谢。

ai 界的安卓系统正式开源了,羊驼二可以称之上目前开源系统中最强的 ai 大语言模型,而且可免费商用。今天老张教大家如何把羊驼二部署到你的本地,咱们提前体验一下。首先看一下效果,可以直接将拉玛尔部署到咱们的本地电脑上, 根据您电脑性能不同,咱们可以选择不同的版本,性能越强,它的效果也就越好。接下来老张教大家如何轻松的把它部署到你的本地,咱们提前体验一下辣么二究竟有多强大。首先第一步,咱们可以去 dd hop 网站中搜索 test 杠 generation 杠外部 ui, 要这样的一款 ui 工具, 咱们可以往下去拉,找到最底端的这个下载选项,根据您的电脑系统进行下载。下载完成以后,直接将压缩包解压出来,然后双击进入,然后选择 start 杠温 六字典 b a t 这个文件双击打开。如果过程当中有任何问题,欢迎在评论区当中进行留言,老张会给大家一一解答。好的,安装成功以后呢,咱们会发现他会自动的给您产生一个 test 杠,占地 recent 杠 y b u i 拿到他以后,咱们不要着急启动。 老张呢给大家提供了这样的一个拉马尔七 b 的一个语言包模型,如果您这边说老张我自己想下载,我去哪下呢? 可以直接去这个憨狗 face 上找到这个 mate lamar 这样的一个文件,然后选择您对应的版本,因为它本身是三个模型嘛。七 b 十三 b 七十 b, 根据您的显卡进行选择,如果您是第一次打开这个网站,会让您先去做一个申请,因为我这边已经申请过了,咱们可以直接选择文件和版本,然后可以在这直接进行对应的下载,这是第一个下载方式,第二个下载方式可以直接 下载对应的版本,注意咱们的版本后缀是 ggml 这样的一个版本信息。当然如果说你说老张我什么都不想下,我只想体验一下所有东西,我会给大家打包整理好,到时候你可以直接在老张这进行领取。 ok, 然后这个地方都配置完成以后,咱们再次的双击打开,如果双击过程当中爆了一些错误,咱们可以先尝试更新一下对吧?这有一个更新系统,然后双击打开,当咱们打开之后,他会弹出一个 uil htvp, 冒号幺二,七点零点一,冒号七九零八,证明咱们这次启动是完全 ok 的, 咱们就可以直接打开您本地的浏览器,直接启动就可以,启动完成之后不能直接使用。注意上方有一个 model 啊,这个这模型对吧?把模型这个位置一定要选择咱们的这个拉吗?二,这样的一款模型,这款模型 咱们放在哪呢?放在咱们 test 杠 generation 杠外的 ui 的文件夹中,有一个 models 文件夹,把这个模型放到这个里面,我会给大家把模型提供,你直接拽进来就可以,然后在这个位置选择模型,一定要选择复合,然后再点击刷新, 刷新之后回到这就可以轻松的进行聊天了啊。因为现在这个羊驼二呢,他刚刚开源,对中文呢还是不太理解的,所以说咱们不要担心,你先把他部署上,后续都会逐一更新的。

好,这一节我们分享一个开源项目。这个开源项目呢叫这个 magic 杠 a p i, 主要是用于生成像 spring 工程的,像这 controller 啊, service 啊, d a o 啊, v o 啊等等它这种一一整套的一种接口,而无需你自己去手中的一个个去编写。这样的内啊,就是基于在线的一个外比 y 啊,就可以完成。 好,那接下来我们先把这个工程的搭建起来。呃,简单演示下的一个效果啊。 这里呢呃,要用了它啊。我们首先得创建一个 spring boot 的一个工程, spring, 你这个如果用用这种方式,你得保证啊,你能够防止它。 这里就讲 c s m。 这里面呢就叫 magic magic 啊。 api 啊, tab, 我们选择 main 啊,不要用这个 就不要用这个 go window 了啊。 package 还是加班儿的这样一种方式。这面我们什么东西都不加啊。我们自己手中的添加这个依赖就选择三点零点五 这我们就放到这个 open source projects 最下面的 magic 杠 o p i a p i 杠 demo 选择 finish。 那这个时候它就应该打开它,让我们检查一下它的一个 main one 的这个配置啊。 set 电视里面看一下这个 miwen, 不然他这里用了内置的。我们把这里面可以改一下, 改成空腹。 嗯,破。 这个时候他就会去下载这个 uni。 三点零点五 今天就简单的只弄了两个依赖和一个插件啊,就一个,相当于是一个空的工程 啊。接下来我们来引入啊,引入他的这个依赖啊。依赖呢,就 是我们在 dependencies 里面来添加,就添加在这下面加 worsen。 这里面还选择我们用八的方式,习惯了用八 这 dependency 等他,等他下载这个 eli 啊,等一会儿 啊。这个依奈算是下载完成了。这里用的八是用的版本二点三点七啊,还是使用熟悉的这个配方啊。 在这里我们来添加这个,它的一个依赖啊。是 dependency, 我们来加这个, 它提供了这样的一个 starter magic magic 看那片,也就说我们要想使用它,就是呃引入它的一个泡沫依赖就可以了。 逻辑他都写到这个架房里面去了。 star 它的个入盘 id, 也就是这个挖掘机 bug s 版本,我们给它一个版本 worship。 嗯,二点一点零根据它 get up 上面的啊, 那我们就把这个应该把它给拉取下来,如果拉取成功,他这里就不是红色的。 好,我们接着写需要的音呢。也就是说我们除了要有这个啊,还得加上那个 web。 因为我们是一个 web 工程,所以我们要引入这个 springs web starter 啊。 spring up on left group 跟它的一样的 group id 版本号,那也就是跟它一样的。但这都无需导入了, 我们还需要连接数据库,所以我们需要 j d b c。 dependency 这里就写 spring boot starter 啊,还是 j d b c 跟那个外部一样的 boot starter。 j d b c there you go 除了这个 g d b c 这一块儿的,一个一个中间价 啊。那我们还得要把这个呃驱动来,一起弄过来。就是 my soccer, 我们这里用 my soccer 啊,就是 my soccer connect collector 杠加瓦,它就是这个。 嗯, myself 这里 worship 我们就八点零点儿二七用这个版本儿,您破了一下。 接下来就是呃 e nine 这一块我们已经解决了。呃,如何判断呢?也就是你这里点击运行它,如果 不能正常输出啊,那就说明你的没问题。但是现在我们这里面是主要是数据库啊,数据库这块我们还没配。 myserk 这块怎么配呢?就是在这个最里面,我们把它的这个文件的后缀改一下,因为现在流行都是用这个 样本的方式,就是我们改成 ym。 在这次里面来配置配置这个比如说我们要监听的端口,与 sewer port 打比方,我们就监听在九九九九这个端口配置一下。 magic magic 杠 a p i 有 wive 这个路径,也就相当于我们工程起来之后就是卖访问。这个就可以打开这个在线的 ui 的一个配置界面。 这是就是外部页面的一个入口。 resource。 resource 这里就是配置文件的一个路径,我们配到哪去? location location, 你给一个路径,这里也可以存到这个。呃,数据库啊, redis 当中啊。 你让我们的配置文件存到哪去?他说或者你就 存到。嗯,存到哦,存到。这个桌面啊, 桌面建一个 data 目录。 magic 杠 a p i 那么关于这个 magic api 的这个配置就已经配置完成了。但是我们要使用数据库,所以 spring 我们要配置它的 dissource。 对硕士是 o u r c 一点 driver class name 就用 my circle 的这个。这个连接 g d b c 的 driver。 driver 驱动。 yo l yoi l 这里就是 a b c。 let's look ok post 待会儿用 darker 啊,来起一个起一个 nice 的一个容器,那你就 magic api 啊。 lemo 这是它数据库的一个名称, 这是就是连接数据库 mask 数据库这块一些一些参数。我们在这 low little use her name possible work。 那这个时候我们再来创建一个, 看有没有 mac 法啊。 那就创给你 杠一这个 就用最新的这个 master 来创建一个。 或者是查询一下 max right, 还有八点零点三零,所以这里是八点零点三零。 演示一下。 哦,忘了给他一个内容,其实无所谓, 删掉。又给一个类目呢,方便操作一下。方便操作问题是 let's open and sit back up。 六、就跟配置放 p in space, 那就是我们这里连接那个库,我们就把这个库给创建起来。 no, 那么这个库卖这个 a p i 杠 demo, 这个库就已经创建成功了,也就 my soccer staker 就已经准备成功了。那接下来我们来打开它 啊,它这里就已经有提示了。那几个 a p i 为什么是二点一点零?因为我们这里指定的就是这个二点一点零。 它让我们访问 no host 嗯接口本地地址接口外部地址接口配置平台其实我们就是点击这儿啊。 那么这个就打开了这个页面,我们把它全屏啊,你看九九九九 magic web index index 点 h t m r 好,那接下来我们就基于这个来 创建一个接口啊。 我们首先在这接口这里接口这里 应该可以创建一个分组啊,创建一个分组。然后这个分组就叫 test 啊 test 创建分组这个分组右击这个分组,我们来创建一个接口啊。这个接口 在接口里面我们来输入 一个 secure 语句啊,一个 secure 语句 里面就写 secure 了 sex。 哦,对了, 我们在那个数据库里面,我们还是得先得建一张表啊,我们要基于这个表来进行操作,你可以用客户端,也可以用命令行的方式。那我们就 use 这个 third base。 到这儿,我们来创建一个 table rate table next late。 我们简单起见就见两次段,一个 id, id 就 big int, 那 primary k, 这是一个。再进一个内幕字段,内幕字段瓦叉儿类型 长度给他一百。 快捷完成之后 instar in two test date values。 嗯 嗯,点这条,然后再建一个 二 啊,有两条数据,那我们就要基于这两条数据来创建他的一个真善改查的借口。 你把这个鱼写在这了。 呃,这里面你就不要 给它这个分号。在这 return 的时候,我们就是 d b, 点 select 啊, a b, 你看大写提示 snack。 我们把这个 circle 粘进来, 就是你上面这个 circle 粘进来。好,这是接口 接口啊,这里还有接口的名称啊,接口名称 这个名称。然后我就叫测试测试接口路径,接口路径就叫 test test。 好,这个时候我们来访问一下,访问一下这个, 点击这个运行这里右上角啊,或者 ctrl 加 q, 你看这个时候他就可以把你的这个数据给查询出来。总共两条数据对吧?两条数据都给你查询出来。 或者你用 q r r postman 也可以。对这个接口路径,这个接口路径就是呃,你在这儿写的这个接口,这个测试这个接口, 它这里面这个路径就是我们杠 test contest 啊。一个分组分组下面这个分组看到没有,就是在这 最新收的。 看这个就是不是很简单啊。好,这是主要是这个工具的一个演示啊,一个演示, 也就是说你这个接口他现在都已经给你生成了。你在外面访问访问这个的话,人说这就叫 log host, 九九九九,你前端访问肯定是这种细节嘛。 test 给大家演示一下 your test, 你看这是不是也拿到这个数据了。 那这个接口在哪呢?这个接口肯定他是已经给你生成了,你就是通过这里面啊,通过这里面他就已经帮 把你这个帮助把你这个一整套接口。康啊,就是 mvc 啊这种所有的三层的这种接口,他全部给你生成的。 controller, service deo 啊, 包括你需要的 povo 啊,他都都给你生成了。生成之后你就可以在前端你通过这个界面,你就可以来进行一个查询了。听到没有, 你查询他是他就把你数据库里面数据给你访问了。以前呢,只需要配置这个路径就不就行了吗?啊好,就是这节内容。

腾讯开源的的作品 a p i josen, 这是一种专门为 a p i 而生的 josen 网络传输协议,以及基于这套协议实现的 orang 库。对后端来说,它能提供万能通用接口大部分 h t d p a p i 不用再写了, 并且可以做到零代码增商改查,还可以自动生成文档,不用再编写和维护文档。对于前端来说,可以不用再向后端催接口求文档,并且数据和结构完全定制,要啥有啥,点赞收藏用起来吧。

如何把已有数据用 api 的方式对外提供服务呢?马上安排使用接口套件,先创建一个外部用户为其分配公要和私要,再利用接口引擎,根据需求规划一个对外开放的数据接口, 你可以灵活的配置输入和输出模型,在为刚创建的用户授权。最后让我们用 a p i post 工具看看效果吧,搞定!

还在寻找免费 api? 关注这两个库就够了。第一个,这个是 d top 上最大最全的公共免费 api 聚合列表,涵盖了各式各样的 api, 绝大部分你感兴趣的内容都可以在这里找到对应的 ap。 第二个,同样包含种类多样的 api, 而且还有中文版本的注视,同时也囊括很多国内的公共 api 接口,实用性更好一点。点赞收藏学习吧!

今天再给大家介绍一下小公椅的企业开源大模型的这样一个解决方案啊,因为有很多网友在问我啊,你们小公椅到底做什么的啊?那么我们呢?就把这个呃,我就今天就介绍一下啊,目前的话呢,就是大模型,呃, 他应用的场景还是非常多的,我之前也是介绍过的啊。企业啊,哦,企业主要还是要聚焦于他要服务内部和外部的客户,通过一些 ai 的一些工具啊,要赋能给这些员工也好,还是外部客户也好,这个是比较重要。总理呢,本身有一个 智能问答的这样一个产品啊,它的背后的话呢,它是用了一个开源的这样的一个大模型啊,目前我们可以用的是在中国那个像智图 ai 的恰特 glm 二代啊,杠六 b 的这个模型,包括通一千问的啊,阿里通一千问的,包括那个百川十三 b 的这些中文模型,它其实都是可以用的啊。当然你 也是可以用那个商业的一些 obai 的一些 api 啊,也是可以支持的我们整个一个应用。那么我们跟其他的不一样的地方,主要还是接入了企业的这个知识库啊,我们通过一个适量的一个数据库啊,能够跟大模型能够结合起来, 让这个客户呃内部用户或者外部用户,他在跟这个模型在在做这些应用的时候,他会发现他的这些回答跟这个企业是密切相关的,跟他这个行业是比较相关性的啊。他是这样啊,企业的这个实量数据库呢,也是可以通过一些文本啊, 像一些 pdf 文档啊,视频,包括声音啊,图片啊,都可以导入到这个史量数据库里面去,他这个系统自动的就会把呃史量的这个知识点都能够把它沉淀下来,沉淀下来啊。当用户问一些问题的时候,他就能很好的呃找到这些最匹配的这些相关性的一些知识点,跟这个大模型结合,去回答用户的一些问。 他主要我们实现的是这样的一个应用场景啊。那么这个应用场景企业关注的点主要是什么呢?我上次也是介绍过的第一个的话呢,就是企业会比较关注你目前的这个开源大模型啊,性能到底行不行啊? 从目前的这个技术来看的话,如果大家经常看我视频,大家就清楚,就是目前开源的这个大模型,它这个性能呢,就越来越逼近于这个 gpd 四的性能。包括现在开源出来的这些模型,它的网络也是越来越大,那么网络越大,它的性能也就越强啊。像最近公布的飞音一千八百亿的这个参数,已经在某些性能上已经超过了 gpd 三点五啊, 逼近这个 g p 四的这样一些能力。如果你在做一些行业化的一些定制化的一些应用的话,变成一个行业模型的话,那么它在总体性能上应该是可以接近甚至超过 g p 四的这样一个能力啊。这个是当然,中国的话呢,目前也有一些榜榜单啊,也会公布,定期的会公布一些呃 比较好的一些模型的基础的这个测评的这个情况,我们现在一些企业大部分还是用一些开源的这样的一些模型,因为这些模型的话基本上可以商用,而且不需要付任何费用啊,而且可以在这个基础上进行微调啊,又可以独立部署,对这个数据隐私的这个保护会比较好。所以这个是我们 企业一般会比较关注的啊。那么企业关注的第二个的点,主要就是他要能够用得起。虽然现在模型很多啊, 是你要有一个高效的这样一个推理的这样一个性能啊,那我能够保证你这个尽可能用少量的这个 gpu, 因为现在 gpu 的价格就很贵, 一块 a 一百的这个 gpu, 那叫十五万啊,十几万,呃,成本是非常高的啊。那么像小工艺的话呢,这种解决方案呢,它主要是集成了很多开源的这样的一些呃优化的一些算法,保证让一些模型啊,它的推理性能能够提升 二十倍,十倍。他这样我们对我们企业来讲,那么这个就一块 gpu, 就相当于二十块在用啊,他的这个消费比和性价比,他就马上就出来了啊。如果你自己去做了,因为就是有各种各样的原因吧,你要去摸索各种各样的集成的一些算法啊,那你要花费相当大的代价啊。 这个是企业关注点,一个是要用性能要好,第二个要能用得起。现在的话呢,基本上能够用得起。目前如果你是简单的一些应用的话,一般 gpu 你用到 四零九零,基本上降一万五左右的一块 gpu, 基本上你这个应用就可以跑起来了。现在我们可以优化到这种程度啊。所以对企业来讲的话,现在成本也不是太高,独立部署的成本也不是太高了啊。 三个呢,企业会比较关注我们的这个,你做的这些应用啊,包括小工艺做的这些智能问答的这些应用啊,他能不能非常好的能够,如果我发现我的这个开源的这些模型不是太好的话,能不能 切换到无缝的切换到这种 chat g p t 或者 g p t 四的这些应用上去啊,这个是完全是可以的,我们也已经做到了。因为我们现在的这些应用基本上都是跟 oba、 ai 的 a p i 都完全兼容啊。你可以用你自己独立部署的 g p u, 你也可以用云端的这个 g p u, 甚至你可以直接调用 chat g p t 的这些 a p i 啊,它完全是能够兼容的啊,你的应用不需要做任何更改,而且对你的用户来讲是没有任何感知的啊。所以对我们来讲的话,有些应用可以用 比较高阶的这种 bpi 啊,那么这个可能费用会比较高。但有些应用,它其实用一些本地部署的这种 gpu, 它的成本会更低啊,而且可以让企业就大规模普及啊,赋能给我们的内部员工和外部客户,他等于是这样,我们小工也是能够做的到的。所以我们在三个基础上 啊,构建了这样一个应用。现在的这些应用,企业一般的路径目前都会用一个通用的这样一个大模型,在左用了一些 一条啊,或者用那些提示学习的一些方式,在这个上层上做一些应用啊。我们建议企业的话,最好你刚开始初期可以这样用,但是你到未来,呃,因为你自己建这样一个应用还是会比较慢的,所以的话呢,我们建议你还是用一个现有的 这一个标准的一个应用,这样你不需要应用开发和部署啊,非常快速的能够帮你搭建起来。而且你可以把这个提示工程啊什么的,很快的就内置在你这个应用当中,你就很快就可以用起来。他等于是这样, 如果有,你也可能会发现有些应用可能做的不是太好,他可以进行评分,评分打分,把不好的一些问答,再经过一些人工的干预和处理,包括一些比较好的、 差的、 gpt 的、 ai 的这种提示,让他去回答一些比较准确的问题,员工再确认一下,再经过指令的微调,微调出你这个行业,你企业的这种大模型。这样的话呢,你可以呃在整个一个行业里面建 你自己的这个竞争力和壁垒啊。他是这样的一个运作逻辑,目前现在大部分企业呢都在找这个逻辑在做,因为你做完的话,你调这个类似的这个外部的这些 api, 你不管是通一千万还是火星大模型,因为你这个数据不流程的话,最后这一方面你的隐私安全会有些 问题,另外方面的话,你自己的这个能力,其实你没有持续的去进化啊,他得好。那么接下来我介绍一下小工艺的这个服务啊,小工艺的话呢,他有几个?四五个服务啊,这第一个服务,我们的那个知识问答,就是智能问答,我们称之叫 rag 的应用啊,非结构化的这个数据 啊,我们可以帮助你定制,并且国画的数据有非常多啊,有文本,有图像对吧,有视频,有声音啊,最终的话,这些都会把它转化成文字啊,把它转化成 in bed 的这个项链啊,放在史料数据库里面啊。那么小公寓的话呢,它因为我们看到很多的一些论本,所以你自己企业做可能会碰到很多的坑。 我们呢就做了一些前面期的探索和性能优化的一些措施啊。像我们可以用一些时量数据库,用 elastic 社区啊,那个也是开源的,而且成本也会非常低,你不需要消耗太多的一些内存和资源,同时你能支持到非常多的非结构化的数据及一条都没问题。而且的话, elastic 社区它 还是有全文检索的功能,有 invading 的那个向量数据库检索的功能,也有一些资本的一些 cco 的检索的一些功能,可以把它组合成一种复杂的,这个混合的搜索能够满足你。这是问答的各种各样的应用场景啊,权限的控制,他等于是这样啊。 呃,在智能问答里面还有一个比较重要的,就是要进行自动化的评估啊。因为我们的这些问智能问答,因为他的数据经常会发生变化,我们模型也在不断的更新,那么我们怎么知道我们的智能问答的这个性能他持 持续在改善呢?那么所以你就要用一些 r、 e、 g 自动评估的一些框架,能够自动的呃去回答一些问题,自动的去获取到你的模型的变化,或者你有些 inbiting 的一些呃,深度学习网络的一些变化之后,会导致你整个一个框架, 整个一个应用,它的性能是不是提升啊,我们这个都是通过自动化的这个评估,自动化的这个测试的这个方案去完成的啊,包括在 ig 这个应用里面,也有各种各样的性能优化的一些关键的一些算法啊,也要把它集成在这个应用里面啊。他对 啊,这个是一个服务啊, i g 的这种应用啊,回头我也会讲一下这个 i g 应用,它也可以应用在各种各样场景上面啊,我之前都讲过啊,像这些场景,它其实都是可以用的啊, 人力资源、财税啊,供应链管理啊,特别是在营销啊,在线客服等等这些应用场景上,他这些 r a g 的应用都是可以的。他只要是非结构化的数据啊,那么你可以把它提炼成 知识点,跟大模型结合啊,他主要是做这部分。第二个服务,我们也可以做一些知识问答,主要是基于一些 c 口的一些应用啊,主要是一些结构化数据的应用啊,结构化数据的话,一般这口他查出来这个数据都会比较准啊,他不是通过概率来算的啊,那么他可以通过自然语言去 你这个数据库里面去挖挖掘你原来的一些数据的一些情况。比如说你这订单呐,包括你的一个订单的状态啊,你的一些产品的一些问答啊等等,都是可以用。只是问答的这个东西跟 cq 应用结合,来满足各种各样的应用场景啊。他这个也是一种啊, 前我也是介绍过的。呃,像有些开源的一些解决方案叫 cube, 它可以无缝的跟浪钱进行结合,通过自然语言去分析你的海量的这些大数据。因为我们现在做这个企业,这个数据量是越来越大了,之后你不可能通过呃数据分析员帮你把每个 dashboard 都把它给做出来。那么有些 应用还是要通过自然语言自动产生 c 口对吧?然后去结合。那么目前自是自然产生通过自然语言产生这个 c 口的这个模型的话,它的能力开源的这个能力也是非常强的,目前的能力已经超过了 g、 p、 d 三点五的这样的一个 能力啊。所以他已经可以替代一部分初级的数据分学啊。这个我原来在视频当中也是经常讲的啊,如果大家有兴趣也可以去看一下啊。另外 c 口也可以跟我们前面讲的 r、 a、 g 的应用进行结合,然后在特定领域里面啊,去生成特定的这种 c 口,去满足我们的各种各样的场景啊,这个都是可以在这个方面进行定时开发的啊。 那么第三个服务主要是赋能给这些软件工程师的啊, ai 机器可以产生大量的这种代码啊,拍一声 c 扣啊,假巴 script 啊,各种跟他代码。目前这种能力也是非常强的啊,特别是扣的拉玛这种代码模型发布了之后,他的能力已经超过了 g、 p 三点五,甚至达到了 g p 四生成代码的这种能力 啊。所以我们目前每家企业里面几乎都有一些数字化的系统,数字化系统的话,他就需要有软件工程师去维护啊,去服务生成呃各种各样的呃,比如说要去生成测试的代码等等啊,或者去看这个代码提交上来的代码是不是有缺陷等等,这个都是可以通过类似的扣扣的拉码这种模型, 专门生成 ai 生成代码的这种模型去进行赋能的啊。这个我们小工也可以在这个上面为大家做一些赋能定制化的一些应用啊。 那么第四个服务,我们要打造一个行业的一个大模型,通过 ig 的这种应用啊,他并不能完全百分之百的解决我们的一些问题啊,有些任务的精准度还是不够,这个时候他我们就需要做一些 行业模型的这样的一个微调啊。我们要找到这个哪些问题,他答的不是太好啊,那么他正确的答案应该是什么?把这个数据整理好,整理出这个高质量的这些数据啊。那么再进行可视化的这种微调, 我们也可以提供这种服务,帮助企业啊很快速的打造自己的这个行业的这个大模型啊。这个我们也可以做啊,为你们赋能,帮你们把这个基础平台,基础设施都建设好,做一个可视化的微调的一个界面,自动的根据你企业的一些呃 系统生成这些训练,预训练的这些数据啊,呃训练完了之后还要对整个一个模型再进行评估等等啊,这个都可以做成一个流水线,自动化的能够完成啊。 那么如果你企业去做,你要构建一个比较强大的一个技术团队,要去做这样一件事情,而且你要自己摸索啊,成本也是比较高的啊,特别是时间成本就浪费掉。最后我们小工也可以帮大家做一些多模态的一些大模型啊,当然现在多模态的大模型的话,特别在图片 和声音和语音生成上面啊,他还是会比较强的啊。包括阿里的通力千问也做了一些多模态的一些模型啊,可以通过图片来进行问答,当然他需要消耗的这个算力会更多啊。目前的话呢,这个也是可以做的。 我们也帮一些企业做过一些类似的一些应用啊等等。这个我们是第五个服务啊,多模态的这种服务啊,大大模型的这种解决方案,定制开发啊,部署独立部署都是可以用啊。好,那 总结来讲,小公益开源的这些大模型的解决方案的话,优势的话呢,我们认为有五点啊。第一个的话呢,就是快速部署啊,我们有一个成熟的这样一个产品啊,这在这个产品上面,我们也可以进行定制开发,所以你有些基本的应用,你立刻马上就可以满足的,而你就可以跑起来。有些东西的话,我们再可以帮你定制一下模型,微调一下,那自 基本上能够符合你企业的这个要求啊。第二个的话呢,它是可以我们经过了我我们这个产品啊,经过了这个二十倍的这个推理的进能的这个提升啊,所以比你自己去构建这样的一个模型,他需要用的这个资源混会更少啊, 性能会更好。他的也是这样啊,因为我们现在的这个 g p u 也很贵,成本也很高啊,因为本身就要通过 g p u 去替代一部分人工的事情,所 如果 gp 非常高的话,我们企业里面那就没法去落地啊,成本 ry 投资回报率就不高,那我们小工艺就做了二十倍的这个推理优化之后的话呢,会把这个门槛降得非常低,大家都可以用起来啊,而且我们收费也不是太高的。第三点,我们这个矢量数据库是支持 海量的这个内容的支持啊,他不管是那个文字也好啊,图片也好啊,他都是能够支支持一级的这个用户规模啊,毫秒级的这种性能啊,这个对我们企业来讲也是非常重要的啊。因为我们随便怎么讲 模型的优化,他其微调他需要有时间的那么少,至少几十分钟,慢的话呢,他只可能要几几几个小时,几十个小时, 甚至几天,他才能把它模型微调完。所以我们对有些应用场景来讲,他要快速把这个知识点要实时的加入到这个模型里面去,通过这种使量数据库的这种结合的方式是非常好的啊。那这个我们也做过很多的这种应用有成熟的这种解决方案啊。 好。第四点,我前面也是介绍过的,我们也可以帮助企业做这样微调,微调他其实是一个要改一些参数啊,要改一些这个要改一些模型的一些数据啊等等预处理啊,他其实是个挺繁琐的一个事情。但是呢,我们可以把它做原来的话呢,都是通过工程师做的啊,现在呢,我们可以把它做成一个界面啊, 训练一个罗拉的这样一个模型啊,那这样的话就会非常简单啊,你自可以自定义你自己的这样的一个大模型的,自己公司的这种大模型啊,大模型罗拉的这个小模型,跟你标准的这个大模型进行结合啊,能够生成出做下一任务的时候会更加准确啊,这个我们是可以这样来做的,把,这个门槛会降的很低, 非专业人士也是可以来进行微调的啊。第五点主要还是这个大模型的持续的优化和评估啊,这个是比较重要的啊,因为我们人工智能他有些不可控的一些因素啊,他特别是有些不可控的一些东西啊,你 可能微调了之后,他可能会丧失某些知识点啊。所以的话呢,我们像考试一样,我们要把一些考卷啊,先预支在内部啊,自动的能够去考这个大模型,看他的这些答案都能够回答是否准确,如果回答准确比回答原来的还要更好,那么我们可以用啊,如果他回答的不是太好的话,我们就要回归啊,我们这个模型就要回归,就不要去升级啊, 能够保证我们在线服务的这些大模型啊,他的这个性能和他的这个准确率啊,这个是比较重要好。目前我们的这些解决方案,目前小工也已经做到了这些 大模型的这些应用啊,可以跟我们中国的微信生态无缝的做一些结合啊,那么它可以结合在各个当中啊,像企业公众号啊,像视频号啊,小程序啊,企业微信内小程序的这种那个那种场景,或者是企业外部的这些网页的这种场景,包括现在还有 有这种客户群啊,客户单聊的这种应用场景,其实我们都是可以啊结合在一起在用的啊,让那个人和我们的 ai 的这些辅助啊,可以进一步降低我们内部的这样的一个 服务客户的这样一个成本,提升他的这个效率,同时改善外部客户的这个用户体验啊,这个都是我们目前都可以做得到的。最后的话,我们还是来讲一讲这个企业大模型的一些应用场景啊,前面都是偏技术的部分啊,我们可以做各种各样的 ig 的应用啊,这个 结构化数据库, cq 的一些应用啊,生成代码啊,对吧,微调多模态啊,我们都可以做啊。但是这些能力我们主要还是应用在目前的这几个方向上面。 营销啊,在线客服啊,这个是目前企业客户最期望的这样的一个应用场景,包括数字化办公啊,信息安全和策略啊等等啊,这个我就不一一念了啊,他是有非常多的应用场景是可以来落地的啊。关键点 目前还是要改善啊,企业内部和外部服务对象的这种体验啊,这目前是企业最关心的啊,也是企业构建核心竞竞争力一个比较重要的啊。目前的话呢,就是大家的经济效益都不是太好啊,降本增效,改善用户的服务体验啊,提升客户的整个在市场上的竞争力。这个通过 ai 来做是非常有价值的啊,而且现在成本也不 也比较低啊。重点主要是在营销方向,之前我也是介绍过的,我这边就不不一一讲了。我们就通过前面的这些不就可以赋能到我们的这个营销的应用场景,也可以辅导我们在线客服的这些应用场景啊,他这个都是可以的啊, 颜色这边的啊,他都是代表这个 ai 可以目前这个计算啊,都是可以参与的。最后像企业的一些文档和知识库的管理,其实前面也是讲的也是可以应用起来的,他这个也是一个比较大的一个应用场景。这几个应用场景是一个非常好的一些应用场景。好好,那么小 公益的这个小公益的这个企业开源大模型的这个解决方案啊,这个就跟大家就介绍到这,如果大家有兴趣啊,或者想进一步了解,可以给我留言或者给我沟通啊。那么我平时讲的这些视频里面呢,我也这次也做了一些简单的一些总结啊,放在这个 ppt 里面啊, 大家如果有进一步想了解,也可以去看一下我之前的这些视频啊,也可以去进一步的去了解我们小工艺的这个 企业开源大模型的这样一个整体的解决方案啊。主要现在还是要为能够这些解决方案,要能够为企业赋能啊,要能够企业的应用场景能够产生真正的价值,对客啊,对企业客户来讲。好吧好,今天的话呢,我就这个话题就跟大家就交流到这。

在我前面的几期视频里啊,我介绍了如何基于 cheat c p t 呢,进行 function 或者说进行 being body, 把 j g b t 从一个通产变成一个专产。但是啊,问题来了,如果啊是国内的企业啊,想做类似的事情,基本啊是不可能基于 chag t 的实现了。 原因啊,有一些两点,第一个呢,使用 tstp 的模型呢,会涉及到数据隐私和数据安全问题。而第二个呢,无论你是通过 web 还是通过 api 的方式来访问 tstp 呢,都要搭个梯子,这样的话性能和稳定性啊都不会太好。 目前啊,最可惜的解决方案呢,是找一个开源的大约模型,然后呢部署到自己的服务器上。目前网上可选的开源模型啊,比较知名且效果不错的呢,主要有三款。第一个呢叫羊驼家族,这个家族呢,大家长呢,叫 nama, 中文名字叫大羊驼。嗯,这个呢是 meta 啊,它的原名叫这个公司,之前叫 facebook, 后来改名叫 meta。 是 meta 出品的啊,一个开源的大约模型。那第二个呢,叫 appleca, 中名的呢叫羊驼啊,这个是斯坦福呢,在 nama 的基础上进行微调得到的。 那这家族第三个呢,叫 dq 的啊,中文名字叫小羊头啊,这个呢是斯坦福联合 uc, 福克利还有 cmu 的机构呢,在 number two 上进行微调得到的,有七 b 呢和十三 b 两个不同参数版本。 那第二款比较知名的这个开源模型呢,是我们国内啊,清华大学也就是我的母校出品的,叫 chad j m 啊,它有六 b 啊和十三 b 两个不同参数版本,其中呢,六 b 这个版本呢是开源的。那最后一个呢啊,开源的模型呢,叫 blue 啊,这个是 big size 啊,这个 应该说是个社区吧,他其实不是一个一个一个公司哈啊,出品的一个开业模型,目前啊,从网上各种测评的这个效果数据来看呢,维克纳呢,据说是效果最好的一个开业模型,而且他对中文的知识也不错, 据说呢,达到了前期 bt 百分之九十以上的能力。所以啊,接下来我来演示一下如何来私有化部署一个 weqla 啊,小羊驼这样一个单元模型,记得关注再走哦。

多模态最近很火,分享一个开源的大模型视觉助手拉瓦,这是一个端到端训练的多模态模型,它能够实现类似 gpd 四的多模态效果, 不仅能理解文本,还能理解图像,像根据图片实现前端代码识别。冰箱的食材给出菜谱都不在话下,亲测效果还不错。我刚给他上传了一张茅台酒的照片,他会告诉我这是一个中国白酒标签,上面有中文字。如果你是 ai 应用开发者,我强烈推荐你去体验一下,毕竟 gpd 视觉版的 api 还没有对开发者开放。 最后啊,我预告一下,过两周我们的产品也会更新类似 gpd 四的视觉能力,等上线了我会发一期演示视频,喜欢记得收藏。

这个地方一直在显示我的年龄,还有我的性别啊,我是男的,然后三十岁左右。如果贴到人脸检测,我们最直观的想到的解决方案肯定是和前端程序员没什么事,我告诉你们这种想法是错误的, 我们就解密一下存前端怎么实现人脸识别?人脸识别,他是基于人的面部特征识别的一种技术,五哥出的这个库,他其实是一个机器学习的前途框架,目前市场上最流行的一个人脸识别的一个库,那么为了方便 我们普通人吊用,所以说又出了一个费是 api, 那么费是 api 封装了好多功能,基于人脸检测,居于点位,还有表情,还有年龄等等的识别。咱们接下来先看代码,这个项目里面我指引了费是 api, 这个库可以对人的表情进行识别,这种图片的表情 是高兴的,我可以换另外一张,另外一张啊,他就是晒掉的,比较伤心的,我可以对面部表情进行识别,我选择不同的图片啊,也可以对他的年龄进行识别,他现在这个年龄是十八岁,嗯,可能不准啊,比如说我选择我自己的图片,嗯,他是二十六岁,然后我还可以识别多种图片 对人脸的一个对比,也就说他能识别出来这个图片中这个人和这个人他其实是同一个啊,也可以基于 wifi tc 对人脸做一个识别,就是咱们常见的人脸识别,可以绘制出我的一个大概的轮廓,我也可以选择表情检测,对吧?我笑一下看有没有变化。这地方变成 happy 了,然后我在吃惊 就撕不出来的,对吧?就变成吃惊的表情。那么也可以对我的年龄做一个检测,这个地方一直在显示我的年龄,还有我的性别啊,我是男的,然后三十岁左右啊,识别的也特别准。

一个基于 natcomvc 全线管理框架,这个框架借鉴了很多开源项目的优点,让开发 vip 管理系统和移动端 api 更简单。框架实现功能有 员工部门、职务菜单、角色管理等基础功能。框架还支持代码自动生成,减少开发工作量,提升效率。它可以用于所有的 web 应用程序,例如网站管理后台 cmscrmerpoa 之类的系统和移动端 api。

如何让 gpt 教你学习最新的开源项目?今天我们让大模型来教我们使用最新的开源项目游路 v 八。我们知道长安 gpt 最新的知识,直到二零一年九月,并且最多也只能输入一万个单词,根本无法处理这么长的文档。 所以今天我们要用的是 cloud 一百 k 能支持七万多个单词,可以直接把优乐微八的原文档一股脑的丢进去。我们先让大模型来做个总结,这里我们就知道优乐微八可以做目标检测、实力分割、关键点检测等任务。以目标检测为例,我们可以让他根据文档生成代码, 训练目标检测模型设计到的配置文件,同样也可以让他根据文档给出格式和参考视力,按照要求配置好后,就可以直接运行代码训练模型了。训练完成后可以再让大模型给出推力代码,这样我们就轻松学会了 ulov 八。

叉提 lm 六必基于 glm 架构,可以支持中英双语问答。对话具有六十二亿参数,目前由权重格式不同区分不同的版本,不过对模型的效果没有影响。首先自定义数据集, 当数据及定义成句子对,需要考虑下游任务以及 prompt 的构造案例。在进行多轮对话时需要考虑到上下对话并汇总。在 history 中,我们如何对六 b 进行微调呢?训练过程中直接设置自定义的数据及路径就可以了,然后也需要设置上图的超参数, 其中 self prompt 强度和训练的学习率分别是这两个函数,通过调节可以取得最优的效果。我们要注意, petching new v 二方法会冻结全部的模型参数, 通过调整 quantization bit 可以被原始模型量化等级。当模型训练完,就可以加载模型并进行预测。如果需要加载的是就 check point 或者进行的是全参数微调,直接加载整个 check point 即可,之后可以进行量化或者直接使用。你们学会了吗?

港科大开源 mfo 支持上千种模型,提供全流程高效训练方案。拥有自己的 ai 大模型,不需要从头于训练,只需要以翻听作为切入点即可。具体来说,该模型基于七十亿参数的 ai lovem, 只需一张三千零九十,耗时五个小时,就可以训练一个专属于自己的个性化 gpt, 并完成网页端部署。开源库。作者们已经利用这个框架,单机训练三百三十亿参数的 ailam 中文版,并开源了模型权重,用于学术研究。