精心打造的 ai 本地知识库马上就要上线了,在这个知识库里面,你可以看到以下的 d、 b、 t 为代表的一些通用的大模型,还有一些国产的,支持中文的一些大模型和一些开源的大模型。 然后在这里你可以啊获得一些 ai 应用的一些真正能落地的一些案例, 像 ai 在呃销量数据库,然后本地知识库还有智能聊天机器人等方面的一些应用。嗯,感兴趣的可以呃关注一下哦,后面会在社群里面进行分享。
粉丝541获赞2617

结合本地知识库能够解决些智能问答的一些问题,但是我有些朋友就跟我讲,他目前做了之后发现,嗯, 用了这些时量数据库啊,用了这些大模型之后的话,发现就是说他的知识问答啊,不是很准啊,问一下大概是什么样的一些原因。今天的话呢,我就这个话题跟那个知识图谱啊这个话题跟大家一起来交流一下。我们清楚就是说智能问答,他主要还是要通过那个 上下文,就是 intex learning 的这种方式啊,就是把一些跟这个问题相关的一些知识啊,然后装载到这个上下文里面去,然后让那个大模型去学习这个上下文的这里面的一些语料,再去解答这个问题。通过这种方式我们会发现他比那个微调的这种方式啊, 做一些知识密集型的这些问答,他的性能会要更好。而且的话呢,他对外部知识来讲,他是可以快速 素的,能够跟这个大模型能够结合,而不需要直接的就是把这些知识啊沉淀到这个模型里面来。他就是我之前也是经常讲把推理能力,大模型的推理能力和他的知识点分开了,他通过这种方式来做的。 那么这个就是一般的用户啊,通过这个上下文,把相关的文档啊或者叫 knowledge base 啊,放在这个上下文里面,然后通过大模型产生最后的问答啊答案。那么这个里面会用到一个 in bed 的这样一个东西啊,就是向量化,把一些用户的问题向量化,向量化之后他在限量数据库里面再跟这些原来的这些文档的这个切片做匹配,找到最接近的这些向量的,快放到这个 context 里面去,在在这个提示工程里面再跟这个 大型模型去问,输入到这个大型模型里面来,再去回答这种问题啊,他是通过这种方式去实现。嗯,我这种方式 的话呢,它是可以解决百分之七十的问题,就是百分之七十的智能问答都是可以通过文档向量化这种方式去解决的。但是还有些问题呢,它是通过文档向量化是解决不了的啊。那么它的主要问题是什么呢?因为,呃,我们有些知识性的问答,他有可能会非常宏观,非常宏观。 呃,或者说因为我们在获取限量数据库的时候,它会有一个叫 top key, 呃, top key 的话就是返回多少个文档?呃,一般的话呢,我们会返回十个文档之内,但是有些知识点的话呢,它就是很分散, 分散在如果你有大量的这个知识库的话,他只说你有几百万甚至上千万的这种知识库,而且这个知识库可能都很重叠,他返回的这个知识点可能超过十个啊,这个会导致你有些知识点的缺失, 再去回答这些问题的时候就会有问题啊,这就会造成这样的一个用这个文档向量化啊,并不能够解决这样的一个。呃,智能问答 他的一个问题,他会他会造成这个答案的有部分的缺失,或者答案回答的不全啊的这样的类似的问题啊。那么这种问题目前业界通过另外一种方式去做的,叫知识图谱来弥补这样的一个问题啊,知识图谱的话呢,我之前也是介绍过。呃,图数据库啊,之前我也是介绍过 near four g 的这样的一个,呃 呃,就是图数据库啊,它也是开源的,包括像国内也有些开源的这个图数据库啊,那么目前的话呢,就是 lante 也好,包括 lamb index 他们都可以。这种框架都是可以把那个项量,就是嵌入式项量和知识图谱相互结合,然后进一步来提升我前面讲的那个百分之三十和呃的一些极端的一些问题,这些问题他的这个知识点很多,而且散落超过十个文档啊,这个时候他就需要通过知识图谱啊的这种方式 去结合,而且知识图谱呢,他有一个非常好的地方是他可以图形化,可以通过专家去构建知识图谱之间,实体和实体之间的链接,然后来进一步去增强他知识图谱回答问题的这个准确性。他的意思讲,那么我们看看他到底是怎么来实现啊?他的原理到底是什么?我们可以看一下,因为 我们有些文档的话,它当中有些知识点啊,那么它这个知识点的话, x 到 y, x 到 a, 它其实是有一些,它们称之为叫实体关系,它是有实体关系,它有些呢就是 z 到 x, 那么 c 有可能连接到 b, x 呢可能又跟 b 有关系, b 呢又跟 c 有关系,所以的话呢,它这些实体相互之间是有联系,或者是它有多层的这种关系的。 在这个时候的,如果你把这种多层关系相互,虽然你在这个向量的相似度上面你是查不到这个最接近的,但是你可以通过这个实体关系,你可以把这个给 连接起来,用的场景比较多一些法律法规,法律法规可能经常会用到这个问题啊,因为有些时候我们在解答这个问题的时候,可能要引用到某些文献,或者引用到某些 法律法规啊,那么这个时候如果他没有他这个问题,虽然他是不清楚这个法律法规之间的相互联系,但是如果你把这个法律法规跟这个问题如果能够联系起来的话,那他解答的会更加准确啊,他等于是这样啊,所以这个的应用场景的话,他比较适合一些问题,非常复杂, 非常复杂,他的一些专业术语,包括他的一些构建的一些法律法规相互的引用啊,都这种场景来讲,做这种智能问答的时候,用知识图谱再加上一些限量数据库的这种解决方案会更加好一些。这个我也就回答了我们有些呃 网友就跟我讲他们的一些知识问答的话,尽管用了一些像样数据库,他的这个回答的准确性也不是太高啊,这个跟你那个切割的这个数量啊,切割文档的这个大小, 包括,呃,如果有些文档的应用场景的话,如果你还能通过图数据库,或者通过关键词搜索能够进一步来增强的话,那么他要跟这个向量数据库进行结合啊,包括你本身把文本变成向量的时候,你这个里面会应用到一些深度的一些人工智能模型,也要经过微调啊,通过这个几步,你 能够把这个 ig 的这种应用啊,基于这个搜索增强的知识库的这种应用啊,啊,你可以做的更加准确啊,他等于是这样,因为我发现在这个方面的应用还是非常多的啊,企业,企业方面是非常多的,因为他就需要就是不 可以不用啊,任何的这样的一个模型微调的这个方式,非常快的把那个企业的本地知识库跟这个模型结合起来啊。 所以的话,今天我跟大家就来介绍一下,按这个下量数据库,包括图,这是图谱,包括叫图数据库,怎么跟大模型结合更好的完成智能问答的这些问题啊?好,今天这个话题就跟大家就聊到这。

企业私有知识库系统已经做好了,先说结论,本地私有库与大模型结合的方式更适合严谨的企业用户,数据有理有据。为了验证效果,我下载了刑法、民法等法点,使用法律条款生成了私有知识库。这两张图是个对比, 接下来是详细的对比分析。首先不用知识库直接提问干扰无线电通信是否违法?由于我们搜索的是通信,不是通讯,所以在刑法里根本搜不出来。这里就体现出大模型的优势了,他可以根据你的意思来进行查询, 不需要按具体的字,结果似乎正确又有点让人担心。我们再问盗取商业秘密是否违法,结果也跟法典差不多,我们在法典里面都搜到了相关的东西,也跟大木星答的有点相似,但是我们又不能确定。 然后我们问几个无关的问题,西游记的主角都有谁,如何在淘宝上买到好吃的?大模型都做了非常好的回答。 接下来我们看看私有知识库的表现,同样的问题再问一遍,回答的非常精准,跟法点对比丝毫不差,并且回答也非常人性化。当我们问他法律无关的那两个问题,他直接拒绝回答,非常符合企业的应用场景。 接下来我打算把全部的过程做成视频分享出来,感兴趣的小伙伴请关注我,谢谢大家关注小百,了解更多 ai 干货。

今天跟大家介绍一下的是,呃,如何用这个大模型结合本地知识库呃,做这样的一个应用啊?在这个项目里面,如果拿到代码之后的话,你可以看到我这个里面有两个文件夹在 context 下面,一个呢是中文的,还有一个呢是英文的,英文的啊, 我我先,呃,因为用的比较多的还是中文,所以我给大家介绍一下中文怎么用啊?核心的话呢,它其实是三个,这个三个文件一个是 man 点 ph, 还有一个是呃, in guest 点 ph 啊,我们先来讲还有一个是 carry 杠 data ph, 这个三个 点 py 的这样的一个拍摄的这样的一个文件啊,这个三个文件呢,分别的作用,这个的话呢,主要是把现在的这些文件把它切片放到啊下降数据库放在这儿的,它,是啊,这是这个文件的作用,是做这件事情面呢,它是一个主函数, 它主要是提供了两个接口,一个接口它会返回一个 index 的这样的一个 h t m l 的一个页面,那么这个页面的话可以操作这个页面对这个机器人进行问答。第二个呢,它提供了一个接口,就是一个 web socket 的恰特的一个接口,那么这个接口的话呢,它的主要的功能就是把你的问题 扔到那个质量数据库里面来,然后再通过大模型,然后进行问答,他把一些内容返回出来啊,这个地方就是 result, 就是他返回的东西啊,这个就是他的问题啊,他把这个返回的问题可以放在这个 history 里面啊,他主要是做这样的一个事情啊。好,我们给大家一起来, 先给大家一起来演示一下啊,这个 carry, 我 carry data。 回头我再来重点来讲一讲啊,我们先给大家来演示一下,先给大家演示的是怎么查询打这个命令,当然前提是你要安装一些东西,安装这个东西的话,在 这个是内裤,你要打这个命令啊,你要打快门回撤,这个因为我已经装过了,那他就很快就已经过了,这个是安装完环境,安装完,安装完之后就可以了,打这个命令回撤, 这个时候呢,他你可以看到他已经在起这个 server 了,他起了一个九零零零的端口,那么九零零零的端口在哪里呢?他其实也是可以改的,他在这 port 九零零零。那么一般的话呢,我们 web 的呢?端口的话呢?是八零端口啊,那么当然你这个地方可以改,这个是你的 host 的 ip 地址,你也可以改,我用的是本机, 我们可以看一下 local host。 九零啊,他已经出来了,对吧?那么出来了一个界面,我们可以让他问他一下。 sorry, 翻车了啊,对不起,这个是个 bug, 回头我再来讲一讲,这个是个 bug, 这个是他的框架的一个 bug, 我们发现了,好,好了,他在 计算了,你看啊,他已经告诉你了,哒哒哒。根据什么什么什么条款执纳金的问题应该是怎么样子的?这个问题的话呢,他就是结合了这个里面的一些问题他去解答的,比如说我们再来看一个这个, 再问一个,那他又在算,算完之后他就讲了,好,我们再看一个啊,看第三个,我不知道他答的对不对,感觉还是对,好,我们先就这样。好吧,我们先演示这个,我们来看看他是怎么来实现的,我们跟大家一起来讲一下。好,这个我们就演示到这,先把它关掉, ctrl c 把它断开, 断开之后我们可以看到我们先看这个文件,这个文件是比较重,我先把这个文件先删除掉它,它的这个这个文件的作用是什么呢?它主要的作用就是把我前面讲的这些项链,就是这些文件,它会转成那个使量数据库啊,在这上面 他要转成使量数据库呢,我们就要用到那个就是 oppo ai 类似的这种大模型啊,这个是大模型的那个环境变量啊,他的地址啊,这个地方要有一个杠。 b 一是比较重要的啊,因为我们是引用的是本地部署的这个大模型, a p i k 的话你可以随便设,我这边设了一个 empty 是空的。好,我们看这些文档第一的话呢,它就是从这个目录下面, 这个目录下面,当前目录下 context 下面的这个目录新建一个 loud 的对象,这个 loud 对象他就可以把这些裸的这个文件把它读出来,读出来之后他再经过这个文件的这个拆分,这个拆分他是每一千个字符拆分一次,他等于是这样,你可以看到这个地方他是他这个已经七百 六十,所以他这个会拆成一个。我这个里面你看的话,我大家要注意的,我这边有两个换行,他这个会拆一个,这个会拆 一个,他是这样的啊,如果核心你可以看一下他的这个 a p i, 他这个 a p i 里面会去定义的。在这你看到他有一个叫分割符,他有两个空格啊,两个回车或者一个回车的时候呢,或者有空格的时候呢,他就会自动帮他拆分了,所以这个是最优先的。 如果他达到一千个字符,他会去看是不是有这个两个东西,有,那就开始拆,如果有这个他也拆,如果有空格也拆,当然你这个地方是可以自己定义的, 这个可以自己定义的,当然你可以在中文里面,你可以把那个句号或者逗号也定义进去,也是可以的啊,这个地方 好,我们看看啊,这个是比较重要,那么这个参数是指什么呢?你指了前面,如果我有一千个,如果你这个快,如果你是,我们看一下这个啊,如果你有一千个,快一千个字符啊,比如说这个假设他超过了一千个字符,那你怎么办呢?他会猜成 两部分,所以他要拆成两部分的时候,他有一个参数,这个参数就是是不是把前面那个块的一部分的内容,把它引用到后面块里面去。比如说如果你这边是一百的话,就把前面那一块 最后的一百个字符跟后面的一千个字符混合在一起,他等于是这样,一般的情况的话呢,就不要做重叠啊。 我一我一般是这样设的好,设完之后呢,我们就把裸的这个 document 放在这个 tax sprite 这个里面,把这个 document 给拆分出来,这个时候呢他会按一千个把它给拆出来,拆的他会更多。 开出来之后呢,我这边通过了一个 inbeding 的这样一个操作,我这个操作呢是用个本地的一个 m 三一杠贝斯的一个模型,当然你也可以用我上面的这个就是 lm 的一个大模型,这个的话呢比较适合于中文,比较适合于中文,这个模型中英文其实它是可以的。呃,如果是全英文的话呢,就不要用这个, 要用我上面这个注视掉的。好。然后进去了之后呢,我就用到了一个 vs 的数据史料数据库啊,这个地方,把这个 in bedding 和这个 document 的拆分之后,存放在这个 victor store 里面,这个就是矢量数据库,然后把它保存下来,然后 close 掉,所有的代码就很少,只有这么一点,我们看一下啊,跑了,你在运行查询之前,你必须要先跑这个东西回车,它自动会帮你把这个文件读起来。好了,你看到这个地方产生了这个 victor store, 点 p k l 的这个文件的时候,说明它已经 完成了这部分。好,我们这个代码就讲完了,我们再来讲这个主函数里面,我前面已经讲过了,它的核心就是这个 carry chain, carry chain 呢,它是放在这个 carry data 这个文件里面呢,就是这个主函数啊,我们来看看这个主函数主要是做些什么事。它的核心的话呢,它是主要是做了两件事情啊。第, 第一个他创建了一个 l l m 的大模型啊,他创建了两个大模型,一个呢是 question 的大模型,一个他主要是这个做回答的这个大模型。这个模型呢? question 的这个大模型呢,他主要是做 inbiting 的这个操作,他把这个 question 作为了一次 inbiting 的操作。第二次呢, in bed 完了之后呢?他把这个 in bed 的这些结果放在这个 context 的这个环境里面,我们看看啊,他是放在哪里?他在这你可以看到 context, 他这个里面有一个 template, 有一个提示模板,提示模板里面他会把这个 context 就是我们前面矢量数据库里面查出来的文档,他会放在这个变量找, 然后他把这个快速群会放在这个上面。哦,他会告诉你你回答他的这个答案是什么,他是通过这个来做的啊,他把这个 context 和快速群把它内读变量放到这个模板里面来就可以了,这个就叫提示工程啊。 好,那么我们这个 tnt type 的类型叫 staff, staff 的之前我也是介绍过的,有四四种类型,目前郎欠他虽然说支持四种类型,但只有这一种类型目前是可以正常工作的,另外三种类型是不能正常工作的,我们可以看一下 另外还有哪三种,一个叫 map reduce, 一个叫 refine, 还有一个叫 map 叫 re rank 的四种方式。这种方式是最简单的,就把查出来的所有的文档全一股脑塞在 context, 就是前面的那个环境变量里面。 map reduce 的话呢,它就是先要做先把所有的文档放在一起,再进行一个 压缩的操作啊,压缩的操作的话就是深层摘药啊,他主要是做这样一个事情,那就怕这个文档太大,呃, define, 他把一个一个文档都让他去迭代的去回答这个问题,嗯,这个是比较有价值的,这个他会把所有的文档一个一个的加 到 contex 里面,不去回答问题,我找一个他认为回答最准的一个问题啊,这个价值其实是比较大的,但他目前是报错的,是不支持的啊。好,我们就不要动弹,就用这一个。我这个地方的这个参数要跟大家讲一下,这个它是用于了一个 conversation 的,一个 一个,呃,基于这个文档获获取的这样的一个对话的一个欠啊。参数啊, k 等于三, k 等于三是指什么呢?就从这个时量数据库去拿取文档,拿回来三个 啊,这个因为要根据你的这个文档的这个数量要去看的,如果你是非常多的话,当然你拿回来要多一点。我之前介绍过一个 论文的,这个论文里面讲五到十个是最合适的,因为我这里面的话只有六个文档,所以的话拿三个的话已经拿了百分之五十了,已经非常多了,按照道理的话他应该更少一点,因为他有可能。呃,如果你拿过来的这个文档相关性不是太大的, 可能会影响到他的啊,好啊,这个就是这个文档最核心的代码,最核心代码还有一个代码,在这要跟大家讲一下这 temperature, temperature 你是否要用到这个大模型的这样的一个创新,如果你不要用到他创新的话,你可以用零, 也是可以的。用力,我们来看一看啊,如果是这样的情况,我们再来启动一下,给大家演示一下。好,又启动起来了,根据什么四十三号晚应该对的,我好像看到过。对的,好, 这个再来解答一下。对的,他这个打的都是比较准确的,所以这个两个参数是比较重要的,这两个参数是比较重要,如果你调一调的话,他的性能会好很多 啊,所以这个调餐是比较重要啊,这个 k 和这个 temperature 好,呃,今天的话呢,这个原代码的关于 l l m 的大模型,对吧?结合这个本地的这个知识库啊,就跟大家。呃,讲到这,好,谢谢各位。

大家好,自从我发布了基于本地大模型构建企业私有知识库系统的视频,很多小伙伴在后台留言让我出教程。最近一直忙着交付一些本地大模型和私有知识库的系统项目,一直腾不出时间来,现在总算有空了来安排。 首先我的视频会分为硬件和软件两个部分,教会大家从零开始部署一个基于本地大模型的私有知识库系统。首先是硬件篇, 做到硬件必不可少的就是四零九零了,现在的大模型动辄十几个 g 的最低显存要求,对于消费级硬件,这也足够了。视频最后是配置单,按照这个配置单的电脑基本上跑六 b 七 b 的模型很流畅,十三 b 的拉玛兔稍微有点卡, 传奇的过程我就直接快进了。考虑到散热,我配置了一个比较大的机箱。因为我对酷炫的灯光不太感兴趣,所以选择硬件的时候灯光效果不在我的考虑范围内。我主要从性能、稳定性、价格几个层面去考量。 这个配置的机器我已经用了三个月了,各方面我还是非常满意的。 关注小百,了解更多 ai 干货!

上期我们介绍了通一千问七 b 模型的微调加部署方式,但在实际使用时,很多开发者还是希望能够结合特定的行业知识来增强模型效果, 这时就需要通过外接知识库让大模型能够返回更精确的结果。那么本期视频我们就来介绍一下如何从魔搭社区 nodebook 中一键实现本地知识库的搭建,从而增强大模型的能力。本次实践需要的所有相关资源都在阿里云点 com 免费试用中心领取。 在魔大世界上找到通一千万七 b chat 模型后,我们点击 notebook 快速开发,注意这里需要选择 gpu 资源。随后我们点击查看 notebook。 进入 notebook 后,我们需要稍等一下,把我们已经准备好的在 github 上开源的基于本地知识库 q a 的视力代码直接拷贝配色到 notebook 中。根据这段 代码你就可以实现本地知识库的搭建以及后续的大模型调用。相关链接也会放在视频简介中,这里我们已经把相关代码准备好了,点击运行即可。 接下来我们将介绍一下代码逻辑。首先我们引用了 dash scope, dash scope 不仅可以调用文本限量生成,还可以调用千文七币 chat j、 l、 m 等大模型进行推理训练。 dash vector 作为限量检索引擎,这里我们对本地知识库的存储引擎进行初始化。 接下来我们需要定义一个锁引数据的生成方法,用于后续逻辑。同时我们还需要定义基于 desktop 的文本项量生成逻辑,这里生成的项量将作为项量引擎 的锁影。最后向量原始文本数据会在这一段写入 dash vector, 从而完成本地知识库锁影的构建。 接下来我们操作一下如何调用知识库。首先我们需要定义一个检索方法,用于召回知识库信息。刚刚我们使用了一个天龙八部的知识库,现在我们检测一下召回效果。问他一个问题,段誉最喜欢的是谁? 可以看到这已经返回了段誉到底喜欢谁的一些相关信息,到这里知识部调影就完成了。 最后我们测验一下知识股锻炼前后大模型的生成效果。首先我们需要初始化下大模型,这里我们选用千万七 b chat。 然后我们再定义一个包含知识库信息的提示词模板, ok, 我们来测试一下效果。先问不带知识库的千万七币虚竹的女朋友是谁? ok, 他说无法回答这个问题,没有给出正确的答案。我们也问一下 gbt 四,他说是小龙女和阿紫也不对。最后来试一下包含知识库的模型, 嗯,蒙古回答是正确的,而且可以看到给出了相关的背景信息。再来一个上难度的问题,段誉的亲生父亲是谁? 可以看到千万七币回答的是段正醇。我们再问一下 g p t 四,他的回答也是段正醇,也不对。最后我们看一下包含知识库的效果, 嗯,这次终于对了,是段音庆,效果还不错, ok, 最后我们再问一个比较小众的问题,虚竹的母亲是谁? 可以看到前面 t b 讲的是错误的康敏郡主,我们再看一下 g b 四的回答,杀猪也是错的。我们最后看一下包含技术库的返回, ok, 这里返回是正常的,一二年效果很不错哦。以上就是通一千问七币基于本地知识库问答的操作和演示,其中我们使用了阿里云 dash scope 和 dash vector 的相关产品,链接在视频下方, 这种方法可以让各种行业的知识库与通易千文结合,给出更加精准的答案。相关代码已经在 github 上开源,操作文档也已在线,希望开发者来摩达社区体验。

基于 u x e 和国产大模型 check g l m 六必实现基于本地知识库的自动问答,代码开源,可离线部署,也可以在线体验,欢迎 skar。 下面介绍在摩达社区在线体验本地知识库的自动问答。 首先我们选择 combating model, 然后上传本地知识库。我们支持 markdown 格式、 word 格式和计时本格式。这里以 check glm 六 b 的 liam 蜜为例, 我们上传下面有几个参数可供选择,包括 top, p, tab, pressure 等。然后我们在输入框中输入我们的问题, 然后回车或者 点击发送,稍等返回出结果,浏览一下, 效果还是很不错滴。当然项目还有很大的优化空间,欢迎大家进入地址关注并参与。

各位同学好,这是紧接上一节课,跨境电商接入 ai 大模型,当做一个智能客服的一个案例, 我们来看一下,就是客户的提问是千奇百怪的,就说我要退货啊,服务怎么样 这些问题,那我们不可能在后台全部把客户库的一个问题全部录入进去,这个时候呢就需要一个 ai 大模型,然后对其一个鱼的分析啊,专业术语叫做向量的一个转化。 那我们来看一下,这里面,我们的后台里面有一个私有数据库,他这个客户的提问是没有的,但他有的是什么呢?就是说譬如说搜索服务, 那有关服务的信息啊,总共有三条啊,这三条的话啊, ai 会进行一个检索,检索之后进行一个汇总整理,再回答给一个 啊,用户相当于是什么样子的呢?啊?相当于是啊,你现在公司里面有一个专门的一个售后人员,然后有消费者过来咨询, 然后这个售后人员呢去查一个文档,查文档啊,怎么去回复都有一个标准,然后再回答给一个消费者。那现现在相当于这件事情 ait 已经完成了啊,流程上基本上差不多, 现在越来越智能,可以看一下,你可以在后台录入很多的一些问题啊,不需要跟客户咨询的一模一样,他自己会去一个理解啊,有兴趣的同学可以点赞收藏啊,试用一下。好, 谢谢大家。

这个是我们准备好的案例,我们看看 g p t 三点五和我们自己搭建的本地知识库 g p t 三点五模型回答分别是什么样的。 g p t 三点五回答首先强调了自己的身份,非常的严谨。 其次从劳动法、违法解雇、劳动合同争议、权益保护、证据保留等方面提出小王可以维护的合法权益,还有证据的保留等具体建议。 最后,严谨建议要咨询一位专业律师,以获取个性化的法律建议。整体回答还是比较客观的,属于哪种挑不出毛病的,还算有一些建议的回答,至少没有出现一本正经的瞎说幻觉。 我们再看本地知识库 gpt 三点五模型的回答,直接先说了找律师,然后就是采集相关对小王有利的证据,最后就是协商或仲裁等具体采取的手段等方式。对比我们发现我们本地知 事库的回答更偏向实际相关的案例,但是没有 gpt 三点五的严谨表达,如自己不是律师。其次,并没有完全实现具体法条的具体建议。这个是本字版本在模型相似性计算上可能存在的不足。 最后给的结果比较慢,实际是我们后台并发运行三个测试方案。还有就是笔记本的性能不足以支持快速计算的能力。我们本次只看效果,等测试调整之后,我们再看对比,感谢收看。

我们 ai 知识库的产品下周准备开始研究本地大模型的对接方案,包括本地的项链模型和大语言模型。已经远程叫朋友攒了一台机子了,配了两张二手英伟达显卡,小五千块搞定。 干事业嘛,能屈能伸,现在全部都是个人投资,钱包扁扁的。所以首先要能跑起来对接上, 其次在优化性能,摸索合理的硬件配置方案打通之后,就可以完全做到数据本地化,安全又合规。这样的话,参与正企领域的 ai 知识库项目建设就指日可待了。 不过终端市场虽然金额高,但是要投入的精力要求也高,难度挺大的。因此我们只专注系统开发,努力做到提供企业级的产品原代码和完善的技术服务。 每个团队都有擅长的事情,有的时候想的太多,那也只能是想的太多。我是马多多, ai 的老钟,感谢大家的关注。

随着我们使用大模型的深入呢,我们会呃发现这样一个现象,叫做我们正常情况下,我们问大模型的问题呢,我们会得到一个非常普实的回答,就是大模型会根据自己的训练的这个过往的一些知识的积累,然后告诉我们他认为最好的一个答案。 但是如果我们问到一些非常具体的针对啊,我们自己生活和工作的一些问题,比如说一个文档,或者说公司里边的一些情况的时候。哎,那这个时候呢,大模型的回答的这个就不会包括这部分知识。那如何做这样的定制呢?啊?我们今天就讲这个这个话题。 呃,通常来讲呢,呃有三种办法。第一个办法呢叫做提示工程,叫做 prompt engineering, 呃,这是一种通过设计特定的输入提示来引导模型生成我们期望的输出的办法。第二种呢叫做知识库的嵌入, 叫,呃, notch based in beddings, 所以这指的是结合模型与外部的知识库,使模型在生成答案的时候呢,可以引用这些外部的知识。第三种呢就是 fight tuning, 呃,微调,这是在特定数据集上对预先训练的模型进行额外的训练,使其更适应特定人物或者领域。 这么讲起来呢,可能,呃有点难理解,我们举一个例子啊,呃,来说明,我们就举一个例子叫做假设,一个学生啊,一个大学毕业生啊,可能是一个博,呃,本科生硕士生啊,他刚毕业了, 然后呢,他具有经过了这二十多年的学习,他具有了深厚的学术背景和理论的知识,然后他现在要去工作,但是在面临世界工作的时候呢,他必须要需要一些适应和调整,对吧?所以呢, 提示工程 prompt engineering 相当于什么呢?相当于他的领导给他布置了一个具体的任务。呃,口头布置了一个任务,然后博士这个学生呢,就基于自己的知识和经验,按照任务要求进行操作 啊,这是第一种啊。第二种呢,就知识库嵌入相当于什么呢?相当于这个学生遇到了一些问题啊,然后他的领导给他扔,扔给他一本啊,操作手册啊,一本字典啊,然后让他在操作的时候,这个学生就可以去查阅啊, 然后这就像模,这就像模型引用了外部知识库来增强他的输出。那第三种呢? facility 像什么呢?就像这个学生在刚开始工作的时候,他不是报道的第一天就去工作的,他是先经呃,接受了两个月的上岗前的培训,可能有公司的 这个企业的一些制度啊,企业的文化呀,工作流程啊,过往的一些操作指南啊等等,让他更适应具体的工作环境和要求,所以这就是三个不同的区别。提示工程知识库嵌入,还有这个微调, 那他的优缺点是什么呢?我们很快的讲一下。对于提示工程由 prompt engineering 来讲,他的最大的优点在于快速实现啊,直接针对特定的需求,然后这个学生就能够迅速的得到结果。但是他的缺点就是有可能需要多次尝试才能得到最大最佳的答案,要要要去试。 然后呢,这个方法呢,也不适用于啊所有的问题,特别是对于复杂的任务而言,这种方法可能会是失效的,因为我们上次也讲过这个,他会占用很多的 token 啊,所以这个可能 prompt engineering 这部分提供的些背景知识就已经超长了。有这种可能啊。 第二个呢,就知识库嵌入,他的优点是说增加了模型的深度和广度,使其能够更处理更加复杂和特定的问题。就好像刚才讲,像这个学生有一个操作手册,他可以随时查阅, 但这个缺点在于什么呢?在于啊,整合和维护知识库需要额外的时间和资源啊,这不是说他就一直在那里的,要进行对他进行项量化的一些操作啊。然后呢,需要确保啊,同时需要确保知识库的准确性和即视性。是是是是,随时在更新的 最后一个微调,他的优点是针对特定任务啊,或者领域,优化模型的性能,使其更加的专业和适应。就好像刚才讲上岗前的培训之后,这个学生就会更加胜任某一岗位。但他的缺点呢,就是需要大量的标记数据啊,可能,也有可能呢,会导致一种 叫做过离合的一个情况发生。就好像这个学生,呃,只针对一个小领域进行培训,可能就会失去了对其他领域的一个灵活性。所以做一个简单的总结啊,这个叫做 一个博士生,一个学生他可以,呃,可以,可以接受一个,接受一个领导的口头任务啊,这个叫做提示工程,他就去做了。第二个呢,这个学生呢,他可以拿到一个手册,然后在不会的时候去查阅手册,再去再去做,这就叫做知识库的嵌入。 第三个呢叫做微调,就是他进行了一个上岗前的培训,一个月的培训,然后呢来进行适应,更适应上岗前的呃,更适应这个工作的本身 啊,所以就是这样一个例子,帮助大家去进行一个理解。那具体这三个方法,呃的一些更具体的一些解释,我们放到后面的视频里再进行讲解。

今天给大家分享乐凯和 chat glm 搭建本地知识库项目,该项目是由清华大学发起并已开园,这是我配置好的整合包。先给大家演示一下效果,点击脚本启动微博语, 启动完成就能看到使用界面,页面右边可以切换对话模式,选择知识库模式,可以在这里新建知识库,也可以选择之前建立的知识库,随便选择一个之前创建好的知识库, 可以在这里随时加载保存文件,只需要把文件拖进去就可以了。 这是我下载的关于 transformer 的 pdf, 一共十七 m b 两百八十四页,拖进去保存一下, 加载完成了。然后我们问一个 pdf 里的问题,测试一下回答质量, 回答的好像还可以,并且给出了出处, 出处也是比较准确。 接下来讲解一下该项目的基本原理和流程。该项目整体使用 lancan 作为应用框架, lancan 支持自定义链式调用, 可以将自定义工具和各种模型结合起来,开发出不同应用。该本地知识库项目是将向量数据库和 chat g m m 模型结合起来。首先就是加载文档并读取文本, 然后对读取的文本进行分割处理,得到一段一段的文本数据,接着将这些文本进行商量化处理,并存入本地史量数据库中, 此时我们的文档数据都已保存在数据库里了,这些数据将会在问答过程中被楞看调用,并经过大语言模型生成生成最终回复。接下来我们一起看一下问答过程的基本流程。首先会将用户的提问信息进行向量 画,得到向量化文本。接着进行数据库查询,得到相似度最高的前几条数据。 最后将匹配出的文本作为上下文和问题一起添加到 prof 中,并提交给 l l m 生成回答。这样我们就得到想要的答案了。我们的模型可以是 track g l m, 当然也可以是 lama 或者自己训练好的。其他模型都可以 通过来看进行集成,做出各种各样的应用。本期视频到这里结束了,大家有什么问题可以在评论区留言,我都会一一解答,再见!

最近一直有小伙伴私下咨询我,构建一个本地私有 ai 知识库系统工具,需要什么硬件配置呢?今天我就将硬件配置给大家安排。 首先说到硬件,必不可少的就是英伟达的三零六零了,现在的大语言模型动辄十几个 g 的最低显存要求,这个对于消费入门级硬件基本就足够了。 缘和的 ai 知识库系统工具适配的是国产品牌长城电脑,基本上跑六比七 b 的模型还是很流畅的。缘和装配考虑到了因为达三零六零电源要求五百瓦,同时也考虑到了散热问题, 选择了长城大机箱。在这里我只考虑了基本性能要求和价格,其他机箱炫酷灯光等因素都忽略了配置的长城主机。 佳音伟达三零六零这款机器从研发到测试已经四个月多月了,我们试用以及客户反馈还是非常满意的。如果你也想搭建基于本地大语言模型的私有知识库系统工具,点击关注我们留言咨询性价比最好硬件配置方案吧!

第一步,根据个人企业搭建内部知识库,选择企业内部文件的知识库或者是个人需要的学习文件进行打包整合, 进行向量,完成后运行大语言 ai 模型, 这是大语言 ai 模型的默认回答, 调用知识库的回答,并且可以轻松找到文件, 是个人和企业支持文件管理的不二之选。

l l m 的大模型跟本地知识库结合的一个基本原理啊,本质上来讲呢,就是 l l m 大模型和本地知识库原理呢?它的基本原理,它其实是提示工程, 他是提示工程里面的一个技术啊,这个技术的话呢,叫 r a g 啊,这个技术的话之前我也是介绍过啊, r a g 这个技术的话,我先简单跟大家介绍一下,我们来看一下。呃,这个论文啊,这个技术发明是 mentor 他们 发明的这样的一个技术,当然它联合了美国的几另外两所高校啊,发明了这个技术啊。 r a g 这个技术呢,我们来看一下它本质上来讲,它就是把这个问题 跟你的这个知识库啊,他通过那个矢量检索的这样的一个方式啊,他把文档变成一些像量,存在像量数据库里面,把这个问题通过 incoding 之后去寻找到这些,呃,相关的这个文档比较接近的这些像 关那些内容,他会做一个时量,呃,这个提示工程,把这些文档作为一些参考,跟这个问题结合,然后通过 l l m 的这个大模型去推理出这个相关的问题啊,他呢就是利用了 大模型的这个推理能力啊,他主要是这样也利用了那个本地就是史史量数据库,通过那个向量的计算和检索寻找这个相似度,把这个问题最相关的一些知识呃,结合在整个一个大模型里面是求解出来的,他是这样来做的, 他这个是他的这个最基础的原理啊,让我我们来后,我们来看一看啊,他的这篇学术的啊,这篇文档也是比较重要的啊,我们先 facebook ai research 就联合了这个伦敦的这种大学和纽约大学,然后推出了这样的一篇 大 a g 的这样的一个算法啊,它这个算法是适合于这个支持密集性的 n l p 的一些任务啊,支持密集性就是我们的大模型,因为它更新频次会 比较慢,所以他不能时时的获取一些最新的知识点。这样通过 ig 的这个方法论的话,就我前面讲的这个方法论的话,他非常快的能把一些他不需要这个大模型训练,就可以把很多的知识库啊,跟这个大模型结合起来去回答开放性的问题啊,他主要是做这样的一个硬场景的啊,所以他称之为叫知识密集型的一些任务。 我们啊先讲讲结论,他的结论他们是用了一个方法去做对比的,一个呢,通过一个大模型啊, buck 的一个大模型,他这个里面有一个 t 五的这个模型,然后去包括一个 buck but butter 的这样的一个模型啊,他是一个预训练的任务,然后通过微调的方式啊,他通过这种方式去做的 另外一种,它通过 r a g 的这个方式,当然它它设计了两种方式,一种呢是这个拓空化的,一种的话呢,就是 serious 化的啊,这两种方法其实性能都差不多,我们可以不用看 啊,可以认为它是一种方法,就 r a g 的这个方法跟预训练的这个方法,你会发现 r a g 的这个方法,它会更好,它的性能会更出色一点啊,它不管是在一些开放性的问题,包括一些抽象的问题,包括一些呃内容产生的问题,包括一些分类的问题上面,哎,它的性能都要比微调的这个 效果要更好啊,他等于是这样啊,所以的话呢,他们把 r e g 的这这种方式啊,作为一个这个本地知识库结合的,跟 l a m 结合的一个最主流的这种方式之一啊。 好,我们一起来看看论文。他这个里面呢,还有一个 butt 的这样的一个模型啊,这个模型呢,当然他是用了一个预训练的一个垃圾的一个模型啊,也是基于 transformer 的 sequence to sequence 的这样的一个模型啊,然后去回答这些问题啊,然后这个的话他就是经过 training 的整个过程啊,我们来看看他的是怎么做实验呢?他是 实验,他是用了大概两千一百万的文档啊,我用了这个 f a i s s 就是时时量数据库,这个是我们经常会用的一个内存的时量数据库啊,把这个文档做切分,每一百个单词作为一个 block, 他是这样来做的, 他主要测试的是三种问题,一种呢是开放性的问题,就是开放性的问题,有点像呃我,我们呃随便问一个问题,看他这个知识点是否能够命中啊。还有种呢是比较抽象类的一些问题啊,这个会比较难一点,比开放性的问题要更难一些。他是抽象类的啊,还有一种呢,就是事实啊,事实啊,他这个是最难的, 他就啊三种方式,他们就做了一些实验啊,实验的结果就是我前面讲的啊,他用预训练的这种方式做,他的这个精度啊,他的性能是没有啊啊, ag 的这种方式性能好啊,他的结论是这样的,当然他们也做了一些额外的一些试验啊,他也 说了一下,这个地方,它主要是讲一些多样性上面,多样性上面它这个会更优啊, r a g, 它把这个知识点抽出来之后,它的多样性会更好一些。他们也做了一些 其他的测试啊,比如说像事实类的这种问问问答的话,他说用那个 talking m b b m 二十五的这种编码会更好,性能会更优秀,但是我觉得是差不多的啊,他其实性能也不是太差 啊,他其实这几个方法里面我觉得这个性能都不是太差,比较接近的,都是比较接近的这种方式啊,我们一般会用 r a g token 的,这种方式会比较多。回头我会再介绍一下那个项量计算里面这个 r a g token 的这种方式啊,他有这个也 介绍了一下,他在限量搜索文档搜索里面,这个 k 这个文档要返回五到十个文档,他这个性能是最优的啊。啊,他也给出 这样的一个图啊,那么这个简单跟大家就来聊一聊啊,这个 ig 的这样的一个论文啊,这个是他这个目前 l l m 本地加本地知识库的一个最基础的原理啊,他这是个最基础的原理,因为那个 facebook 他们这些人也做了一些研究啊,研究的结果表明啊, 他的 r a g 的这个方式是最优的啊。那么我们再来看看代码上是怎么实现的,我们一般的话是有通过狼圈来实现这个 document 的这个圈啊,那在狼圈里面呢?他,他在这个地方啊, 他有四种实现啊,这个我会跟大家详细的来介绍一下,因为他的不同的应用场景,他怎么把这个文档能够嵌入在这个提示模板里面啊?叫提示工程里面,这个也是比较重要,他有四种方案啊,一个呢就是我们一起来看一下,一个呢叫 stop, 这个方案的话,他通过问题把相应的文档检索出来,比如说检 做出四个到五个文档啊。啊,他把这个 question 和 context, 把四个文档全塞在这个上下文里面,作为一个提示模板去问大模型,大模型就会推理出这样的一个过程啊,这这种方式就把像量检索,根据这个问题匹配出最相似的四个文档,把它找出来,找出来之后 再来做这样一件事情啊,这是一个最常用的啊,把这个文档全部塞入在这个上下文里面啊,这是第一种方式,这种方式的话呢,它比较适合于一些,呃,应用场景, 最普通的一些应用场景他都适合他这种啊,那么第二种方式的他叫 ref refine, 就是重新定义的这种方式啊,他他呢也是一样,他他根据这个问题搜索出档案啊,把这个档案进行编号啊,他把这个答案,把这个上下文,他是一个一个的,一个一个的 把这个答案进行推理的,他拿出一个上上下文,然后再拿出一个前一个答案,他等于是不断的去推理,他就一次次的就迭代,反复的迭代,比如说有五个文档,那么他就迭代五次啊,他就通过这个反复迭代的这个过程 去推理出这个文最后的答案,他是通过这种方式去迭代的,嗯,这个还有一个呢,叫 map reduce 的这种方式的话呢,他就问题啊, 每个问题他其实每个文档他都会能够拿到,他都通过这个大模型去推理出这个答案,拿到这个答案之后呢,他会把这个答案进行进行合并啊,合并完了之后他再去推理出这个答案,他这个叫 map reduce 的这个方式啊, 那么最后一个方案的话呢,我这个方案我也是经常用,回头我会演示一下,叫 rank 啊,那这个方案我适合的,它比较适合一些客服的这种场景啊,客服的场景因为它 每个问题他都有一个客服文档的,如果你去把一个问题,他可能找出了好多个相关的这个文档啊,他都找出来了,找出来之后他他也是一样的问题啊,他都会去 找这个模型去问,问完之后的话,他会对每个问题的回答做一个打分,把打分最高的啊,把这个问题给输出啊,他是通过 rank, 他比较适合于这个问答你, 你都是些问题和答案,通过这种方式啊,他可以找出就是最佳的答案啊,他这个是叫 ra rank 的这种模式。好,我给大家演示一下他大概是怎么操作的,他的核心的话呢,就是在这,他的核心的话呢,就是在这啊,他就是捞的 q a 这个 change type 啊,我们可以用一个叫 staff, staff 这个模式的话呢,就是很简单,他就会找五个答案,找五个内容,然后把这个内容啊 作为一个上下文,他把这个五个内容全作为一个全部放在这个上下文里面,然后进去去推推理答案。我们先看这个啊,有些时候他因为这个文档如果会导致有些错误的,因为你把错误的一些上下文也放在这个里 里面的话,他可能会推理出一些错误的东西。当然这个地方也是可以把一些匹配度比较低的上下文就不要放进去,这个也是可以控制的,这个是最常用的一种方式,我们给大家演示一下, 我推理一个内容来推理一下,我就问他一个问题,怎么样用这张卡他就会计算啊?他会在那个数据库里面去检索,我这个里面的话有六篇文档, 有六篇文档他就会分别去检索啊,检索完了之后呢,他把最相关的这些上下文,五篇文档就会放在这个上下文里面,然后他才推理,推理出最终的答案。那他已经告诉我了怎么用这个文档,因为他这种方式 他对客服来讲的话是有些问题的,因为是我讲讲过,因为他会拿出一些不相关的文档,我放在这个里面一起来推理。如果你你的某些关键词成了等 usa, the car, 他可能出现在其他的一些一些一些一些,如果你的问题不是问的很标准的话,他可能会出错的。他这个好,我们来再重新试一种方式啊, 我们来换一种方式来使用 rank 这种方式。 rank 这种方式的话呢,它会检索出根据你这个问题检索出五五个这个 这个 document, 然后检索出来了之后的话啊,然后他对每个问题,根据每个答案他都会进行匹配推理答案,他再去评估哪个答案是最好的啊?他当然会慢一点,但是他的效果会更好一点。我们一起来看一下, 再来推理这个问题,同样这个问题我们看一下他这个效果就不一样了,这个会更慢一点,我觉得他的这个推理可能会比那个更好一点 啊?怎么用这个卡吗?他说如果你要用这个卡的话,你要到这个网站上去,对吧?去激活啊,我觉得他这个答案会比那个更好一点,如果你有更多的问题呢?你要到 coustomer service 去咨询,对吧?我觉得这个答案会更好一些,所以的话呢,这个我们看看,虽然很简单它的这个功能, 但是我们要了解他的一些基本原理,根据我们的不同的应用场景去选择不同的方案,选择不同的算法。所以有人会跟我讲,哎,我的这个本地知识库为什么 呃出来的答案不是很准呢?主要我的建议就是第一个话,你可能还是要看一下他这个 l l m 跟本地支付到底是怎么结合的啊?他的一个基本原理啊,你要去看你的应用的场景到底是什么样子的,你要去看他在这个当中 应该是用的哪种方式,嗯,哪种的提示模板,那他核心的话呢?还是提示模板?核心的话还是提示模板?好吧?好,今天这一段的话我就跟大家就讲到这。

ai 支付搭建,直接上传文件,让 ai 秒变你的私人小助手,还可进行 ai 智能问答。今天老张教大家如老规矩,我们先看部署后的完成效果,部署完成之后呢,我们可以用两种模式进行对话,首先第一种呢就是 咱们最原始的 ai 对话模式,它启用的是 chat g m 二的一个大语言模型,可以帮咱们进行相关的学习分析。老张在这呢让他作为文案分析师帮咱们学习的二极管标题法,然后进行了相关的分析阐述,产生十个爆款标题,效果还是非常不错的。还有就是支付相关内容, 咱们可以在这上传您对应的知识库,比方说咱们点击好的,大家可以看一下。老张这呢有一个客服快捷自动回复与大权,就是咱们对应的一个客服接待的相关手册,咱们把这个手册呢上传到 ai, 让他添加到对应的知识库中,然后重新选择对话,然后在这选择 知识库问答方式直接在这写一个你好好,然后我想看一个拍了后如何发货呢? 对,大家可以看一下是不是直接查询到三天内就可直接发货,然后自行查询之类的,是不是都是完全通过数据库进行匹配的?就是如果您需要一个本地的支持库,这个绝对是你非常好的一个选择, 咱们还可以在这上传,您不同的地方,咱们可以直接上传,然后进行导入,就可以搭建你个人的知识库了。所有的部署内容呢,老张都在这给大家都已经整理好了,所以大家需要的兄弟们点赞关注评论六六六,接下来看老张给你来如何搭建云端部署。首先我们可以在 did hop 网站上搜索 long chan 杠 chat chat, 打开对应的项目目录, 然后点击对应的目录介绍,在目录介绍中,我们可以直接往下去拉,找到凹凸 d l 镜像部署,然后咱们在这呢可以直接选择 右侧的凹凸 dl, 创建实力好,然后我们在容器实力这个位置选择按量计费,然后选择内蒙 a 区,然后这个显卡配置呢,咱们可以直接选择 a 五千 gpu 选择一个啊,然后直接点击主驾 ad, 然后选择立即创建, 创建过程中他会有一个进度条的显示,大家稍等片刻好,当我们看到状态改为运行中时,证明启动完成,然后我们直接选择快捷工具选项中的第一个。 好。启动过程之后呢,我们进入到了他的终端命令行,在终端命令行里,咱们打开刚才留存的这个部署记录,然后这有一个一键启动,咱们可以按照这三步走,把这个程序正式的跑起来,这三步分别为 移动到对应的目录文件,直接粘贴回车,大家注意前方已经改改变完成,然后在这直接创建 环境,把它再次的拿过来再回车,这也没有问题。最后咱们通过 python 启动对应的应用程序粘贴回车,这个启动过程呢可能较为缓慢,大家只需要稍等片刻即可。好了兄,当兄弟们看到这行蓝字,并且告诉咱们对应的六零六六这个地址是证明咱们启动已经成功了。 好,那么咱们可以直接的返回到上一集目录,在这有一个自定义服务选项,也是快捷工具栏中点击自定义服务,然后选择对应访问。 好的,点击启动之后呢,我们就进入到了正式这个页面了,在这呢选择您的对话模式,可以直接用 ai 对话,可以选择知识库问答,在这进行对应的知识库管理。很多兄弟说呢,学完 aa 工具之后有什么作用?你可以去五八同城上找一份 ai 相关的工作,帮你提高你的工作效率。 好,老张可以给大家来做一个简单的提示啊,表示你好,他会根据支支付帮咱们进行相关的一个匹配。好,如果您发我申请退款了,根据已知信息会为咱们进行匹配,所以说是相当哇塞的。

本地运行一百三十亿参数多模态语言大模型,让大模型机器人帮我们写小说,快速翻译,微调大模型让他懂中文,微调大模型让他成为垂直领域的顶级专家, 可以说是大模型真正消费机应用本地离线写小说,多语言翻译,还可以定制本地知识库,调用知识库内容智能回答问题, 当然还可以联网获取知识。我们来看一下机器人智能写小说的效果,再来对比看一下启用本地知识库和没有启用本地知识库的效果。我们问 ai 机器人 chatloom 六 b 音和 chatloom 六 b 音最大模型的区别, 打开知识库的回答是准确的,没有打开知识库,机器人就会一本正经的胡说八道。另外,机器人的翻译水平比普通 在线百度翻译、谷歌翻译也强很多,我们可以对大模型进行微调,让不懂中文的大模型懂中文,让大模型成为垂直领域的顶级专家。

这篇文章用细致的实验证明 lm transformers 在训练阶段是如何记忆知识的,以及他们在推理过程中是如何提取这些知识的。主要结论有两个,一是同一个知识点必须用不同的方式重复模型才能学习到,不然模型只会记住这个具体的句子。二 是如果预训练阶段模型没能学到知识,怎么微调都没有用。为了研究模型的学习方式,文章构造了一个干净的白欧数据集,从 林开始训练 l m, 然后根据于 bio 的知识构造了一个 q a 数据集。作者先在 bio 上预训练,再在部分 q a 上做指令微调,再 白欧数据加一半的 qa 数据上进行预训练,从而得出了前文所述结论。至于知识储存在哪里,如果使用了数据增强,那么与每个个体相关的知识就能在他们名字对应的最后一个影状态中被探测到。 但是如果不做数据增强,这些知识就会非常散乱。模型基本上只能记住表面的字符串信息,无法将其归纳总结为与某个体相关的知识。

这个开源项目可以让你使用自己的知识库创建自定义聊天机器人,让你拥有属于你自己的 ai 知识库。助理他支持通过多种方法添加数据源,包括网页,普通文本, pdf 和 word, csv 等, 甚至还支持上传音频和视频文件,还有爬虫和添加 git 地址。通过上传文件和添加提示语,你可以获得 拥有独特个性和超强能力的专属助理机器人。默认提示词不太好用,记得改为中文。他还支持多个大模型,包括 chat, gpt, lama, cloud 等。然后你就可以提问和你上传文档相关的问题,他就可以结合你的知识库来回答。你还可以通过 i frame 或者脚本将 机器人嵌入到你自己的网站或者应用程序中。他支持通过 doctor 一键部署,你也可以下载到本地安装和二次开发项目,提供了完整的本地部署教程。 nice。

我要写一篇关于 ai gc 的发言稿。 尊敬的各位领导,各位嘉宾,各位同事,大家好, 今天我非常荣幸能够在这里和大家分享一下我对人工智能生成内容的思考。 首先让我来解释一下什么是人工智能生成内容。人工智能生成内容是指利用人工智能技术、 经济学习、深度学习、自然语言处理等,让计算机能够像人类一样生成新的文本、图像、音乐、视频等内容。随着人工智能技术的发展,生成内容的大 为已经不再局限于文本,现在还可以生成图像、音频、视频等,并且这些生成的内容可以非常准确的模拟人类的创作过程。