粉丝760获赞4449

一天学一个变态的大模型知识点,今天讲的是 java spring ai 对 比 luncheon 四 j。 同学们,好啊,那咱们今天呢,来聊一聊 java 生态当中两个热门的 ai 框架, spring ai 以及 luncheon 四 j。 随着大模型的兴起, ai 的 技术在企业及应用的需求当中其实已经越来越高了,而我们的 java 作为企业开发的一个主流语言,它也需要有强大的 ai 工具来做一个支持。 那么这两个框架它具体有什么样的区别?我们在做啊应用的时候应该要如何来进行选择?那么接下来老师就用三分钟的时间带着各位来做一个这两个框架的一个分析以及对比。 那么首先第一个部分,我们先来聊一聊 supreme ai。 supreme ai 这个框架呢,它实际来说是 supreme 家族的新成员,它的目标就是为了让 java 开发者能够轻松地去集成 ai 功能, 它的设计灵感就有点类似于 python 当中的那个 luncheon 那 个框架啊。但是呢,我们的 supreme ai 它是为我们加法生态而量身定制的这么一个呃框架啊,包括说啊,老师的文档里面也有给各位来贴关于说 supreme ai 的 一个官方网站, ok, 那 有兴趣的同学可以去访问一下。 然后呢,我们第二步,我们再来聊一聊关于 supreme ai 当中的一些核心的功能。首先第一个就关于说 supreme ai 对 于提示词的这么一个支持, spring ai 对 于提示词的一个支持呢,它就有点类似于 spring spring mvc 去管理仕途一样啊,我们 spring ai 它同样也是通过啊这种方式来管理我们的提示词的,并且它支持动态的占位符啊,像我们用户请求当中的一些参数啊,或者说像程序当中一些其他的代码啊,都可以用来替换这些占位符。 这是这第一个,第二一个呢,就是我们 supreme ai 它支持的这个模聊天模型的种类也有非常多,像各位耳熟能详的,像 open ai, 像 cloud, 像欧拉玛,包括说像我们国内的千帆、智浦这些它都有有提供支持 啊。然后这是关于说聊天模型,然后还有关于说我们的 embedding 嵌入模型,嵌入模型实际上来说就是将我们的文本去转换成像量,就是为了用来做语义的一个分析的。那 supreme ai 呢?它就支持了非常多种类的这个这个嵌入模型啊,你包括说像我们的 open ai 啊,像欧拉玛呀,像 transformer 啊等等等等这一些啊。然后除了这个嵌入模型和聊天模型以外,咱们 supreme ai 也支持一些多模态的模型, 包括说像智普啊,像 stability 啊,包括说 open ai 啊,就是如果说各位有图像或者说有视频这些呃相关的功能的一个需求,那么你是完全可以通过我们 supreme ai 它所支持的这些多模态的模型来完成这个需求的啊。然后呢, 我们 supreme ai 它支它还支持二十多种这个向量数据库,那么这些向量数据库呢?向各位 你们来看,它这个里边耳熟能详的就非常多了,像我们作为 java 程序来说,像 radis, maria d b, 包括说 oracle, mongol d b 这些,你会发现它在我们的这个 supreme ai 当中都有去做到支持。再包括说我们的 crama 以及 neil four g 啊等等这些图数据库,包括说一些向量数据库啊,都是比较常用的啊。 ok, 这是关于说我们的 supreme ai, 它所支持的一些,呃,一些模型,包括说一些下料数据库,然后呢我们的 supreme ai 它也支持我们的解锁增强生成,包括说啊,支持这个函数的调用,那各位都清楚,我们 解锁增量生成就是通过模块化的这个架构去增强我们模型的这个知识,明白吧?啊?那 supreme ai 呢,它更多的是提供一个类似于 ray flow 的 这么一个可适化的这么一个功能啊。那这个是关于说我们的 supreme ai, 那 如果说 各位你想要去选择 supreme ai, 那 么 supreme ai 它有什么优势呢?首先第一个就是 supreme ai, 它 能够无缝的来整合 supreme, 那 比如说像我们作为 java 程序员,我们对于 supreme 这个框架非常熟悉的情况下边,那么你就可以快速的来上手,这是第一个。第二一个就是我们企业级的支持里边,我们的 supreme ai 它也属于是一个适合一个稳定安全的这么一个业务场景当中的。这是关于说 supreme ai, 然后第二个部分呢,我们再来聊一聊 longchain four g 啊,这个两 longchain four g 它的一个目标呢,就是为了来简化大模型的集成,然后能够去提供统一的 api 的 一个工具箱 啊。那么这个 longchain four g 呢,它就有点类似于我们这个 python 当中的 longchain 了啊,它基本上是,呃,属于属于是 java 版的 longchain 了啊, 就功能包括说使用起来相对来说会比较相似啊。那么这个 long chain four g 这个框架它的核心的功能呢?我们也一起来看一看。 首先第一个我们 long chain four g, 它能够去统一 api 啊,包括说它能够支持二十多种大模型,以及二十多种的这个向量数据库啊。你会发现,你看我们 long chain four g 当中它所支持的这个 open ai 啊,包括说这个 哈金 face 啊,包括说 cloud 呀,对吧?再包括说我们国内的啊,千帆呐、智浦啊啊欧拉玛呀,这些他都是能够去支持的啊,这是关于说我们狼犬 for j 他 所支持的一些呃大模型啊。 然后我们再来看看狼犬 for j, 他 还支持呃二十多种类的这个呃向量数据库啊,你包括说什么呢?你包括说像我们 java 程序员非常熟悉的这个 es 对 吧?芒果 db 对 吧? oracle 等等等等。 radis 这些我们 supreme ai 它所支持的这个向量数据库,在 luncheon four g 这个部分其实也都大差不差啊,也就是说它们两个框架在支持所支持的这个模型,聊天模型,包括说切入模型,包括说向量数据库当中其实是差不太多的啊,其实是差不太多的。 然后呢,我们 longchefj 他 也支持这个函数的调用,但是他这个函数的调用呢,就有点类似于让我们的模型能够去动态的去调用外部的工具,比如说你要去调用数学计算,或者说调用物流,或者说调用天气,或者说调用邮件发送这些工具。然后再包括说 他他也支持这个啊, reag 啊,我们的 loken fj 他 也支持一个 reag, 那 么 loken fj 他 相对于我们的 supreme ai 来说,他支持 reag 的 这个层面就会功能就会更加强大一些,你会发现他这说了他能够提供三种风格的这个 reag 啊,这三种风格呢,说白了就是简单版,包括说基础版以及高级版三种 reag 的 实现啊。然后 我们的 launchfork 它也能,它也支持与我们的 supreme boot 去做一个集成,但是它没有像 supreme ai 那 那么无缝无缝集成 啊。我们在这儿如果说在 supreme boot 项目当中,你你想要去使用这个 launchfork, 那 么你就必须要去添加一个对应的一个 starter 启动器啊,去做到一个接入,明白吧?啊?那么 launchfork 它的优势呢? 这里我要跟各位说一下。首先第一个我们的狼人 forg, 它相对于我们的 supreme ai 来说,它更加适用于多语言的项目,像 supreme ai 的 话,它就可能只能支持 java 语言 啊,这是第一个。第二一个呢,就是我们的狼人 forg 这个框架,它在社区的活跃度上面,当对于 supreme ai 来说,它的迭代要更加快一些,并且来说你能够看到的一些文档也会更加多一些, 这个是关于说我们 launch for j 的 一些优势啊。然后我们再来看一看,关于说 supreme ai 以及 launch for j 它们应该要怎么样来做一个选择呢? 啊?那么我们这分两种情况来讲,那如果说各位,你们现在你们公司内部已经在用 supreme 的 生态了啊,并且来说你需要一个稳定的安全的这么一个企业级方方案的话,那么各位你选择 supreme ai 啊,大概是一个不错的选择啊,比如说像你们内部去做一个数据的一个决策呀,或者说去做一个呃,类似于个性化的一些营销啊啊等等的这一些应用,你通过 supreme ai 来做其实是不错的选择。那么如果说, 如果说你要去选择 lincolnforeg 的 话呢?那么 lincolnforeg 它又能够去适用于哪一些场景呢?啊?你比如说, 如果说各位,你们需要你们的,你们在企业当中,如果说你们需要快速圆形的一个设计,包括说你们的应用当中还涉及到跨语言的一个写作的话,那么 supreme ai 可能就做不到了,你必须要通过 longchain for j 来完成 啊,包括说我们的 longchain for j, 它还能够支持多种外部的一个 ai 服务,明白吧?啊?那么如果说, 比如说像各位你想要做自然语言处理的这些应用,包括说你要去做一些推荐算法,那么你可能通过 lincolnforeg 来做,效果可能要比 supreme ai 要更好一些啊,这是关于说 supreme ai 以及 lincolnforeg 的 一个对比啊,然后最后再来给各位来做一个啊,结论, 结论呢,实际上来说,如果说各位你们是一个 supreme ai 的 一个深度用户,并且来说你们的项目要强调无缝集成的话,那么你们就完全可以选择用 supreme ai。 那如果说你们的项目你要求它更加灵活,或者说呃,更加具有探索性的话,那么各位,我们选择后者,选择 longenforg 会是一个不错的选择。 如果说你是 supreme 开发者,你可以直接尝试使用 app 使用这个 supreme ai, 它的学习成本相对较低,那如果说你需要更多的一个灵活性,那么 longenforg 会是一个不错的选择啊,那么大家呢?你们可以根据你们项目的需求来进行决定啊, 那如果说各位还有任何的问题,欢迎评论区讨论留言,为方便大家快速入门,大模型视频文档和超详细大模型学习路线图,感兴趣的同学留个学习抱回家!

java 如何开发 r a g 功能?今天来个保姆级教学。我们需要用到 lan chain for jay alama 对 话模型,向量模型。这里对不了解 lan chain 的 小伙伴解释一下。 lan chain 就是 大模型时代的脚手架,它把模型调用数据库存储提示词模板 prompt 和逻辑链条 change 全部标准化了,让你像拼积木一样组装 ai 应用。 lan chain for jay 就是 lan chain 的 java 版本。有了它,我们 java 开发者可以像调用接口一样地去使用大模型。 那奥拉玛又是什么?它是一个开源的轻量级框架,让大模型本地部署,像装软件一样简单。 奥拉玛这个词听起来有点拗口,但是它的中文意思大家一点不陌生,就是羊驼,这个软件的图标也是一只羊驼。下载之后呢,一路 next 安装就可以了。安装之后我们就可以在命令行中使用奥拉玛了。奥拉玛件件 version, 检查一下是否安装成功。奥拉玛的使用很像 doctor, 我们只需要运行这行命令,就可以下载和运行一个大模型。 alma run qw 二点五减 coder 七币。我们选择阿里开源的千万二点五 coder, 它是目前公认的 java 代码处理能力最强的模型。如果你是十六 g 内存的电脑,请果断选七币。如果电脑配置较低,比如八 g 内存,请改用一点五 b 版本。 输入命令回车后就开始下载模型了,下载之后会自动运行,你可以在窗口中随便输入一句话进行测试。此外,我们还需要一个向量模型,把个人知识库内容向量化, 运行命令 alama poomik 减 embed 减 text。 最后我们需要再验证一下 api 是 否可用浏览器打开这个链接。 httlocalhost 幺幺四三四如果页面出现 alama is running 的 提示,代表一切正常。 接下来我们就可以开发蓝拳 for j a 的 java 项目了。 idea 中新建项目选 jdk 二十一依赖先不选,然后打开 power 文件,输入以下依赖, 然后再新建一个 a config, 用来注入对话模型,向量模型和存储方式。然后再新建一个 call service, 里面有两个方法,一个是抽象知识库,通过向量模型把指定的项目路径下所有代码文件向量化,最终存储到内存数据库中。 第二个方法是问答方法,入餐是问题,出餐是答案。先把问题传入向量数据库中,解锁相关的代码片段,然后拼接成一个大字母串,最后再用代码片段和问题构建提示词,最后调用对话模型进行提问。最后再定义一个 chat controller, 里面也对应有两个接口,一个出示话知识库,另外一个是提问方法。最后我们来演示一下实际效果。我们预先下载了若一的代码作为我们的知识库,先调用出示话接口进行出示话, 好的,出示话完成了,然后就可以针对这个知识库进行提问了。随便来一个啊, 回答的还是很不错的。再来一个问题, 好了,今天的分享就到这里了,感兴趣的小伙伴可以先点赞收藏,有空的话自己动手试试。

最近呢,有小伙伴问啊,加瓦转 ai 应该先学 supreme ai 还是 long chain for j? 从我个人的角度来讲,这两个都不是首选,首选应该是学原声的 long chain 或者 long graph。 如果你非要在加瓦系内部去消化这件事,那么我更倾向于 long chain for j。 为什么呢?这个 long chain 方式终究来讲是挂在主流的 long chain 这个框架之下的。但是呢,小赵是对所有的 java 的 小伙伴给一个友情的建议,咱们既然在人工智能时代,想像真正的 ai 的 技术站靠近,尽量让自己的语言往 python 上编一编,因为 ai 时代就是一个 python 语言,一个底层的 c r 语言。 学底层的 c r 语言,其实来讲成本确实太高,但是学 python 语言成本没有那么高。而且学完 python 之后呢,说白了,对于整个 ai 的 系统 框架,包括深度学习这块,你会有一个更进一步的理解,而不是仅仅站在 java 语言的这个基础上,纯粹的是去掉一个 a p i, 纯粹的是去掉各种各样的包,进行一些外围的组装。而且对于 java 工程师来说,你未来在求职市场上,市场给你的定位和定价 依然是一个 java 工程师,你之前拿多少,现在还拿多少,并不会因为你懂了 long chain for j 或者 spring ai 而有一个所谓的溢价,有一个 ai 技能的加成, 是市场上的这么一个弊端。所以说小赵是建议呢,优先选择原生框架 launch in long graph, 如果退一步,你不想改变语言,那么就是 launch for g 更优先选择。

这期我们把 lincoln 四 g 拆成上下两篇来讲,上篇先看它作为 java ai 应用底座,到底解决什么问题,以及为什么适合放进企业项目里。先说定位, lincoln 四 g 是 面向 jvm 生态,专为 java 开发者打造的大模型应用开发框架。 他把模型接入知识库问答、文档解析、向量剪索这些常用能力,封装成可直接使用的模块,普通 java 项目和微服务项目都能接入,而且不强制绑定某一个框架。 它的底层设计有两个关键词,统一抽象和模块化。统一抽象让聊天模型嵌入模形象量数据库遵循同一套 api, 后面换模型、换厂商、换向量库,业务代码不用大改, 模块化则是用什么引什么,不把无关依赖全部塞进项目里,能减少体积膨胀和版本冲突。再看模型适配能力, openai andropik gemini、 asher a w s bedrock 这类国际模型,通易谦问、智普、 timi deepseek 这类国内模型,还有 alama lama quan 这类本地开源模型,都可以用统一方式接入。 对 java 团队来说,最省事的是不用反复适配每家厂商不同的请求参数和返回格式。最后看上篇最重要的一块, red lanchain 四 j 不 只是提供向量库连接,它把文档加载、文本拆分,向量化入库,羽翼剪索、重排序、上下文组装和大模型生成,串成完整链路。 pdf、 word markdown、 网页文本这些常见资料都能处理,也有窗口记忆、摘要记忆、持久化记忆、向量羽翼记忆这些绘画组建, 所以做私有知识库内部文档问答智能客服。上篇讲到这里就能看出它的工程价值。下篇我们继续接着讲 agent 工具调用自然语言转 c 口,以及真正落到企业系统时要看的工程化能力。


大家好,今天我们来讲一下 java 大 模型开发框架,我们使用 java 语言来开发人工智能应用的时候,肯定会要调用大模型, 在不使用框架的情况下调用大模型的结构呢,就是我们现在看到的这张图,通过 http 协议,我们去调用大模型提供的接口啊,大模型处理之后呢,返回给我们的 java 应用, 但是这种方式呢,它有一些缺陷,就是首先呢我们要写很多的基础的功能,比方说健全请求图的构造,错误处理,然后错误重试这种。 第二个呢就是它缺少一些高级的特性,比方说啊方格信, call, rag, 还有 现在最火的啊,人工智能智能体的开发,还有呢,我们在开发大模型的时候呢,它有对话,那么这个对话的记忆有问题,那如果你要不使用框架自己去处理呢,也会挺烦的。 当我们使用框架的时候呢,就是在交互语言和大模型之间增加一层, 这样我们写代码呢就面向框架了,然后框架呢和底层的大模型之间进行交互, 这样的好处是什么呢?它屏蔽了大模型之间的差异,也就是说我们从一个大模型切换到另外一个大模型,我们所写的代码是不需要改变的。 第二个呢,它提高了我们代码的健壮性啊,比方说一些错误的处理,还有啊返回的结果不是你想要的进行重试,这些呢,它处理的都是比较好的。 第三个呢,就是它支持一些高级的特性,比方说 rag, m c p, 方程 call 等,还有呢它也支持啊 agent 和 skill, 我们使用 java 做人工智能应用的开发,那这两个框架我们到底选哪一个呢? 啊?我们如果用一句话来总结的话, supreme ai 呢,它和 supreme 生态结合的非常紧密,比方说和 supreme security 和啊 supreme 的 微服务架构结合的都特别的紧密。 那狼犬服务器呢?它是为大元模型设计的,它来自于 passion 的 生态,就是狼犬, 由于 java 呢,没有,那么它就把它移植到或者说平移到 java 领域了,所以它是基于大模型来设计的,所以它的本质就是工作流和 agent 的 编排, 这是它们两个的呃,最根本的特性。狼倩佛杰呢,他对 agent 的 支持呢,更全面一点啊, spring 呢,支持的稍微弱一点,其他的呢,都大差不差。 我们这一门课呢,主要是讲 long chain for 界。呃,大家也不要纠结选哪一个,其实你做任何一个选择啊,相互转换都是非常快的,很快就能上手, 关键是你要能够应用这些技术解决你实际的问题就行。

接上篇我们已经讲完 lion chin 四 g 的 定位统一、抽象模型适配和 red 全链路。 下篇继续往应用层看。当知识库问答还不够时,他怎么让大模型去调用工具执行任务查询业务数据? 先看智能 agent 和工具调用。 linchine 四 g 原声,支持标准化工具调用。我们可以把订单查询、公单创建、报表生成接口调用这些业务动作封装成工具,让大模型根据任务自动判断什么时候调用、传什么参数。 它也支持多种 agent 执行方式,比如单任务工具调用、规划式任务拆解、分布执行叫验以及多智能体协助。 新版本还兼容 a to a 智能体通信协议,适合把复杂业务流程拆成多个角色协同处理。然后是很多企业很关心的自然语言。转 coco landchain 四 j 有 官方专用模块,可以读取数据库表结构、字断信息和表关联关系,把日常中文问题转换成可执行 coco, 他会做语法校验和注入防护,默认强调只读查询边界,降低误删误改数据的风险。 整个链路就是用户提问解析库表结构,生成 sql 安全执行查询,再把结果整理成自然语言答案,适合内部数据自助查询和智能 b i 报表。 最后看企业即落地,它能和 spring boot、 corkos、 micronut 这些主流 jvm 框架整合,支持异步和响应式编程,也能接入日制指标和链路追踪,方便观察模型调用耗时成功率和偷啃消耗。 对于金融、政务、国企这类合规要求高的场景,还可以结合数据脱敏、权限管控、本地模型和私有化部署来做数据隔离。 总结一下 blockchain 四 g 的 价值不是单点能力,而是把模型接入 red agent 工具,调用自然语言查库和企业工程化串成一套 java 开发者能落地的完整闭环。