00:00 / 04:55
连播
清屏
智能
倍速
点赞1718
本地AI知识库踩坑实录 #热点 #AI #大模型 #龙虾 #RAG 别再盲目吹本地知识库了, 真的没有大家说的那么好用。 最近我用 RAGFlow 搭建了本地知识库, 部署过程特别复杂,我能忍; 文件解析速度很慢,我也能忍。 但我实在忍无可忍, 它明明基于我自己上传的知识库, 给出的答案居然是错的, 甚至还会自动篡改我引用文件的原文内容。 为了做专业测试, 我特意只上传了烟规的第二章和第三章。 然后我问了一个很基础的问题: 地上封闭楼梯间,是否需要设置加压送风? 它直接回复我:需要。 我点开它引用的规范条文才发现, 它直接忽略了这条规范最关键的前半句话。 规范原文明明写着: 只有不满足自然通风条件的封闭楼梯间, 才需要设置加压送风。 我一开始以为是小模型不行, 于是换成 8B 模型重新提问, 这次给出的答案,倒是还算准确。 可后面我再继续提问、查看引用文件时, 意外发现了一个更严重的问题: 它竟然把我上传规范里的表格,直接给改掉了。 好在系统保留了原始文件, 我一对比就看出来了, 原件里面是有完整表格的, 而它给我引用参考的内容,表格直接消失不见了。 对于我们工程设计师来说, 之所以愿意折腾用本地大模型查规范, 就是为了避开在线大模型的幻觉问题, 能看到最真实、最完整的规范原文。 如果连本地知识库, 都能随意篡改规范内容、删掉原文表格, 那在在线大模型这么方便的前提下, 这种本地大模型,对我来说,基本就没有任何使用价值了。 虽然这次踩了不少坑, 但我还是很看好本地知识库的发展前景, 希望后续能把解析失真、篡改原文这些问题彻底解决, 早日成为我们工程师靠谱的办公利器
00:00 / 01:38
连播
清屏
智能
倍速
点赞148
00:00 / 03:31
连播
清屏
智能
倍速
点赞4
用Mac Mini能分币不花的养龙虾吗? 用Mac Mini部署本地算力,能实现分币不花的养龙虾吗?养龙虾最大的成本token的费用,也就是算力。那现在最简单的方式就是接入阿里云 腾讯云 火山云上的大模型,你每次使用都会消耗算力,所以这是一个持续付费的过程,要是使用频繁一个月花个几千块钱买token,也是稀松平仓,然后另外一种所谓分币不花的方式呢,就是一次性投入买一个硬件,然后在里面部署一个开源的大模型,类似Kimi/千问/DeepSeek这种,为了省下token费用,我花了将近4k买了个丐版macmini,经过尝试 想分币不花的使用本地算力养龙虾基本没戏,下面我说说原因啊,我选的这个90亿参数的qwen3.5:,算是能力比较低的模型了。但要想让他发挥全力大概需要18gb显存。而我这款钙板macmini最大调动显存也就13g左右,好在Ollama这个工具可以量化压缩模型,所以勉强能跑这个千问3.5,但是因为算力不够,你随便问他一个问题,真的是等到天荒地老…时间久到你都怀疑是不是卡了。。。最后还接了云龙虾才正常运行起来。但是如果要接云模型,我就没必要新买macmini了,云模型龙虾对配置要求很低的。基本常用的笔记本电脑都能运行,完全没必要为了龙虾新买电脑,所以这个macmini算是又交了一笔AI学费#openclaw #养龙虾 #ai #大模型 #macmini
00:00 / 02:18
连播
清屏
智能
倍速
点赞565