粉丝4.9万获赞25.5万

如何用 ai 帮你批量化提取扫描件信息?这种四十多页的 pdf 扫描件,我们想要提取每一页的日期、产品名称、型号、现金、指导价这些信息,只要输入一个指令,它就自己开始干活了。你出去喝杯咖啡的时间回来,结果就从这样变成了这样。 刚才你看到的不是演示效果,是我实际在工作当中真的遇到过的一类任务。那这种扫描件呢?最麻烦的不是难,而是你得一页页去翻,一个个抄,而且很容易入错。所以后来我就换了一种做法,把这类重复录入呢,交给 ai 加脚本去跑。今天我想给你看的就是我自己在用的一条工作流, 那这里面的拍摄脚本,你先别把它想的太复杂,前面接的是 pdf 扫描件,后面输出的是 excel 表, 中间连接的是 ai 大 模型。他本质上干的事情就是帮你一页一页读文件,一页一页把内容发给模型,再按你提前定好的字段把结果收回来,最后汇总成 excel 表。 所以你最需要做的,其实就是要把任务讲清楚,你想要提取哪些字段,结果要怎么输出。那这些事情呢?现在已经不用我们自己写代码了,你把任务说清楚, ai 就 能帮你生成这个编程脚本。那你这样去理解的话, python 这种编程语言其实也没有这么吓人,对吗?所以来吧, 第一步,先把任务写成一段清晰的提示词,让 ai 帮我们生成一个可用的拍摄脚本。那这段呢,最重要的就是我们之前提到的,要把任务规则说清楚。 比如我要提取这些字段,那日期字段要设计成什么格式?价格字段要不要进行换算?你把这些规则说清楚以后, ai 就 能帮你把脚本框架搭建起来。我这里也分别用敲的 g、 b、 d 和豆包测过生成的脚本,都可以作为一个可用出版,后面再结合你自己的业务规则做一点微调就行。 那脚本有了以后呢?第二步就是把它接上模型,这里呢,尽量选择视觉能力强一点的模型。我自用的是通用千万,主要是因为它在这个场景里面效果够用,而且成本也比较友好。那这里呢,就以千万为例,登录阿里云百炼之后,在密钥管理这里创建一个 api key, 这样调用模型所需要的 key 我 们就准备好了。第三步,打开拍摄脚本。这里先提醒一句,如果你电脑里还没装过代码编辑器,建议装一个 ctrl 或 vs code, 后面查看和修改脚本会方便很多。那回到这份脚本里,你真正要改的其实主要就删除 api key、 sl 和模型名称。到这里,脚本本身需要改的配置上就差不多了。 第四步,把本地运行环境补齐。接下来还差一块基建,也就是能让你的脚本在这台电脑上真正跑起来。这里通常需要准备三样东西,安装 python、 安装 popular 并配置环境变量、 安装脚本运行需要的 python 库。坦白讲,这部是最容易把小白卡住的地方,所以我把这段单独整理成了一份很细的操作说明,按步骤走可以省很多时间。 那到做到这里,我们的工作流基本就搭起来了。接下来就是验收结果的时候,我们把 pdf 扫描件放到脚本同级目录下,打开 power shell, 输入 python 脚本名,点 p y, 然后你就能看到它开始一页页处理, 最后把结果吐出来。当然真实做项目的时候,脚本并不是一跑就完美,这里给大家一个非常实用的排错方法。以后你每次遇到报错,就把报错信息截图下来,直接发给 ai, 问他三件事, 这是什么意思?为什么会这样?有什么解决办法?很多时候他都能先帮你把问题翻译成人话,再给你一个排查方向。所以这类工作流真正的难点往往不是代码本身,而是你能不能一边报错,一边把这条链路慢慢调通。好,今天这条工作流我就先带你跑到这里。

ob 科二如何全自动操作浏览器做数据抓取? ob 科二操作浏览器主要通过两种核心模式实现, 托管浏览器模式和扩展终极模式。托管浏览器模式是通过浏览器扩展控制本地已打开的科用标签页,稳定性较差,适用于临时调试。 扩展终极模式是 open 可罗自动打开一个新的浏览器,适用于完成一次性和定时的数据抓取任务。下面是安装方法,需要先安装客户。

hello, 朋友们,今天讲一下 google a s studio 怎么去调整节目的三点零 pro 的 参数,这里面的参数呢,具体会是什么含义?我推荐大家看到结束补充一下对 ai 模型的一些基础认知,用其他 ai 的 时候呢,也能够去快速上手。首先就是进入 google a s studio 的 网站, 我们选择 gemini 三 pro preview, 参数调整就在右侧,我们一个一个去看。第一个就是模型选择,这里可以去选择不同的模型,下面有详细介绍它的扩展消耗是怎么计算的。 这次我们选择就是 gemini 三 pro preview。 第二个呢, system instructions, 这个重点要讲一下,你可以把它理解成是在 ai 的 脑子里面去植入一个人设芯片, 通常呢是用来去定义角色的一个身份,语气输出格式,以及必须遵守的一个硬性规则,让他知道自己是谁,该怎么去说话,什么能做,什么不能去做。 那在这里设定好了 ai 的 人设以后,你就不需要每人对话都提醒他你是一个健身教练,就算后面你会去说你现在是个厨师, ai 坚持自己是一个健身教练, 也不会因为上下文太长忘记自己的身份,大概就是这样,但是这里的提示词啊,一定要记到精简。如果你去给 ai 一个几千字超级详细的人设,那么你后面聊天的时候每说一句话, ai 都要去先读一遍,这几千字的人设比较消耗。 token, 这个在 jamming 的 官网上也可以进行设置,对应的叫 get。 第三个是 api key, no api key 说明你现在用的是 google 提供的免费额度。第四个叫做 temperature 系统默认的温度是一啊, google 官方的开发者指南也提到使用 gmail 三,强烈建议是去保持默认值, 因为 gmail 三 pro 引入了叫 thinking 思维链的一个机制, ai 在 生成最终的答案前,内部有一套严密的逻辑推导路径。我尝试过将温度去调高,结果呢,输出的是一堆乱码,使用之前的版本也可以去调整温度,调低温度,你可以适合去做数学计算,代码生成等需要精确答案的任务。 调高温度呢,适合你去做多个不同的创业方案,比如说写故事,诗歌等艺术创作,还有头脑风暴阶段。第五个呢,是 media solution, 这个控制的是 ai 识别你上传的图片、 pdf 等内容的一个理解程度。选择 raw, ai 只能去识别基础内容,但是选择 media, ai 能识别上传文件的更多细节。 选择 high 呢, ai 能识别复杂内容,比如说像图片中的小字识别复杂的一个图标,但是 token 消耗量会非常大,如果你没有特殊要求,那就用 default 让 ai 自己去判断。第六个叫做 thinking level gemini 三 pro 具备了先思考后作答的能力,在回答前先在后台进行一连串的一个逻辑推理。 thinking level 呢,就是控制这个推理过程,要想多久,想多深的一个参数,遇到难题的时候调成 high, 可以 去深度推理,处理简单任务。调成 low, 可以 去节省时间和算力。这个默认是 high, 因为你既然用上了杰米兰三 pro, 那 就用 high, 看它到底有多聪明。 但是如果不涉及到复杂的数学代码或者逻辑的内容,日常闲聊,我还是建议你可以先设成肉,七个是 tools, 主要有几个,一个是 structured outputs, 让 ai 以特定的格式去输出内容,日常聊天写文不用开。如果你是开发者,那就需要去开启。 第二个 code execution, 让 ai 自己去运行代码来得出答案,涉及到计算数据处理的时候就开启, 提高回答准确率,因为纯元模型对这些方面的内容容易是算错的。日常聊天的时候,你的纯文本任务也不需要去开。第三个方形 colin, 让 ai 调用外部工具或者 api, 日常使用呢也不用开。第四个 ground in with google search。 开启。这个 ai 会实时去搜索最新信息,因为 gemite 三的训练数据是二五年的一月份。第五个 url context, 让 ai 读去链接的网页内容后再去回答。建议呢,也可以去开启。 最后一个是高级设置 safety settings, 这个开启 ai 就 会很保守,稍微敏感的一点的话题就会去拒绝回答。如果你关掉呢, ai 就 会比较敢说,但可能会输出争议的内容,默认你可以是去把它关闭的。第二个叫做 s stop sequence, 这什么意思?这个只可以去设定一个或者特定的词, ai 在 输出内容的时候,当看到有这个词的出现,它就会立即停止生成。你可以防止 ai 自言自语太久,或者防止它开始扮演用户的角色来说话,正常使用你可以不用去管。第三个叫做 up pause, 这个是 ai 回答的一个字数,上限 六五五三六头衔,相当于大约是数万个汉字或者几十页代码,已经是一个很大的数字了。 第四个叫套屁,这个控制 ai 回答的一个多样化和创造力,默认也是零点九五, ai 的 回答会更丰富,更像真人,更有创意。 如果是零点一呢? ai 的 回答就比较死板了,像机器人,但是很准确,适合法律解读这种。像 temperature、 套屁这些设置不只是 jamie 有 chat、 gpt、 cloud 等也都能看到。这些参数是 ai 大 元模型的通用设置,遵循相同的一个底层逻辑。 ok, 那 今天对于 jam 的 三 pro 各个参数的一个分析以及解释就在这里,如果大家感兴趣,或者说大家想学更多 ai 知识呢,也欢迎点赞、关注、收藏一下。

自从体验 cloud code 以来,我真的非常感谢小米还有智普。嗯,小米是因为他前段时间有一个送 token 的 那个活动嘛,然后我当时还在英国,然后就抓紧参与了一下,因为我之前写了一个为自己写了一个小小的软件,但当时也苦于没有 a p i, 就 很难去运行嘛。然后呢,我就发现小米它居然会送 a p i, 然后我立刻申请了,果然它还申请通过了,给了我十六个亿的 token, 当然了,我自己也用不了那么多,那非常感谢它送给我。还有就是智普的 ai, 它是你只要注册就送两千万, 真的非常的好。我觉得给这些想要体验,嗯, a p i 但是不知,但是又不想说先花钱,因为你根本不知道嗯自己会耗费多少个 token, 所以 我觉得真的太好了,非常感谢这些无私的平台们。

诸位同仁,今天是大模型实操第一讲大模型本地化部署,关注我的都知道,之前我梳理了很多大模型底层原理,但实践出真知,所以今天新开一个实操系列,话不多说,直接开讲。 咱们今天争取用一行代码去部署本地大模型。常见的本地大模型推理架构有欧拉玛跟 vrm, 今天咱们使用 vrm, 欧拉玛相当于一个快速验证方案的一个推理工具, 但是真正的上生产环境或者说企业内部使用的大部分都是 vrm, 因为 vrm 的 性能表现跟病发能力远远高于欧拉玛。之前咱们讲过的大模型推理优化技巧,大部分 vrm 都集成进来了,包括配置腾神 flash, 腾神投机解码连续批处理,包括 check the fill, check the fill。 投机解码包括张亮并行,包括前缀附用等。 v r m 的 操作系统,我们可以使用 linux 的 操作系统,或者使用 windows。 w s l v r m 也支持大部分类别的显卡,比如英伟达的, amd 的、 华为的、苹果的。 r m 的 安装 教程,在这里大家可以按照教程安装,或者可以使用非常简单的方式,比如我本地就下载了一个 tree, 让他帮我在扩展中新建一个 type 的 环境,里面安装 vm, 并且声明网络状态为国内网络,安装过程中使用清华代理镜像。现在他已经帮我安装好了 type 的 环境,我们激活 type 的 环境 看,它已经安装了 v l m 十七点一的版本。 v l m 环境安装好了,我们还需要下载模型权重文件,国内下载模型权重文件可以上摩达社区,如果有魔法的话也可以 上哈根 face, 哈根 face 会更有权一些。国内的开源模型大部分在摩达社区上都有,我们可以选中它的模型库,可以看到 它的模型库里有 g m m 的 模型, mini max 的 模型,小米的模型等等。本地步数开源模型大部分都选用千万模型,因为千万模型的模型参数范围比较多,比如千万三点六有三十五 b 跟二点二十七 b, 然后三点五有九 b, 三十五 b, 四 b 等等。我们我们选中三十五 b, 然后可以看这里,这里显示的是模型权重文件的大小,也就意味着你加载到显存中模型权重的大小。在选模型参数量的大小的时候,最好选择比你的显存小十 g 左右的, 然后剩余十 g 用于上呃模型上下文以及 k v katch 的 开销。比如说有十六 g 的 显存,那我们大概率就只能选一个八 b f p 八大小的,占用八 g b 显存的大小,剩下的八 g b 用于上下文以及 k v katch。 要在摩达社区里下载模型,需要先安装摩达社区的库,同样的, 我让我使用 tree 在 type 环境中让他呃,告诉他我要从模特社区里下载模型,让我让他帮我安装对应的库文件可以看到我之前安装好的他已经有了 model scope。 model scope app 安装好之后,我们找到这儿下载模型, 点它可以看到这有一个 model scope 的 下载命令,直接复制过来,到现在的激活环境中粘贴过来,然后可以选择的 qq d i r 选择你要下载到的文件夹复制路径,到这里回车它就会开始下载, 因为我之前已经下载好了,所以我就在这儿就取消下载了。下载好之后可以看到一个对应这样的文件,这些都是它的模型权重,然后现在模型权重准备好了, v r m 下载好了,我们就可以直接 启动 v r m。 v r m 有 两种启动方式,一种是在线启动,离线启动,我们用于生产环境的,一般是在线启动。可以看这个命令前面这个是它用于放在哪个显卡上,这是 v r m 启动模型的命令, 这个对应的是模型下载的文件,是模型的模型的地址和端口,两张卡 pp 并行屏,可以接受的最大上下文,这个是密钥,跟 模型的名字最大并发量,这是前动前缀附用。这个是异模型,专家分发到不同的显卡上,这个是启动 checkprefil, 然后算。因为是一个多模态模型,然后只用到了它的语大文本的语言,所以我们使用了一个 language model only, 这个是让它只输出结果,不输出思考过程,然后把日记输送到这,如启动这个模型运行在命令行中运行这个 s s h 文件,运行这条指令,我们就可以看到它在启动,在加载模型权重,知道显示这个 代表模型已经启动成功。推荐大家安装一个这个软件,在 windows 上安装就可以,类似于 qq 的 x 这些智能体客户端,不需要登录啊,我可以在它的设置中直接添加模型。 先问就选 openai 就 可以,因为 vlm 支持 openai 的 接口格式。输入模型的地址加端口,刚才的端口是二零零五,输入模型的地址加端口获取模型列表就可以看到这出来了,模型选刚才这个选择,添加 这个就有了,到首页里面,首页里面我们选择模型,它 就可以直接跟他对话了。嗯,你好,你是谁就可以。然后你还可以去改一些模型的参数,比如模型的温度、模型的 top p, 流式流式输出等等。今天的大模型的本地话部署就到这,大家可以按照视频去一步步去尝试,有什么问题随时欢迎大家来找我留言。
