Tony沈哲2周前
本地 AI 推理平台 第十七期 Vol.17|远程模型接入:让 LM Studio/Ollama 成为推理节点 这一期继续升级本地 AI 推理平台的能力: 👉 远程模型接入(局域网环境) 在真实开发场景中,模型往往不在同一台机器上,例如: * 模型运行在 GPU 服务器 * 或局域网中的另一台电脑 * 本机只是 UI 或 Agent 控制端 那么问题来了: 👉 Agent 如何调用这些远程模型? 在这一期视频中,我将: * 将部署在其他机器上的 LM Studio / Ollama * 接入到本地 AI 推理平台 * 通过接口将其作为 远程推理节点 * 自动注册到统一的 Model Registry 接入之后,这些远程模型可以被: * Chat 直接调用 * Agent 执行任务时调用 * Workflow 编排使用 而且在使用层面是完全透明的: 👉 模型在哪台机器上,调用方并不需要关心 在视频中我演示了两个典型场景: 1️⃣ Chat 调用远程模型 选择远程模型进行对话, 推理发生在另一台机器,但体验与本地一致。 2️⃣ Agent 调用远程模型(重点) 在任务执行过程中: * Agent 调用模型 * 实际推理在远程节点完成 * 返回结果后继续执行流程 这说明: 👉 模型已经成为一种可调度的“能力资源” 这一期的核心在于: AI 系统开始具备: 👉 跨机器推理能力(分布式执行的基础) 如果你对: * 本地 AI * Agent 系统 * 多模型调度 * AI 平台架构 感兴趣,欢迎关注这个系列。 #本地AI #AI推理平台 #OpenVitamin #本地AI平台 #AI基础设施
00:00 / 05:24
连播
清屏
智能
倍速
点赞21
00:00 / 27:16
连播
清屏
智能
倍速
点赞10
00:00 / 00:00
连播
清屏
智能
倍速
点赞2
00:00 / 00:00
连播
清屏
智能
倍速
点赞7
00:00 / 00:00
连播
清屏
智能
倍速
点赞3
00:00 / 01:55
连播
清屏
智能
倍速
点赞70
果柚儿1天前
来日照的姐妹们存下吧💯游玩攻略。和朋友刚从日照回来,熬夜整理了这份纯个人亲身体验的攻略,无广可直接抄作业,适合来日照游玩的小伙伴参考,快收藏⭐️ - 🚘日照交通指南 ✈️飞机:日照山字河机场,抵达后可乘坐机场大巴、网约车直达市区,出行便捷; 🚄高铁/火车:日照西站、日照站均可抵达,两站周边交通便利,公交、打车都很方便; 🚗自驾:高速直达日照,市区及沿海道路通畅,景区周边停车点位充足; 🚌公交:覆盖主要景区,票价亲民,路线齐全,适合预算出行; 🛵共享电动车/滴车:短途出行灵活便捷,逛海边、小吃街可选; - 😘日照必打卡美食(本地私藏) 📍巧克力渔家:日照老牌海鲜店,主打蒸汽锅,食材新鲜,分量扎实。我和朋友常来海肠贝丁捞饭、鲅鱼水饺、香辣石斑鱼都是特色,和朋朋友都很喜欢。 📍宽婆子海鲜锅贴:锅贴外皮焦香,内馅饱满,咬开有汤汁,搭配海鲜面,我和朋友逛累了在这里简单吃了一顿,方便又饱腹。 📍阿水大杯茶:水果茶清爽解腻,西瓜汁清甜可口,杯量足,我和朋友逛街时买了一杯,是本地人常喝的茶饮。 📍萍姐火锅:复古市井风格,牛油锅底香浓,耙鸡爪、嫩牛肉入味,我和朋友围坐用餐,氛围轻松自在。 📍大凯面包店:面包松软,口味多样,我和朋友路过总会带几个,适合当早餐或垫肚子。 - ⚠️出行小贴士 1. 海边偏凉,可备一件薄外套,避免着凉。 2. 赶海可提前查询潮汐信息,退潮后体验更佳,记得备好小工具。 3. 博物馆、科技馆等场馆需提前予约,按规定时间前往即可。 4. 景区内部分项目单独收费,按需选择,不盲目消费。 5. 用餐可选择本地家常门店,更能体验地道风味。 #日照旅游攻略 #日照攻略 #山东日照 #日照吃海鲜去哪里#日照网红打卡地
00:00 / 00:00
连播
清屏
智能
倍速
点赞5