00:00 / 00:55
连播
清屏
智能
倍速
点赞1729
Tony沈哲1月前
本地 AI 推理平台 第十三期 Vol.13|OpenClaw 接入本地推理:Qwen3.5-27B 实测 这一期测试一个比较有意思的组合: OpenClaw + 本地 AI 推理平台 + Qwen3.5-27B 模型。 我将 OpenClaw 接入到我正在开发的 本地 AI 推理平台, 让 OpenClaw 使用本地模型作为 推理后端。 本次使用的模型是: Qwen3.5-27B-Claude-4.6-Opus-Distilled(MLX 4bit) 这是一个基于 Qwen3.5-27B 的模型,并蒸馏了 Claude Opus 风格行为, 同时使用 MLX 框架 + 4bit 量化进行本地推理优化。 需要说明的是: 这个模型 并不是真正的 Claude, 而是一个 Claude 风格的蒸馏模型。 在这一期视频中主要演示: 1️⃣ OpenClaw 接入本地推理平台 通过接口让 OpenClaw 使用 本地 AI 推理平台作为推理后端: OpenClaw ↓ 本地 AI 推理平台 ↓ Qwen3.5-27B Claude Distilled 这样 OpenClaw 就可以使用 本地模型进行推理。 2️⃣ Qwen3.5-27B Claude Distilled 简单实测 通过几个简单示例测试模型能力: 代码生成能力 概念解释能力 实际使用体验 例如: 生成 OpenCV C++ 直方图匹配算法 解释 Transformer 为什么可以处理长文本 这一期主要展示的是: 如何让 OpenClaw 接入本地模型推理能力, 并测试 Qwen3.5-27B Claude Distilled 的实际效果。 如果你对 本地 AI 推理、Agent 架构、或 AI 系统开发感兴趣, 欢迎关注这个系列。 我会持续记录 本地 AI 推理平台的开发过程与实验。 #OpenClaw #抖音养虾人俱乐部 #Qwen #本地大模型
00:00 / 10:49
连播
清屏
智能
倍速
点赞31
Qwopus3.6-27B 本地部署,24G 显卡轻松跑 Qwen 加 Opus,缝合怪又来了,这次是 27B 本地版。大家好,我是AI学习的老章。今天聊一个有意思的开源模型,Qwopus3.6-27B-v1-preview,作者 Jackrong。光看名字你就懂了,Qwen 加 Opus,意思是拿 Claude Opus 的蒸馏数据,去调教 Qwen3.6-27B。底座是阿里的 Qwen3.6-27B 稠密模型,原生 262K 上下文,能扩到 1M。训练用的 Unsloth,数据是 Claude 蒸馏数据集打底,混入 GLM-5.1、Kimi-K2.5、Qwen3.5 的推理数据。最关键的一步在这,作者用一个 8B 模型当过滤器,把风格跑偏的样本剔掉,最后只留 12K 条调性统一的高质量数据。这思路特别反直觉,别人都是越多越好,他在做减法。我觉得这个项目最值得琢磨的就是这个点,吃什么长什么样,数据干净,比数据多重要得多。早期评测合作者用 16 条 prompt,单卡 5090 跑 GGUF 量化版,覆盖 Agentic 推理、前端设计、创意 Canvas 三类场景,对比的是 Qwen3.6-27B 原版。但说实话,16 条样本,作者自己都说是 early signal,谁也别当定论。GGUF 仓库已经放出来,量化档位很全,IQ4_XS 是 15.2 G,单张 24G 显卡就能跑,4090、5090、3090 都行。Q2_K 是 10.7 G,16G 显卡能塞但损失不小。直接用 llama.cpp 或者 Ollama 拉起来就行。我的看法是,值得关注,但别神化。它是 preview 版,作者自己都说在探路。但这个思路把 Claude 风格用工程手段迁移到可本地部署的 27B 模型上,加上 Apache-2.0 协议商用友好,给国产开源生态加了一个有 Claude 味儿的选择,这个角度挺难得。手上有 4090、5090 的玩家可以尝个鲜,正式版出来我再拉出来实测一波
00:00 / 02:13
连播
清屏
智能
倍速
点赞189
00:00 / 02:10
连播
清屏
智能
倍速
点赞392
00:00 / 04:21
连播
清屏
智能
倍速
点赞247
00:00 / 00:35
连播
清屏
智能
倍速
点赞29
00:00 / 00:53
连播
清屏
智能
倍速
点赞347
00:00 / 01:24
连播
清屏
智能
倍速
点赞9506