司波图7月前
拼好机!2500元装一台AI服务器!vLLM张量并行性能暴涨 💥2400元预算挑战AI算力天花板!本期视频,我们解决了Radeon VII / MI50 等 gfx906 架构显卡长期以来无法使用 vLLM 张量并行的痛点! 我们将全程展示如何用两张“过气”Radeon VII显卡,搭配X99“洋垃圾”平台,组装一台总价仅2397元的AI算力服务器。通过社区大神 nlzy 提供的特制Docker容器,我们成功解锁了vLLM的张量并行功能,在Qwen3 32B量化模型上实现了98 tokens/s的并发推理速度,性能是Ollama的6倍以上! 视频最后,我们还将通过Open WebUI,实战演示8个用户同时访问这台服务器的流畅体验! 本期硬件配置清单 (总计: ~2397元) 显卡 (GPU): AMD Radeon VII 16GB x 2 (二手 ~1600元) 主板 (Motherboard): 精粤 X99M-PLUS (~300元) 处理器 (CPU): Intel Xeon E5-2680 v4 (56元) 内存 (RAM): 海力士 ECC REG DDR4 8GB x 4 (176元) 硬盘 (Storage): 512GB NVMe SSD (~150元) 电源 (PSU): 额定850W 金牌认证电源 (二手 115元) 【本期方案超详细文字版教程】 为了方便大家复现,我们已经把今天所有用到的命令、链接,以及一份超详细的文字版部署教程,全部整理好,放到了UP主的Gitee主页上! 直达链接:https://gitee.com/spoto/R7vllm 如果觉得本期视频对你有帮助,请务-务-务必 点赞、投币、收藏 三连支持一下UP主!你们的支持是我爆肝更新的最大动力!感谢大家! #AI #AMD #vllm #服务器 #装机
00:00 / 07:59
连播
清屏
智能
倍速
点赞5721
00:00 / 05:03
连播
清屏
智能
倍速
点赞62
Tony沈哲2天前
本地 AI 推理平台 第十三期 Vol.13|OpenClaw 接入本地推理:Qwen3.5-27B 实测 这一期测试一个比较有意思的组合: OpenClaw + 本地 AI 推理平台 + Qwen3.5-27B 模型。 我将 OpenClaw 接入到我正在开发的 本地 AI 推理平台, 让 OpenClaw 使用本地模型作为 推理后端。 本次使用的模型是: Qwen3.5-27B-Claude-4.6-Opus-Distilled(MLX 4bit) 这是一个基于 Qwen3.5-27B 的模型,并蒸馏了 Claude Opus 风格行为, 同时使用 MLX 框架 + 4bit 量化进行本地推理优化。 需要说明的是: 这个模型 并不是真正的 Claude, 而是一个 Claude 风格的蒸馏模型。 在这一期视频中主要演示: 1️⃣ OpenClaw 接入本地推理平台 通过接口让 OpenClaw 使用 本地 AI 推理平台作为推理后端: OpenClaw ↓ 本地 AI 推理平台 ↓ Qwen3.5-27B Claude Distilled 这样 OpenClaw 就可以使用 本地模型进行推理。 2️⃣ Qwen3.5-27B Claude Distilled 简单实测 通过几个简单示例测试模型能力: 代码生成能力 概念解释能力 实际使用体验 例如: 生成 OpenCV C++ 直方图匹配算法 解释 Transformer 为什么可以处理长文本 这一期主要展示的是: 如何让 OpenClaw 接入本地模型推理能力, 并测试 Qwen3.5-27B Claude Distilled 的实际效果。 如果你对 本地 AI 推理、Agent 架构、或 AI 系统开发感兴趣, 欢迎关注这个系列。 我会持续记录 本地 AI 推理平台的开发过程与实验。 #OpenClaw #抖音养虾人俱乐部 #Qwen #本地大模型
00:00 / 10:49
连播
清屏
智能
倍速
点赞30
Qwen3-Coder-480B 私有化部署专业指南 一、部署核心配置方案 1. Docker环境优化 -  --shm-size=100g :配置超大共享内存,满足节点内8卡间高频数据交换需求,消除多进程通信瓶颈。 -  --gpus all :全量启用节点内GPU资源,结合 --tp 16 参数实现16卡协同计算,避免资源闲置。 - 辅助配置: --network host 与 --ipc host 模式减少网络与进程通信开销,为分布式计算提供高效环境。 2. NCCL通信协议配置 - 网络硬件绑定:通过 NCCL_IB_HCA=mlx5_0,...mlx5_8 指定节点内8张GPU对应的InfiniBand网卡,依托400Gbps高速链路实现低延迟通信。 - 通信参数优化: NCCL_IB_QPS_PER_CONNECTION=8 配置匹配单节点8卡并行通信需求,提升多卡协同效率。 3. SGLang框架核心参数设置 - 编译优化: --enable-torch-compile 启用PyTorch编译功能,针对A100的Tensor Core特性生成优化内核,推理速度提升20%-30%。 - 批处理控制: --torch-compile-max-bs 8 结合A100大显存优势,平衡吞吐量与延迟,支持高并发场景。 - 上下文扩展:通过 --context-length 131072 参数及YaRN技术,将上下文长度扩展至128k,满足长文本代码生成需求。 三、节点部署实现 主从节点核心差异 - 主节点:通过 --node-rank 0 标识,负责分布式任务初始化与协调,所有节点通过 --dist-init-addr ip:port 与其建立连接。 - 从节点:以 --node-rank 1 标识,专注于执行计算任务,与主节点保持参数一致性(除节点标识外),确保集群协同性。 通过上述配置,可在2×8×A100环境下构建高效、稳定的Qwen3-Coder-480B私有化部署方案,为企业提供专业级代码智能辅助能力。 #大模型 #私有化部署 #qwen #推理引擎 #人工智能
00:00 / 14:49
连播
清屏
智能
倍速
点赞265
00:00 / 02:00
连播
清屏
智能
倍速
点赞2439