00:00 / 00:43
连播
清屏
智能
倍速
点赞1952
司波图8月前
拼好机!2500元装一台AI服务器!vLLM张量并行性能暴涨 💥2400元预算挑战AI算力天花板!本期视频,我们解决了Radeon VII / MI50 等 gfx906 架构显卡长期以来无法使用 vLLM 张量并行的痛点! 我们将全程展示如何用两张“过气”Radeon VII显卡,搭配X99“洋垃圾”平台,组装一台总价仅2397元的AI算力服务器。通过社区大神 nlzy 提供的特制Docker容器,我们成功解锁了vLLM的张量并行功能,在Qwen3 32B量化模型上实现了98 tokens/s的并发推理速度,性能是Ollama的6倍以上! 视频最后,我们还将通过Open WebUI,实战演示8个用户同时访问这台服务器的流畅体验! 本期硬件配置清单 (总计: ~2397元) 显卡 (GPU): AMD Radeon VII 16GB x 2 (二手 ~1600元) 主板 (Motherboard): 精粤 X99M-PLUS (~300元) 处理器 (CPU): Intel Xeon E5-2680 v4 (56元) 内存 (RAM): 海力士 ECC REG DDR4 8GB x 4 (176元) 硬盘 (Storage): 512GB NVMe SSD (~150元) 电源 (PSU): 额定850W 金牌认证电源 (二手 115元) 【本期方案超详细文字版教程】 为了方便大家复现,我们已经把今天所有用到的命令、链接,以及一份超详细的文字版部署教程,全部整理好,放到了UP主的Gitee主页上! 直达链接:https://gitee.com/spoto/R7vllm 如果觉得本期视频对你有帮助,请务-务-务必 点赞、投币、收藏 三连支持一下UP主!你们的支持是我爆肝更新的最大动力!感谢大家! #AI #AMD #vllm #服务器 #装机
00:00 / 07:59
连播
清屏
智能
倍速
点赞6013
Qwen3-Coder-480B 私有化部署专业指南 一、部署核心配置方案 1. Docker环境优化 -  --shm-size=100g :配置超大共享内存,满足节点内8卡间高频数据交换需求,消除多进程通信瓶颈。 -  --gpus all :全量启用节点内GPU资源,结合 --tp 16 参数实现16卡协同计算,避免资源闲置。 - 辅助配置: --network host 与 --ipc host 模式减少网络与进程通信开销,为分布式计算提供高效环境。 2. NCCL通信协议配置 - 网络硬件绑定:通过 NCCL_IB_HCA=mlx5_0,...mlx5_8 指定节点内8张GPU对应的InfiniBand网卡,依托400Gbps高速链路实现低延迟通信。 - 通信参数优化: NCCL_IB_QPS_PER_CONNECTION=8 配置匹配单节点8卡并行通信需求,提升多卡协同效率。 3. SGLang框架核心参数设置 - 编译优化: --enable-torch-compile 启用PyTorch编译功能,针对A100的Tensor Core特性生成优化内核,推理速度提升20%-30%。 - 批处理控制: --torch-compile-max-bs 8 结合A100大显存优势,平衡吞吐量与延迟,支持高并发场景。 - 上下文扩展:通过 --context-length 131072 参数及YaRN技术,将上下文长度扩展至128k,满足长文本代码生成需求。 三、节点部署实现 主从节点核心差异 - 主节点:通过 --node-rank 0 标识,负责分布式任务初始化与协调,所有节点通过 --dist-init-addr ip:port 与其建立连接。 - 从节点:以 --node-rank 1 标识,专注于执行计算任务,与主节点保持参数一致性(除节点标识外),确保集群协同性。 通过上述配置,可在2×8×A100环境下构建高效、稳定的Qwen3-Coder-480B私有化部署方案,为企业提供专业级代码智能辅助能力。 #大模型 #私有化部署 #qwen #推理引擎 #人工智能
00:00 / 14:49
连播
清屏
智能
倍速
点赞265
Qwen3.5-35B视觉多模态本地跑通,性价比炸裂💥 在2026年的今天,想跑大模型还要花几十万买H100/A800?NO! 🙅‍♂️今天给大家展示一套“极度务实”的国产化AI推理服务器方案。 CPU: 国产之光海光3490(16核32线程) 显卡: 2张 RTX 4090 48GB 魔改版(显存翻倍,快乐翻倍!) 目标: 完美运行 Qwen3.5-35B-A3B-FB8 视觉多模态模型! 总成本不到专业卡的零头,性能却足以应付绝大多数私有化部署场景!🔥 🤖 为什么选这套配置跑 Qwen3.5-35B? 1️⃣ 显存才是硬道理!💰 Qwen3.5-35B 是一个巨大的模型。 FP16精度:需要约 70GB+ 显存。 INT4量化:需要约 20-24GB 显存。 但是! 我们要跑视觉多模态 (Vision) + 长上下文 (Long Context) + 高并发。 图像编码需要额外显存。 KV Cache 在长文本下会吃掉大量显存。 双路4090 48G = 96GB 总显存。这意味着你可以: ✅ 轻松运行 FP8/INT4 精度的全量模型。 ✅ 预留充足显存给 高分辨率图片输入。 ✅ 支持 更长上下文 (32k+) 而不爆显存。 ✅ 甚至可以做小规模的 LoRA 微调!🛠️ 2️⃣ 海光3490:被低估的国产老将 🇨🇳 很多人觉得16核不够用? 在推理 (Inference) 场景下,瓶颈主要在 GPU 和 PCIe带宽,CPU主要负责数据预处理和调度。 海光3490基于Zen架构,PCIe通道数充足,能喂饱双卡数据流。 重点: 在信创、政企、涉密场景,国产CPU是刚需。这套方案完美符合“自主可控”要求,且成本极低! 📝 总结 这套 “海光3490 + 双4090 48G” 的方案,是2026年中小型企业、科研实验室、极客玩家部署私有化大模型的版本答案。 不要迷信原厂标,适合业务的才是最好的!如果你也想搭建自己的AI大脑,这套作业可以直接抄!📝 #大模型 #Qwen35 #国产芯片#RTX4090 #多模态AI
00:00 / 02:13
连播
清屏
智能
倍速
点赞5
00:00 / 02:43
连播
清屏
智能
倍速
点赞5
00:00 / 00:53
连播
清屏
智能
倍速
点赞10
Qwen3 Embedding 4B模型+n8n工作流结合 🚀🚀🚀视频简介: ✅AI知识库搭建终极指南!Qwen3 Embedding模型性能超越同类产品,结合N8N工作流平台实现文档自动处理、向量存储、智能问答一站式解决方案 ✅本视频详细演示了如何使用阿里巴巴最新发布的Qwen3 Embedding 4B模型,结合n8n工作流平台,无需编程基础即可快速构建强大的个人AI知识库。 🚀 核心亮点: - Qwen3 Embedding系列:支持0.6B、4B、8B三种参数规格,在MTEB多语言排行榜排名第一,检索准确率高达95%,支持100多种语言和32K上下文长度 - N8N工作流平台:零代码可视化操作,支持500多种服务集成,提供灵活的部署方案 📋 实操步骤: 1. 安装Ollama和Node.js环境 2. 下载并导入Qwen3 Embedding 4B量化模型 3. 使用N8N构建两个核心工作流: - 📁 文件读取→向量化存储工作流 - 🔍 智能检索→问答工作流 💡 技术特色: - 支持中英文混合文档处理 - 递归文本分割和向量存储 - 实时检索验证效果显著 完全开源免费的解决方案,让每个人都能拥有专属的智能知识助手!🤖✨ 🔥🔥🔥时间戳: 00:00 - 阿里巴巴Qwen3 Embedding系列模型介绍 00:48 - Qwen3 Embedding模型优势详解 01:28 - n8n工作流平台优势介绍 02:20 - 环境准备:安装Ollama和Node.js 02:41 - 下载并导入Qwen3 Embedding 4B模型到Ollama 04:07 - 安装并启动n8n工作流平台 04:25 - 构建知识库工作流:添加文件读取和循环组件 05:56 - 配置向量数据库和嵌入模型 08:38 - 构建检索工作流:配置AI Agent和向量存储工具 10:33 - 测试个人知识库检索功能 11:26 - 检索结果展示和总结 #n8n #qwen3 #qwen #RAG #知识库
00:00 / 11:45
连播
清屏
智能
倍速
点赞279
00:00 / 02:00
连播
清屏
智能
倍速
点赞2808