Karminski6天前
Qwen3.5实测!来看贺岁档大模型的实力! 贺岁档大模型来啦! Qwen3.5 这次支持了文本、图片、视频多模态输入, 本次准备了全新的后端能力测试! 以及照例带来前端能力、Agent、长上下文能力的全面测试! 来看本次新增的后端编程测试 vector DB Bench: 要求大模型从零实现一个高性能向量数据库, 只给提示词不给实现方案, 配合 coding agent 自动写代码、编译、跑分. 结果 Qwen3.5 直接甩出王炸 —— QPS 1405, 是 Kimi-K2.5 的 4.8 倍, GLM-5 的 25 倍! 关键在于它不仅用了 IVF 倒排索引 + AVX512F 指令集, 还在有限轮次内自主探索出了最优聚类参数 (K=2048, nprobe=30), 每次查询只需扫描约 15000 条数据, 而 Kimi-K2.5 的参数配比要扫描 75000 条, 正好解释了近 5 倍的性能差距. 这波调参堪称神之一手. 前端编程也有进步: 大象牙膏测试终于能正确建模三角烧瓶, 鞭炮连锁爆炸的粒子光影效果不错, 支持多模态后甚至可以对着网站录屏直接克隆. 但空间理解仍是短板, 陀飞轮机芯测试中齿轮设计暴露了差距. 指令遵循: 洛希极限测试中的指令遵循达到 85.9% (Gemini-3.0-Pro 为 90.6%), 主要扣分在未遵循加速曲线公式. Agent 能力: 硅基骑手测试得分 668.43, 仅次于 GLM-5 的 738.69, 也侧面解释了为什么后端编程 Agent 表现这么强. 长文本召回: 256K 上下文召回 99.1%, 但不给原文时四选一蒙对率高达 75.6%, 结果完全不置信. 总结: Qwen3.5 最亮眼的是后端编程能力, 同样的 IVF 算法靠调参拉开 5 倍差距, Agent 能力同样在线. 不过本次测试还发现了点小问题, 输出偶尔不太稳定, 会漏掉 markdown 语法或把答案输出到 thinking 标签里, 这点要注意, 目前我已经反馈给官方了. 这份新年礼物, 大家觉得怎么样? #Qwen #千问大模型 #Qwen35 #阿里千问 #通义实验室
00:00 / 07:00
连播
清屏
智能
倍速
点赞51
司波图7月前
拼好机!2500元装一台AI服务器!vLLM张量并行性能暴涨 💥2400元预算挑战AI算力天花板!本期视频,我们解决了Radeon VII / MI50 等 gfx906 架构显卡长期以来无法使用 vLLM 张量并行的痛点! 我们将全程展示如何用两张“过气”Radeon VII显卡,搭配X99“洋垃圾”平台,组装一台总价仅2397元的AI算力服务器。通过社区大神 nlzy 提供的特制Docker容器,我们成功解锁了vLLM的张量并行功能,在Qwen3 32B量化模型上实现了98 tokens/s的并发推理速度,性能是Ollama的6倍以上! 视频最后,我们还将通过Open WebUI,实战演示8个用户同时访问这台服务器的流畅体验! 本期硬件配置清单 (总计: ~2397元) 显卡 (GPU): AMD Radeon VII 16GB x 2 (二手 ~1600元) 主板 (Motherboard): 精粤 X99M-PLUS (~300元) 处理器 (CPU): Intel Xeon E5-2680 v4 (56元) 内存 (RAM): 海力士 ECC REG DDR4 8GB x 4 (176元) 硬盘 (Storage): 512GB NVMe SSD (~150元) 电源 (PSU): 额定850W 金牌认证电源 (二手 115元) 【本期方案超详细文字版教程】 为了方便大家复现,我们已经把今天所有用到的命令、链接,以及一份超详细的文字版部署教程,全部整理好,放到了UP主的Gitee主页上! 直达链接:https://gitee.com/spoto/R7vllm 如果觉得本期视频对你有帮助,请务-务-务必 点赞、投币、收藏 三连支持一下UP主!你们的支持是我爆肝更新的最大动力!感谢大家! #AI #AMD #vllm #服务器 #装机
00:00 / 07:59
连播
清屏
智能
倍速
点赞5194
00:00 / 08:57
连播
清屏
智能
倍速
点赞8
Qwen3-Coder-480B 私有化部署专业指南 一、部署核心配置方案 1. Docker环境优化 -  --shm-size=100g :配置超大共享内存,满足节点内8卡间高频数据交换需求,消除多进程通信瓶颈。 -  --gpus all :全量启用节点内GPU资源,结合 --tp 16 参数实现16卡协同计算,避免资源闲置。 - 辅助配置: --network host 与 --ipc host 模式减少网络与进程通信开销,为分布式计算提供高效环境。 2. NCCL通信协议配置 - 网络硬件绑定:通过 NCCL_IB_HCA=mlx5_0,...mlx5_8 指定节点内8张GPU对应的InfiniBand网卡,依托400Gbps高速链路实现低延迟通信。 - 通信参数优化: NCCL_IB_QPS_PER_CONNECTION=8 配置匹配单节点8卡并行通信需求,提升多卡协同效率。 3. SGLang框架核心参数设置 - 编译优化: --enable-torch-compile 启用PyTorch编译功能,针对A100的Tensor Core特性生成优化内核,推理速度提升20%-30%。 - 批处理控制: --torch-compile-max-bs 8 结合A100大显存优势,平衡吞吐量与延迟,支持高并发场景。 - 上下文扩展:通过 --context-length 131072 参数及YaRN技术,将上下文长度扩展至128k,满足长文本代码生成需求。 三、节点部署实现 主从节点核心差异 - 主节点:通过 --node-rank 0 标识,负责分布式任务初始化与协调,所有节点通过 --dist-init-addr ip:port 与其建立连接。 - 从节点:以 --node-rank 1 标识,专注于执行计算任务,与主节点保持参数一致性(除节点标识外),确保集群协同性。 通过上述配置,可在2×8×A100环境下构建高效、稳定的Qwen3-Coder-480B私有化部署方案,为企业提供专业级代码智能辅助能力。 #大模型 #私有化部署 #qwen #推理引擎 #人工智能
00:00 / 14:49
连播
清屏
智能
倍速
点赞265
00:00 / 00:27
连播
清屏
智能
倍速
点赞42
00:00 / 02:12
连播
清屏
智能
倍速
点赞38
AI随风6月前
GPT5+Cursor编程能力测试,结果如何? gpt5终于发布了,在编程能力上有巨大提升,我们来简单测试gpt5的前端生成能力,对比claude 4 sonnet以及 qwen3-coder。 提示词: 我想开发一个小程序,核心功能需求文档,现在需要输出高保真的原型图,请通过以下方式帮我完成所有界面的原型设计,并确保这些原型界面可以直接用于开发: 1、用户体验分析:先分析这个 App 的主要功能和用户需求,确定核心交互逻辑。 2、产品界面规划:作为产品经理,定义关键界面,确保信息架构合理。 3、高保真 UI 设计:作为 UI 设计师,设计贴近真实 iOS/Android 设计规范的界面,使用现代化的 UI 元素,使其具有良好的视觉体验。 4、HTML 原型实现:使用 HTML + Tailwind CSS(或 Bootstrap)生成所有原型界面,并使用 FontAwesome(或其他开源 UI 组件)让界面更加精美、接近真实的 App 设计。拆分代码文件,保持结构清晰: 5、每个界面应作为独立的 HTML 文件存放,例如 home.html、profile.html、settings.html 等。 - index.html 作为主入口,不直接写入所有界面的 HTML 代码,而是使用 iframe 的方式嵌入这些 HTML 片段,并将所有页面直接平铺展示在 index 页面中,而不是跳转链接。 - 真实感增强: - 界面尺寸应模拟 iPhone 15 Pro,并让界面圆角化,使其更像真实的手机界面。 - 使用真实的 UI 图片,而非占位符图片(可从 Unsplash、Pexels、Apple 官方 UI 资源中选择)。 - 添加顶部状态栏(模拟 iOS 状态栏),并包含 App 导航栏(类似 iOS 底部 Tab Bar)。 请按照以上要求生成完整的 HTML 代码,并确保其可用于实际开发。 #GPT5 #AI编程 #Cursor
00:00 / 07:22
连播
清屏
智能
倍速
点赞155
00:00 / 03:15
连播
清屏
智能
倍速
点赞76
Qwen3-Coder技术解析:开源代码大模型的性能突破与实践价值 作为近期开源领域的重要进展,Qwen3-Coder系列模型在代码生成与开发辅助领域展现出显著优势。本文将从技术特性、性能表现、训练逻辑及应用实践等维度,系统解析这一模型的核心价值。 一、模型核心特性与版本信息 Qwen3-Coder系列中,当前旗舰版本为Qwen3-Coder-480B-A35B-Instruct,采用混合专家(MoE)架构,总参数量达480B,激活参数量35B。该模型原生支持256K token上下文窗口,通过YaRN技术可扩展至1M token,在Agentic Coding(智能编程)、Agentic Browser-Use(浏览器协同)及Agentic Tool-Use(工具调用)场景中实现开源模型最优(SOTA)效果,性能可与Claude Sonnet4等专有模型对标。 二、性能基准与对比分析 在多项权威代码能力基准测试中,Qwen3-Coder-480B-A35B-Instruct表现突出: - 在SWE-bench系列(软件工程任务)、Aider-Polyglot(多语言编程)、Spider2(数据库操作)、BFCL-v3(代码逻辑推理)等测试中,其性能显著优于Kimi-K2 Instruct、DeepSeek-V3 0324等开源模型; - 与Claude Sonnet-4、OpenAI GPT-4.1等专有模型对比,部分核心指标已实现接近或持平,验证了开源模型在专业编程场景的实用性。 三、训练体系与技术优化 模型性能的突破源于系统性训练升级: - 预训练阶段:构建7.5T规模训练数据(代码占比70%),扩展上下文至原生256K并支持1M扩展;通过Qwen2.5-Coder对低质数据进行清洗重写,提升训练数据质量,强化代码基础能力。 - 后训练阶段:深化Code RL(代码强化学习)训练,聚焦真实场景代码任务;拓展Agent RL(智能体强化学习)至可验证环境,在SWE-bench Verified测试中斩获开源模型最优成绩,强化实际问题解决能力。 #计算机 #Ai应用 #大模型 #Qwen3 #代码编程
00:00 / 05:59
连播
清屏
智能
倍速
点赞344