17
抢首评
19
2
举报
发布时间:2026-05-07 09:08
tonypp
tonypp

粉丝10获赞17

相关视频

  • 本地部署硬件指南:从“洋垃圾”到顶级配置 5千到4万,大模型本地部署硬件避坑方案
#显卡  #GPU #RTX4090 #V100 #算力 #硬件配置 #AI视频 #攒机 #大模型  #本地部署  #AI科普  #模型选型 #DeepSeek #数据安全 #生产力工具 @抖音创作小助手 @DOU+小助手
    03:22
    查看AI文稿
  • AI文生视频本地部署,显卡显存选错全白费!!!!#本地部署 #数码科技#服务器 #ai生成视频 #文生视频
    01:34
    查看AI文稿
  • 本地大模型怎么自定义工具 #电脑配置  #工作站  #大模型  #算力
    01:02
    查看AI文稿
  • 4060ti和v100同时兼容的驱动安装教程 4060ti和v100同时兼容的驱动安装教程,实验了十几次才成功的版本,不会掉驱动版本#软件安装步骤 #英伟达 #驱动
    00:57
    查看AI文稿
  • vLLM 解密:DeepSeek V4 本地部署为何如此困难 DeepSeek V4 本地部署,门槛直接劝退,起步就要 4 张 B200。大家好,我是 AI 学习的老章。V4 这次最狠的不是参数,是把 1M 上下文做到了极致。bf16 的 KV cache 在 1M 下,每条序列只要 9.62 GiB,比 V3.2 那种估算小了将近 9 倍。代价是注意力机制堆成了五层蛋糕。MLA 之上叠 K 和 V 共享,再叠 c4a 和 c128a 两种跨 token 压缩,再用 DSA 稀疏选 top-k,最后还要 SWA 滑动窗口保留局部信息。indexer 用 fp4,attention cache 用 fp8,又能再砍一半显存。省下来的显存全是工程债。vLLM 这一侧把逻辑块统一钉死 256 个原生 token,压缩器残差直接当 SWA 处理,所有 page size 归到三个桶,再叠三处内核融合加多流并发,才把这套机制喂进 GPU。我的判断很直白。个人用户想本地跑 V4,短期内别想了。真正能吃到红利的,是手上有 H200 和 B200 集群、又要做长文档分析和多轮 agent 工作流的 infra 团队。
    01:26
    vLLM 解密:DeepSeek V4 本地部署为何如此困难 DeepSeek V4 本地部署,门槛直接劝退,起步就要 4 张 B200。大家好,我是 AI 学习的老章。V4 这次最狠的不是参数,是把 1M 上下文做到了极致。bf16 的 KV cache 在 1M 下,每条序列只要 9.62 GiB,比 V3.2 那种估算小了将近 9 倍。代价是注意力机制堆成了五层蛋糕。MLA 之上叠 K 和 V 共享,再叠 c4a 和 c128a 两种跨 token 压缩,再用 DSA 稀疏选 top-k,最后还要 SWA 滑动窗口保留局部信息。indexer 用 fp4,attention cache 用 fp8,又能再砍一半显存。省下来的显存全是工程债。vLLM 这一侧把逻辑块统一钉死 256 个原生 token,压缩器残差直接当 SWA 处理,所有 page size 归到三个桶,再叠三处内核融合加多流并发,才把这套机制喂进 GPU。我的判断很直白。个人用户想本地跑 V4,短期内别想了。真正能吃到红利的,是手上有 H200 和 B200 集群、又要做长文档分析和多轮 agent 工作流的 infra 团队。
    查看AI文稿
  • 4卡A100 320g超大显存,百万配置干翻性能焦虑 #deepseekv4 #电脑装机 #大模型 #本地部署#英伟达显卡
    02:43
    查看AI文稿
  • 本地部署Qwen3.5: vllm VS llama.cpp
#大模型部署 #大模型 #学习日常
    07:33
    查看AI文稿
  • 企业生产级部署大模型选lmstudio还是llamacpp? 长上下文lmstudio模型加载报错,生成乱码,你知道怎么解决吗? 
显存不够,预算有限,又想本地跑openclaw或者hermes agent, 听说v100架构比较老,但是 5090又死贵,怎么办? 
数萌AI教您用3000多元的v100,通过llamacpp实现qwen3.6 35B gguf模型生产级部署  
实测效果展示
    07:22
    查看AI文稿
  • 一条视频搞清楚AI文生视频本地部署的硬件配置,想具体了解的,厚抬找我聊聊#工作站#工作站推荐#服务器 #服务器推荐 #文生视频
    01:57
    查看AI文稿