18
2
9
1
举报
发布时间:2026-03-25 08:56
查看AI文稿
大熊课堂Andy讲Python
大熊课堂Andy讲Python

粉丝2.6万获赞9.1万

相关视频

  • pip安装失败怎么办?pip安装包的方法 #pip安装 #pip安装失败 #pip安装教程
    01:45
    查看AI文稿
  • pip提示 no module named pip 最简单修复方法! pip报错怎么卸载重装 #python #python教程 #python编程 #pip报错
    01:52
    查看AI文稿
  • Python 扩展库秒下神器:pip 国内镜像源设置教程。 #python #焚风助手 #计算机
    04:37
    查看AI文稿
  • Python pip install安装第三方库总是失败怎么办?#python编程 #python #python教程 #知识分享 #如何学习编程
    00:37
    查看AI文稿
  • Python用pip安装第三方库 #编程 #Python #一分钟干货教学 #少儿编程 #干货分享
    02:32
    查看AI文稿
  • vLLM 0.18 来了!这几个变化直接影响你的部署 先说最重要的一条破坏性变更。v0.18 把 Ray 从默认依赖里移除了。以前 pip install vllm,Ray 自动跟着装。现在不行了,需要多加一个 ray,显式安装。如果你只是单机跑 vLLM,没关系,什么都不用改。但用 Ray Cluster 做多节点推理的,升级前一定先检查部署脚本,少这一步直接报错。 
其次,gRPC 支持来了。加个 --grpc flag,gRPC 和 HTTP 同时跑,互不干扰。高并发场景、Agent Pipeline 里用 gRPC,延迟和吞吐比 REST 强不少。 
NGram 投机解码这次迁移到了 GPU 上。以前在 CPU 跑,数据来回倒腾,收益被吃掉一大半。现在整个在 GPU 上跑,开销大幅下降。代码补全、文档续写这类场景用这个很合适,不用额外加载草稿模型。 
DeepSeek 用户也有好消息。FA4 内核上了 MLA Prefill,加上弹性专家并行 Milestone 2,GPU 可以动态加入集群,不用整个重启。prefill 吞吐有可观提升。 
说实话,这次不是纯堆功能。跑 DeepSeek、Qwen MoE 多 GPU 的,建议升。用 NGram 投机解码的,必须升,性能质变。用 Ray 管多节点的,升之前先加好 ray 的安装命令。单机小模型,升也没坏处。
    01:39
    vLLM 0.18 来了!这几个变化直接影响你的部署 先说最重要的一条破坏性变更。v0.18 把 Ray 从默认依赖里移除了。以前 pip install vllm,Ray 自动跟着装。现在不行了,需要多加一个 ray,显式安装。如果你只是单机跑 vLLM,没关系,什么都不用改。但用 Ray Cluster 做多节点推理的,升级前一定先检查部署脚本,少这一步直接报错。
    其次,gRPC 支持来了。加个 --grpc flag,gRPC 和 HTTP 同时跑,互不干扰。高并发场景、Agent Pipeline 里用 gRPC,延迟和吞吐比 REST 强不少。
    NGram 投机解码这次迁移到了 GPU 上。以前在 CPU 跑,数据来回倒腾,收益被吃掉一大半。现在整个在 GPU 上跑,开销大幅下降。代码补全、文档续写这类场景用这个很合适,不用额外加载草稿模型。
    DeepSeek 用户也有好消息。FA4 内核上了 MLA Prefill,加上弹性专家并行 Milestone 2,GPU 可以动态加入集群,不用整个重启。prefill 吞吐有可观提升。
    说实话,这次不是纯堆功能。跑 DeepSeek、Qwen MoE 多 GPU 的,建议升。用 NGram 投机解码的,必须升,性能质变。用 Ray 管多节点的,升之前先加好 ray 的安装命令。单机小模型,升也没坏处。
    查看AI文稿
  • 劳动者签了绩效改进计划PIP后被辞退,也没到认输的时候! #上海律师#劳动法#劳动仲裁#劳动纠纷 #绩效
    03:57
    查看AI文稿
  • 公司要跟你签pip?别慌,这四步记住了!
#pip #绩效改善 #劳动法 #劳动纠纷 #人生没有白走的路
    02:55
    查看AI文稿
  • pip 和conda 安装的包路径一样吗?建议看完并收藏 #从零学python
    00:31
    查看AI文稿
  • pip和conda安装包,有哪些区别?建议看完并收藏 #从零学python
    00:32
    查看AI文稿
  • 十个字破解恶意pip#裁员套路
    02:19
    查看AI文稿