跳到正文
热点事件持续更新

vLLM 讲解用 PCP、DCP 与 Hybrid HiSparse 在 16 张 H200 上优化 GLM-5.3

1 篇报道1 个报道来源22 小时前更新

先了解这件事

AI 综述

vLLM 团队发布工程讲解,介绍在 16 张 H200(分为一个 prefill 节点和一个 decode 节点)上服务 GLM-5.3 长上下文的组合方案:prefill 采用 PCP8×DCP8,decode 采用 Hybrid HiSparse。其中 PCP(Prefill Context Parallelism)按 token 而非注意力头切分 prompt,团队称这比张量并行更契合 GLM-5.3 的稀疏注意力。方案需运行在 vLLM v0.32.0 或更高版本(vllm/vllm-openai:v0.32.0 镜像)。另据讲解,在不使用 sparse_mla_force_mqa 时,prompt 长度在 2,048-token top-k 范围内的 prefill 批次会走 dense MHA 路径。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. vLLM Blog
    GLM-5.3 优化(二):在 16 张 H200 上应用 PCP、DCP 与 Hybrid HiSparse

    vLLM 团队针对 GLM-5.3 在 16 张 H200 上的长上下文服务提出 PCP、DCP 与 Hybrid HiSparse 组合方案:PCP 按 token 而非注意力头切分 prompt。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。