vLLM Blog· Ant Group and the vLLM Community·原文发布· 6 小时前精选AI 评分67
vLLM 社区与蚂蚁集团开源量化推理内核库 Humming
Announcing Humming: Fast, Flexible Kernels for Quantized Inference
AI 导读
蚂蚁集团与 vLLM 社区开源 Humming，一个面向量化推理的通用高性能内核库，支持 Turing 起的 NVIDIA GPU 及 T-Head Zhenwu 810E，统一架构覆盖 WNA16、W8A8、W4A8、W4A4 等稠密与 MoE 组合。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai
推荐理由
官方发布量化推理内核库 Humming，给出统一架构设计、跨代际 GPU 支持和与 Marlin、DeepGEMM 的对比数据，可评估是否迁移现有推理后端。