SageMaker Inference 推出基于 NVIDIA MIG 的 GPU 分区功能
热点事件持续更新
SageMaker Inference 推出基于 NVIDIA MIG 的 GPU 分区功能
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
AWS 宣布 SageMaker Inference 支持 GPU 分区：利用 NVIDIA Multi-Instance GPU（MIG）把一块物理 GPU 划分为硬件隔离的分区，从而可在同一 GPU 上部署多个模型，提升端点 GPU 利用率。 该功能仅适用于使用推理组件（inference components）的实时推理端点；单模型端点、无服务器端点和异构实例池不支持分区。目前支持 P4d、P5、G7、G7e 实例。计费方式不变，仍按整个 GPU 实例计费。
AI 根据报道生成 · 2 小时前更新
最新进展11月7日 02:01
SageMaker Inference 支持 Multi-Instance GPU 分区，提升模型端点 GPU 利用率报道时间线
沿着报道，了解事件的不同侧面。
11月7日
- AWS Machine Learning BlogSageMaker Inference 支持 Multi-Instance GPU 分区，提升模型端点 GPU 利用率
Amazon SageMaker Inference 推出 GPU 分区功能，基于 NVIDIA MIG 将物理 GPU 划分为硬件隔离的分区，支持在 P4d、P5、G7、G7e 实例上把多个模型部署到同一 GPU。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。