diff --git a/docs/userguide/device-supported.md b/docs/userguide/device-supported.md index 3b39d989b..e4c500ff4 100644 --- a/docs/userguide/device-supported.md +++ b/docs/userguide/device-supported.md @@ -2,21 +2,60 @@ title: Device supported by HAMi --- -The table below lists the devices supported by HAMi: +The table below lists the devices supported by HAMi. This matrix reflects HAMi v2.10.0, the latest released version. -| Type | Manufacturer | Models | MemoryIsolation | CoreIsolation | MultiCard Support | -| ---- | ------------- | ----------------------- | --------------- | ------------- | ----------------- | -| GPU | NVIDIA | All | Yes | Yes | Yes | -| MLU | Cambricon | 370, 590 | Yes | Yes | No | -| DCU | Hygon | All | Yes | Yes | No | -| NPU | Huawei Ascend | 910B, 910B3, 910C, 310P | Yes | Yes | No | -| GPU | Iluvatar | All | Yes | Yes | No | -| GPU | Mthreads | MTT S4000 | Yes | Yes | No | -| GPU | MetaX | MXC500 | Yes | Yes | No | -| GCU | Enflame | S60 | Yes | Yes | No | -| XPU | Kunlunxin | P800 | Yes | Yes | No | -| GPU | Vastai | VA16 | Yes | Yes | No | -| GPU | Biren | Biren166M | Yes | Yes | No | -| GPU | AMD | Instinct / ROCm | Yes | Yes | No | -| DPU | Teco | Checking | In progress | In progress | No | +| Type | Manufacturer | Models | Status | MemoryIsolation | CoreIsolation | MultiCard Partitioning | +| ------ | ------------- | ----------------------- | ---------------- | --------------- | ------------- | ---------------------- | +| GPU | NVIDIA | All | Stable | Yes | Yes | Yes | +| MLU | Cambricon | 370, 590 | Stable | Yes | Yes | No | +| DCU | Hygon | All | Stable | Yes | Yes | No | +| NPU | Huawei Ascend | 910B, 910B3, 910C, 310P | Stable | Yes | Yes | No | +| GPU | Iluvatar | All | Stable | Yes | Yes | No | +| GPU | Mthreads | MTT S4000 | Stable | Yes | Yes | No | +| GPU | MetaX | MXC500 | Stable | Yes | Yes | No | +| GCU | Enflame | S60 | Stable | Yes | Yes | No | +| XPU | Kunlunxin | P800 | Stable | Yes | No | No | +| GPU | Vastai | VA16 | Stable | No | No | No | +| GPU | AMD | Instinct / ROCm | Stable | Yes | Yes | No | +| Neuron | AWS | Inf, Trn | Stable | No | Yes | No | +| GPU | Biren | Biren166M | Stable | No | No | No | +| DPU | Teco | Checking | Under Validation | No | No | No | + +Support status: + +- **Stable** - Available in the latest released HAMi version. +- **Experimental** - Implemented in HAMi but not yet included in a released version. +- **Under Validation** - Support is still being implemented; not yet functional. + +Capability columns: + +- **MemoryIsolation** - Whether HAMi enforces a hard VRAM limit per container: workloads that exceed their requested memory are rejected instead of drawing on the full physical device memory. +- **CoreIsolation** - Whether HAMi enforces a hard compute usage limit per container: kernel execution is throttled to stay within the requested share instead of using the physical device's compute freely. +- **MultiCard Partitioning** - Whether a single Pod can use partitioned memory or compute resources across multiple physical cards. `No` means multiple whole cards can still be requested, but memory or core resources must not be specified when requesting more than one card. + +## Which component supports which device + +HAMi is one of four ways to reach these devices. The other three schedule the workload themselves and rely on HAMi-core for isolation. + +Each cell links to the guide for that device and component. A dash means there is no guide today, not that the combination is impossible. + + +| Manufacturer | HAMi | HAMi-DRA | Volcano | KAI-scheduler | +| ------------- | ---- | -------- | ------- | ------------- | +| NVIDIA | [Allocate device memory](nvidia-device/specify-device-memory-usage.md) | [Dynamic Resource Allocation](nvidia-device/dynamic-resource-allocation.md) | [Use Volcano vGPU](volcano-vgpu/nvidia-gpu/how-to-use-volcano-vgpu.md) | [Use KAI Scheduler](kai-scheduler/how-to-use-kai-scheduler.md) | +| Cambricon | [Enable Cambricon MLU sharing](cambricon-device/enable-cambricon-mlu-sharing.md) | - | - | - | +| Hygon | [Enable Hygon DCU sharing](hygon-device/enable-hygon-dcu-sharing.md) | - | - | - | +| Huawei Ascend | [Enable Huawei Ascend sharing](ascend-device/enable-ascend-sharing.md) | - | [Volcano Ascend vNPU](../installation/how-to-use-volcano-ascend.md) | - | +| Iluvatar | [Enable Iluvatar GPU sharing](iluvatar-device/enable-iluvatar-gpu-sharing.md) | - | - | - | +| Mthreads | [Enable Mthreads GPU sharing](mthreads-device/enable-mthreads-gpu-sharing.md) | - | - | - | +| MetaX | [Enable MetaX GPU sharing](metax-device/metax-sgpu/enable-metax-gpu-sharing.md) | - | - | - | +| Enflame | [Enable Enflame GCU sharing](enflame-device/enable-enflame-gcu-sharing.md) | - | - | - | +| Kunlunxin | [Enable Kunlunxin scheduling](kunlunxin-device/enable-kunlunxin-schedule.md) | - | - | - | +| Vastai | [Enable Vastai sharing](vastai/enable-vastai-sharing.md) | - | - | - | +| AMD | [Enable AMD GPU sharing](amd-device/enable-amd-gpu-sharing.md) | - | - | - | +| AWS | [Manage AWS Neuron devices](awsneuron-device/enable-awsneuron-managing.md) | - | - | - | +| Biren | [Enable Biren sharing](biren-device/enable-biren-sharing.md) | - | - | - | +| Teco | - | - | - | - | + +Each linked guide covers device-specific setup, configuration notes, and known limitations. Read it before deploying that device. diff --git a/i18n/zh/docusaurus-plugin-content-docs/current.json b/i18n/zh/docusaurus-plugin-content-docs/current.json index 85a18a02b..06168456a 100644 --- a/i18n/zh/docusaurus-plugin-content-docs/current.json +++ b/i18n/zh/docusaurus-plugin-content-docs/current.json @@ -91,6 +91,10 @@ "message": "管理 AWS Neuron 设备", "description": "The label for category 'Managing AWS Neuron devices' in sidebar 'docs'" }, + "sidebar.docs.category.Managing Biren devices": { + "message": "管理壁仞设备", + "description": "The label for category 'Managing Biren devices' in sidebar 'docs'" + }, "sidebar.docs.category.Managing Vastai devices": { "message": "管理 Vastai 设备", "description": "The label for category 'Managing Vastai devices' in sidebar 'docs'" diff --git a/i18n/zh/docusaurus-plugin-content-docs/current/userguide/device-supported.md b/i18n/zh/docusaurus-plugin-content-docs/current/userguide/device-supported.md index ae0c03759..e8603ea92 100644 --- a/i18n/zh/docusaurus-plugin-content-docs/current/userguide/device-supported.md +++ b/i18n/zh/docusaurus-plugin-content-docs/current/userguide/device-supported.md @@ -3,20 +3,60 @@ title: HAMi 支持的设备 translated: true --- -HAMi 支持的设备如下表所示： +下表列出了 HAMi 支持的设备。本表反映的是 HAMi 最新发布版本 v2.10.0。 -| 设备类型 | 制造商 | 支持型号 | 显存隔离 | 核心隔离 | 多卡支持 | -| -------- | ------------------------- | --------------------------- | -------- | -------- | -------- | -| GPU | 英伟达（NVIDIA） | 全系列 | 是 | 是 | 是 | -| MLU | 寒武纪（Cambricon） | 370、590 | 是 | 是 | 否 | -| DCU | 海光（Hygon） | 全系列 | 是 | 是 | 否 | -| NPU | 华为昇腾（Huawei Ascend） | 910B、910B3、910C、310P | 是 | 是 | 否 | -| GPU | 天数智芯（Iluvatar） | 全部 | 是 | 是 | 否 | -| GPU | 摩尔线程（Mthreads） | MTT S4000 | 是 | 是 | 否 | -| GPU | 沐曦（MetaX） | MXC500 | 是 | 是 | 否 | -| GCU | 燧原科技（Enflame） | S60 | 是 | 是 | 否 | -| XPU | 昆仑芯（Kunlunxin） | P800 | 是 | 是 | 否 | -| GPU | 瀚博（Vastai） | VA16 | 是 | 是 | 否 | -| GPU | AMD | Instinct / ROCm | 是 | 是 | 否 | -| DPU | 太初元碁（Teco） | 检查中 | 进行中 | 进行中 | 否 | +| 设备类型 | 制造商 | 支持型号 | 状态 | 显存隔离 | 核心隔离 | 多卡切分支持 | +| -------- | ------------------------- | ----------------------- | ------ | -------- | -------- | ------------ | +| GPU | 英伟达（NVIDIA） | 全系列 | 稳定 | 是 | 是 | 是 | +| MLU | 寒武纪（Cambricon） | 370、590 | 稳定 | 是 | 是 | 否 | +| DCU | 海光（Hygon） | 全系列 | 稳定 | 是 | 是 | 否 | +| NPU | 华为昇腾（Huawei Ascend） | 910B、910B3、910C、310P | 稳定 | 是 | 是 | 否 | +| GPU | 天数智芯（Iluvatar） | 全部 | 稳定 | 是 | 是 | 否 | +| GPU | 摩尔线程（Mthreads） | MTT S4000 | 稳定 | 是 | 是 | 否 | +| GPU | 沐曦（MetaX） | MXC500 | 稳定 | 是 | 是 | 否 | +| GCU | 燧原科技（Enflame） | S60 | 稳定 | 是 | 是 | 否 | +| XPU | 昆仑芯（Kunlunxin） | P800 | 稳定 | 是 | 否 | 否 | +| GPU | 瀚博（Vastai） | VA16 | 稳定 | 否 | 否 | 否 | +| GPU | AMD | Instinct / ROCm | 稳定 | 是 | 是 | 否 | +| Neuron | AWS | Inf、Trn | 稳定 | 否 | 是 | 否 | +| GPU | 壁仞（Biren） | Biren166M | 稳定 | 否 | 否 | 否 | +| DPU | 太初元碁（Teco） | 检查中 | 验证中 | 否 | 否 | 否 | + +支持状态： + +- **稳定（Stable）** - 已在最新发布版本中提供。 +- **实验性（Experimental）** - 已在 HAMi 中实现，但尚未包含在正式发布版本中。 +- **验证中（Under Validation）** - 支持仍在实现中，尚不可用。 + +能力列： + +- **显存隔离** - 是否为每个容器强制执行显存硬限制：超出请求显存的工作负载会被拒绝，而不能使用整块物理设备显存。 +- **核心隔离** - 是否为每个容器强制执行算力硬限制：内核执行会被限流以保持在请求的份额内，而不能自由使用物理设备的算力。 +- **多卡切分支持** - 单个 Pod 是否可以同时使用多张物理卡的显存或算力切分资源。对于标记为 `否` 的已支持设备，多卡请求必须使用整卡，且不能指定显存或算力资源。 + +## 各组件分别支持哪些设备 + +HAMi 只是使用这些设备的四种方式之一。另外三种自行完成调度，隔离部分依赖 HAMi-core。 + +每个单元格链接到该设备与该组件对应的指南。短横线表示目前没有对应指南，并不代表该组合不可行。 + + +| 制造商 | HAMi | HAMi-DRA | Volcano | KAI-scheduler | +| ------------------------- | ---- | -------- | ------- | ------------- | +| 英伟达（NVIDIA） | [分配设备显存](nvidia-device/specify-device-memory-usage.md) | [动态资源分配](nvidia-device/dynamic-resource-allocation.md) | [使用 Volcano vGPU](volcano-vgpu/nvidia-gpu/how-to-use-volcano-vgpu.md) | [使用 KAI Scheduler](kai-scheduler/how-to-use-kai-scheduler.md) | +| 寒武纪（Cambricon） | [启用寒武纪 MLU 共享](cambricon-device/enable-cambricon-mlu-sharing.md) | - | - | - | +| 海光（Hygon） | [启用海光 DCU 共享](hygon-device/enable-hygon-dcu-sharing.md) | - | - | - | +| 华为昇腾（Huawei Ascend） | [启用昇腾共享](ascend-device/enable-ascend-sharing.md) | - | [Volcano 昇腾 vNPU](../installation/how-to-use-volcano-ascend.md) | - | +| 天数智芯（Iluvatar） | [启用天数 GPU 共享](iluvatar-device/enable-iluvatar-gpu-sharing.md) | - | - | - | +| 摩尔线程（Mthreads） | [启用摩尔线程 GPU 共享](mthreads-device/enable-mthreads-gpu-sharing.md) | - | - | - | +| 沐曦（MetaX） | [启用沐曦 GPU 共享](metax-device/metax-sgpu/enable-metax-gpu-sharing.md) | - | - | - | +| 燧原科技（Enflame） | [启用燧原 GCU 共享](enflame-device/enable-enflame-gcu-sharing.md) | - | - | - | +| 昆仑芯（Kunlunxin） | [启用昆仑芯调度](kunlunxin-device/enable-kunlunxin-schedule.md) | - | - | - | +| 瀚博（Vastai） | [启用瀚博设备共享](vastai/enable-vastai-sharing.md) | - | - | - | +| AMD | [启用 AMD GPU 共享](amd-device/enable-amd-gpu-sharing.md) | - | - | - | +| AWS | [管理 AWS Neuron 设备](awsneuron-device/enable-awsneuron-managing.md) | - | - | - | +| 壁仞（Biren） | [启用壁仞设备共享](biren-device/enable-biren-sharing.md) | - | - | - | +| 太初元碁（Teco） | - | - | - | - | + +每份指南都包含该设备的具体搭建步骤、配置说明以及已知限制，部署该设备前请先查阅。