LogoTensorFusion 文档
LogoTensorFusion 文档
首页

快速开始

TensorFusion 概览在 Kubernetes 安装在虚拟机/服务器安装(K3S)Helm 快速安装在宿主机/虚拟机安装TensorFusion 架构

应用操作

创建 AI 应用注解使用场景配置自动扩缩容迁移现有应用最佳实践

自定义AI基础设施

生产级部署指南QoS 级别与计价云厂商集成(BYOC)管理许可证

维护与优化

组件更新配置告警GPU 热迁移预加载模型优化 GPU 效率

故障排除

问题处理手册链路追踪/性能分析查询指标和日志

参考

Helm 安装 Values 配置
Kubernetes 事件监控指标定义性能测试命令行参考GPU/驱动/操作系统支持矩阵TensorFusion 安全白皮书

对比

与 NVIDIA vGPU 对比与 MIG/MPS 对比与趋动科技对比与 NVIDIA Run:ai 对比与 HAMi 的对比
系统管理员参考

GPU/驱动/操作系统支持矩阵

支持的 GPU 厂商、隔离模式、驱动、操作系统和 CPU 架构

TensorFusion 在 NVIDIA GPU 上支持全部四种隔离模式,在华为昇腾(Ascend)、摩尔线程(Moore Threads)和阿里 PPU 上支持其中一部分。controller 和 hypervisor 运行在 Linux 上,支持 x86_64 和 ARM64。

安装之前,可以用本页确认你的硬件、隔离模式和平台组合是否可用。隔离模式的含义见架构。

厂商与隔离模式

图例:支持表示已实现并有测试覆盖;未测试表示已实现,但还没有测试覆盖;不支持表示不可用。

本地 GPU 模式

厂商tensor-fusion.ai/vendor 的取值sharedsofthardpartitioned
NVIDIANVIDIA支持支持支持支持(MIG)
华为昇腾Ascend支持支持不支持支持(vNPU)
阿里 PPUPPU支持支持不支持未测试(MIG)
摩尔线程MooreThreads支持支持不支持不支持

远程 GPU 模式

厂商sharedsofthardpartitioned
NVIDIA支持支持支持不支持
华为昇腾支持不支持不支持不支持
阿里 PPU不支持不支持不支持不支持
摩尔线程不支持不支持不支持不支持

说明:

  • AMD、海光(Hygon)和沐曦(MetaX)暂不支持。厂商没有 limiter 时,soft 隔离的请求会在创建 Pod 时被拒绝。
  • partitioned 要求设置 controller.isolationModePolicy: static。chart 的默认值 dynamic 不允许分区分配。
  • NVIDIA 可以不写厂商注解。其他厂商需要设置 tensor-fusion.ai/vendor,或者在容器的 limits 里申请该厂商的资源名(例如 huawei.com/npu、aliyun.com/ppu),由 webhook 推断厂商。

启用某个厂商

每个厂商需要一个 ProviderConfig,写明它的镜像、GPU 型号和分区模板。

  • NVIDIA:Helm chart 会创建 ProviderConfig 和默认资源池,不需要其他操作。
  • 昇腾、摩尔线程、PPU:为该厂商应用一个 ProviderConfig 和一个 TensorFusionCluster。仓库的 config/samples 目录下有示例(provider-ascend.yaml、provider-mthreads.yaml、provider-ppu.yaml 以及对应的 tensorfusioncluster-*.yaml)。多厂商混合的集群可以从 chart 自带的 values-multi-vendor.yaml 开始配置。

NVIDIA GPU 与驱动

项目要求
驱动每个 GPU 节点上有可用的 NVIDIA 驱动,建议 530 或更高版本。
应用镜像里的 CUDACUDA 12.1 或更高版本。测试用例使用 CUDA 12.1 和 12.4 的镜像。
容器运行时能把 NVIDIA GPU 暴露给容器,例如通过 NVIDIA Container Toolkit。
NVIDIA GPU Operator不是必需的。如果已经安装,并且节点上有它生成的 toolkit 校验文件,请设置 controller.compatibleWithNvidiaContainerToolkit: true。
MIG(partitioned 模式)GPU 需要支持 MIG。chart 内置了 A100、A800、H100、H800、H200 等型号的分区模板。

chart 自带一张 NVIDIA 各型号的 FP16 TFLOPS 表,调度器用它作为每张 GPU 的算力容量:

架构型号
VoltaV100、V100S
TuringT4、RTX 20 系列、TITAN RTX、GTX 1660 Ti
AmpereA100、A800、A10、A10G、A40、RTX A2000 / A4000 / A4500 / A5000 / A6000、RTX 30 系列
Ada LovelaceL4、L40、L40S、RTX 2000 Ada / 4000 Ada / 6000 Ada、RTX 40 系列
HopperH100、H800、H200、H20
BlackwellB200、RTX 50 系列
PascalGTX 1050 Ti、GTX 1070、GTX 1080、GTX 1080 Ti

这张表保存在 ConfigMap tensor-fusion-sys-public-gpu-info 里。型号出现在表中,说明调度器知道它的算力容量,不代表每个型号在每种模式下都测试过。

其他加速卡

示例 ProviderConfig 文件描述了以下型号:

厂商示例中的型号可识别的设备资源名
华为昇腾Ascend 310P3huawei.com/Ascend310、huawei.com/Ascend310P、huawei.com/npu
阿里 PPUPPU-ZW810Ealiyun.com/ppu
摩尔线程MTT X300示例中未配置

要使用已支持厂商的其他型号,在该厂商 ProviderConfig 的 hardwareMetadata 下添加这个型号及其 FP16 TFLOPS。驱动要求以厂商自己的文档为准。

Kubernetes

项目要求
发行版标准 Kubernetes 集群,包括 K3s。项目自身的测试使用 Kind 和 Amazon EKS。
安装权限执行 helm install 的账号需要能创建 CRD、ClusterRole、MutatingWebhookConfiguration 和命名空间。
Karpenter(可选)只有通过 Karpenter 做节点自动伸缩时才需要。请先安装 Karpenter 及其 CRD,再安装 TensorFusion chart。

操作系统

组件支持情况
Controller、hypervisor、workerLinux 节点。
应用容器(soft 隔离)基于 glibc、带有 /bin/sh 的 Linux 镜像。不支持 Alpine 等基于 musl 的镜像。
Windows不在开源版本范围内。有需要请联系我们。

CPU 架构

组件x86_64ARM64
Controller 镜像支持支持
Hypervisor 镜像支持支持
NVIDIA accelerator 库与 limiter 库支持支持

大部分测试在 x86_64 上进行。镜像同时发布了 ARM64 版本,但 ARM64 的测试覆盖较少。

下一步

  • 在 Kubernetes 上安装
  • Helm values
  • 工作负载注解

命令行参考

上一页

TensorFusion 安全白皮书

下一页

目录

厂商与隔离模式
本地 GPU 模式
远程 GPU 模式
启用某个厂商
NVIDIA GPU 与驱动
其他加速卡
Kubernetes
操作系统
CPU 架构
下一步