LogoTensorFusion 文档
LogoTensorFusion 文档
首页文档

快速开始

TensorFusion 概览在 Kubernetes 安装在虚拟机/服务器安装(K3S)Helm 快速安装在宿主机/虚拟机安装TensorFusion 架构

应用操作

创建 AI 应用注解使用场景配置自动扩缩容迁移现有应用最佳实践

自定义AI基础设施

生产级部署指南QoS 级别与计价云厂商集成(BYOC)管理许可证

维护与优化

组件更新配置告警GPU 热迁移预加载模型优化 GPU 效率

故障排除

问题处理手册链路追踪/性能分析查询指标和日志

参考

对比

与 NVIDIA vGPU 对比与 MIG/MPS 对比与趋动科技对比与 NVIDIA Run:ai 对比与 HAMi 的对比

对比概览

TensorFusion 与 HAMi、NVIDIA MIG/MPS/Time-slicing、NVIDIA vGPU、NVIDIA Run:ai、趋动科技 OrionX 的对比,以及各自更适合的场景

本页把 TensorFusion 和另外五种 GPU 共享方案放在一起比较,并说明各自更适合什么场景。每个方案都有一篇详细对比,链接见下文。

关于 TensorFusion 的描述以当前开源版本为准。关于其他产品的描述来自它们的公开文档,核对时间为 2026 年 10 月,出处列在各篇详细对比的末尾。产品会持续变化,影响选型的关键点请以厂商文档为准。

对比的方案

方案定位源码与许可
TensorFusion做 GPU 池化的 Kubernetes operator:GPU 切分、远程 GPU 共享、GPU 感知调度、自动伸缩。controller、调度器、hypervisor 以 Apache 2.0 开源;soft 模式使用的各厂商 limiter 库,以及实现远程 GPU 共享和 hard 隔离的 client 与 worker 不开源。见许可。
HAMiKubernetes 上的异构算力共享中间件,支持十多家厂商的 GPU 和其他加速卡,CNCF 孵化(Incubating)项目。Apache 2.0。
MIG、MPS、Time-slicingNVIDIA 驱动自带的 GPU 共享机制,在 Kubernetes 里由 NVIDIA device plugin 和 GPU Operator 提供。无需额外授权。device plugin 和 GPU Operator 是开源的。
NVIDIA vGPUHypervisor 层的 GPU 虚拟化,给每台虚拟机分配一个虚拟 GPU。专有软件,按产品版本授权。
NVIDIA Run:aiKubernetes 上的 AI 工作负载平台:调度器、GPU fraction、项目与配额、UI 和 CLI。2024 年 12 月起属于 NVIDIA。平台为专有软件;调度器已开源为 KAI Scheduler(Apache 2.0)。
趋动科技 OrionX趋动科技(VirtAI Tech)的 GPU 池化软件,支持 GPU 切分和远程调用。闭源。有免费的社区版和商业版。

总览

TensorFusionHAMiMIG / MPS / Time-slicingNVIDIA vGPUNVIDIA Run:ai趋动科技 OrionX
运行环境Kubernetes PodKubernetes Pod裸机或 Pod虚拟机Kubernetes Pod容器和虚拟机
GPU 切分按 Pod 限制算力和显存按容器限制算力和显存MIG:固定规格;MPS:按客户端限制;Time-slicing:无限制每台虚拟机一个固定规格的 vGPU按显存比例切分支持
硬件级隔离partitioned 模式(MIG、昇腾 vNPU)动态 MIG,以及昇腾 vNPU 等厂商分区仅 MIG虚拟机边界,可选 MIG-backed vGPU支持 MIG,但不能和 fraction 用在同一节点公开文档未说明
通过网络远程使用 GPU支持,以 NVIDIA 为主不支持不支持不支持不支持支持
超额分配算力和显存,按资源池设置显存缩放(实验特性)仅 Time-slicing,且没有限额不支持,显存为预留Dynamic fraction 和 GPU memory swap厂商资料称支持
自带 GPU 感知调度器是是(scheduler extender)否,使用默认调度器否,由 hypervisor 负责放置是是(调度器插件)
自动伸缩工作负载的 GPU 资源和 GPU 节点未内置(在其路线图上)无无推理副本数,可缩到零公开文档未说明
非 NVIDIA 加速卡昇腾、摩尔线程、阿里 PPU,支持部分模式六者中覆盖最广不支持不支持不支持厂商资料称支持
是否完全开源部分开源是工具开源,驱动不开源否仅调度器否

怎么选

  • 业务跑在虚拟机上,或者需要虚拟桌面、图形工作站。 选 NVIDIA vGPU。TensorFusion 面向容器,不提供虚拟机层的虚拟 GPU。
  • 互不信任的租户之间需要硬件级边界,而且几种固定规格就够用。 单用 MIG 即可,不需要再装别的组件。TensorFusion 也可以通过 partitioned 模式调度 MIG 分区。
  • 加速卡来自 TensorFusion 尚未支持的厂商(如寒武纪、海光、沐曦),或者要求整套方案完全开源并由基金会治理。选 HAMi。
  • 想要一个由厂商支持的完整平台,在 NVIDIA GPU 上同时管理项目、部门、工作空间以及训练和推理流程。 可以看 NVIDIA Run:ai。
  • 想在一个 Kubernetes operator 里同时得到:请求与限额分开设置的 GPU 切分、CPU 节点上的 Pod 远程使用 GPU、超额分配、GPU 节点自动伸缩。 这正是 TensorFusion 要解决的问题。

TensorFusion 做不到的事

选型前请把这几点考虑进去:

  • 厂商覆盖不如 HAMi。 NVIDIA 支持全部模式;华为昇腾、摩尔线程、阿里 PPU 支持部分模式;AMD 暂不支持。详见支持矩阵。
  • 远程 GPU 共享和 hard 隔离依赖闭源组件。 hard 隔离只支持 NVIDIA GPU,远程共享也主要在 NVIDIA 上验证过。
  • soft 隔离不是安全边界。 limiter 运行在应用进程内。不可信的工作负载请使用 hard 或 partitioned。
  • 没有虚拟机层的 vGPU。 虚拟机里的应用可以通过远程 client 调用宿主机的 GPU,但 TensorFusion 不会给客户机操作系统呈现一个虚拟 PCI 设备。
  • GPU 热迁移属于商业版功能,不在开源版本里。

详细对比

  • TensorFusion 与 HAMi
  • TensorFusion 与 MIG、MPS、Time-slicing
  • TensorFusion 与 NVIDIA vGPU
  • TensorFusion 与 NVIDIA Run:ai
  • TensorFusion 与趋动科技 OrionX

下一步

  • 概览:TensorFusion 能做什么、不适合什么场景。
  • 架构:组件与隔离模式。
  • 在 Kubernetes 中部署:安装 TensorFusion 并运行第一个工作负载。

目录

对比的方案
总览
怎么选
TensorFusion 做不到的事
详细对比
下一步