LogoTensorFusion 文档
LogoTensorFusion 文档
首页

快速开始

TensorFusion 概览在 Kubernetes 安装在虚拟机/服务器安装(K3S)Helm 快速安装在宿主机/虚拟机安装TensorFusion 架构

应用操作

创建 AI 应用注解使用场景配置自动扩缩容迁移现有应用最佳实践

自定义AI基础设施

生产级部署指南QoS 级别与计价云厂商集成(BYOC)管理许可证

维护与优化

组件更新配置告警GPU 热迁移预加载模型优化 GPU 效率

故障排除

问题处理手册链路追踪/性能分析查询指标和日志

参考

对比

与 NVIDIA vGPU 对比与 MIG/MPS 对比与趋动科技对比与 NVIDIA Run:ai 对比与 HAMi 的对比

与 NVIDIA vGPU 对比

TensorFusion 与 NVIDIA vGPU 软件的差异、各自的运行环境,以及各自适合的场景

NVIDIA vGPU 软件(原名 NVIDIA GRID)在 hypervisor 层虚拟化 GPU,每台虚拟机得到一个带独立驱动的虚拟 GPU。TensorFusion 则是在 Kubernetes 上让容器共享 GPU。两者解决的问题不同,很少直接竞争:vGPU 面向虚拟机,包括虚拟桌面和图形工作站;TensorFusion 面向容器化 AI 工作负载的 GPU 池化。本页帮你确认自己的场景需要哪一个。

一览

TensorFusionNVIDIA vGPU
共享的单位Kubernetes Pod。虚拟机。
运行环境Linux 节点上的 Kubernetes。受支持的 hypervisor,如 VMware vSphere,或 Red Hat Enterprise Linux、Ubuntu 上的 KVM。
需要安装一个 Helm chart:controller、调度器,以及每个 GPU 节点上的 hypervisor Pod。宿主机上的 vGPU manager、每台虚拟机里的 NVIDIA guest 驱动,以及许可服务。
许可核心组件 Apache 2.0;远程 client 与 worker 不开源。专有软件,按版本授权:vApps、vPC、RTX vWS;AI 工作负载通过 NVIDIA AI Enterprise 授权。
加速卡NVIDIA,以及支持部分模式的华为昇腾、摩尔线程、阿里 PPU。支持 vGPU 的 NVIDIA GPU。
工作负载计算类:CUDA 以及其他已支持厂商的运行时。计算和图形,Windows 和 Linux 客户机均可。
切分规格每个 Pod 自行指定任意大小的算力和显存。每种 GPU 型号有一份固定的 vGPU 类型列表,每种类型预留固定大小的显存。
算力共享soft 和 hard 模式下,每个 Pod 有请求和限额。各 vGPU 之间按管理员选定的调度策略分时共享;支持 MIG 的 GPU 上也可以用 MIG-backed vGPU。
隔离边界取决于模式:进程内 limiter(soft)、独立 worker 进程(hard)或硬件分区(partitioned)。虚拟机。
超额分配按资源池设置:算力超卖倍数,以及主机内存、磁盘计入可调度显存的比例。不支持,vGPU 的显存是预留的。
通过网络远程使用 GPU支持,以 NVIDIA GPU 为主,见支持矩阵。不支持,vGPU 位于运行该虚拟机的宿主机上。
热迁移商业版功能,不在开源版本里。支持在受支持的 hypervisor 上迁移虚拟机,对 GPU 型号和版本有限制。
调度与自动伸缩GPU 感知的 Kubernetes 调度器、配额、工作负载与节点自动伸缩。交给 hypervisor 及其管理工具。

主要差异

虚拟机还是容器

vGPU 给客户机操作系统呈现一个 GPU 设备,这个系统上运行的任何程序都能用它,包括需要 DirectX 或 OpenGL 的 Windows 应用和远程桌面。TensorFusion 没有对应的能力,它是往 Linux 容器里注入 limiter 或 client 库,处理的是计算类 API。

TensorFusion 的宿主机/虚拟机安装可以让虚拟机里的应用在不直通 GPU 的情况下调用宿主机的 GPU,原理是通过网络或共享内存转发 CUDA 调用。客户机里看不到 GPU 设备,所以它不能在桌面和图形场景里替代 vGPU。

切分的灵活度

vGPU 类型决定一台虚拟机能拿到多少显存,在配置虚拟机时就要选定。这种方式结果可预期,适合长期运行的机器。

TensorFusion 在调度时按 Pod 决定:请求可以低于限额,资源池可以超卖,限额可以在运行期间调整。这种方式适合共享资源池上大量短生命周期或突发型的工作负载。

成本与运维

vGPU 需要为用到的每个版本购买许可,还需要它支持的 hypervisor。TensorFusion 的开源组件免费;闭源的远程组件在一定算力规模以内免费,见许可。

怎么选

以下情况选 NVIDIA vGPU:

  • 工作负载运行在虚拟机里,并且必须留在虚拟机里。
  • 需要虚拟桌面、图形工作站,或带 GPU 加速的 Windows 客户机。
  • 需要以虚拟机作为租户之间的隔离边界。
  • 维护宿主机时,需要把带 GPU 的虚拟机热迁移到其他主机。

以下情况选 TensorFusion:

  • AI 工作负载以容器形式运行在 Kubernetes 上。
  • 希望把多个节点的 GPU 组成资源池,按算力和显存调度。
  • 需要任意大小的切分、超额分配或自动伸缩。
  • 希望纯 CPU 节点上的 Pod 使用其他节点的 GPU。

参考资料

核对时间为 2026 年 10 月:

  • NVIDIA vGPU 软件文档:架构、vGPU 类型、支持的 hypervisor。
  • NVIDIA vGPU 软件许可:授权的产品版本。
  • vGPU live migration:支持的平台与限制。

TensorFusion API 参考

上一页

与 MIG/MPS 对比

TensorFusion 与 NVIDIA 自带的 GPU 共享机制(MIG、MPS、Time-slicing)是什么关系,什么情况下用自带机制就够了

目录

一览
主要差异
虚拟机还是容器
切分的灵活度
成本与运维
怎么选
参考资料