LogoTensorFusion 文档
LogoTensorFusion 文档
首页

快速开始

TensorFusion 概览在 Kubernetes 安装在虚拟机/服务器安装(K3S)Helm 快速安装在宿主机/虚拟机安装TensorFusion 架构

应用操作

创建 AI 应用注解使用场景配置自动扩缩容迁移现有应用最佳实践

自定义AI基础设施

生产级部署指南QoS 级别与计价云厂商集成(BYOC)管理许可证

维护与优化

组件更新配置告警GPU 热迁移预加载模型优化 GPU 效率

故障排除

问题处理手册链路追踪/性能分析查询指标和日志

参考

对比

与 NVIDIA vGPU 对比与 MIG/MPS 对比与趋动科技对比与 NVIDIA Run:ai 对比与 HAMi 的对比

与趋动科技对比

TensorFusion 与趋动科技 OrionX 在许可、使用方式和公开功能上的差异,以及各自适合的场景

OrionX 是趋动科技(VirtAI Tech)的 GPU 池化软件。在本系列对比的产品里,它和 TensorFusion 的定位最接近:两者都为容器切分 GPU,也都能让应用通过网络使用另一台机器上的 GPU。最明显的区别在许可方式和工作负载申请 GPU 的写法:OrionX 是闭源软件,提供免费的社区版;TensorFusion 的控制面是开源的。

和本系列的其他产品相比,OrionX 公开的技术细节较少。本页标注“公开文档未说明”的地方,表示我们没能从趋动科技官网和公开手册里确认,选型时请向厂商核实。

一览

TensorFusion趋动科技 OrionX
许可controller、调度器、hypervisor 为 Apache 2.0;各厂商 limiter 库以及远程 client 与 worker 不开源。闭源。有免费的社区版和商业版。
运行环境Kubernetes Pod;宿主机到虚拟机的用法另有一套安装方式。厂商资料称支持容器、虚拟机和裸机。
加速卡NVIDIA,以及支持部分模式的华为昇腾、摩尔线程、阿里 PPU。厂商资料称支持多厂商芯片,官网没有公开列表。
Pod 如何申请 GPU在 Pod 模板上加标签和注解,或引用 WorkloadProfile。在容器里设置环境变量,申请扩展资源,并使用 OrionX 的调度器。
资源单位算力用 TFLOPS 或百分比,显存用 Mi、Gi;请求和限额分开设置。vGPU 个数、每个 vGPU 的显存(MiB),以及占单张 GPU 算力的百分比。
通过网络远程使用 GPU支持,以 NVIDIA GPU 为主,见支持矩阵。支持。
硬件分区partitioned 模式:NVIDIA MIG 和昇腾 vNPU。公开文档未说明。
超额分配按资源池设置:算力超卖倍数,以及主机内存、磁盘计入可调度显存的比例。厂商宣传资料提到显存超分,公开手册未说明。
调度基于 kube-scheduler 的自有调度器:紧凑装箱或负载均摊、GPU 拓扑感知、Gang 调度、命名空间配额、四级 QoS。自带 vGPU 资源调度器,调度策略公开文档未说明。
自动伸缩根据用量调整 GPU 请求与限额;通过 Karpenter 或云厂商 API 增减 GPU 节点。公开文档未说明。
热迁移商业版功能,不在开源版本里。厂商发表过 GPU 热迁移的文章,各版本是否提供公开文档未说明。
可以阅读的源码调度器、controller、hypervisor 和 NVIDIA limiter。无。

主要差异

许可与开放程度

OrionX 的两个版本都是闭源的。社区版免费,商业版价格没有公开。

TensorFusion 的 controller、调度器和 hypervisor 开源,调度和分配的决策逻辑可以直接阅读,也可以修改。远程 GPU 的 client 和 worker 不开源,这一点和 OrionX 一样。见许可。

申请 GPU 的方式

按照 OrionX 的 Kubernetes 手册,工作负载要在容器里设置环境变量、申请扩展资源,并指定调度器。手册的示例还在 Pod 上设置了 hostIPC: true。

TensorFusion 把 GPU 相关的设置放在 Pod 模板的 metadata 里,容器部分不用改,调度器由 webhook 设置。

与 Kubernetes 的集成

TensorFusion 用 Kubernetes 自定义资源描述资源池、节点、GPU、配额和工作负载,并通过 Karpenter 或云厂商 API 管理 GPU 节点容量。OrionX 的公开手册覆盖了在 Kubernetes、Rancher 和 OpenShift 上的部署,没有提到对应的节点管理能力。

申请 GPU 的写法

OrionX,写法取自它公开的 Kubernetes 手册。手册对应的版本较旧,变量名请以你使用的版本为准:

spec:
  schedulerName: orion-scheduler
  hostIPC: true
  containers:
    - name: app
      image: pytorch/pytorch:2.6.0-cuda12.4-cudnn9-runtime
      env:
        - name: ORION_VGPU      # vGPU 个数
          value: "1"
        - name: ORION_GMEM      # 每个 vGPU 的显存,单位 MiB
          value: "4096"
        - name: ORION_RATIO     # 每个 vGPU 占单张 GPU 算力的百分比
          value: "50"
        - name: ORION_RESERVED
          value: "0"
        - name: ORION_CROSS_NODE
          value: "0"
        - name: ORION_GROUP_ID
          valueFrom:
            fieldRef:
              fieldPath: metadata.uid
      resources:
        limits:
          virtaitech.com/gpu: 1

TensorFusion:

metadata:
  labels:
    tensor-fusion.ai/enabled: "true"
  annotations:
    tensor-fusion.ai/compute-percent-request: "25"
    tensor-fusion.ai/compute-percent-limit: "50"
    tensor-fusion.ai/vram-request: "4Gi"
    tensor-fusion.ai/vram-limit: "4Gi"
spec:
  containers:
    - name: app
      image: pytorch/pytorch:2.6.0-cuda12.4-cudnn9-runtime

全部注解的说明见创建工作负载。

怎么选

以下情况选 OrionX:

  • 需要用同一个产品在容器、虚拟机和裸机之间共享 GPU。
  • 使用的加速卡 OrionX 支持而 TensorFusion 不支持。具体列表请向厂商确认。
  • 免费的社区版已经够用,并且不需要看源码。

以下情况选 TensorFusion:

  • 希望能阅读、审计或修改调度器和 controller。
  • 工作负载都在 Kubernetes 上,希望 GPU 设置只写在注解里,不改容器部分。
  • 需要请求与限额分开设置、QoS 等级、命名空间配额或 Gang 调度。
  • 需要在云上自动增减 GPU 节点。

OrionX 的很多行为没有公开文档,无论倾向哪一个,都建议先用自己的工作负载做一次概念验证再决定。

参考资料

核对时间为 2026 年 10 月:

  • 趋动科技官网:产品版本与介绍。
  • OrionX 用户手册:Kubernetes 部署、环境变量、资源名。

与 MIG/MPS 对比

TensorFusion 与 NVIDIA 自带的 GPU 共享机制(MIG、MPS、Time-slicing)是什么关系,什么情况下用自带机制就够了

与 NVIDIA Run:ai 对比

TensorFusion 与 NVIDIA Run:ai 在定位、GPU 共享、调度和许可上的差异,以及各自适合的场景

目录

一览
主要差异
许可与开放程度
申请 GPU 的方式
与 Kubernetes 的集成
申请 GPU 的写法
怎么选
参考资料