工作负载配置

工作负载通过 Pod 模板上的一个标签和一组注解申请 vGPU 资源。本页列出 TensorFusion webhook 读取的全部注解，以及它们的类型、默认值和取值范围。

按任务组织的指南见创建 AI 应用和注解使用场景。

取值规则

所有键都以 tensor-fusion.ai/ 为前缀。注解的值是字符串，数字和布尔值要加引号："2"、"true"。

同一项配置按下面的顺序取第一个有值的来源：

1. Pod 注解。
2. tensor-fusion.ai/workload-profile 指向的 WorkloadProfile。
3. 对资源的 request 和 limit：namespace 下 GPUResourceQuota 的 spec.single.defaultRequests 和 spec.single.defaultLimits。
4. 本页列出的默认值。

不合法的 Pod 会在创建时被 webhook 拒绝。对 Deployment 来说，报错出现在 ReplicaSet 的事件里。

标签

资源注解

规则：

• tflops-request、compute-percent-request、vram-request 中至少有一个最终不为 0。例外：isolation: shared，以及带 partition-id 的 isolation: partitioned。
• TFLOPS 和百分比二选一。同一个 Pod 上两类注解都写了时，以 TFLOPS 为准，百分比被忽略。如果 TFLOPS 和百分比分别来自不同来源，Pod 会被拒绝。
• 同一个百分比在不同型号的 GPU 上代表不同的算力，而且不计入 namespace 的 GPU 配额。优先使用 TFLOPS；只有池里只有一种 GPU 型号、又不需要租户配额时才用百分比。
• 不是合法 Kubernetes Quantity 的值视为未设置。
• gpu-count 大于 1 时，这些值对每张 GPU 分别生效。

调度位置注解

查看池里有哪些型号和厂商：

kubectl get gpu -o custom-columns='NAME:.metadata.name,VENDOR:.status.vendor,MODEL:.status.gpuModel,CAPACITY:.status.capacity'

模式注解

隔离模式：

在默认的 dynamic 隔离策略下，一张 GPU 同一时间只服务一种隔离模式。正在运行 soft 工作负载的卡，要等清空之后才能接收 hard 工作负载，反过来也一样。

QoS 的默认值：TFLOPS 和显存的 request 都等于各自的 limit 且不为 0 时为 high；否则取池的 qosConfig.defaultQoS；池也没配时为 medium。high 和 critical 的 Pod 如果没有 priorityClassName，会被设为 tensor-fusion-high 或 tensor-fusion-critical。

容器注解

灰度与 Profile 注解

自动扩缩容注解

详见配置自动扩缩容。

Gang 调度注解

Gang 调度让一组 Pod 只有在足够多的成员能同时放下时才一起启动。

副本数依次从 enabled-replicas、profile 的 replicas、所属控制器的 spec.replicas、spec.parallelism、spec.completions 读取。

调试注解

原生 GPU 资源

启用了 TensorFusion 的 Pod，如果容器的 resources.limits 里还有 nvidia.com/gpu 这类 device plugin 资源，并且 gpu-count 注解和 profile 都没有指定 GPU 数量，webhook 会从它推导出请求：

• GPU 数量等于所有容器 limit 之和。
• compute-percent-limit 设为 100，除非 isolation 为 shared 或设置了 tflops-* 注解。
• 厂商、inject-container、container-gpu-count 根据带有该 limit 的容器自动填写。
• 被注入的容器上，原生资源会被去掉。

详见迁移现有应用。

由 TensorFusion 写入

下面这些键由 TensorFusion 写在 Pod 上，排障时可以查看，不要自己设置。

webhook 还会把解析后的取值写回 Pod 的注解，所以 kubectl get pod -o yaml 能看到实际生效的 request、limit、QoS、池、GPU 数量、隔离模式和运行模式。

WorkloadProfile

WorkloadProfile 包含与注解相同的配置项，另外还有一些没有注解形式的字段，例如自动扩缩容的详细配置（autoScalingConfig）。Gang 调度也可以在这里用 gangScheduling 配置。它必须和 Pod 在同一个 namespace。

apiVersion: tensor-fusion.ai/v1
kind: WorkloadProfile
metadata:
  name: example-profile
  namespace: default
spec:
  resources:
    requests:
      tflops: "5"
      vram: 3Gi
    limits:
      tflops: "15"
      vram: 3Gi
  qos: medium
  gpuCount: 1
  vendor: NVIDIA
  autoScalingConfig:
    autoSetResources:
      enable: true
      targetResource: all

在 Pod 上引用它：

metadata:
  annotations:
    tensor-fusion.ai/workload-profile: example-profile

Pod 准入时，profile 里有三个字段不会被读取：poolName、isLocalGPU、isolation。请用 gpupool、is-local-gpu、isolation 注解设置，或者使用池的默认值。gpuIndices 同样只从注解读取。

全部字段见 WorkloadProfile Schema。

完整示例

apiVersion: apps/v1
kind: Deployment
metadata:
  name: inference
spec:
  replicas: 2
  selector:
    matchLabels:
      app: inference
  template:
    metadata:
      labels:
        app: inference
        tensor-fusion.ai/enabled: "true"
      annotations:
        tensor-fusion.ai/inject-container: "server"
        tensor-fusion.ai/tflops-request: "10"
        tensor-fusion.ai/tflops-limit: "20"
        tensor-fusion.ai/vram-request: "4Gi"
        tensor-fusion.ai/vram-limit: "4Gi"
        tensor-fusion.ai/qos: "high"
        tensor-fusion.ai/is-local-gpu: "true"
        tensor-fusion.ai/isolation: "soft"
        tensor-fusion.ai/gpu-count: "1"
    spec:
      containers:
        - name: server
          image: pytorch/pytorch:2.4.1-cuda12.1-cudnn9-runtime
          command: ["sh", "-c", "sleep infinity"]
        - name: log-shipper
          image: busybox:1.36
          command: ["sh", "-c", "sleep infinity"]