术语解释

TensorFusion 文档中用到的术语与概念

本页解释 TensorFusion 文档中用到的术语。自定义资源类型、注解键和取值保持英文原样，与你在 YAML 里写的一致。

资源与单位

术语	含义
TFLOPS	每秒万亿次浮点运算，TensorFusion 中 GPU 算力的单位。每个 GPU 型号的算力容量取它的 FP16 TFLOPS，来自内置的型号表或 `ProviderConfig`。
算力百分比（compute percent）	以单张 GPU 的百分比表示算力，通过 `tensor-fusion.ai/compute-percent-request` 和 `tensor-fusion.ai/compute-percent-limit` 设置，是 TFLOPS 之外的另一种写法。用百分比申请会绕过命名空间配额检查。
VRAM	显存。按 Kubernetes 资源量的写法填写，例如 `4Gi`。
请求与限额（request / limit）	请求值是调度器为工作负载预留的量，限额是它最多能用的量。算力和显存各有一组，含义与 Kubernetes 的 CPU、内存相同。
vGPU	Pod 看到的那一份 GPU，可以来自一张或多张卡。对应用来说，它和普通 GPU 设备没有区别。
GPU 切分（Fractional GPU）	只把 GPU 的一部分分给 Pod，而不是整卡。
超额分配（Oversubscription）	允许一张 GPU 上的请求总和超过物理容量。资源池用 `tflopsOversellRatio` 设置算力超卖比例，用 `vramExpandToHostMem` 和 `vramExpandToHostDisk` 设置主机内存、磁盘按多大比例计入可调度显存。
QoS	工作负载的服务质量等级：`low`、`medium`、`high`、`critical`，通过 `tensor-fusion.ai/qos` 设置。每一级有各自的单价，`high` 和 `critical` 对应优先级更高的 PriorityClass。

自定义资源

术语	含义
`TensorFusionCluster`	最顶层的对象，通常每个 Kubernetes 集群一个，拥有一个或多个 GPU 资源池。
`GPUPool`	GPU 资源池。一组 GPU 节点，共用容量上下限、超额分配比例、QoS 定价和调度策略。Pod 在单个资源池内调度。
`GPUNode`	由资源池纳管的、带 GPU 的 Kubernetes 节点。
`GPU`	一个物理加速卡设备，记录它的 TFLOPS 和显存的总量与可用量。
`GPUNodeClaim`	一次新增 GPU 节点的请求，由云厂商或 Karpenter 完成创建。
`GPUNodeClass`	TensorFusion 自行创建节点时使用的实例模板。
`ProviderConfig`	单个 GPU 厂商的配置：组件镜像、GPU 型号及其 TFLOPS、分区模板。
`SchedulingConfigTemplate`	放置策略、自动伸缩规则和 hypervisor 调度参数，由资源池引用。
`GPUResourceQuota`	命名空间的 GPU 配额：总量上限、单个工作负载上限，以及默认的请求和限额。
`TensorFusionWorkload`	共用同一份资源规格的一组 Pod 或 worker，通常由 webhook 根据 Pod 注解创建。
`WorkloadProfile`	可复用的资源规格。Pod 通过 `tensor-fusion.ai/workload-profile` 引用。
`TensorFusionConnection`	远程 GPU 模式下把 client Pod 和 worker 配对，由系统创建。

组件

术语	含义
Controller	控制面进程，也叫 operator。包含自定义资源控制器、Pod 准入 webhook 和调度器。
调度器（Scheduler）	内嵌在 controller 里的 kube-scheduler，注册名为 `tensor-fusion-scheduler`，带有负责分配 GPU 资源的插件。
Webhook	变更准入 webhook，改写带有标签 `tensor-fusion.ai/enabled: "true"` 的 Pod。
Hypervisor	运行在每个 GPU 节点上的代理，负责发现设备、上报设备和执行限额。
Accelerator 库	按厂商提供的动态库，由 hypervisor 加载，用来发现设备、读取指标和创建分区。
Limiter	按厂商提供的动态库，在 `soft` 隔离下预加载到应用进程里，把 GPU 调用限制在配置的限额内。
Client	注入到应用容器里的库，把 GPU API 调用转发给 worker。旧文档里也叫 client stub 或 GPU stub。
Worker	在物理 GPU 上执行转发过来的 GPU 调用的进程，以 sidecar 容器或独立 Pod 的形式运行，也叫 vGPU worker。
Cluster agent	controller 的可选 sidecar，把集群接入云端控制台。
云端控制台（Cloud console）	托管在 `app.tensor-fusion.ai` 的网页界面。

模式与策略

术语	含义
本地 GPU 模式	Pod 运行在为它提供 GPU 的节点上。通过 `tensor-fusion.ai/is-local-gpu: "true"` 设置，或沿用资源池的默认值。
远程 GPU 模式	Pod 运行在任意节点上，通过网络使用其他节点的 GPU，也叫 GPU-over-IP。
隔离模式（Isolation mode）	工作负载与同一张 GPU 上其他负载的隔离方式：`shared`、`soft`、`hard`、`partitioned`。通过 `tensor-fusion.ai/isolation` 设置，默认 `soft`。
`shared`	整卡使用，不执行限额。
`soft`	由应用进程内的 limiter 执行限额。
`hard`	GPU 调用在应用进程之外的 worker 里执行，并分配固定比例的 GPU 计算单元。
`partitioned`	GPU 的硬件分区，例如 NVIDIA MIG 实例或昇腾 vNPU。
隔离策略（Isolation policy）	隔离模式是按节点固定（`static`），还是按 GPU 由第一个落上去的 Pod 决定（`dynamic`）。通过 Helm 参数 `controller.isolationModePolicy` 设置。
节点供给模式（Provisioning mode）	资源池获得节点的方式：`AutoSelect`、`Karpenter`、`Provisioned`。
放置策略（Placement mode）	调度器给候选 GPU 排序的方式：`CompactFirst`、`LowLoadFirst`、`NodeCompactGPULowLoad`。

调度与运维

术语	含义
Gang 调度	一组 Pod 只有在达到最少成员数、且都能放下时才一起调度。通过 `tensor-fusion.ai/gang-enabled` 开启。
独占 GPU（Dedicated GPU）	工作负载占用某个 GPU 型号的全部容量。通过 `tensor-fusion.ai/dedicated-gpu` 配合 `tensor-fusion.ai/gpu-model` 设置。
自动伸缩（Autoscaling）	根据观测到的用量调整工作负载的 GPU 请求和限额。
节点合并（Node compaction）	释放已经空出来的 GPU 节点。
碎片整理（Defragmentation）	按计划把 worker 从利用率低的节点上迁走，以便释放这些节点。

模型与推理相关

以下是评估工作负载规格时常见的通用术语。

术语	含义
FP16	16 位浮点（半精度），训练和推理中广泛使用。
BF16	BFloat16，16 位浮点格式，指数范围比 FP16 更大，训练更稳定。
INT8	8 位整数精度。把模型量化到 INT8 可以加快推理、降低显存占用。
KV Cache	注意力机制中缓存的 Key 和 Value，用来加速长上下文和多轮推理。序列越长，占用越大。
MoE	Mixture of Experts（专家混合），一种模型架构，每次输入只激活部分专家子网络。

目录

资源与单位

自定义资源

模式与策略

调度与运维

模型与推理相关