性能测试

本页汇总 TensorFusion 已公开的 vGPU 性能损耗数据，并说明如何在你自己的硬件上重跑。数据来自 NexusGPU/benchmark 仓库，测试时间是 2025 年 7 月。

先看这几点

• 这些结果测的是 API 转发路径（客户端库加 worker）：每次 GPU 调用都要跨进程或跨网络。远程 vGPU 和 hard 隔离走的是这条路径。
• 默认的 soft 隔离模式是在业务进程内运行 limiter，不经过 worker，目前还没有公开的测试结果。下面的数字不适用于它。
• 公开结果里没有记录 GPU 型号、驱动版本和机型。请把它们当作同一台机器上各模式之间的相对损耗，不要当作绝对性能。
• “Same AZ”和“Cross AZ”两列是在单节点上人为加延迟得到的，不是两台机器之间的实测。

如果要用数据支撑采购或容量决策，请在自己的集群上跑一遍。

测了什么

每个测试用同一个负载在最多 5 种环境下运行，把总耗时和原生运行做比较。“损耗”是相对原生多出的时间，越低越好；负值表示比原生还快。

TorchBench 推理（2025-07-06）

模型来自 TorchBench，在 CUDA 上以 eval 模式运行。时间是指定迭代次数的总秒数。

从表里能看出：

• 进程内模式（NGPU）在所有模型上与原生的差距都在 3% 左右以内。
• 调用一旦跨进程，损耗因模型而异，差别很大。hf_Bart、basic_gnn_gcn、hf_Bert 在本地损耗 20%–40%，BERT_pytorch、hf_clip、hf_distil_whisper 不到 2%。这符合“每次 GPU 调用有固定开销”的规律：由大量小调用组成的短任务损耗最大。
• 网络延迟会拉大差距。延迟 1 ms 时，前一组的耗时是原生的 3–5 倍，后一组仍在 11% 左右以内。

MLPerf Inference（2025-07-04）

bert-99，PyTorch 参考实现，edge 类别，SingleStream 场景。

自己跑一遍

前置条件：已安装 TensorFusion 的 Kubernetes 集群、装好 NVIDIA 驱动的 GPU 节点、Helm 3。

1. 克隆 benchmark 仓库并安装其中的 chart。它会创建一个用于手动运行的 Deployment 和一个定时运行的 CronJob。

   git clone https://github.com/NexusGPU/benchmark.git
   cd benchmark
   helm install tf-bench ./helm/torchbench -f custom-values.yaml

   在 custom-values.yaml 里按你的集群设置镜像、节点选择器和 TensorFusion 的 Pod 注解。chart 的默认值指向作者的测试环境。

2. 在 benchmark Pod 里运行某个 TorchBench 模型：

   cd benchmark
   python3 test.py -k "test_${model_name}_eval_cuda" -t ${eval_times}

3. 运行 MLPerf 测试：

   mlcr run-mlperf,inference,_full,_r5.0-dev \
       --model=bert-99 \
       --implementation=reference \
       --framework=pytorch \
       --category=edge \
       --scenario=SingleStream \
       --execution_mode=valid \
       --device=cuda \
       --quiet --rerun

4. 原生环境（不加 TensorFusion 注解）和每种要对比的 vGPU 环境各跑一遍，再计算 (vgpu_time - native_time) / native_time。

要在单节点上复现两列延迟数据，运行前给 loopback 网卡加延迟，跑完后删除：

tc qdisc add dev lo root netem delay 0.3ms   # “Same AZ”；“Cross AZ” 用 1ms
tc qdisc del dev lo root

下一步

• 与其他 GPU 共享方案对比
• 支持矩阵