RTX 4090 与 5090 服务器
单 token 成本最优

对于能装进 24 至 48 GB 显存的模型，RTX 显卡在推理时每美元能产出更多 token。当您需要单卡 80 GB 显存、用于训练的 HBM 带宽或 GPU 间的 NVLink 互联时，数据中心级 GPU 才更合适。

可以。vLLM 和 llama.cpp 可将一个模型拆分到两块显卡上（张量并行或层并行），这样您就有 64 GB 显存来运行 4 位精度的 70B 模型。两块显卡通过 PCIe 而非 NVLink 通信，因此推理扩展性良好，训练扩展性则较为有限。

如果您需要单卡 48 GB 且带 ECC 的显存，那么值得：它能以 8 位精度运行 32B 模型、以全精度运行 14B 模型，无需跨 GPU 拆分。4 位精度的 70B 模型约需 50 GB，因此需规划两块显卡或 80 GB 显存。对于更小的模型，RTX 5090 更快也更便宜。

是的，Ubuntu 24.04 镜像已预装。RTX 5090 需要较新的 CUDA 版 PyTorch；GPU 镜像指南给出了具体命令。

GPU 服务器一经交付即不可退款，因为硬件是专门为您预留的。订购前请查看规格参数和 GPU 镜像指南。