A100 80 GB 超值
Ampere 架构,HBM2e 显存
- 显存带宽
- ~
2.0 TB/s - 支持精度
- FP16、BF16、TF32 和 INT8
- 4 位精度可运行
- 最高约 70B
- 适用场景
- 微调、稳定推理

A100
HBM 或 ECC 显存加上 NVLink,适用于训练、微调和大模型推理服务:
01 套餐与价格
每块 GPU 都由您独享,并配备高速 NVMe 存储,用于存放数据集和检查点。
| GPU | VRAM | CPU | 内存 | 存储 | 地区 | 价格 | 订购 |
|---|---|---|---|---|---|---|---|
|
|
$355.99/月
竞品最低价 |
部署 |
|||||
|
L40S
大规模推理
|
$418.99/月
竞品最低价 |
部署 L40S | |||||
|
|
$581.99/月
竞品最低价 |
部署 |
|||||
|
|
$1,096.99/月
竞品最低价 |
部署 |
|||||
|
|
$2,348.99/月
竞品最低价 |
部署 |
该司法管辖区暂无 GPU 套餐:或比较各司法管辖区。
需要八块 GPU 或服务器间的 InfiniBand 互联?GPU 服务器和独立服务器客户可在客户中心提交工单,申请定制配置。
02 选择
两者都有
Ampere 架构,HBM2e 显存
Hopper SXM5,HBM3 显存
L40S(
03 选型
我们针对最常见的训练和推理服务任务给出的起步建议。
| 任务 | 我们的推荐 | 理由 |
|---|---|---|
| 14B 以内模型的 LoRA 微调 | L40S 或 A100 | 48 至 |
| 7–8B 模型的全参数微调 | 混合精度训练每个参数约需 16 字节,即 112 至 | |
| 4 位精度的 70B 模型推理服务 | A100 或 H100 | 8K 上下文下约需 |
| 8 位精度的 70B 模型推理服务 | 8K 上下文下约需 | |
| 4 位精度的 405B 模型,或大规模训练 | 单节点 |
权重所需的显存数据见我们的显存表;上下文窗口和批大小会在此基础上进一步增加占用。
04 应用场景
在这些任务中,HBM 带宽、ECC 显存和 NVLink 值得付出更高的月费。
基于私有数据进行 LoRA、QLoRA 和全参数微调,数据始终不离开服务器。
为 70B 级模型提供 vLLM 端点,支撑大量并发用户。
在最多四块通过 NVLink 互联的 H100 上运行研究任务。
持续运行数天的大型图像、视频或向量嵌入任务。
05 司法管辖区
每款服务器的可用地区各不相同,具体请看上方套餐。
延迟数据根据距离估算,并非实测。所有司法管辖区价格相同。我们如何估算延迟
06 离岸承诺,白纸黑字
我们的承诺写进了政策条款,而不只是营销文案。
07 常见问题
还有其他问题?完整的常见问题页面解答了大家下单前常问的问题:付款、隐私、投诉与支持。
阅读完整常见问题我们的 H100 服务器采用 SXM5 外形规格,每块 GPU 配备带宽
可以。每块 GPU 都专属于您的服务器,既没有分时复用,也不会通过 MIG 分区与其他客户共用。
nvidia-smi
订购后 1 至 24 小时内交付。如果某款服务器在您所选的司法管辖区暂时缺货,我们会通知您,并为您保留订单或将款项退回您的余额。
GPU 服务器一经交付即不可退款,因为硬件是专门为您预留的。订购前请查看规格参数和 GPU 镜像指南。