10/15 款服务器配置有货即时交付免安装费

AI 与 GPU 计算

用于 AI 推理、微调与渲染的 GPU 服务器

在 GPU 独立服务器上用 vLLM 或 Ollama 运行 AI 推理、用 QLoRA 微调模型或用 Blender 渲染，服务器的 20 GB ECC 显存不与任何其他租户共享。

  • GPU 服务器 $435/月起
  • 即时交付
  • 含 DDoS 防护
查看推荐服务器对比服务器

为什么选择裸金属：AI 与 GPU 计算

  • 独享整块 GPU，而非分时共享

    没有 vGPU 切分，也没有邻居租户：RTX 4000 SFF Ada 的全部 20 GB 显存和每一个 Tensor Core 都只为您工作。

  • 显存决定上限

    权重、KV 缓存和批次数据都要占用显存，因此请先按模型和上下文需求确定显卡规格，再考虑速度。

  • 7×24 小时任务，月费固定

    全天候提供推理服务或训练模型的 GPU，每月费用都一样，闲置的周末也不会按小时计费。

  • 模型与数据留在您自己的机器上

    权重、提示词和数据集存放在您自己的 NVMe 上，由您自己的防火墙保护，并且您拥有完整的 root 和 IPMI 访问权限。

推荐服务器

我们为此精选的三款服务器

适用于从首次部署到繁忙生产环境的各个阶段。库存和价格实时更新；有货的推荐机型 2 分钟内上线。

CPU 推理与 RAG

高性能型即时交付

AMD Ryzen 9 9950X

16C / 32T · 4.3–5.7 GHz

  • 128 GB DDR5
  • 2 × 2 TB NVMe SSD
  • 1 Gbps 不限流量
  • 6 个机房

虽然没有 GPU，但 16 个 Zen 5 核心和 128 GB DDR5 内存足以在您的应用旁运行嵌入计算、向量检索，以及基于 llama.cpp 的小型量化模型。

$269/月免安装费
部署 AMD Ryzen 9 9950X

我们的首选7–14B 模型、SDXL、渲染

GPU即时交付

NVIDIA RTX 4000 SFF Ada

20 GB 显存 · EPYC 4344P · 8C / 16T · 3.8–5.3 GHz

  • 64 GB DDR5 ECC
  • 2 × 1.92 TB NVMe SSD
  • 1 Gbps 不限流量
  • 5 个机房

20 GB ECC 显存、192 个 Tensor Core 和 48 个 RT Core：一张有货的显卡即可胜任量化后的 7–14B LLM、QLoRA 微调、SDXL 或 Blender OptiX 渲染。

$435/月免安装费
部署 NVIDIA RTX 4000 SFF Ada

规格选型

哪款 GPU 适合您的模型？

以下为估算值，并非实测数据：长上下文和大量并发请求会让 KV 缓存远超这些数字，请以您所用框架的显存报告为准。

工作负载显存经验值推荐配置
在 CPU 上运行嵌入模型、重排序模型和小模型 无需 GPU；模型和向量索引放在系统内存中 AMD Ryzen 9 9950X $269/月
4-bit 或 8-bit 量化的 7–8B LLM，用于对话或 RAG 约 5–9 GB 权重加 KV 缓存：20 GB 可以装下 NVIDIA RTX 4000 SFF Ada $435/月
4-bit 量化的 13–14B LLM 约 8–9 GB 权重，可容纳中等长度的上下文 NVIDIA RTX 4000 SFF Ada $435/月
QLoRA 微调 7–8B 模型 短序列、小批次时可装入 20 GB NVIDIA RTX 4000 SFF Ada $435/月
SDXL 或 ComfyUI 工作流、Blender Cycles SDXL 轻松装下；更大的模型需用 FP8 NVIDIA RTX 4000 SFF Ada $435/月
4-bit 量化的约 30B 级别 LLM，或长上下文 约 17–20 GB 权重；48 GB 可为 KV 缓存留出空间 NVIDIA L40S $1,099/月 · 已售罄

专家建议

正确配置

我们的工程师针对此类工作负载给出的简明实用建议。

显存预算：权重、KV 缓存与额外开销

有三部分在争夺 RTX 4000 SFF Ada 的 20 GB 显存：

  • 权重：FP16 精度下每十亿参数约占 2 GB，8-bit 下约 1 GB，4-bit 下略高于 0.5 GB。4-bit 量化的 7–8B 模型可以轻松装入，并为上下文留有余量；4-bit 量化的约 30B 级别模型则需要 L40S 的 48 GB 显存。
  • KV 缓存：随上下文长度和并发请求数增长，在长上下文负载中甚至可能超过权重本身。
  • 额外开销：CUDA 上下文、激活值和框架缓冲区。

在 vLLM 中，按应用实际发送的长度为 --max-model-len 设置上限，并调整 --gpu-memory-utilization。在 llama.cpp 中，-ngl 决定放到 GPU 上的层数；其余层在系统内存中运行，虽然较慢，但用来测试一个显存稍显不足的模型已经足够。

在 Ubuntu 上安装 NVIDIA 驱动和 CUDA

一键安装 Ubuntu 24.04 或 26.04 LTS，然后让 Ubuntu 为您选择经过测试的服务器版驱动：

  • ubuntu-drivers list --gpgpu 会列出推荐的驱动分支，ubuntu-drivers install --gpgpu 则会安装它。如果缺少 nvidia-smi，请补装对应的 nvidia-utils-…-server 软件包，然后重启。
  • nvidia-smi 应能列出这张显卡及其 20 GB 显存；nvidia-smi -q -d ECC 可查看 ECC 模式。
  • 如需使用容器，请安装 NVIDIA Container Toolkit，运行 nvidia-ctk runtime configure --runtime=docker，然后重启 Docker。

宿主机只需安装驱动。PyTorch 的 wheel 包和官方 vLLM 镜像都自带 CUDA 运行时，因此只要驱动足够新，不同项目就能并行使用不同的 CUDA 版本。请锁定驱动软件包的版本，以免无人值守升级在任务运行期间将其替换。

提供模型 API，但不对公网暴露

vLLM、llama.cpp 的 llama-server 和 Ollama 都提供兼容 OpenAI 的 HTTP API。这让切换后端变得轻而易举，而把其中某个暴露给整个互联网也同样轻而易举。

  • 将模型服务绑定到 127.0.0.1（Ollama 默认即是如此，端口为 11434），再通过启用 TLS 和身份验证的反向代理对外发布。
  • vLLM 和 llama-server 都支持 --api-key 参数；请把它当作最低限度的防护，而不是访问控制。
  • 位于其他机房的应用应通过 WireGuard 访问 GPU，而不是经由公网。
  • 按密钥限流。海量涌入的提示词请求看起来与正常请求无异，网络层的 DDoS 清洗无法将它们区分开来。

适合在此运行的工具

有了 root 权限，您可以只安装真正需要的软件。以下是此类工作负载久经验证的选择。

  • vLLM高吞吐量的 LLM 推理服务框架，支持 PagedAttention、连续批处理和兼容 OpenAI 的 API。
  • Ollama一条命令即可下载模型，并提供本地 API；非常适合原型开发、内部工具和小型团队。
  • llama.cpp以 C/C++ 实现的 GGUF 模型推理，可在 GPU、CPU 或两者上运行；模型超出显存时支持部分卸载到 GPU。
  • TensorRT-LLMNVIDIA 推出的库，可将模型编译为经过优化的推理引擎，并支持 Ada 架构 GPU 上的 FP8。
  • ComfyUI基于节点的工作流，支持 Stable Diffusion、SDXL 以及更新的图像和视频模型，并提供 HTTP API。
  • NVIDIA Container Toolkit让 Docker 和 Podman 容器能够访问 GPU，这样每个框架都可以自带 CUDA 用户态组件。

延伸阅读

常见问题

AI 与 GPU 计算：常见问题

全部问题
20 GB 显存能放下哪些模型？

经验法则：7–8B 模型采用 4-bit 或 8-bit 量化可轻松装入，并为上下文留有余量；13–14B 模型采用 4-bit 量化可以装入。7–8B 模型以 FP16 精度也能加载，但留给 KV 缓存的空间所剩无几。约 30B 级别的模型在 4-bit 量化下，仅权重就需要约 17–20 GB，因此应选用 48 GB 显存的显卡。下单前，请先查看您所用框架给出的显存估算。

可以在 RTX 4000 SFF Ada 上微调模型吗？

可以，使用参数高效微调方法即可。QLoRA 将基础模型保持在 4-bit 量化，只训练小型适配器矩阵，因此在序列长度和批大小适中的情况下，7–8B 模型可装入 20 GB 显存；启用梯度检查点还能进一步扩大余量。Unsloth、Axolotl 和 Hugging Face PEFT 可帮您完成配置。若对同一模型进行全参数微调，所需显存将是单张显卡的数倍。

L40S 已售罄，我还有哪些选择？

如果您的模型能装入 20 GB 显存，可以先使用有货的 RTX 4000 SFF Ada；也可以在等待期间把模型再量化一级：热门配置会定期补货，您可以申请到货通知。如果您需要 48 GB 显存，请在 L40S 页面申请到货通知。

可以运行 Stable Diffusion 或 ComfyUI 吗？

可以。SDXL 在 20 GB 显存中运行游刃有余，ComfyUI 的安装方式与其他 Python 应用或容器无异。更新、更大的图像和视频模型通常需要 FP8 或 GGUF 量化的模型文件（checkpoint）才能装入，显存不足时首先应调低批大小。请为界面加上身份验证或将其置于 VPN 之后，因为自定义节点本质上就是任意 Python 代码。

为什么按月租用 GPU 服务器，而不是按小时计费？

按小时计费的 GPU 适合短期实验。一旦模型需要全天候为用户提供服务，或训练队列永远排不完，按月租用的服务器就能带来固定的账单、不与任何人共享的 GPU、存放权重和数据集的本地 NVMe，而且不限流量端口不会对出站流量计费。如果您的 GPU 每月大部分时间都处于闲置状态，按小时租用算力可能更划算。

准备好部署了吗？

选择一款有货的推荐服务器，2 分钟内即可上线，从余额支付，免安装费。

查看推荐服务器对比服务器