ИИ и GPU-вычисления
Запускайте инференс ИИ-моделей в vLLM или Ollama, дообучайте модели с QLoRA или рендерите в Blender на выделенном GPU-сервере с 20 ГБ видеопамяти ECC, которую вы ни с кем не делите.
Никакого деления на vGPU и никаких соседей: все 20 ГБ видеопамяти и все тензорные ядра RTX 4000 SFF Ada работают только на вас.
Веса, KV-кэш и батчи — все это размещается в видеопамяти, поэтому сначала подберите карту под модель и контекст и только потом думайте о скорости.
GPU, который круглосуточно обслуживает запросы или обучает модели, стоит каждый месяц одинаково — без почасового счетчика, который тикает и в выходные, когда GPU простаивает.
Веса, промпты и датасеты хранятся на ваших собственных NVMe, за вашим файрволом, с полным root-доступом и доступом к IPMI.
Рекомендуемые серверы
От первого развертывания до нагруженного продакшена. Наличие и цены в реальном времени; выбранные серверы в наличии готовы к работе менее чем за 2 минуты.
Инференс на CPU и RAG
16 ядер / 32 потока · 4,3–5,7 ГГц
Без GPU, но 16 ядер Zen 5 и 128 ГБ DDR5 справляются с эмбеддингами, векторным поиском и небольшими квантизованными моделями в llama.cpp рядом с вашим приложением.
Наш выборМодели
20 ГБ VRAM · EPYC 4344P · 8 ядер / 16 потоков · 3,8–5,3 ГГц
20 ГБ видеопамяти ECC, 192 тензорных ядра и 48 RT-ядер: квантизованные LLM 7–14B, дообучение с QLoRA, SDXL или Blender OptiX на одной карте из наличия.
Модели класса 30B
48 ГБ видеопамяти · EPYC 9254 · 24 ядра / 48 потоков · 2,9–4,15 ГГц
48 ГБ видеопамяти для моделей ~30B в 4-битной квантизации или длинных контекстов. Сейчас нет в наличии: начните с RTX 4000 SFF Ada и подпишитесь на уведомление.
Подбор конфигурации
Это оценки, а не результаты измерений: при длинных контекстах и большом числе параллельных запросов KV-кэш выходит далеко за эти цифры, поэтому сверяйтесь с отчетом о памяти вашего фреймворка.
| Задача | Ориентир по видеопамяти | Рекомендуемый тариф |
|---|---|---|
| Эмбеддинги, реранкеры, небольшие модели на CPU | Без GPU; модель и векторный индекс в оперативной памяти | AMD Ryzen 9 9950X |
| LLM |
~ |
NVIDIA RTX 4000 SFF Ada |
| LLM |
~ |
NVIDIA RTX 4000 SFF Ada |
| Дообучение модели |
Помещается в 20 ГБ при коротких последовательностях и небольших батчах | NVIDIA RTX 4000 SFF Ada |
| SDXL или пайплайны ComfyUI, Blender Cycles | SDXL помещается легко; более крупные модели — в FP8 | NVIDIA RTX 4000 SFF Ada |
| LLM класса ~30B в 4-битной квантизации или длинные контексты | ~ |
NVIDIA L40S |
Советы экспертов
Краткие практические советы наших инженеров для этой задачи.
За 20 ГБ на RTX 4000 SFF Ada конкурируют три составляющие:
В vLLM ограничьте --max-model-len тем, что реально отправляет ваше приложение, и настройте --gpu-memory-utilization. В llama.cpp параметр -ngl задает, сколько слоев выгружается на GPU; остальные выполняются из оперативной памяти — медленнее, но вполне годится, чтобы протестировать модель, которая не совсем помещается.
Установите Ubuntu 24.04 или 26.04 LTS в один клик, а затем позвольте Ubuntu выбрать проверенный серверный драйвер:
ubuntu-drivers list --gpgpu показывает рекомендуемую ветку драйвера, а ubuntu-drivers install --gpgpu устанавливает ее. Если nvidia-smi отсутствует, добавьте соответствующий пакет nvidia-utils-…-server, затем перезагрузите сервер.nvidia-smi должны быть видны карта и ее 20 ГБ; nvidia-smi -q -d ECC показывает режим ECC.nvidia-ctk runtime configure --runtime=docker и перезапустите Docker.Хосту нужен только драйвер. Wheel-пакеты PyTorch и официальные образы vLLM содержат собственный рантайм CUDA, поэтому проекты могут параллельно использовать разные версии CUDA, если драйвер достаточно свежий. Зафиксируйте версию пакета драйвера, чтобы автоматическое обновление не подменило его прямо во время выполнения задачи.
vLLM, llama-server из llama.cpp и Ollama поддерживают HTTP API, совместимый с OpenAI. Поэтому бэкенды легко менять — и так же легко открыть любой из них всему интернету.
127.0.0.1, как Ollama делает по умолчанию на порту 11434, и публикуйте его через обратный прокси с TLS и аутентификацией.llama-server принимают --api-key; считайте это минимальной мерой, а не контролем доступа.С root-доступом вы устанавливаете именно то, что нужно. Это проверенные решения для такой задачи.
Частые вопросы
Как правило, модели 7–8B при 4- или 8-битной квантизации свободно помещаются в память с запасом под контекст, а модели 13–14B — при 4-битной. Модель 7–8B в FP16 тоже загрузится, но для KV-кэша останется мало места. Моделям класса ~30B в 4-битной квантизации нужно примерно 17–20 ГБ только под веса, поэтому их место — на карте с 48 ГБ. Прежде чем определиться, сверьтесь с оценкой потребления памяти в вашем фреймворке.
Да, с помощью методов параметрически эффективного дообучения. QLoRA хранит базовую модель в 4-битном формате и обучает небольшие матрицы адаптеров, поэтому модель 7–8B помещается в 20 ГБ при умеренной длине последовательностей и размере батча, а gradient checkpointing дает еще больший запас. Настройку берут на себя Unsloth, Axolotl и Hugging Face PEFT. Для полного дообучения той же модели нужно в несколько раз больше памяти, чем есть на одной карте.
Начните с RTX 4000 SFF Ada из наличия, если ваша модель помещается в 20 ГБ, или на время ожидания возьмите квантизацию на ступень сильнее: популярные конфигурации регулярно снова появляются в наличии, и можно подписаться на уведомление. Если вам нужно 48 ГБ, подпишитесь на уведомление на странице L40S.
Да. SDXL свободно работает в 20 ГБ, а ComfyUI устанавливается как любое Python-приложение или контейнер. Более новым и крупным моделям для изображений и видео, чтобы поместиться в память, часто нужны чекпойнты в FP8 или с квантизацией GGUF, а при нехватке памяти первым делом стоит уменьшить размер батча. Держите интерфейс за аутентификацией или VPN, потому что кастомные ноды — это произвольный код на Python.
Почасовые GPU хороши для коротких экспериментов. Когда модель обслуживает пользователей круглосуточно или очередь обучения никогда не пустеет, помесячный сервер дает фиксированный счет, GPU, которым больше никто не пользуется, локальный NVMe для весов и датасетов и никакой тарификации исходящего трафика на безлимитном порту. Если GPU большую часть месяца будет простаивать, почасовая аренда, скорее всего, выгоднее.
Выберите один из рекомендуемых серверов в наличии — он может быть готов к работе менее чем за 2 минуты, с оплатой с баланса и без платы за установку.
Это единственный способ вернуть доступ к аккаунту, если вы забудете пароль или потеряете устройство для двухфакторной аутентификации. Показать его повторно мы не сможем.