Выделенный GPU-сервер или облачный GPU: стоимость, конфиденциальность и скорость

При постоянной нагрузке выделенный GPU-сервер с помесячной арендой обходится дешевле облачного GPU с почасовой оплатой, а для коротких всплесков нагрузки выгоднее почасовое облако. Порог окупаемости — это месячная цена, делённая на почасовую ставку: наша RTX 4090 за $84.99 в месяц стоит столько же, сколько 85 часов при условной ставке $1.00 в час.

В этом руководстве мы сравниваем аренду выделенного GPU-сервера и облачного GPU по стоимости, доступности, производительности и конфиденциальности, опираясь на цены наших собственных GPU-серверов и условные почасовые ставки, но никогда — на расценки других провайдеров.

Коротко: выделенный GPU-сервер или облачный GPU

Облачный GPU — это почасовые мощности: вы запускаете инстанс, платите, пока он работает, и останавливаете его. Выделенный GPU-сервер оснащён одним или несколькими целыми GPU, арендуется помесячно и работает круглосуточно, независимо от того, пользуетесь вы им или нет. Облако продаёт гибкость, а выделенный сервер — более низкую цену за час использования и карту, к которой больше никто не прикасается.

• Арендуйте помесячно, если карта работает большую часть дней: модель, которая обслуживает пользователей, командный ассистент для программирования, регулярное дообучение, очереди рендеринга.
• Арендуйте почасово для нескольких часов тестирования, разового запуска обучения или пиков, намного превышающих вашу базовую нагрузку.
• Сочетайте оба варианта, если на стабильную базовую нагрузку иногда накладываются пики.

Стоимость GPU-сервера и облачного GPU: найдите свой порог окупаемости в часах

Чтобы решить, арендовать GPU помесячно или почасово, разделите месячную цену на предложенную вам почасовую ставку. Если в месяц набирается больше часов, чем получилось, сервер с помесячной оплатой обходится дешевле:

break-even hours = monthly price ÷ hourly rate
share of the month = break-even hours ÷ 730

В таблице эта формула применена к нашим ценам на RTX 4090 и H100. Почасовые ставки взяты для примера и не являются расценками какого-либо провайдера: подставляйте ставки, которые предлагают вам.

Итак, если карта класса RTX 4090 обходится вам в $0.70 в час и вы используете её больше примерно четырёх часов в день, помесячная аренда дешевле. При круглосуточной работе наши месячные цены соответствуют примерно $0.085 в час за RTX A4000, $0.116 — за RTX 4090, $0.185 — за RTX 5090, $0.488 — за A100 80 ГБ и $0.797 — за H100. И это ещё без учёта бонуса за пополнение баланса (от +10% при пополнении от $100 до +50% при пополнении от $1 000): его можно потратить на серверы и продления, но нельзя вывести.

Кроме того, почасовые счета могут скрывать дополнительные расходы. Проверьте, сколько вы платите за хранилище, пока инстанс остановлен, и за данные, покидающие облако, и учтите время, которое каждый новый инстанс тратит на загрузку весов: скачивание 43 ГБ весов модели 70B в 4-битной точности занимает около шести минут даже на полной скорости 1 Гбит/с. Забытый инстанс тарифицируется всю ночь. У помесячного сервера счётчика нет, а трафик на наших серверах безлимитный в рамках принципа добросовестного использования.

Как дешевле всего арендовать H100

Всё зависит от того, сколько часов вам нужно. Если в месяц набирается меньше примерно 145–291 часа, то при условных ставках от $4 до $2 в час дешевле почасовая аренда; если больше — наш сервер с H100 80 ГБ SXM5 за $581.99 в месяц. При поквартальной оплате цена снижается до $552.89 в месяц, а при оплате на год — до $512.15, то есть примерно до $0.70 в час при круглосуточной работе. Если вам достаточно 80 ГБ при меньшей пропускной способности памяти, A100 80 ГБ стоит $355.99.

Доступность: спотовые мощности и мощности по требованию против закреплённой за вами карты

Почасовые GPU бывают двух видов, и ни один из них не гарантирует, что карта будет доступна, когда она вам понадобится.

• Инстансы по требованию тарифицируются по полной ставке, но зависят от наличия свободных мощностей. Например, в документации AWS описана ошибка InsufficientInstanceCapacity, которая возникает, когда «в настоящее время недостаточно доступных мощностей по требованию», а для каждого региона по умолчанию установлены лимиты на число инстансов, повышение которых нужно запрашивать.
• Спотовые (или вытесняемые) инстансы стоят дешевле, потому что провайдер может забрать их обратно: в AWS уведомление о прерывании приходит за две минуты до того, как инстанс будет остановлен или завершён. Обучению нужны частые контрольные точки, а эндпоинтам — резервный вариант.

Выделенная карта закреплена за вами на весь оплаченный период: никаких уведомлений об изъятии и никаких проверок свободных мощностей при перезапуске. Ограничения возникают до выдачи. Выдача занимает от 1 до 24 часов, наличие зависит от карты и юрисдикции, а если конфигурация временно недоступна, мы сообщаем об этом в личном кабинете и либо оставляем заказ в ожидании, либо возвращаем оплату на ваш баланс. После выдачи возврат средств за GPU-серверы не производится.

Производительность и стабильность

На выделенном сервере каждый GPU — это целая карта, которую используют только ваши задачи: без разделения по времени и без разбиения на разделы. Облачный GPU тоже часто представляет собой целую карту, но не всегда:

• MIG-разделы. Технология NVIDIA Multi-Instance GPU делит A100 или H100 максимум на семь инстансов, у каждого из которых собственные память, кэш и вычислительные ядра: они изолированы, но каждый — лишь часть карты.
• Разделение по времени. Несколько рабочих нагрузок по очереди используют один GPU, причём, как сказано в документации NVIDIA, между ними нет изоляции ни памяти, ни сбоев.

Объём памяти определяет, какие модели поместятся, а её пропускная способность — как быстро они генерируют результат; подробнее об этом — в нашем руководстве по видеопамяти для LLM. Поэтому убедитесь, что за низкой ценой стоит целый GPU.

Хранилище рядом с GPU. Наши GPU-серверы оснащены локальными NVMe-дисками — от 1 ТБ на сервере с RTX 4090 до 30 ТБ на сервере с 4 × H100, — и модели с контрольными точками сохраняются на них между сеансами. Быстрые локальные диски в облаке бывают временными: в AWS данные хранилища инстанса не сохраняются, если инстанс остановлен, переведён в гибернацию или завершён, поэтому каждый новый инстанс загружает веса заново.

Стабильность. Когда вы изо дня в день работаете на одной и той же машине, у вас сохраняются тот же драйвер, прогретый кэш моделей и ядра (kernels), скомпилированные при первом запуске. Обратная сторона — масштаб: наш самый крупный сервер оснащён четырьмя H100, связанными через NVLink, и подключён через порт 1 Гбит/с. Настройка описана в нашем руководстве по запуску LLM на собственном GPU-сервере.

Конфиденциальность и идентификация личности

Крупные GPU-облака, как правило, хотят знать, кто вы, прежде чем доверить вам дорогие карты: аккаунт, привязанный к платёжной карте или банку, этапы верификации, лимиты использования по умолчанию. После этого ваши промпты и наборы данных подчиняются правилам ведения логов и хранения данных, которые вы принимаете, а не устанавливаете сами.

В OffshoreServ аккаунт — это адрес электронной почты (он может быть одноразовым) и пароль: без имени, почтового адреса, номера телефона и документов, удостоверяющих личность. Вы пополняете долларовый баланс в Bitcoin, Ethereum, Monero, Tether (USDT) или Solana через платёжный шлюз, который никогда не получает ваш адрес электронной почты и данные аккаунта; время подтверждения указано на нашей странице об оплате криптовалютой.

Мы не ведём логов трафика серверов и не анализируем его — никакой глубокой инспекции пакетов и никакого сканирования контента — и никогда не видим и не записываем в логи ваши промпты, ответы моделей или данные для обучения. В нашем журнале безопасности хранятся краткие сведения о браузере и ОС и страна, но никогда — IP-адрес.

Конфиденциальность — не иммунитет. В зависимости от карты GPU-серверы работают в Молдове, Нидерландах, Исландии или Румынии и подчиняются местному законодательству, а в Нидерландах и Румынии — ещё и Закону ЕС о цифровых услугах. Майнинг на GPU-серверах разрешён, а наши правила допустимого использования распространяются на всё, что вы запускаете.

Когда облако — лучший выбор

• Короткие эксперименты. Три часа на H100 по условной ставке $4 в час обойдутся в $12, а месяц у нас стоит $581.99. Если карта будет простаивать большую часть месяца, арендуйте почасово.
• Больше четырёх GPU. Наш самый крупный сервер — это четыре H100 и 320 ГБ видеопамяти. Обучению на десятках GPU место в облачном кластере; действующие клиенты с GPU-серверами и выделенными серверами могут запросить у нас индивидуальную конфигурацию через тикет.
• Автомасштабирование между регионами. Если трафик в течение суток колеблется в десять раз или вам нужны мощности рядом с пользователями на нескольких континентах в течение нескольких минут, лучше подойдут облака с мощностями по требованию: выдача наших серверов занимает от 1 до 24 часов, и они доступны в четырёх юрисдикциях.

Кроме того, на выделенном сервере операционная система, стек инференса и безопасность остаются на вашей ответственности. Управляемый сервис стоит дороже, но берёт всё это на себя.

Выделенный GPU-сервер или облачный GPU: чек-лист для принятия решения

1. Посчитайте часы. Если их больше, чем месячная цена, делённая на почасовую ставку, арендуйте помесячно.
2. Оцените нужный объём памяти. До 80 ГБ с учётом запаса — это одна A100 или H100; до 320 ГБ — сервер с 4 × H100; больше — облачный кластер.
3. Оцените устойчивость к прерываниям. Задача, которая не умеет сохранять контрольные точки, или эндпоинт, от которого зависят пользователи, не должны работать на спотовых мощностях.
4. Определите, куда могут попадать данные. Если промпты или наборы данных не должны оказаться на сторонней платформе, держите их на выделенном сервере.
5. Проверьте требования к идентификации. Если вы не хотите связывать работу со своей личностью или картой, выбирайте провайдера, который принимает криптовалюту без KYC.
6. Спланируйте старт. Нужен GPU через десять минут? Используйте облако. Можете подождать до суток и готовы взять сервер на месяц? Арендуйте выделенный.
7. Рассмотрите оба варианта. Сервер с помесячной оплатой под базовую нагрузку плюс почасовые GPU для пиков — такое сочетание часто обходится дешевле.

Часто задаваемые вопросы

Что дешевле: арендовать GPU помесячно или почасово?

Помесячно — как только вы используете карту больше часов, чем составляет месячная цена, делённая на почасовую ставку. Наша RTX 4090 стоит $84.99 в месяц, поэтому при условной ставке $0.70 в час помесячная аренда выгоднее уже после примерно 121 часа, то есть около четырёх часов в день. Если меньше, почасовая аренда дешевле.

Чем выделенный GPU-сервер отличается от облачного GPU?

Выделенный GPU-сервер даёт вам целые GPU на месячный период и локальное хранилище, где сохраняются ваши данные. Облачный GPU арендуется почасово и запускается когда угодно; это может быть целая карта, MIG-раздел или доля карты при разделении по времени, а спотовые мощности провайдер может забрать обратно. Первый вариант дешевле при постоянной работе, второй — для коротких всплесков нагрузки.

Можно ли арендовать H100 без KYC?

Да. В OffshoreServ аккаунт — это адрес электронной почты и пароль, без имени, номера телефона и документов, удостоверяющих личность, а оплата принимается в Bitcoin, Ethereum, Monero, Tether или Solana. Сервер с H100 80 ГБ SXM5 стоит $581.99 в месяц и готов через 1–24 часа. При этом местное законодательство и наши правила допустимого использования по-прежнему действуют.

Используются ли облачные GPU совместно?

Не всегда, но такое возможно. Облачный GPU может быть целой картой, MIG-разделом (до семи изолированных инстансов на A100 или H100) или долей карты с разделением по времени — без изоляции памяти и сбоев. Прежде чем сравнивать цены, проверьте, что именно входит в предложение. На наших GPU-серверах каждая карта выделена вашему серверу и никогда не используется совместно.

Сколько часов в месяц нужно, чтобы выделенный GPU окупился?

Разделите месячную цену на почасовую ставку, которую вы платили бы в противном случае. Для нашей RTX 4090 за $84.99 это 212 часов при условной ставке $0.40 в час и 85 часов при ставке $1.00; для нашей H100 за $581.99 — 291 час при ставке $2 и 145 часов при ставке $4. Если часов больше, помесячная аренда дешевле.