Клиент пришёл недавно с типичным запросом: «Хочу дообучить модель на своих данных, но не знаю, куда смотреть — AWS, Google Cloud, Azure или какие-то специализированные платформы». У него было 80 тысяч документов, команда из двух инженеров и бюджет, который не резиновый. Разобрались за пару созвонов, но осадок остался — информации в интернете много, а конкретики ноль. Вот и решил разложить по полочкам, что реально доступно на рынке, чем платформы отличаются и какую выбрать под свою задачу.
Что вообще нужно для обучения большой модели
Прежде чем сравнивать платформы, стоит понять, что именно вам понадобится. Обучение большой языковой модели — или даже дообучение готовой — это не просто «загрузить файл и нажать кнопку». Нужны:
- GPU с большой видеопамятью — для моделей от 7B параметров минимум нужны A100 на 40–80 ГБ, а для серьёзной работы — кластеры из нескольких таких карт.
- Быстрые диски — датасеты на сотни гигабт не держат на медленных дисках, загрузка данных станет узким местом.
- Сеть между серверами — при распределённом обучении скорость обмена между узлами критична.
- Оркестрация — очереди задач, мониторинг, логирование, возможность перезапуска без потери прогресса.
Именно этот набор и отличает «просто облако» от платформы, на которой реально можно обучать модели. Абстрактные облачные провайдеры дают вам голое железо — а специализированные SaaS-платформы накручивают сверху удобство, готовые пайплайны и иногда даже преднастроенные окружения.
Кого реально рассматриваем: три типа решений
Рынок можно грубо поделить на три категории, и путать их между собой — частая ошибка.
Первая категория — облачные гиганты. AWS, Google Cloud, Microsoft Azure. Они дают вам виртуальные машины с GPU, хранилища, сеть и базовую инфраструктуру. Всё остальное вы собираете сами. Это как купить участок и построить дом с нуля — полная свобода, но нужны строители.
Вторая — специализированные ML-платформы. Сюда входят Anyscale, Modal, Banana.dev, Together AI и подобные. Они берут на себя оркестрацию, предоставляют готовые образы для обучения, удобные API и часто — предоптимизированные под ML-задачи окружения. Это как купить дом с ремонтом: можно заезжать, но планировку не переделаешь.
Третья — полностью управляемые сервисы. Например, Vertex AI от Google, SageMaker от AWS, Azure ML. Платформа не только даёт железо, но и пытается закрыть весь пайплайн: от подготовки данных до деплоя. Удобно, если у вас нет штатного MLOps-инженера, но дорого и иногда негибко.
Сравнение ключевых платформ
Вот что реально имеет значение при выборе, а не маркетинговые обещания:
| Параметр | AWS (EC2 + SageMaker) | Google Cloud (Vertex AI) | Anyscale | Modal | Together AI |
|---|---|---|---|---|---|
| Доступные GPU | A100, H100, T4, V100 | A100, H100, L4, T4 | A100, H100, L4 | A100, H100, L4 | A100, H100 |
| Минимальный порог входа | Высокий — нужно настраивать много руками | Средний — готовые пайплайны, но сложная экосистема | Средний — хорошая документация, но нужны технические компетенции | Низкий — деплой из Python-кода | Низкий — API-first подход |
| Стоимость GPU/час (A100, грубая оценка) | $2.5–4.5 в зависимости от региона и типа инстанса | $2.5–4.0, есть скидки за длительное использование | $2.0–3.5, зависит от конфигурации | $1.9–3.5, спотовые инстансы дешевле | $1.8–3.0, зависит от модели и объёма |
| Готовые инструменты для обучения | SageMaker — мощный, но сложный | Vertex AI — интеграция с экосистемой Google | Ray — отличная распределённая платформа | Контейнеры + serverless | Готовые модели + fine-tuning API |
| Удобство для небольших команд | Низкое | Среднее | Среднее-высокое | Высокое | Высокое |
| Масштабирование | Отличное — можно поднять сотни GPU | Отличное — интеграция с Kubernetes | Хорошее — на базе Ray | Хорошее — автоматическое | Ограничено — больше для inference |
Цены в таблице — ориентировочные и меняются. Реальная стоимость зависит от региона, типа инстанса (on-demand vs spot), объёма и длительности использования. Всегда проверяйте актуальные тарифы на сайте провайдера.
Когда что выбрать: конкретные сценарии
Сценарий 1: У вас есть команда инженеров, которые умеют настраивать инфраструктуру, и вам нужен полный контроль. Смотрите в сторону чистого AWS или Google Cloud без обёрток. Вы сами поднимаете Kubernetes, настраиваете Ray или PyTorch Distributed, управляете очередями. Это даёт максимальную гибкость и потенциально самую низкую цену при больших объёмах, но требует компетенций.
Сценарий 2: Команда маленькая (1–3 человека), хотите дообучить модель на своих данных без головной боли с инфраструктурой. Modal или Together AI — разумный выбор. У Modal удобная интеграция с Python: вы пишете код как локально, а запускаете в облаке. Together AI даёт API для файн-тюнинга популярных открытых моделей — минимум кода, максимум результата.
Сценарий 3: Вы внутри экосистемы Google или AWS и хотите всё в одном месте. Vertex AI или SageMaker — логичный путь. Да, это дороже, чем голое железо, но вы платите за интеграцию: данные уже в облаке, мониторинг настроен, деплей в один клик. Для корпоративных команд, где время дороже денег — оправданно.
Сценарий 4: Нужно распределённое обучение на десятках GPU и вы знаете, что такое Ray. Anyscale — это по сути Ray как сервис. Если вы уже работали с этой платформой, переход будет плавным. Хороший вариант для исследовательских команд и стартапов с техническим бэкграундом.
Частые ошибки при выборе платформы
- Слепо брать самое дешёвое железо. Цена за GPU-час — только часть расходов. Если сеть между серверами медленная, распределённое обучение будет работать медленно, и вы на сэкономленных процентах потеряете часы работы. Считайте стоимость полного цикла обучения, а не только тариф за GPU.
- Не тестировать скорость загрузки данных. Бывает, что датасет на 500 ГБ загружается в память GPU три часа из-за медленного хранилища. Проверяйте IOPS и throughput заранее, а не после оплаты.
- Выбирать платформу без возможности сохранения чекпоинтов. Если обучение занимает дни и процесс падает — вы должны иметь возможность продолжить с последнего сохранённого состояния, а не начинать заново. Это база, но некоторые платформы до сих пор плохо с этим справляются.
- Платить за управляемость, которой не используете. Если у вас два инженера и одна модель, Vertex AI с его экосистемой — это стрельба из пушки по воробьям. Вы переплатите и будете тонуть в настройках, которые не нужны.
- Игнорировать egress-плату. Вывод данных из облака — не бесплатный. Если после обучения вам нужно скачать модель и десятки гигабт логов, счёт может быть неприятным сюрпризом.
Как подойти к выбору: пошагово
Вот практический алгоритм, который я использую в таких случаях:
- Определите модель и объём данных. 7B или 70B параметров? 10 ГБ или 2 ТБ датасет? От этого зависит, сколько вам нужно GPU и какой объём памяти.
- Посчитайте примерное время обучения. Грубая формула: количество токенов × количество эпох ÷ (количество GPU × утилизация GPU × пропускная способность). Утилизация при распределённом обучении редко превышает 50–60% — закладывайте это.
- Оцените свои компетенции. Если в команде нет человека, который поднимал Kubernetes и настраивал распределённые вычисления — не берите голое железо. Переплатите за управляемость, но сэкономите нервы и время.
- Запустите тестовый прогон. Большинство платформ дают триальные кредиты или бесплатные минуты. Возьмите 1–2% своих данных и запустите обучение на 2–3 платформах. Сравните реальное время, стоимость и удобство.
- Проверьте экосистему. Насколько легко завести данные с вашего хранилища? Есть ли готовые интеграции с вашими инструментами мониторинга? Можно ли развернуть модель для инференса там же?
На что ещё смотреть, помимо цены
Есть несколько параметров, которые редко попадают в сравнительные таблицы, но критичны в работе:
- Spot-прерываемые инстансы. Они в 3–5 раз дешевле on-demand, но могут быть прерваны в любой момент. Если у вас настроены чекпоинты — это золотая жила. Не все платформы их нормально поддерживают.
- Документация и поддержка. Когда у вас падает обучение на 12-м часу и вы не понимаете почему — наличие адекватной документации и техподдержки стоит любых денег. Проверяйте заранее: поищите вопросы на GitHub, почитайте форумы.
- Локальная разработка + облачный запуск. Хорошие платформы позволяют отлаживать код локально и тем же кодом запускать в облаке. Modal и Banana в этом плане особенно удобны — один декоратор в коде, и функция выполняется на GPU в облаке.
- Сообщество и экосистема. Если платформа популярная — выше шанс, что решение вашей проблемы уже есть на Stack Overflow. Для нишевых платформ это риск.
Реалистичный взгляд на цены
Обучение модели на 7B параметров на датасете в 100 миллионов токенов — это примерно 40–80 GPU-часов на одном A100. При стоимости 2.5/час это100–200 за один прогон. Если вы делаете 10 экспериментов с гиперпараметрами — это уже $1000–2000. Для модели на 70B умножайте на 5–10.
Добавьте сюда хранение данных, сетевой трафик, время инженера, который всё это настраивает. Часто оказывается, что переплата за управляемую платформу в 20–30% полностью окупается экономией времени команды.
Итог: что делать
Нет универсально лучшей платформы — есть лучшая под вашу ситуацию. Если коротко:
- Максимальный контроль и низкая цена важнее удобства — голое облако (AWS, GCP) с самостоятельной настройкой.
- Нужно быстро и без инфраструктурной головной боли — Modal или Together AI.
- Корпоративная среда с потребностью в управляемом пайплайне — Vertex AI или SageMaker.
- Распределённое обучение и технические компетенции в команде — Anyscale.
Главный совет: не принимайте решение на основе презентаций и демо. Возьмите свои реальные данные, запустите тестовый прогон на двух платформах, которые кажутся подходящими, и сравните реальные цифры. Только так вы поймёте, что реально работает в вашем случае, а что хорошо выглядит только на слайдах.