Клиент выбрал A100 для локальной LLM-инфраструктуры. Собрали за те же деньги конфигурацию с большим объемом видеопамяти

Почему A100 не подходит для LLM-инференса в 2026 году

Возраст архитектуры и отсутствие FP4

A100 вышла в мае 2020 года на архитектуре Ampere. По официальным данным NVIDIA, карта поддерживает FP16, BF16, TF32 и INT8 – нативной аппаратной поддержки FP4 в ней нет. Квантование в FP4 снижает потребление памяти и ускоряет генерацию; при корректной калибровке потеря качества остается умеренной, но зависит от модели и метода.

RTX PRO 6000 Blackwell построена на Tensor Cores пятого поколения с нативным FP4. Как показывает NVIDIA, они добавляют поддержку FP4 и обеспечивают производительность Tensor-операций до 3 раз выше относительно предыдущего поколения.

Видеопамять: 80 ГБ против 96 ГБ

A100 80GB дает 80 ГБ HBM2e. RTX PRO 6000 Blackwell – 96 ГБ GDDR7 с ECC. По оценке VRLA Tech, модель Llama 3 70B в FP8 занимает около 70 ГБ по весам; в 96 ГБ она помещается с заметным запасом под KV-кеш при умеренных длинах контекста. Это приблизительный расчет по весам модели – реальное потребление зависит от длины контекста, размера батча, типа KV-кеша и накладных расходов рантайма.

ECC-память RTX PRO 6000 обнаруживает и корректирует однобитовые ошибки в реальном времени. Для систем в режиме 24/7 это снижает риск тихой порчи данных при длительных нагрузках. У A100 ECC тоже есть, так что это не отдельное преимущество карты, а часть общего стандарта надежности для таких задач.

Пропускная способность на реальной нагрузке

Пиковые FLOPS из официальных материалов – это потолок под идеальную нагрузку. Разрыв на практике виднее в бенчмарках Trooper.AI на серверах с vLLM при 16-64 параллельных запросах.

RTX PRO 6000 и H100 SXM на одиночном GPU

По данным CloudRift (бенчмарк, ноябрь 2025), в их single-GPU тесте RTX PRO 6000 показал 3140 tok/s против 2987 tok/s у H100 SXM при стоимости генерации на 28% ниже. Это конкретный single-GPU сценарий на Workstation Edition. Server Edition отличается по форм-фактору, охлаждению и заявленной пропускной способности памяти (1597 против 1792 GB/s), поэтому переносить результат на серверную версию напрямую нельзя. Преимущество H100 проявляется при параллелизме на нескольких GPU с NVLink.

Почему H100 и H200 тоже не подходили

H100 и H200 мощнее RTX PRO 6000 при распределенном обучении на нескольких GPU с NVLink. Цена карты при этом существенно выше – от нескольких десятков тысяч долларов за единицу.

Для задачи клиента – инференс на одном сервере – это избыточно. Преимущество NVLink раскрывается при параллелизме на нескольких картах. В single-GPU сценарии RTX PRO 6000 показал пропускную способность на уровне H100 SXM в тесте CloudRift. С оговоркой, что тестировалась Workstation Edition, а не предлагаемая серверная версия.

Почему A100 выглядела очевидным выбором

A100 – карта с многолетней репутацией. Она стояла в спецификациях крупных дата-центров, ее знают инженеры, под нее написаны руководства. В 2021-2023 годах это действительно был стандарт для production-LLM.

Смена поколений опередила цикл обновления типовых технических заданий. Линейку RTX PRO Blackwell NVIDIA анонсировала 18 марта 2025 года; поставки Workstation Edition начались позже весной, Server Edition стал доступен через партнеров в течение последующих месяцев. Корпоративный цикл планирования инфраструктуры обычно длиннее: техническое задание готовится заранее, оборудование подбиралось за месяцы до закупки.

Поэтому запрос на конкретную карту стоит сверять с тем, что реально доступно на рынке к моменту закупки: поколения сменяются быстро.

<strong>Что предложили и почему</strong>

Конфигурацию на базе NVIDIA RTX PRO 6000 Blackwell Server Edition: серверный форм-фактор с пассивным охлаждением, 96 ГБ GDDR7 с ECC, нативный FP4, Tensor Cores пятого поколения.

Конкретное количество карт зависит от того, какие модели клиент выберет, какой длины контекст и какая ожидается параллельная нагрузка.

Как оценивать объем видеопамяти под инференс

Корпоративные ассистенты и обработка документов часто работают на моделях 14B-32B. Сами веса модели 14B в FP16 занимают около 28 ГБ, в FP8 – около 14 ГБ. К этому при работе добавляются KV-кеш, размер батча и накладные расходы фреймворка, поэтому реальное потребление выше. Точную потребность считают под конкретную модель, длину контекста и целевую задержку, и итоговый объем видеопамяти подбирают после уточнения сценария.

Результат

Клиент получил GPU-конфигурацию под локальный LLM-контур на базе RTX PRO 6000 Blackwell:

• 96 ГБ GDDR7 с ECC: больше, чем 80 ГБ у A100, с коррекцией однобитовых ошибок памяти.
• Нативная поддержка FP4 на уровне архитектуры: эффективное квантование при умеренной потере качества.
• Скорость генерации на реальной нагрузке выше A100 (кратно при высокой параллельной нагрузке, по данным бенчмарков Trooper.AI).
• Архитектура Blackwell 2024 года против Ampere 2020 года: более новый набор инструкций, нативный FP4 и актуальные оптимизации под инференс.