Видеокарта Nvidia H100 Tensor Core GPU 80GB PCIe

Код

Дополнительные функции

GPU память

Пропускная способность памяти GPU

NVIDIA H100 Tensor Core GPU 80GB PCIe — серверный GPU-ускоритель на архитектуре NVIDIA Hopper для искусственного интеллекта, машинного обучения, высокопроизводительных вычислений и анализа больших массивов данных. Эта модель оснащена 80 ГБ памяти HBM2e с пропускной способностью до 2 ТБ/с и подключается через PCI Express 5.0 x16.

Артикул товара: 900-21010-0000-000.

NVIDIA H100 PCIe рассчитана на установку в квалифицированные GPU-серверы с необходимым электропитанием и направленным воздушным потоком. Пассивная система охлаждения не имеет собственных вентиляторов, поэтому для стабильной работы требуется серверное шасси, способное отводить до 350 Вт тепловой мощности от каждого ускорителя.

Для каких задач подходит NVIDIA H100 PCIe 80GB

NVIDIA H100 применяется в корпоративной AI-инфраструктуре, исследовательских вычислительных комплексах и центрах обработки данных. Ускоритель можно использовать для обучения и дообучения нейросетей, инференса языковых моделей, компьютерного зрения, рекомендательных систем, научных расчётов и обработки больших данных.

Типовые сценарии применения:

— обучение и дообучение моделей машинного обучения;
— инференс локальных LLM и корпоративных AI-ассистентов;
— работа с RAG-системами и базами знаний;
— обработка изображений, видео и медицинских данных;
— моделирование, инженерные и научные расчёты;
— ускорение аналитических платформ;
— виртуализация GPU-ресурсов;
— создание серверов с несколькими GPU.

Для подбора ускорителя под конкретную языковую модель недостаточно учитывать только количество параметров. Необходимо оценить используемую точность, размер контекста, память под KV-кэш, количество одновременных запросов и требуемую скорость ответа.

Основные особенности NVIDIA H100 PCIe

Архитектура NVIDIA Hopper

H100 построена на архитектуре Hopper и получила Tensor-ядра четвёртого поколения. В архитектуре реализован Transformer Engine с поддержкой вычислений FP8, предназначенный для ускорения обучения и инференса трансформерных моделей.

80 ГБ памяти HBM2e

На одном ускорителе установлено 80 ГБ памяти HBM2e с 5120-битной шиной и пропускной способностью до 2 ТБ/с. Объём памяти важен при работе с крупными моделями, большими пакетами данных и вычислениями, чувствительными к скорости обмена с памятью.

При этом 80 ГБ VRAM не означает, что любая модель объёмом до 80 ГБ будет работать с требуемой производительностью. Помимо весов модели, память используется под контекст, KV-кэш, промежуточные вычисления и служебные данные программного стека.

PCI Express 5.0

Интерфейс PCIe Gen5 x16 обеспечивает высокую скорость обмена данными между GPU, процессором и другими компонентами сервера. Карта также поддерживает режимы PCIe Gen5 x8 и PCIe Gen4 x16, однако фактическая производительность зависит от архитектуры сервера и распределения линий PCIe.

Поддержка NVIDIA NVLink

Две соседние NVIDIA H100 PCIe можно соединить при помощи трёх мостов NVLink. Максимальная совокупная пропускная способность соединения достигает 600 ГБ/с.

NVLink-мосты не следует считать включёнными в комплект поставки, если это отдельно не указано в спецификации. Возможность их установки необходимо проверять по компоновке сервера, расстоянию между слотами и принадлежности GPU к одному процессорному или PCIe-домену.

Multi-Instance GPU

Технология MIG позволяет разделить один ускоритель H100 на несколько аппаратно изолированных экземпляров. Поддерживается создание до семи MIG-инстансов, что удобно для распределения ресурсов между командами, виртуальными средами и несколькими AI-сервисами.

NVIDIA AI Enterprise

Для H100 PCIe предусмотрена пятилетняя подписка NVIDIA AI Enterprise с поддержкой Business Standard, требующая активации по серийному номеру GPU.

Срок подписки отсчитывается не от даты покупки конечным заказчиком: по правилам NVIDIA он начинается с даты отгрузки GPU OEM-партнёру плюс 90 дней. Поэтому для конкретной поставки необходимо проверить право на активацию и оставшийся срок подписки.

Технические параметры

| Характеристика | NVIDIA H100 PCIe 80GB |
|—|—|
| Архитектура | NVIDIA Hopper |
| Память GPU | 80 ГБ HBM2e |
| Пропускная способность памяти | до 2 000 ГБ/с |
| Интерфейс | PCI Express Gen5 x16 |
| Форм-фактор | FHFL, двухслотовая карта |
| Охлаждение | пассивное |
| Энергопотребление | до 350 Вт |
| Разъём питания | PCIe, 16 контактов |
| MIG | до 7 аппаратно изолированных экземпляров |
| NVLink | подключение пары H100 через три NVLink-моста |
| Максимальная пропускная способность NVLink | до 600 ГБ/с |
| ECC | поддерживается |
| SR-IOV | до 32 виртуальных функций |
| Артикул | 900-21010-0000-000 |

Чем H100 PCIe 80GB отличается от H100 NVL

NVIDIA H100 PCIe 80GB и H100 NVL относятся к архитектуре Hopper, но ориентированы на несколько разные сценарии.

| Параметр | H100 PCIe 80GB | H100 NVL |
|—|—:|—:|
| Память одного GPU | 80 ГБ HBM2e | 94 ГБ HBM3 |
| Пропускная способность памяти | до 2 ТБ/с | до 3,9 ТБ/с |
| TDP | до 350 Вт | 350–400 Вт |
| MIG | до 7 × 10 ГБ | до 7 × 12 ГБ |
| Основное позиционирование | универсальные AI- и HPC-нагрузки | инференс крупных языковых моделей |

NVIDIA позиционирует H100 NVL прежде всего для инференса крупных языковых моделей благодаря 94 ГБ HBM3 на один GPU и пропускной способности памяти до 3,9 ТБ/с. Это не исключает применения H100 NVL для обучения и HPC.

В парной конфигурации две H100 NVL обеспечивают суммарно 188 ГБ HBM3. При этом память двух ускорителей не становится автоматически единым пулом — возможность её совместного использования зависит от программного обеспечения и архитектуры приложения.

H100 PCIe 80GB имеет смысл выбирать, если нужна универсальная серверная GPU для AI, HPC, аналитики и виртуализации, а используемые модели и рабочие данные помещаются в 80 ГБ памяти одного ускорителя. Эта версия также может использоваться для модернизации совместимых PCIe-серверов.

По сравнению с NVIDIA A100 80GB модель H100 сохраняет тот же объём памяти, но использует архитектуру Hopper, Tensor-ядра четвёртого поколения, Transformer Engine, вычисления FP8 и интерфейс PCIe Gen5. Поэтому переход с A100 на H100 рассматривают прежде всего ради ускорения современных AI-нагрузок, а не ради увеличения VRAM.

Что проверить перед установкой

NVIDIA H100 PCIe нельзя устанавливать в сервер только на основании наличия свободного слота PCIe. Перед заказом необходимо проверить:

— поддержку H100 производителем серверной платформы;
— наличие двух свободных слотов на каждый ускоритель;
— доступные линии PCIe и их распределение между процессорами;
— наличие подходящего 16-контактного кабеля питания;
— тепловой бюджет сервера;
— производительность системных вентиляторов;
— направление воздушного потока через пассивный радиатор;
— возможность установки NVLink-мостов;
— совместимость BIOS, прошивок, драйверов и программного стека;
— достаточную мощность блоков питания с учётом CPU, GPU, памяти, накопителей и сетевых адаптеров.

При использовании референсного переходника NVIDIA 030-1546-000 с CPU 8-pin на PCIe 16-pin мощность H100 ограничивается 310 Вт.

Для режима 350 Вт требуется совместимый кабель или переходник, в котором контакты Sense0/Sense1 настроены на режим PCIe CEM 5.0 301–450 Вт либо 451–600 Вт. Схему подключения необходимо проверять по документации производителя сервера.

Почему важно подбирать H100 вместе с сервером

Производительность GPU-сервера зависит не только от установленного ускорителя. На результат влияют процессоры, оперативная память, топология PCIe, локальное хранилище, сетевые адаптеры, система охлаждения и программное обеспечение.

Для нескольких H100 особенно важно правильно распределить GPU и сетевые карты между процессорными доменами. Несбалансированная PCIe-топология может ограничить обмен данными между ускорителями, процессорами и высокоскоростной сетью.

ServerICT поможет проверить совместимость NVIDIA H100 с выбранной серверной платформой, определить допустимое количество GPU, требования к питанию и охлаждению, а также подобрать конфигурацию CPU, RAM, NVMe-накопителей и сетевых адаптеров под задачу.

Вопросы и ответы

Подходит ли NVIDIA H100 PCIe для игровых компьютеров?

Нет. H100 — серверный вычислительный ускоритель для AI, HPC и обработки данных. Карта использует пассивное охлаждение, требует серверного воздушного потока и не предназначена для обычных игровых или домашних компьютеров.

Можно ли установить H100 в рабочую станцию?

H100 PCIe не предназначена для обычных рабочих станций. Установка допустима только в квалифицированную производителем серверную платформу, обеспечивающую необходимое питание, направленный воздушный поток, механическую фиксацию и поддержку GPU на уровне BIOS и прошивок.

Сколько видеопамяти установлено в H100?

В этой версии установлено 80 ГБ памяти HBM2e. Не следует путать её с H100 NVL, оснащённой 94 ГБ HBM3 на один GPU.

Можно ли объединить две H100 PCIe?

Да. Две соседние карты H100 PCIe могут соединяться тремя мостами NVIDIA NVLink. Возможность такой установки зависит от конструкции сервера и расположения PCIe-слотов.

NVLink не объединяет память двух ускорителей в один автоматически доступный для любого приложения пул — использование ресурсов нескольких GPU должно поддерживаться программным обеспечением.

Подходит ли H100 для локальных языковых моделей?

Да, но достаточность одной H100 зависит от модели, точности вычислений, способа квантования, длины контекста и количества одновременных запросов. Для крупных моделей могут потребоваться несколько GPU либо ускорители с бо́льшим объёмом памяти, например H100 NVL или H200.

Какие данные нужны для подбора GPU-сервера?

Для расчёта конфигурации желательно указать модель и версию нейросети, режим работы — обучение, дообучение или инференс, используемую точность, длину контекста, количество одновременных запросов и требования к задержке.

Также нужны сведения о доступном питании, охлаждении, серверной стойке и сетевой инфраструктуре.

Чтобы купить NVIDIA H100 PCIe 80GB или подобрать совместимый GPU-сервер, передайте специалистам ServerICT требования к нагрузке и условия размещения оборудования. По этим данным можно проверить совместимость, определить необходимое количество ускорителей и подготовить конфигурацию для коммерческого предложения.

Доставка – за наш счет!

Доставим ваш товар в любую точку России бесплатно.

• • Ожидаете оборудование в Москве? Наша компания или наши партнеры привезут аппаратуру по указанному адресу. Очень быстро.

Время доставки до Москвы:

• • • OEM и товары со склада: 3-5 недель
    • Full Factory: 4-12 недель (в зависимости от бренда, сроков производства и очереди)

• Офис в другом регионе? Сразу после завершения таможенного оформления транспортная компания привезет вашу покупку в нужный город.
  Приятно удивим скоростью доставки.

Доставляем товар максимально аккуратно. Потому что, если с грузом что-то случится, убытки покрывать нам.
Наше кредо: полная защита финансовых интересов клиента!

Как купить?

• Расчет в рублях, по курсу ЦБ РФ на день платежа. Только так.
• Строго соблюдаем налоговый режим (ОСНО), поэтому 20 % НДС входит в стоимость вашего товара.
• У нас 100%-ная предоплата. По классике: утром деньги, вечером стулья.
• Но: если вы – наш постоянный клиент, то сможете оплатить заказ позже. Договоримся!
• Физическим лицам отправляем ссылку на оплату через онлайн-кассу — быстро и удобно.