Фабрика дата-центра

Задача GPU-тренировки, которая должна занимать 6 часов, идёт 18. GPU простаивают 90% времени, ожидая. С моделью или кодом всё в порядке — узкое место в фабрике дата-центра, физической сети коммутаторов и оптики, которая переносит градиенты между машинами.

Топология Clos: spine и leaf

Классическая двух- или трёхуровневая сеть Clos заменяет один большой коммутатор — единую точку отказа и кошмар hardware-инженерии — сеткой commodity-коммутаторов. В дизайне spine-leaf каждый top-of-rack (ToR) leaf-коммутатор имеет один аплинк к каждому spine-коммутатору. Два leaf-коммутатора не соединены напрямую; весь трафик проходит через spine.

Это даёт три вещи сразу. Несжимаемая bisection bandwidth: если N leaf и M spine, и каждый leaf имеет один M-скоростной аплинк к каждому spine, то при делении фабрики пополам каждая сторона имеет N/2 × M аплинков — любой сервер может насытить свой NIC к любому другому одновременно. Никаких spanning-tree петель: ECMP (Equal-Cost Multi-Path) хеширует 5-tuple каждого потока по доступным spine-аплинкам, все пути активны одновременно. Горизонтальное масштабирование: добавьте spine для расширения bisection bandwidth; добавьте leaf для расширения серверных портов.

Современные гиперскейловые фабрики используют 400G Ethernet между leaf и spine, а в передовых сборках уже 800G (IEEE 802.3df, утверждён в феврале 2024). Аплинки — Direct Attach Copper (DAC) внутри стойки и заранее терминированные MTP/MPO многоволоконные магистральные кабели между стойками и рядами.

RoCE и lossless Ethernet

Обучение GPU требует коллективной коммуникации — каждый узел должен обмениваться обновлениями градиентов с каждым другим в операциях вроде AllReduce. При обычном TCP ядро копирует данные: GPU → CPU → NIC → сеть → NIC → CPU → GPU. Двойное копирование сжигает циклы CPU и добавляет задержку, сериализуя коллектив и вынуждая GPU простаивать.

RDMA (Remote Direct Memory Access) позволяет NIC записывать напрямую в память удалённой машины без участия CPU и без копирования. Над InfiniBand это был стандарт; над стандартным Ethernet это стало RoCE (RDMA over Converged Ethernet). Проблема: RDMA не имеет встроенной повторной передачи. Один потерянный пакет стопорит или прерывает операцию RDMA, поэтому фабрика должна быть без потерь.

Два механизма делают Ethernet без потерь:

• PFC (Priority Flow Control) — когда буфер коммутатора заполняется сверх порога, он отправляет PAUSE-кадр upstream на основе traffic-class, применяя backpressure до самого отправителя. Пакет не теряется; порт отправителя блокируется.
• ECN (Explicit Congestion Notification) — при росте очереди коммутатор маркирует пакеты битом перегрузки (вместо отбрасывания). Получатель отражает метку обратно к отправителю (DCQCN в RoCE v2), который снижает скорость до того, как PFC вступает в действие.

Lossless Ethernet не автоматический — требует точной настройки per-port, per-priority flow-control параметров. Агрессивный PFC создаёт pause storms (backpressure распространяется по фабрике, замораживая несвязанные потоки) или deadlock (циклическая зависимость заблокированных портов). Поэтому GPU-кластеры обычно на физически изолированной lossless-фабрике, отдельной от общей IP-сети.

Питание и охлаждение: реальный потолок

Стандартная 42U-стойка с 1U-серверами потребляет 5–15 кВт. Стойка с восемью GPU H100 потребляет 50–100 кВт. Воздушное охлаждение обрабатывает примерно 15 кВт на стойку (конверт ASHRAE Class A2). Стойка 100 кВт требует жидкостного охлаждения.

Доминируют два подхода. Direct-to-chip (DtC) проводит хладагент через холодные пластины, прикреплённые напрямую к кристаллу GPU и регуляторам напряжения. Воздух всё ещё обрабатывает оставшиеся ~20% тепла стойки (накопители, NIC, вентиляторы). Полное погружение погружает серверные платы в диэлектрическую жидкость (инженерное масло или фторуглерод). Погружение обрабатывает 100% тепла стойки без вентиляторов.

Жёсткое ограничение для новых GPU-развёртываний — часто не порты коммутаторов или оптика, а мощность питания. Зал дата-центра, рассчитанный на 10 кВт/стойку, уже оплачен в HVAC и PDU; дооснащение под 100 кВт/стойку означает замену питания, контуров охлаждения и, возможно, трансформатора здания. Поэтому гиперскейлеры теперь покупают или строят объекты специально для GPU-плотности с нуля.