Пропускная способность под нагрузкой: хвостовая задержка и насыщение

Сервис работает на 50% CPU со средним временем ответа 20 мс — комфортно. Трафик растёт на 40%, CPU лезет к 75%, и среднее едва двигается до 25 мс. Затем небольшой всплеск толкает его к 82%, и p99 прыгает с 80 мс до 1400 мс. Ничего не сломалось; код не менялся. Система пересекла колено кривой очередей, где задержка перестаёт быть линейной по нагрузке. Среднее прятало это всё время — а среднее это ровно тот не тот показатель, за которым надо следить.

Почему задержка взрывается у насыщения

Сервер — это система очередей: запросы приходят, ждут занятый ресурс, обслуживаются. Теория очередей даёт форму ожидания, и она не линейна. Пока утилизация (ρ) лезет вверх, время ожидания масштабируется примерно как 1 / (1 − ρ) — плоско и дружелюбно до ~70–80%, затем обрыв. При ρ = 0,5 фактор 2; при ρ = 0,8 он 5; при ρ = 0,95 он 20. Поэтому сервер может впитывать нагрузку незаметно долго, а потом упасть со стены: колено кривой, где малые приросты темпа прихода рождают огромные приросты ожидания. Урок — работать с запасом — целиться в 60–70% утилизации связывающего ресурса — именно потому, что последние 20% ёмкости стоят нелинейной задержки и не оставляют ничего на всплески.

Закон Литтла (L = λ × W) связывает всё вместе: число запросов в системе равно темпу прихода, умноженному на время-в-системе. Когда W (задержка) взрывается у насыщения, L (конкурентные запросы в полёте) взрывается с ней — больше памяти, больше открытых соединений, больше давления — что та же спираль неограниченной конкурентности из прошлого урока, теперь движимая самой системой, а не твоим кодом.

Среднее лжёт; следи за хвостом

Среднее складывает медленные запросы в быстрые и прячет их. Реальные пользователи живут в хвосте — p95, p99, p99.9 — и хвост это где насыщение, паузы GC и медленные зависимости проявляются первыми. p50 в 20 мс с p99 в 1400 мс означает, что 1 из 100 запросов в 70× медленнее типичного; для страницы, делающей 100 бэкенд-вызовов, это почти гарантирует, что каждая страница хотя бы раз попадёт в плохой хвост (fan-out усиливает хвосты). Старшие команды ставят SLO на перцентили, а не на средние, и алертят на тренды p99, потому что среднее будет читаться «нормально» прямо до сбоя.

Head-of-line blocking, снова — на масштабе системы

Заморозка из раннего урока была внутри одного процесса; та же форма появляется поперёк очереди. Head-of-line blocking — это когда один медленный элемент впереди задерживает всё за ним: единственный медленный запрос, держащий ресурс, медленная upstream-зависимость, один жирный синхронный отрезок на цикле. Малая доля застрявшей работы каскадирует — задокументированный паттерн: ~3% застряли и задерживают ~30% запросов — потому что всё, что в очереди за застрявшим, наследует его ожидание. Поэтому один невынесенный CPU-отрезок (урок 3) или один неограниченный fan-out (урок 5) не просто вредит себе; он отравляет хвост несвязанному трафику.

Один цикл — это одно ядро — измеряй ELU, выбирай модель

Хребет юнита, заявленный как факт ёмкости: один event loop Node — это одно ядро JavaScript. Он чудесно масштабируется по конкурентному I/O, но не по CPU. Поэтому сигнал насыщения для Node-сервиса — утилизация event loop (ELU) — доля времени, когда цикл занят против простоя — в паре с задержкой event loop. ELU около 1,0 означает, что цикл — узкое место, и единственные фиксы — делать меньше на запрос, выносить CPU или добавлять циклы (cluster / больше инстансов).

Отступив, модель рантайма — это выбор, подогнанный под нагрузку. Event loop блистает на высококонкурентном I/O при малой памяти, но не даёт параллелизма для CPU. Другие модели меняют по-другому: горутины Go (планировщик M:N, начальные стеки ~2 КБ, вытесняющий) и виртуальные потоки Java (~сотни байт оверхеда, смонтированы на потоках-носителях) дают писать блокирующий код, масштабирующийся до миллионов дешёвых «потоков» с реальным многоядерным параллелизмом. Ни одна не лучшая повсюду — старшее суждение в том, чтобы знать свою нагрузку (I/O-bound vs CPU-bound, уровень конкурентности, бюджет памяти) и выбрать модель, чьи компромиссы подходят, затем гонять её с запасом и следить за хвостом.