RED и USE: два чек-листа, одна дисциплина триажа

Пейджер сработал. p99-задержка checkout-сервиса подскочила с 80 мс до 1.2 с. У тебя секунды, чтобы найти нужный дашборд, пока incident commander уже спрашивает обновление. Открыть все панели — ошибка. Правильное действие — два коротких чек-листа.

Что такое RED

Tom Wilkie представил RED на London Prometheus meetup в 2015. RED описывает сервис с точки зрения вызывающего:

• Rate — запросов в секунду, поступающих в сервис.
• Errors — упавших запросов в секунду (HTTP 5xx, gRPC non-OK, таймауты).
• Duration — распределение задержки (p50 / p95 / p99) запросов, которые завершились.

Если RED болеет — болеет пользователь. Rate говорит, нормален ли трафик. Errors говорят, падают ли запросы. Duration говорит, медленны ли выжившие.

Что такое USE

Brendan Gregg назвал USE в 2012 как чек-лист экстренной диагностики производительности. USE описывает каждый ресурс (CPU, память, диск, сеть, локи, thread pool’ы) с трёх сторон:

• Utilization — средний процент времени, когда ресурс был занят.
• Saturation — объём работы в очереди, которую ресурс ещё не успел обслужить (длина run queue, время ожидания).
• Errors — счётчик ошибочных событий на ресурсе (ECC-ошибки, disk EIO, NIC CRC, ENOSPC).

Если USE болеет на боксе — этот ресурс кандидат в причины RED-симптома.

Послойная ментальная модель

Ритм чтения в инциденте всегда RED первым, USE вторым:

1. Открой RED-дашборд затронутого сервиса.
2. Определи, какой из R / E / D аномален — это назовёт симптом.
3. Переключись на USE-дашборд ресурсов под этим сервисом.
4. Найди ресурс, где utilization или saturation скакнули — это назовёт кандидата в причины.
5. Опускайся в трейсы, логи или профили только после того, как RED и USE сузили область поиска.

Метафора больницы

Представь больницу. RED — жизненные показатели пациента: пульс, давление, температура — измеряемые снаружи. USE — мониторинг каждой машины интенсивной терапии: расход кислорода, давление насоса, лампочки ошибок — измеряемые на самом оборудовании. Нужны оба. Если падают показатели пациента — действуешь быстро, но чтобы понять почему — идёшь к машинам. Врачи, смотрящие только на одно, пропускают очевидные проблемы.

Конкретный триаж

On-call-инженер Bea получает пейджер: p99-задержка checkout-сервиса подскочила с 80 мс до 1.2 с. RED-дашборд: Rate стабилен 400 req/s, Errors ниже 0.1%, Duration p99 в 15 раз хуже. Это RED-триаж — запросы приходят и в большинстве успешны, но медленно. Bea переключается на USE по машинам: CPU 92%, run queue прыгнул с 0 до 14. Машины CPU-saturated; треды стоят в очереди за циклами. Решение: scale out. Диагноз занял меньше минуты.