Cardinality как драйвер затрат: label, PII, exemplars и семплирование

Cloudflare, 2022: глобальный outage preceded Prometheus-серверами, упавшими по OOM от cardinality нового label на метрике длительности запросов. Фикс занял 90 минут — но post-mortem обязал ввести per-team cardinality budget и CI-проверку, отклоняющую новые label-измерения выше порога. Алерт пришёл от собственного мета-мониторинга Prometheus — не от сервисов, которые он должен был наблюдать.

Математика cardinality

Каждый временной ряд Prometheus живёт в head block TSDB примерно при 3 КБ RAM. Число рядов — произведение cardinality всех label-значений:

число рядов = |route| × |method| × |status_class| × |service| × |region|

Для сервиса с 200 роутами, 5 методами, 4 классами статусов, 50 подами в 3 регионах:

200 × 5 × 4 × 50 × 3 = 600 000 рядов
600 000 × 3 КБ = ~1,8 ГБ только для этой одной метрики

Добавь user_id с 100к активными пользователями:

600 000 × 100 000 = 60 миллиардов рядов

Это обрушит 16 ГБ Prometheus-сервер за секунды. TSDB не может индексировать столько рядов, а путь append сериализуется на head mutex.

Стоимость в hosted-бэкендах

При тарификации Datadog ~$0,05 / custom metric / host / month (цены 2024), неограниченный label user_id, вырастающий до 1 млн рядов, добавляет ~$50k/month за ночь из-за одного небрежного label.

Линейность cardinality-к-затратам делает это security- и финансовым инцидентом, а не просто проблемой производительности.

PII и угрозы безопасности

Наивный счётчик Errors с label error_message или stack_trace публикует текст исключения в метрики-скрейп, которые обычно менее защищены, чем база данных приложения. Если сообщение содержит ввод пользователя — “could not find user alice@example.com” — этот PII оказывается в метрическом бэкенде, доступном всей инженерной организации.

Реальный инцидент: платёжный сервис в 2021 году утёк телефонные номера клиентов через неудачно названный label failed_phone. Post-mortem обязал ввести глобальный pre-commit hook, помечающий любые новые label с паттернами известных PII.

Правило аудита label: называй label по классу ошибки (auth_failed, db_timeout, parse_error), никогда по содержимому ошибки. Аудитируй имена label как security review item, а не только performance review.

Exemplars: мост между метриками и трейсами

Если нельзя поместить trace_id в label метрики (неограниченная cardinality), как перейти от скачка p99 к медленному запросу, вызвавшему его? Exemplars.

Prometheus 2.32+ и реализация гистограмм OpenTelemetry поддерживают exemplars: семплированные trace ID, прикреплённые к отдельным наблюдениям гистограммы. Когда histogram_quantile показывает p99 в 800 мс, клик по скачку в Grafana открывает exemplar — trace ID из запроса, попавшего в этот бакет. Один клик — и ты видишь полное дерево спанов.

# HELP http_request_duration_seconds
# TYPE http_request_duration_seconds histogram
http_request_duration_seconds_bucket{le="0.2"} 14324 # {trace_id="abc123"} 0.183
http_request_duration_seconds_bucket{le="0.4"} 14329

Exemplar trace_id="abc123" прикреплён к конкретному наблюдению 0.183, а не добавлен как label к метрике. Cardinality остаётся плоской; возможность углубиться сохраняется.

Агрегация против семплирования

RED + USE метрики — предварительно агрегированные: они суммируют по всем запросам или по всему wall-clock времени без семплирования. Счётчики бакетов гистограммы обновляются инкрементально; ни одно наблюдение не выбрасывается.

Трейсы — противоположное: семплированные (обычно 0,1–5%), потому что каждый трейс несёт полный путь запроса со всеми спанами. Senior-паттерн:

• Предварительно агрегируй RED + USE на источнике — 100% покрытие, ограниченное хранилище.
• Семплируй трейсы: head-based на 5% для экономии, tail-based на 100% для ошибок и медленных запросов (duration > цели SLO) — чтобы редкий медленный путь всегда имел трейс.
• Exemplars связывают оба: метрика показывает скачок (агрегат), exemplar указывает на конкретный трейс (семпл).

Четырёхсигнальный стек — RED-метрики, USE-метрики, семплированные трейсы, семплированные профили — компонуется тогда и только тогда, когда они делят ключи label (http.route, service.name, status_class). Семантические конвенции OpenTelemetry формализуют эти join-ключи.