Режимы сбоя и инженерная практика: cardinality budget''''ы, PII и сэмплирование

В 14:00 разработчик добавил customer_email как label к http_requests_total. В 14:03 Prometheus убил себя по OOM: 9,24 миллиона series, 14,3 ГБ RAM, restart count 1. Replay WAL отставал на 73 секунды; каждый алерт сработал с задержкой или вовсе не сработал. Один label, три минуты, региональный мониторинг лежит.

Продакшн-режимы сбоя по каждому сигналу

Каждый тип сигнала имеет характерный способ отказа. Знание режима сбоя говорит, куда ставить защиты.

У каждого режима сбоя есть detection-метрика. Senior-команды мониторируют мониторинговый tier так же тщательно, как и продуктовый.

Cardinality budget’ы как инженерная практика

В любом 1.0 metrics стеке cardinality-дисциплина — инженерная практика, а не однократный выбор при инструментации.

Паттерн Cloudflare 2022: каждая команда владеет cardinality budget’ом (например, 100k активных series для всех сервисов в namespace команды). CI-проверки помечают любой PR, вводящий новое имя label, превышающее порог. Budget пересматривается ежеквартально, меняется на основе фактического использования. Инструменты: mimirtool Grafana, Custom Metrics Usage view Datadog, prometheus_tsdb_head_series и count by (__name__) ({__name__=~".+"}) Prometheus.

Культурная отдача: инженеры думают о label cardinality при записи — не после OOM в 03:00.

Кейс-стади OOM Prometheus. В 14:02 prometheus_tsdb_head_series прыгнул с 824k до 9,24М за две минуты — рост в 11×. При ~3 КБ на активную series, head block требовал ~27 ГБ; у сервера было 16 ГБ. Память достигла 14,3 ГБ (89% лимита) и ядро убило Prometheus по OOM. При перезапуске replay WAL составил 412 сегментов, отставая на 73 секунды от времени scrape.

Немедленная митигация (за 5 минут, без deploy): добавить metric_relabel_configs с action: labeldrop и regex: customer_email в scrape config Prometheus для затронутого сервиса. Подтвердить снижение rate prometheus_tsdb_head_series_created_total в пределах одного scrape interval. Память не освободится до следующей 2-часовой block compaction; перезапускать Prometheus только если память продолжает расти.

Долгосрочное решение: (a) убрать customer_email из метрики; (b) заменить ограниченным customer_segment (free/pro/enterprise = 3 значения); (c) использовать exemplar’ы для per-customer drill-through без стоимости cardinality; (d) добавить CI-проверку (cardinality-lint.ts), проваливающую build при совпадении новых label-имён с deny-list regex (email, user_id, request_id, session_id, customer_id); (e) добавить алерт Prometheus: rate(prometheus_tsdb_head_series_created_total[5m]) > 1000 пейджит on-call до OOM.

PII-риски на метрики и лог-поверхности

Как label’ы метрик, так и поля логов могут утекать PII в менее защищённое хранилище, чем исходная база данных.

Реальные инциденты:

• Payments-компания в 2021 году утекла телефонные номера клиентов как label метрики (failed_phone="+1..."). Prometheus scrape’ил метрику во все окружения включая dev; телефонные номера были видны в дашбордах всей инженерной организации.
• SaaS-компания в 2023 году два месяца ingestion’ировала raw тела запросов в логи (включая session token’ы), пока клиент не заметил в support thread. В logging pipeline не было PII-фильтра.
• Маркетплейс в 2024 году эмитировал пользовательские поисковые запросы как span attribute query, раскрывая demographic-segment информацию BI-команде, имевшей доступ к Jaeger, но не к продакшн БД.

Митигации:

1. Allow-list для label’ов и span attributes. Deny by default. Каждый новый label метрики или span attribute требует явного одобрения в reviewed config-файле, зачекиненном рядом с кодом.
2. Redaction в logging pipeline. Vector и Fluent Bit поставляются с regex redactor’ами для типичных PII-паттернов. Список паттернов (email, phone, ssn, token, password, session_id) должен поддерживаться в security-reviewed репо рядом с cardinality deny-list.
3. Audit dashboards. Дашборд, показывающий high-cardinality строковые поля по сигналу — отсортированные по числу distinct значений — ловит утечки до того, как клиент их обнаружит.

Относись к review label’ов и полей как к security gate, а не performance gate.

Конфигурация OTel сэмплирования на практике

OTel Sampler API предоставляет head-based решения на SDK и tail-based на collector’е.

SDK-level sampler’ы:

• AlwaysOn — 100% сэмплирование. Только для dev/test или очень low-volume критических путей.
• AlwaysOff — 0% сэмплирования. Полезно для internal health-check маршрутов, где трейсы не дают сигнала.
• TraceIdRatioBased(p) — сэмплирует долю p root трейсов. Генерирует случайное решение, коррелированное с trace_id; должно быть некоррелировано со свойствами запроса (см. ниже).
• ParentBased(root_sampler) — следует решению о сэмплировании родителя из входящего traceparent заголовка. Downstream сервисы автоматически следуют решению root через W3C sampled flag.

Tail sampling на collector’е (TailSamplingProcessor):

Политики, применяемые после завершения трейса. Типичная продакшн конфигурация:

policies:
  - name: errors-policy
    type: status_code
    status_code: {status_codes: [ERROR]}
  - name: slow-traces-policy
    type: latency
    latency: {threshold_ms: 1000}
  - name: baseline-policy
    type: probabilistic
    probabilistic: {sampling_percentage: 2}

errors-policy и slow-traces-policy хранят 100% интересных трейсов. baseline-policy хранит 2% остального, давая покрытие low-traffic сервисам при отсутствии ошибок.

Post-mortem Elastic 2024 по head sampling. Наивное head sampling под-представляет ошибки и медленные tail’ы, поскольку решение принимается до того, как трейс имеет какой-либо исход. Post-mortem также выявил более тонкую проблему: TraceIdRatioBased генерирует случайное решение из trace_id. Если trace_id не является истинно случайным (например, производным от hash пути запроса), решение о сэмплировании коррелирует со свойствами запроса — медленные endpoints могут всегда или никогда не сэмплироваться как когорта. Продакшн правило: использовать ParentBased(TraceIdRatioBased(0.2)) на edge с криптографически случайным trace_id, и накладывать tail политики на collector’е для интересных случаев.