Стратегии sampling и стоимость логов

Команда включает структурное логирование. Через шесть недель счёт за логи втрое превышает счёт за compute. Каждый сервис, каждый запрос, каждая INFO-строка — индексируется и биллится. Логирование стоит дороже, чем обслуживание трафика. Сервис в порядке. Политики sampling нет.

Уравнение стоимости

Цена log-строки платится в трёх местах: на write-time (CPU + RAM на сериализацию), в транспорте (egress + ёмкость collector’а) и на backend’е (ingest-GB + indexed-event-count + retention-байты).

Скромный сервис, эмитящий одну log-строку на запрос, обрабатывает 1 MB/s при 1000 req/s — около 86 GB/день. По ценам хостируемых логов ($0.10/GB ingest плюс indexed-event cost), счёт быстро накапливается на десятках сервисов.

Три стратегии sampling

Success-path sampling держит 1-из-N INFO-строк для high-volume успешных событий, сохраняя 100% WARN и ERROR. Типичный N — от 10 до 100. Это первый рычаг: он срезает INFO-объём на 90% без ущерба для forensics по ошибкам.

Pattern-based sampling держит каждый уникальный log-pattern на полной скорости и сэмплирует дубликаты. Vector и Fluent Bit поставляются с sampling-фильтрами, хешируемыми по шаблону message — так pattern «retry attempt 1 of 5» держится 1-из-100, а «payment_declined» (редкий) остаётся на 100%.

Tail sampling для логов повторяет trace-паттерн: буферизует логи окна запроса, затем решает по outcome — хранит все логи для failed-запросов, сэмплирует успешные. Это самая мощная стратегия, требующая stateful-буфера на tier’е collector’а. Она гарантирует нулевую потерю failure-контекста, избавляясь до 99% success-path-объёма.

Shipping-pipeline

Логи проходят три стадии: emit (приложение пишет JSON в stdout или logger SDK), collect (sidecar-агент или DaemonSet читает stdout, парсит JSON, батчует, применяет sampling), ship (OTLP-HTTP или native-протокол на backend).

Слой collector’а — Fluent Bit, Vector, OTel Collector с filelog-receiver — делает три вещи, которые не нужны в приложении: backpressure (буферизует на диск, если backend медленный), enrichment (прикрепляет resource-атрибуты из pod-метаданных), redaction (убирает PII-паттерны до отправки с хоста).

Продакшн-правило: emit JSON в stdout, остальное пусть делает платформа.

Retention tiering: горячий, тёплый, холодный

Indexed-log-хранение по $0.10-$1.00/GB-месяц слишком дорого для многомесячного retention в масштабе. Зрелые стеки tier’уют:

• Hot (последние 7-15 дней, полный индекс, sub-second-запрос — Datadog Standard, Loki recent)
• Warm (30-90 дней, частичный индекс или scan-only — Datadog Flex, Splunk Frozen-Searchable)
• Cold (compliance-retention в S3 или эквиваленте по $0.023/GB-месяц, восстанавливается, но не query-ready напрямую)

Инцидент давностью до 7 дней работает против hot-tier с полной query-мощью. Расследование «что случилось 6 месяцев назад» требует warm-tier-запросов, которые могут занять минуты на сканирование и могут не иметь каждой dimension проиндексированной.