Логи и объём: cost-модель структурного логирования

Счёт за логирование команды вырос в четыре раза за два месяца при неизменном трафике. Один рефакторинг тихо изменил количество попыток retry с 3 на 20 — и вместе с ним лог-строку INFO, эмитируемую при каждой попытке. 60 ГБ в день стало 600 ГБ в день от одного сервиса.

Что такое структурный лог

Лог-строка — это запись события: timestamp плюс payload, описывающий что произошло. Продакшн-наблюдаемость в 2026 — это структурированное или ничего: JSON-событие с последовательными ключами — единственная форма, поддерживающая filter-aggregate запросы при масштабе.

Обязательные поля каждой лог-строки:

• timestamp (ISO-8601 UTC)
• level (debug / info / warn / error)
• service.name
• trace_id (join-ключ к трейсам)
• span_id
• message
• Плюс поля конкретного события (user_id, order_id, status_code и т.д.)

Join-ключ trace_id позволяет перейти от всплеска метрики к лог-строке к трейсу за один клик. Без него — три разрозненных дашборда и никакого нарратива.

Модель хранения

Pipeline — append-only ingestion с индексированным поиском:

1. Приложение эмитит JSON в stdout или локальный агент (Fluent Bit, Vector, OTel Collector).
2. Агент буферизирует и отправляет в log backend (Loki, ClickHouse, Elasticsearch, Datadog, Splunk).
3. Backend индексирует подмножество полей для быстрой фильтрации; остальное хранит для raw scan.

Логи сохраняют всё записанное — высокая cardinality бесплатна при записи, но дорога при запросе, поскольку backend должен сканировать или индексировать каждое поле. В отличие от метрик, нет взрыва cardinality от добавления user_id в лог-строку; стоимость — в байтах ingestion и времени scan’а запроса, а не в памяти под series.

Объём ingestion: математика стоимости

Скромный сервис на 1000 запросов/с, эмитирующий 1 КБ структурированного JSON на запрос, производит:

• 1 МБ/с = 86 ГБ/день = 2,6 ТБ/месяц на сервис

Умножить на 50 сервисов в типичном fleet’е — счёт при $0,10/ГБ ingestion плюс стоимость индексированных событий достигает десятков тысяч в месяц до расходов на retention.

Стандартные способы контроля стоимости:

1. Дисциплина log level. DEBUG выключен в продакшне. INFO — только для событий изменения состояния. WARN — для восстановимых сбоев. ERROR — для сбоев, требующих действия.
2. Сэмплирование на success path. 1 из 100 для high-volume успешных INFO-событий; 100% для errors и warns.
3. Tiered retention. 15-дневный hot tier для запросов; архив в дешёвое объектное хранилище для compliance. Большинство запросов логов — в первые 3 дня.
4. Перенаправление bolтlivых tier’ов. Datadog Flex Logs и Splunk tiered indexes позволяют маршрутизировать high-volume/low-value события из дорогого индексированного tier в более дешёвый.