Наблюдаемость
Propagation trace-контекста в логах
Инженер находит log-строку с 5xx ошибкой от checkout-сервиса. Ищет контекст. У log-строки нет trace_id. Она не может открыть трейс, не видит, какой downstream-вызов упал, и не может восстановить request flow. У неё симптом — и больше ничего. Без trace_id структурные логи — остров.
Почему trace_id — самое ценное поле
Log-строка с trace_id кликабельна в соответствующий distributed trace. Этот трейс показывает каждый span каждого сервиса, тронувшего запрос: per-span timing, dependency-вызовы, error-span’ы, upstream/downstream-контекст. Log-строка больше не остров — это узел в полном observability-графе.
Без trace_id та же log-строка несёт симптом, но не путь к причине. Единственный вариант — коррелировать по timestamp в надежде, что никакие другие запросы не перекрывались — что ломается в тот момент, как сервис обрабатывает более одного concurrent-запроса.
OTel Logs Data Model кодирует это отношение напрямую: каждая log-запись несёт TraceId, SpanId и TraceFlags как first-class поля, унаследованные от активного span’а на emit-time. Это не опциональные метаданные — это структурный join-ключ.
| Без trace_id | С trace_id |
|---|---|
| Log-строка — остров. Знаешь, что что-то случилось — не знаешь почему. | Log-строка ссылается на полный distributed trace запроса. |
| Корреляция требует timestamp-угадывания между сервисами. | Один клик открывает span’ы всех задействованных сервисов. |
| Concurrent-запросы перемежаются в результатах log-поиска. | Запрос по trace_id изолирует ровно один запрос end-to-end. |
| Расследование инцидента: минуты на поиск root service. | Расследование инцидента: один пивот к failing span. |
Как trace-контекст попадает в log-строку
Trace-контекст — immutable struct, хранящий текущий trace_id, span_id и trace flags — живёт в language-scoped execution context запроса. Logger читает из него на emit-time, автоматически.
- Node.js: OTel SDK хранит контекст в
AsyncLocalStorage. Callbackmixinpino (или механизмcontext.with()из@opentelemetry/api) читает активный span из store на emit-time. Каждый лог, эмитированный в request handler’е, наследует trace_id без per-call-site boilerplate. - Go:
context.Contextнесёт активный span. Slog-handler или zap-logger читает из context, переданного в handler-функцию. В отличие от Node, контекст явный —ctxдолжен пробрасываться по цепочке вызовов. - Python:
contextvars.ContextVarхранит активный span (Python 3.7+). Processormerge_contextvarsstructlog читает активный span на render-time. - JVM: OTel Java agent auto-инструментирует thread-local context.
ThreadContextlog4j2 или MDC Logback несут trace_id автоматически, когда agent подключён.
В каждом случае паттерн один: у logger’а есть hook (mixin, processor, handler), консультирующий активный execution context и инжектирующий trace_id и span_id в log-запись без необходимости передавать их явно в вызывающем коде.
Почему это работает
Причина, по которой trace_id auto-injection важен — объём. Типичный сервис эмитит тысячи log-строк в секунду из десятков call-site’ов. Требовать от инженеров вручную передавать {trace_id, span_id} в каждый log-вызов непрактично — это забывается при рефакторинге, пропускается в сторонних библиотеках и игнорируется под давлением времени. Auto-injection на уровне logger’а — единственный надёжный механизм в масштабе.
Pitfalls async-context propagation
Logger читает контекст из активного execution context. Всё, что ломает propagation execution context, ломает trace_id в log-строке. Это самый частый источник записей trace_id = "00000000000000000000000000000000".
Node.js pitfalls: setTimeout, setImmediate, fire-and-forget Promise’ы и worker-thread’ы могут уронить AsyncLocalStorage, если не обёрнуты в context.bind() или context.with(). Callback, запланированный через setTimeout(() => { logger.warn(...) }, 0), срабатывает вне исходного request-контекста, если span не пропагирован явно в callback.
Python pitfalls: asyncio.create_task пропагирует contextvars корректно с Python 3.7. Но thread’ы через threading.Thread и subprocess’ы ProcessPoolExecutor не наследуют контекст автоматически — контекст должен быть захвачен и восстановлен вручную.
Go pitfalls: в Go нет ambient context propagation. context.Context должен пробрасываться явно через каждую функцию в цепочке вызовов, включая goroutine’ы. Goroutine, запущенная без parent-контекста (go func() { logger.Warn(...) }()), не несёт trace_id, если контекст не передан явно.
Обнаружение: запрашивай log-backend на долю trace_id IS NULL или trace_id = "000000000000..." от общего объёма. Если доля выше 1%, что-то роняет контекст на hot-path. Дополни CI-тестом, упражняющим async-пути (делает запрос, ждёт завершения async-callback, assert’ует, что его log-строка несёт inbound trace_id).
Node.js-сервис наблюдает, что примерно 5% log-строк имеют trace_id = '00000000000000000000000000000000'. Наиболее вероятная причина?
Почему ручная передача trace_id в каждый log-вызов — ненадёжное решение в масштабе?
Упорядочь шаги расследования 5xx ошибки с использованием log-to-trace пивота:
- 1 Запрос логов: service=checkout level=error за последние 15 минут
- 2 Найти подходящую log-строку; скопировать её поле trace_id
- 3 Открыть tracing-backend; вставить trace_id для загрузки полного distributed trace
- 4 Определить failing span — с error=true или наибольшей длительностью
- 5 Перейти к сервису, владеющему failing span'ом
- 6 Запросить логи этого сервиса, отфильтрованные по тому же trace_id, чтобы увидеть его полный log-контекст
- 7 Cross-reference: log-message подтверждает тип ошибки; span подтверждает timing и call chain
- 01Как работает trace-context auto-injection в Node.js с pino и OTel SDK?
- 02В Go почему context propagation не работает автоматически для goroutine'ов и каков fix?
- 03Каков production-сигнал для регрессий async context propagation и как настроить обнаружение?
trace_id и span_id — join-ключи, соединяющие log-строку с полным distributed trace. Без них log-строка — остров: есть симптом, нет пути к причине. Механизм: OTel SDK хранит активный span в language-scoped execution context запроса (AsyncLocalStorage в Node, context.Context в Go, contextvars в Python, thread-local MDC в JVM); logger читает из него на emit-time через mixin, processor или handler hook, инжектируя trace_id и span_id автоматически. Failure mode: async-границы (setTimeout, unbound Promise’ы, goroutine’ы без явного контекста, Python thread’ы) роняют execution context, производя all-zeros trace ID. Обнаружение: мониторить долю trace_id IS NULL per service; алерт выше 1%; добавить CI-тест, assert’ующий, что async log-строки несут inbound trace_id.
встречается в167
- Путь запроса: семь остановок от сокета до ответаjunior
- Accept и парсинг: от очереди ядра до типизированного запросаmiddle
- Маршрутизация и middleware: что выполняется и в каком порядкеmiddle
- Обработчик и ответ: от бизнес-логики до байтов на проводеmiddle
- Стриминг и backpressure: когда клиент читает медленнее, чем вы пишетеsenior
- Таймауты и хвостовая задержка: бюджеты, дедлайны и ловушка fan-outsenior
- Middleware и DI: два паттерна, формирующие любой backendjunior
- Пишем middleware: сигнатуры, next() и три модели фреймворковmiddle
- Инверсия управления: как зависимости добираются до классаmiddle
- Скоупы и время жизни DI: singleton, request, transientmiddle
- DI как шов для тестов: фейки, моки и граница, которая важнаsenior
- DI-контейнеры в продакшене: графы разрешения, циклы и когда не стоитsenior
- Блокирующий vs неблокирующий I/O: два способа ждатьjunior
- Event loop: один поток, упорядоченные фазыmiddle
- Что блокирует цикл: CPU-работа и синхронные вызовыmiddle
- Вынос CPU-работы: worker threads и пул libuvmiddle
- Backpressure и ограниченная конкурентностьsenior
- Пропускная способность под нагрузкой: хвостовая задержка и насыщениеsenior
- Зачем пул: цена создания соединенияjunior
- Размер пула: почему больше не значит быстрееmiddle
- Взятие и таймауты: очередь ожидания — настоящий дроссель задержкиmiddle
- Стратегии retry: backoff, jitter и thundering herdmiddle
- Наблюдаемость, production-инциденты и дизайн для глобального масштабаsenior
- Задачи, микрозадачи и scheduler.yield()middle
- Точность таймеров, троттлинг и фоновая работаmiddle
- Event loop Node.js: фазы, nextTick и задержка циклаsenior
- Стратегии рендеринга: SSG, SSR, ISR, streaming и гидратацияjunior
- SSG, SSR, ISR, streaming и RSC — как работает каждая стратегияmiddle
- Цена гидратации: selective, progressive, острова, resumabilitymiddle
- Core Web Vitals: что измеряют LCP, INP и CLSjunior
- LCP: четыре фазы, одна доминирующая стоимостьmiddle
- INP: input delay, processing, presentationmiddle
- Lab vs field: почему они расходятся и как использовать каждыйmiddle
- Трейдоффы метрик, RUM-атрибуция и цикл CI+полеsenior
- Общая картина: от URL до LCP до INP как эстафетаjunior
- Восемь слоёв трассировки: от service worker до второй навигацииmiddle
- Пять канонических поломок: где производство стабильно ломаетсяsenior
- Метод трёх треков: чтение трасс и построение системы мониторингаsenior
- Что такое индекс и как он ускоряет запросыjunior
- Leading-column rule: почему порядок столбцов в composite-индексе важенmiddle
- Partial, expression и covering-индексыmiddle
- Типы индексов: GIN, GiST, BRIN, Hash, Bloom и HOT-обновленияmiddle
- Index-only scan, Visibility Map и INCLUDEsenior
- Типичные сбои в продакшне и аудит индексовsenior
- Упражнение по проектированию индексов: стратегия полнотекстового поискаsenior
- EXPLAIN и планы выполнения: что решает планировщик и почемуjunior
- Типы сканирования: Seq, Index, Bitmap, Index-Onlymiddle
- Алгоритмы соединения и каскад ошибок оценки строкmiddle
- pg_statistic, ANALYZE и производственная наблюдаемостьmiddle
- Расширенная статистика: исправление ошибок оценки для коррелированных колонокsenior
- Кеш планов, настройка константных стоимостей и внутренности планировщикаsenior
- Производственные режимы отказа и стабильность плановsenior
- Connection pool: зачем амортизировать стоимость backend Postgresjunior
- Режимы PgBouncer: session, transaction и statementmiddle
- Размер пула: формула (ядра × 2) + шпинделей и двухуровневый стекmiddle
- Исчерпание пула и idle-in-transaction: сценарий отказа в 3 ночиmiddle
- Миграция на transaction mode: план развёртывания и prepared statements в PgBouncer 1.21middle
- Процессная модель Postgres и почему увеличение max_connections снижает производительностьsenior
- Ландшафт пулеров 2026, serverless connection storms и полная таксономия отказовsenior
- ADD COLUMN: мгновенно в PG 11+ против перезаписи в старом Postgresjunior
- Режим отказа очереди блокировок: почему мгновенный DDL может заморозить базуmiddle
- Безопасные DDL-паттерны: NOT VALID, CONCURRENTLY и исправления небезопасных операцийmiddle
- Таксономия сбоев миграций и дисциплина продакшнаsenior
- Выбор ключа шарда: стратегии hash, range, list и directorymiddle
- Ко-локация и Citus: инвариант, делающий шардирование пригодным к использованиюmiddle
- Режим отказа hot shard: обнаружение, изоляция и долгосрочная политикаmiddle
- Онлайн-решардинг, 2PC и операционная стоимость шардированияsenior
- Семь актов: от CREATE TABLE до Citusjunior
- Акты 1–3 в глубину: схема, индексы и статистика планировщикаmiddle
- Акты 4–6 в глубину: MVCC bloat, connection pooling и безопасные миграцииmiddle
- Акт 7 в глубину: шардинг, co-location и семиуровневый каскад трейдоффовmiddle
- Наблюдаемость, антипаттерны и производственный триажsenior
- Биты в проводеjunior
- Математика задержкиmiddle
- Bufferbloat и перегрузкаsenior
- Граница физического уровняsenior
- Номера последовательности и состояние соединенияmiddle
- Управление потоком и перегрузкойmiddle
- BBR, производственная наблюдаемость и за пределами TCPsenior
- CDN: контент по соседствуjunior
- Anycast и GeoDNS: маршрутизация к ближайшему edgemiddle
- Многоуровневый кеш и Cache-Controlmiddle
- Заголовок Vary и cache keysmiddle
- Stale-while-revalidate и cache stampedesenior
- Edge workers и edge-side compositionsenior
- CDN: операции и observabilitysenior
- WebSocket: HTTP-апгрейд до постоянного соединенияjunior
- WebSocket vs SSE vs long-polling: выбор правильного транспортаmiddle
- Backpressure в WebSocket: когда клиенты не успеваютmiddle
- Реконнект: jittered backoff, thundering herd, восстановление сообщенийsenior
- WebSocket в масштабе: HTTP/2 мультиплексирование, permessage-deflate, C10Msenior
- WebSocket в production: прокси, безопасность и распределённая архитектураsenior
- Что делают обратные проксиjunior
- Алгоритмы балансировки: от round-robin до power-of-two-choicesmiddle
- L4 vs L7 балансировка и сохранение IP клиентаmiddle
- Health checks, connection draining и slow startmiddle
- Retry-бури, circuit breakers и load sheddingsenior
- Устойчивая архитектура LB: anycast, zone-aware маршрутизация и observabilitysenior
- Почему QUIC, а не TCP+TLSjunior
- QUIC-потоки и head-of-line blockingjunior
- Объединённое рукопожатие и 1-RTTmiddle
- Connection ID и миграция сетиmiddle
- Обнаружение потерь и управление перегрузкойmiddle
- Возобновление 0-RTT и шифрование пакетовsenior
- Развёртывание и стоимость CPUsenior
- DDoS: что это и почему работаетjunior
- Атаки усиления и истощение состоянияmiddle
- Ограничение скорости: алгоритмы и архитектураmiddle
- WAF, межсетевые экраны, mTLS и HSTSmiddle
- Отравление DNS-кэша и BGP-перехватsenior
- Эшелонированная защита и экономика атакsenior
- Двенадцать слоёв: один URL, семь действующих лицjunior
- DNS, TCP, TLS по очереди: куда уходят миллисекундыmiddle
- Критический путь рендеринга и Core Web Vitalsmiddle
- Перехват прокси и шлюзы безопасности: rate limiter, WAF, mTLSmiddle
- Альтернативные пути: QUIC 0-RTT, WebSocket upgrade, миграция соединенияmiddle
- Наблюдаемость: распределённые трейсы, USE/RED и семплированиеsenior
- Устойчивость: каскадные повторы, circuit breakers и error budgetsenior
- Сначала профиль: измерь куда реально уходит времяjunior
- Закон Амдала и self-time: потолок любого ускорения, которое ты можешь выпуститьmiddle
- Измерительный цикл: микробенч, макробенч, prod-профиль, эффект наблюдателяmiddle
- Чтение флейм-графов: формы, профайлеры по языкам и 60-секундный сканmiddle
- Статистические baseline''''ы: почему один запуск — не измерениеmiddle
- История профайлеров и ловушки микробенчей: от Кнута до GWPsenior
- Hardware counters, профили холодного старта и безопасность профилейsenior
- Непрерывное профилирование в масштабе: затраты, CI-гейты, корреляция с трейсами и антипаттерныsenior
- Что делает путь горячим: симптом против причиныjunior
- Пять форм hotspot''''а: CPU, аллокации, кэш, лок, syscallmiddle
- Чтение parent и child chains: где применять правкуmiddle
- JIT deopt, цикл fix-and-verify и PR-time профилированиеmiddle
- Аппаратные счётчики и Intel TMA: диагностика подкатегорийsenior
- False sharing и горячие пути нативных мостовsenior
- Горячие пути в production: безопасность, хвостовая латентность и происхождение инструментовsenior
- Иерархия памяти: почему расстояние важнее числа операцийjunior
- Row-major vs column-major: порядок доступа и разрыв в 9xjunior
- Branch prediction: 10–30 циклов штрафа за неожиданный ifmiddle
- Hardware prefetcher, TLB и memory-level parallelismsenior
- Основы GC: за что рантайм берёт налогjunior
- Алгоритмы GC: поколенческая гипотеза, concurrent marking и write barriermiddle
- GC tradeoffs: пауза, throughput, память и давление аллокацийmiddle
- Настройка GC: пейсинг, форма кучи и наблюдаемость аллокацийmiddle
- Внутреннее устройство GC: tri-color инвариант, write barriers и глубокое погружение в рантаймыsenior
- GC в production: наблюдаемость, безопасность, edge cases и управление флотомsenior
- N+1: одна логическая операция, много round-trip''''овjunior
- Семейства фиксов: JOIN, IN, preload и DataLoadermiddle
- Обнаружение N+1: query logs, APM traces и CI gatesmiddle
- DataLoader: батчинг по дереву резолверовmiddle
- Кросс-протокольный N+1: HTTP fan-out и Redis MGETmiddle
- N+1 в масштабе: исчерпание пула, изменения планов и денормализацияsenior
- Batching: амортизируй фиксированную цену каждой операцииjunior
- Окно батчинга: размер и время ожиданияmiddle
- Batching в Kafka и Postgresmiddle
- io_uring и наблюдаемость пакетированияmiddle
- От Nagle до io_uring: эволюция пакетированияmiddle
- Backpressure, изоляция сбоев и безопасность батчей в продакшенеsenior
- Что на самом деле стоит bundle: download, parse, compile, executejunior
- Core Web Vitals: LCP, INP и CLSmiddle
- Code splitting: route-level, component-level, vendor splittingmiddle
- Tree shaking и compression: удаляем то, что не используемmiddle
- Third-party scripts: тихий убийца бюджетаmiddle
- CI enforcement и RUM: делаем бюджеты рабочимиmiddle
- V8 JIT-пайплайн, HTTP-приоритеты и безопасность bundlesenior
- Цикл performance: дисциплина, а не проектjunior
- Классификация и исправление: сопоставление family bottleneck с методамиmiddle
- Observability-стек и CI gates: ловить регрессии до выпускаmiddle
- От инцидента к enforcement: SLO burn до верифицированного исправления за 35 минутmiddle
- Культура, экономика и масштаб performancesenior