Базы данных
Алгоритмы соединения и каскад ошибок оценки строк
Запрос возвращает 50 строк за 50 мс на staging. В production — та же схема, идентичные индексы, тот же запрос — 4.2 секунды. EXPLAIN ANALYZE показывает Nested Loop ... loops=520000. Внутренний index scan выполнился полмиллиона раз. Планировщик думал, что на внешней стороне 50 строк. Их было 520,000. Одна плохая оценка. Один неверный выбор соединения. Замедление в 80×.
Три алгоритма соединения
| Алгоритм | Форма стоимости | Побеждает когда | Опасность |
|---|---|---|---|
| Nested Loop | outer_rows × inner_cost | Внешняя сторона мала (десятки строк), внутренняя имеет индекс | Взрывается при недооценке внешней стороны как малой |
| Hash Join | build_cost + probe_cost | Средние и большие equi-join; ни одна сторона не имеет индекса на ключе сортировки | Сбрасывается на диск, если хеш-таблица превышает work_mem |
| Merge Join | sort_cost + merge_cost | Обе стороны уже отсортированы (подходящий индекс); большие equi-join | Требует отсортированного ввода; сортировка может сброситься при малом work_mem |
Nested Loop
Для каждой строки внешнего отношения ищет совпадающие строки во внутреннем — как правило, через индекс. Стоимость: outer_rows × inner_cost_per_lookup. Побеждает, когда внешняя сторона мала (десятки строк), потому что стоимость внутреннего поиска по индексу уплачивается столько же раз. Катастрофически проигрывает при недооценке внешней стороны: если планировщик думает, что внешних строк 10, а их 10,000, внутренний поиск выполняется 10,000 раз вместо 10 — в 1000× больше работы.
Диагностика: счётчик loops на внутреннем узле. В здоровом Nested Loop: loops=50. В «взорвавшемся»: loops=520000.
Hash Join
Строит хеш-таблицу из меньшей (build) стороны, затем проверяет её строками из большей (probe) стороны. Стоимость: build + probe. Побеждает для средних и больших equi-join, где ни одна сторона не имеет индекса, выровненного по ключу соединения. Критический параметр — work_mem: хеш-таблица должна помещаться в памяти. Когда нет, Hash Batches превышает 1 и таблица сбрасывается на диск — ищите Batches: 64 или аналогичное в выводе плана. Исправление: SET work_mem = '64MB' для сессии (не глобально, без учёта max_connections).
Merge Join
Сортирует обе стороны по ключу соединения (или использует индексы, уже обеспечивающие порядок), затем сливает параллельно. Побеждает, когда обе стороны приходят отсортированными — например, при соединении двух таблиц с ORDER BY id и соответствующими индексами. Не добавляет дополнительной стоимости сортировки. Полезен для range join и когда порядок сортировки нужен и для финального результата.
Каскад ошибок оценки строк
Это самая важная концепция урока. Плохая оценка строк на одном узле плана каскадирует на каждый узел выше:
- Планировщик думает, что фильтр
WHERE country='US' AND region='CA' AND status='shipped'вернёт 50 строк (независимые вероятности: 50% × 5% × 20% = 0.5%) - Планировщик выбирает Nested Loop — дёшево когда внешняя сторона мала
- Реальность: колонки коррелированы (все CA-заказы в US), реальная селективность 5% × 20% = 1% — и планировщик ошибся с кардинальностью индекса; реальных строк = 520,000
- Внутренний index scan выполняется 520,000 раз вместо 50 — в 10,400× больше работы
Неверный алгоритм (Nested Loop вместо Hash Join) — симптом. Неверная оценка строк — причина. Принудительный выбор алгоритма (например, SET enable_nestloop = off) маскирует симптом, оставляя корень причины. Исправьте оценку — выбор алгоритма последует.
Несаргабельные предикаты
Предикат «саргабелен» (Search ARGument-ABLE), если планировщик может использовать индекс для его вычисления. Несаргабельные предикаты принудительно вызывают Seq Scan и искажают оценки строк.
Типичные нарушители:
WHERE LOWER(email) = 'alice@x.com'— функция на индексируемой колонке → используйте выражаемый индексCREATE INDEX ON users (LOWER(email))WHERE created_at::date = '2026-01-01'— приведение типа → перепишите какWHERE created_at >= '2026-01-01' AND created_at < '2026-01-02'WHERE EXTRACT(year FROM created_at) = 2026— вызов функции → тот же диапазонный рефакторWHERE id::text = '42'— неявное приведение →WHERE id = 42(исправьте тип в приложении)WHERE name LIKE '%foo'— лидирующий wildcard → GIN-индекс pg_trgm для нечёткого поиска
EXPLAIN сразу это обнаруживает: Seq Scan + Filter там, где ожидался Index Scan. Строка Filter показывает, что применялось после сканирования, а не до — то есть индекс не помог.
Диагностика и исправление взрыва оценки строк
1/3EXPLAIN ANALYZE показывает `Nested Loop (cost=0..50 rows=10) ... -> Index Scan ... (loops=10000)`. Какова наиболее вероятная причина?
В плане запроса показано `Hash Join ... Hash Batches: 64`. Что это означает и каково исправление?
Какой предикат является НЕСАРГАБЕЛЬНЫМ и вызовет последовательное сканирование, даже если на `created_at` есть индекс?
- 01Объясните каскад ошибок оценки строк: почему плохая оценка на одном узле ломает весь план выше него?
- 02Когда Hash Join является правильным выбором и что заставляет его сбрасываться на диск?
- 03Что такое несаргабельный предикат, почему он важен для производительности и как исправить типичные случаи?
Postgres выбирает среди трёх алгоритмов соединения: Nested Loop (outer_rows × inner_cost, побеждает при малых внешних с внутренним индексом), Hash Join (построить хеш-таблицу + проверить, побеждает для средних и больших equi-join, сбрасывается на диск когда хеш-таблица превышает work_mem), Merge Join (сортировать обе стороны, слить параллельно, побеждает когда обе стороны приходят отсортированными). Выбор алгоритма определяется оценками строк на каждом узле — недооценка в 1000× на внешней стороне Nested Loop превращает внутренний поиск в 1000× больше работы, чем запланировано. Неверный алгоритм всегда симптом; неверная оценка строк всегда причина. Исправляйте оценки (ANALYZE, расширенная статистика) и выбор алгоритма скорректируется сам. Несаргабельные предикаты (функции на индексируемых колонках, неявные приведения) предотвращают использование индекса и искажают оценки — перепишите их как диапазонные предикаты или добавьте выражаемые индексы.
Практика
Сделай это, чтобы превратить узнавание в навык.
- Расширенная статистика: исправление ошибок оценки для коррелированных колонокsenior
- Кеш планов, настройка константных стоимостей и внутренности планировщикаsenior
- Производственные режимы отказа и стабильность плановsenior
- Планы выполнения: диагностируй и стабилизируй медленный запросsenior
- Планы выполнения: тест с выбором ответаsenior
- Планы выполнения: тест на припоминаниеsenior
встречается в174
- Путь запроса: семь остановок от сокета до ответаjunior
- Accept и парсинг: от очереди ядра до типизированного запросаmiddle
- Маршрутизация и middleware: что выполняется и в каком порядкеmiddle
- Обработчик и ответ: от бизнес-логики до байтов на проводеmiddle
- Стриминг и backpressure: когда клиент читает медленнее, чем вы пишетеsenior
- Таймауты и хвостовая задержка: бюджеты, дедлайны и ловушка fan-outsenior
- Middleware и DI: два паттерна, формирующие любой backendjunior
- Пишем middleware: сигнатуры, next() и три модели фреймворковmiddle
- Инверсия управления: как зависимости добираются до классаmiddle
- Скоупы и время жизни DI: singleton, request, transientmiddle
- DI как шов для тестов: фейки, моки и граница, которая важнаsenior
- DI-контейнеры в продакшене: графы разрешения, циклы и когда не стоитsenior
- Блокирующий vs неблокирующий I/O: два способа ждатьjunior
- Event loop: один поток, упорядоченные фазыmiddle
- Что блокирует цикл: CPU-работа и синхронные вызовыmiddle
- Вынос CPU-работы: worker threads и пул libuvmiddle
- Backpressure и ограниченная конкурентностьsenior
- Пропускная способность под нагрузкой: хвостовая задержка и насыщениеsenior
- Зачем пул: цена создания соединенияjunior
- Размер пула: почему больше не значит быстрееmiddle
- Взятие и таймауты: очередь ожидания — настоящий дроссель задержкиmiddle
- Стратегии retry: backoff, jitter и thundering herdmiddle
- Наблюдаемость, production-инциденты и дизайн для глобального масштабаsenior
- Задачи, микрозадачи и scheduler.yield()middle
- Точность таймеров, троттлинг и фоновая работаmiddle
- Event loop Node.js: фазы, nextTick и задержка циклаsenior
- Стратегии рендеринга: SSG, SSR, ISR, streaming и гидратацияjunior
- SSG, SSR, ISR, streaming и RSC — как работает каждая стратегияmiddle
- Цена гидратации: selective, progressive, острова, resumabilitymiddle
- Core Web Vitals: что измеряют LCP, INP и CLSjunior
- LCP: четыре фазы, одна доминирующая стоимостьmiddle
- INP: input delay, processing, presentationmiddle
- Lab vs field: почему они расходятся и как использовать каждыйmiddle
- Трейдоффы метрик, RUM-атрибуция и цикл CI+полеsenior
- Общая картина: от URL до LCP до INP как эстафетаjunior
- Восемь слоёв трассировки: от service worker до второй навигацииmiddle
- Пять канонических поломок: где производство стабильно ломаетсяsenior
- Метод трёх треков: чтение трасс и построение системы мониторингаsenior
- Биты в проводеjunior
- Математика задержкиmiddle
- Bufferbloat и перегрузкаsenior
- Граница физического уровняsenior
- Номера последовательности и состояние соединенияmiddle
- Управление потоком и перегрузкойmiddle
- BBR, производственная наблюдаемость и за пределами TCPsenior
- CDN: контент по соседствуjunior
- Anycast и GeoDNS: маршрутизация к ближайшему edgemiddle
- Многоуровневый кеш и Cache-Controlmiddle
- Заголовок Vary и cache keysmiddle
- Stale-while-revalidate и cache stampedesenior
- Edge workers и edge-side compositionsenior
- CDN: операции и observabilitysenior
- WebSocket: HTTP-апгрейд до постоянного соединенияjunior
- WebSocket vs SSE vs long-polling: выбор правильного транспортаmiddle
- Backpressure в WebSocket: когда клиенты не успеваютmiddle
- Реконнект: jittered backoff, thundering herd, восстановление сообщенийsenior
- WebSocket в масштабе: HTTP/2 мультиплексирование, permessage-deflate, C10Msenior
- WebSocket в production: прокси, безопасность и распределённая архитектураsenior
- Что делают обратные проксиjunior
- Алгоритмы балансировки: от round-robin до power-of-two-choicesmiddle
- L4 vs L7 балансировка и сохранение IP клиентаmiddle
- Health checks, connection draining и slow startmiddle
- Retry-бури, circuit breakers и load sheddingsenior
- Устойчивая архитектура LB: anycast, zone-aware маршрутизация и observabilitysenior
- Почему QUIC, а не TCP+TLSjunior
- QUIC-потоки и head-of-line blockingjunior
- Объединённое рукопожатие и 1-RTTmiddle
- Connection ID и миграция сетиmiddle
- Обнаружение потерь и управление перегрузкойmiddle
- Возобновление 0-RTT и шифрование пакетовsenior
- Развёртывание и стоимость CPUsenior
- DDoS: что это и почему работаетjunior
- Атаки усиления и истощение состоянияmiddle
- Ограничение скорости: алгоритмы и архитектураmiddle
- WAF, межсетевые экраны, mTLS и HSTSmiddle
- Отравление DNS-кэша и BGP-перехватsenior
- Эшелонированная защита и экономика атакsenior
- Двенадцать слоёв: один URL, семь действующих лицjunior
- DNS, TCP, TLS по очереди: куда уходят миллисекундыmiddle
- Критический путь рендеринга и Core Web Vitalsmiddle
- Перехват прокси и шлюзы безопасности: rate limiter, WAF, mTLSmiddle
- Альтернативные пути: QUIC 0-RTT, WebSocket upgrade, миграция соединенияmiddle
- Наблюдаемость: распределённые трейсы, USE/RED и семплированиеsenior
- Устойчивость: каскадные повторы, circuit breakers и error budgetsenior
- Что такое три сигнала: метрики, логи, трейсыjunior
- Метрики и cardinality: cost-модель time-series databasemiddle
- Логи и объём: cost-модель структурного логированияmiddle
- Трейсы и сэмплирование: cost-модель distributed tracingmiddle
- Join-ключи и exemplar''''ы: как три сигнала становятся компонуемымиmiddle
- Observability 2.0: широкие события и сдвиг стоимостиsenior
- Режимы сбоя и инженерная практика: cardinality budget''''ы, PII и сэмплированиеsenior
- Зачем нужны структурные логи: дневник против таблицыjunior
- Схема продакшн-лога: поля, которые несёт каждая строкаmiddle
- Log levels и маршрутизация алертовmiddle
- Стратегии sampling и стоимость логовmiddle
- PII-редакция и log injectionsenior
- Propagation trace-контекста в логахsenior
- OTel Logs Data Model и audit-логи как подсистемаsenior
- Сигналы OTel, Semantic Conventions и проводной формат OTLPmiddle
- Авто-инструментирование и ручные спаны: правило 80/20 в OTelmiddle
- Collector OTel: receivers, processors, exporters и паттерны развёртыванияmiddle
- Стратегии сэмплирования: head, tail и parent-basedmiddle
- Vendor-нейтральность, eBPF-инструментирование, Operator и OTel в браузере и serverlesssenior
- Эксплуатация OTel Collector: надёжность, version skew, режимы отказа и управлениеsenior
- RED и USE: два чек-листа, одна дисциплина триажаjunior
- Инструментация RED в Prometheus: счётчики, гистограммы и дисциплина cardinalitymiddle
- USE на Linux: CPU, память, диск, сеть и PSImiddle
- Golden signals, структура дашборда и auto-RED в service meshmiddle
- Cardinality как драйвер затрат: label, PII, exemplars и семплированиеmiddle
- Native histograms, SLO и паттерны production-сбоевmiddle
- Выбор SLI и SLO-целей: отношения, не ощущенияmiddle
- Multi-window multi-burn-rate-алертинг: почему AND лучше ORmiddle
- Error budget policy, latency SLO и составные journeysmiddle
- Iceberg SLI, математика составного SLO и SLA vs SLOsenior
- Flame graph: читаем картинку, которая показывает, куда ушло времяjunior
- Sampling vs instrumentation profiling: почему 99 Гц побеждает в productionmiddle
- Типы профилей: CPU, память, off-CPU, mutex — какой когда братьmiddle
- Continuous profiling: always-on flame graphs с eBPF и корреляцией trace-idmiddle
- Как flame graph строится из сэмплов и как использовать его в productionmiddle
- Linux perf, внутренности eBPF, PGO и ограничения sampling''''аsenior
- Profiling в production: безопасность, war stories, OTel profiles и дизайн инфраструктурыsenior
- Debugging-воронка: SLO → RED → trace → profilejunior
- Архитектура OTel: один SDK, четыре сигнала, один wire-форматmiddle
- Экономия на observability: удерживаем затраты в пределах 5% inframiddle
- Масштаб, безопасность и ROI наблюдаемых системsenior
- Сначала профиль: измерь куда реально уходит времяjunior
- Закон Амдала и self-time: потолок любого ускорения, которое ты можешь выпуститьmiddle
- Измерительный цикл: микробенч, макробенч, prod-профиль, эффект наблюдателяmiddle
- Чтение флейм-графов: формы, профайлеры по языкам и 60-секундный сканmiddle
- Статистические baseline''''ы: почему один запуск — не измерениеmiddle
- История профайлеров и ловушки микробенчей: от Кнута до GWPsenior
- Hardware counters, профили холодного старта и безопасность профилейsenior
- Непрерывное профилирование в масштабе: затраты, CI-гейты, корреляция с трейсами и антипаттерныsenior
- Что делает путь горячим: симптом против причиныjunior
- Пять форм hotspot''''а: CPU, аллокации, кэш, лок, syscallmiddle
- Чтение parent и child chains: где применять правкуmiddle
- JIT deopt, цикл fix-and-verify и PR-time профилированиеmiddle
- Аппаратные счётчики и Intel TMA: диагностика подкатегорийsenior
- False sharing и горячие пути нативных мостовsenior
- Горячие пути в production: безопасность, хвостовая латентность и происхождение инструментовsenior
- Иерархия памяти: почему расстояние важнее числа операцийjunior
- Row-major vs column-major: порядок доступа и разрыв в 9xjunior
- Branch prediction: 10–30 циклов штрафа за неожиданный ifmiddle
- Hardware prefetcher, TLB и memory-level parallelismsenior
- Основы GC: за что рантайм берёт налогjunior
- Алгоритмы GC: поколенческая гипотеза, concurrent marking и write barriermiddle
- GC tradeoffs: пауза, throughput, память и давление аллокацийmiddle
- Настройка GC: пейсинг, форма кучи и наблюдаемость аллокацийmiddle
- Внутреннее устройство GC: tri-color инвариант, write barriers и глубокое погружение в рантаймыsenior
- GC в production: наблюдаемость, безопасность, edge cases и управление флотомsenior
- N+1: одна логическая операция, много round-trip''''овjunior
- Семейства фиксов: JOIN, IN, preload и DataLoadermiddle
- Обнаружение N+1: query logs, APM traces и CI gatesmiddle
- DataLoader: батчинг по дереву резолверовmiddle
- Кросс-протокольный N+1: HTTP fan-out и Redis MGETmiddle
- N+1 в масштабе: исчерпание пула, изменения планов и денормализацияsenior
- Batching: амортизируй фиксированную цену каждой операцииjunior
- Окно батчинга: размер и время ожиданияmiddle
- Batching в Kafka и Postgresmiddle
- io_uring и наблюдаемость пакетированияmiddle
- От Nagle до io_uring: эволюция пакетированияmiddle
- Backpressure, изоляция сбоев и безопасность батчей в продакшенеsenior
- Что на самом деле стоит bundle: download, parse, compile, executejunior
- Core Web Vitals: LCP, INP и CLSmiddle
- Code splitting: route-level, component-level, vendor splittingmiddle
- Tree shaking и compression: удаляем то, что не используемmiddle
- Third-party scripts: тихий убийца бюджетаmiddle
- CI enforcement и RUM: делаем бюджеты рабочимиmiddle
- V8 JIT-пайплайн, HTTP-приоритеты и безопасность bundlesenior
- Цикл performance: дисциплина, а не проектjunior
- Классификация и исправление: сопоставление family bottleneck с методамиmiddle
- Observability-стек и CI gates: ловить регрессии до выпускаmiddle
- От инцидента к enforcement: SLO burn до верифицированного исправления за 35 минутmiddle
- Культура, экономика и масштаб performancesenior