Базы данных
JSONB, массивы и когда side table побеждает
Команда добавляет колонку «metadata» JSONB для «случайных дополнительных полей». Через три года в колонке 30 полей, к которым обращается каждый запрос — ни одного индекса, ни одного ограничения, все парсятся при каждом чтении. Схема выросла именно в то, чего пытались избежать.
JSONB vs JSON: всегда JSONB
У Postgres два типа JSON-хранения. JSON хранит текст дословно — парсится заново при каждом чтении, не индексируемый, немного меньше. JSONB хранит разобранную бинарную структуру — индексируемый, запрашиваемый через path-операторы, немного больше. В продакшне всегда JSONB. Единственная причина использовать JSON — сохранение порядка ключей или дублирующихся ключей, чего легитимные схемы никогда не делают.
Когда JSONB является правильным выбором
JSONB хорошо подходит для трёх форм данных:
-
Действительно гетерогенные данные. Логи событий, где каждый тип события имеет разную форму payload. Ответы сторонних API, где схему контролирует кто-то другой. Объекты конфигурации, где ключи различаются у каждого tenant.
-
Метаданные «длинного хвоста». Таблица products, где 80% продуктов имеют 10 общих колонок и 20% имеют 50 дополнительных полей специфических для поставщика. 10 колонок типизированы; хвост из 50 полей — JSONB.
-
Схема первична, запросы редки. Данные, которые вы храните, но редко запрашиваете по полям — метаданные загрузчика файлов, пользовательские настройки на строку.
Неверная форма: любое поле, по которому вы GROUP BY, JOIN, агрегируете, принудительно обеспечиваете уникальность или ссылаетесь через foreign key. Эти поля должны быть типизированными колонками.
Когда side table побеждает
Типизированные массивы (TEXT[], INTEGER[]) и JSONB проигрывают side table когда:
- Нужно запрашивать «все строки с тегом X» в масштабе — GIN индекс помогает, но join-таблица с B-tree индексом по
(tag_id, row_id)быстрее и позволяет принудительно соблюдать FK integrity. - Нужно глобально переименовать тег X — одно UPDATE в таблице тегов vs сканирование каждой строки с тегом.
- Нужно считать строки по тегу или соединять теги с другой таблицей — SQL агрегация по join-таблице на порядок дешевле GIN-indexed JSONB.
- Нужна уникальность на строку (нет дублирующихся тегов в одном элементе) — легко принудительно соблюдается составным PK join-таблицы; невозможно внутри массива без constraint function.
Правило решения: если нужно только читать «теги этой строки», колонка-массив нормальна. В момент, когда запрос идёт со стороны тега, используйте side table.
Стратегии JSONB-индексов
У JSONB два семейства индексов. Выбор неправильного делает запросы в 10-100 раз медленнее.
GIN (Generalized Inverted Index). Индексирует каждый ключ или путь внутри JSONB. Класс операторов по умолчанию индексирует каждый ключ; jsonb_path_ops индексирует целые пути (быстрее для запросов @> containment, больше индекс). Поддерживает операторы @>, ?, ?|, ?&.
-- GIN по умолчанию: поддерживает ?, ?|, ?& и @>
CREATE INDEX idx_events_payload ON events USING GIN (payload);
-- jsonb_path_ops: только @>, но быстрее для него
CREATE INDEX idx_events_payload_paths ON events USING GIN (payload jsonb_path_ops);Expression B-tree. Индексирует один конкретный путь, извлечённый как типизированное значение. Поддерживает равенство и range-запросы по этому пути. Намного меньше GIN.
-- Индексирует поле user_id как текст
CREATE INDEX idx_events_user_id ON events ((payload->>'user_id'));
-- Индексирует user_id как integer
CREATE INDEX idx_events_user_id_int ON events (((payload->>'user_id')::BIGINT));Используйте GIN для «содержит ли этот JSONB ключ/значение X?». Используйте expression B-tree для «найти строки где data.field равно конкретному значению».
| Тип индекса | Лучше всего для | Размер | Операторы |
|---|---|---|---|
| GIN (дефолт) | Наличие ключей, containment по многим путям | В 5-20 раз больше B-tree | ?, ?|, ?&, @> |
| GIN (jsonb_path_ops) | Только @> containment, быстрее поиск | Меньше дефолтного GIN | Только @> |
| Expression B-tree | Один конкретный путь, равенство/range | Сравним с обычным B-tree | =, <, >, BETWEEN |
Generated STORED колонки
Postgres поддерживает generated-колонки, значение которых вычисляется из других колонок при записи и хранится:
ALTER TABLE order_items
ADD COLUMN line_total_cents INTEGER
GENERATED ALWAYS AS (unit_price_cents * quantity) STORED;Колонка запрашиваемая, индексируемая и обновляется автоматически при каждой записи. В отличие от триггера, вычисление объявлено в схеме и видимо любому читателю без знания о триггере.
Сценарии использования: производные значения, которые часто запрашиваются (full_name, line_total, is_final из enum статуса), аудит-флаги, вычисленная денормализация. Цена: записи немного медленнее (выражение вычисляется при каждой записи); миграции на generated-колонках могут вызвать перезапись таблицы.
Почему это работает
Почему не использовать триггер для вычисляемых колонок? Триггеры работают, но невидимы на уровне схемы — читатель, изучающий DDL, не знает, что триггер существует или что он делает. Generated-колонки самодокументированы, принудительно соблюдаются движком и корректно сохраняются в дампах схемы. Используйте триггеры когда вычисление зависит от данных из других строк или таблиц (чего generated-колонки не могут). Используйте generated-колонки для per-row арифметики.
FK при масштабе: паттерн PlanetScale
Некоторые гиперскейл-компании (PlanetScale на Vitess, несколько крупных Postgres-инсталляций) рекомендуют отключать foreign keys. Конкретные условия, где это обосновано:
- Данные шардированы и связь пересекает границы шардов — FK не могут охватывать шарды.
- Каскад создаст транзакцию на несколько миллионов строк, удерживающую блокировки минутами.
- Проход проверки FK при DDL-изменении типа колонки является операционным узким местом.
Ни одно из этих условий не применимо к типичной SaaS-схеме ниже ~100M строк в таблице. Для большинства команд FK-ограничение стоит ~5-50 мкс на строку при записи и навсегда отказывает всем строкам-сиротам. Его отключение перемещает гарантию integrity в код приложения, где она реализуется непоследовательно и ломается при рефакторингах.
Опытные инженеры воспринимают «мы отключили FK» как сигнал конкретных ограничений масштаба — не как общую лучшую практику.
Добавить теги к продуктам: колонка-массив, JSONB или side table?
1/3Запрос `WHERE payload @> '{"event_type": "purchase"}'` на таблице в 50M строк выполняется 200 мс с полным GIN-индексом, но нужно менее 20 мс. Что попробовать первым?
Новый сервис хранит 'рецензии на продукты' (одна рецензия на пользователя на продукт, рейтинг + текст + опциональные структурированные теги). Какая форма схемы?
- 01Назовите правило решения для JSONB vs типизированная колонка и приведите пример где каждый вариант правильный.
- 02В чём разница между GIN-индексом с классом операторов по умолчанию и с jsonb_path_ops, и когда выбирать каждый?
- 03Назовите условия, при которых отключение foreign keys является обоснованным инженерным решением.
JSONB (всегда JSONB вместо JSON) — правильный выбор для гетерогенных схем, long-tail метаданных и данных, которые хранятся, но редко запрашиваются по полям. Как только поле появляется в WHERE, GROUP BY или JOIN, нужна типизированная колонка. Side tables превосходят массивы и JSONB когда запрос идёт с обеих сторон, нужна агрегация или уникальность между строкой и тегом. GIN поддерживает наличие ключей и containment; expression B-tree поддерживает один конкретный путь для равенства и range. Generated STORED колонки заменяют триггеры для per-row арифметики — объявлены в схеме, видимы любому читателю. FK-ограничения стоят ~5-50 мкс на запись и навсегда предотвращают строки-сироты; отключайте их только при конкретных ограничениях шардирования или каскадов, не как общую практику.
встречается в164
- Почему GraphQL получает N+1junior
- Механика DataLoader: батчинг на границе тикаmiddle
- Контракты batch-функции: порядок, формы, ошибкиmiddle
- Federation и lookahead: батчинг за пределами DataLoadermiddle
- Защита сложности запросов: depth, cost, persisted queriesmiddle
- Senior GraphQL API: scheduling-контракт, изоляция арендаторов, наблюдаемостьsenior
- Зачем идемпотентность: безопасные retryjunior
- Серверный state machine: четыре состояния idempotency keymiddle
- Outbox и inbox: effectively-once через dual-write границуmiddle
- Конкурентность и архитектура кеша для идемпотентности на масштабеsenior
- Наблюдаемость, production-инциденты и дизайн для глобального масштабаsenior
- Event loop: один поток, три очередиjunior
- Задачи, микрозадачи и scheduler.yield()middle
- Голодание микрозадач, длинные задачи и LoAFsenior
- Event loop Node.js: фазы, nextTick и задержка циклаsenior
- React, Vue и наблюдаемость INP в продакшенеsenior
- Render pipeline: шесть стадий от байтов до пикселейjunior
- Цена стадий и модель процесса рендерераmiddle
- Инвалидация, dirty-биты и containmiddle
- Слои композитора: продвижение, перекрытие и память GPUmiddle
- Флейм-стрип DevTools и жизненный цикл кадраmiddle
- Layout thrash: форсированная синхронная компоновкаsenior
- BeginMainFrame, анимации на потоке compositor и память GPUsenior
- Observability в проде: LoAF, INP и полная поверхность атакиsenior
- Что такое V8 и почему производительность различается в 100 разjunior
- Четырёхуровневый JIT-конвейер V8 и профилированная тиеризацияmiddle
- Hidden classes, деревья переходов и расположение в памятиmiddle
- Inline caches, состояния IC и деоптимизацияmiddle
- Orinoco GC: параллельный scavenger, конкурентная разметка и барьеры записиmiddle
- Спекулятивный движок TurboFan и ловушка deopt-loopsenior
- V8 в production: Isolates, сжатие указателей и реальные аварииsenior
- Что такое воркеры и зачем они нужныjunior
- Механика web workers: dedicated, shared и OffscreenCanvasmiddle
- Structured clone и transferablesmiddle
- Жизненный цикл service worker и стратегии кешированияmiddle
- SharedArrayBuffer, Atomics и cross-origin isolationsenior
- Граничные случаи service worker: version skew, долговременность и ловушка навигацииsenior
- Пулы воркеров, Comlink и наблюдаемость в продакшенеsenior
- Что делает реконсилер: render vs commitjunior
- Объект fiber и дерево с двойной буферизациейmiddle
- Чистота фазы render и подшаги фазы commitmiddle
- Реконсиляция: эвристики диффа и ловушка ключейmiddle
- Приоритетные lanes, time-slicing и useTransitionmiddle
- Bailout, мемоизация и tearingsenior
- React Profiler, компилятор и продакшн-наблюдаемостьsenior
- Стратегии рендеринга: SSG, SSR, ISR, streaming и гидратацияjunior
- SSG, SSR, ISR, streaming и RSC — как работает каждая стратегияmiddle
- Цена гидратации: selective, progressive, острова, resumabilitymiddle
- Hydration mismatch: причины, обнаружение и правило детерминизмаsenior
- RSC, стратегия на маршрут и production-наблюдаемостьsenior
- Core Web Vitals: что измеряют LCP, INP и CLSjunior
- CLS: почему происходят сдвиги лейаута и как их остановитьmiddle
- Трейдоффы метрик, RUM-атрибуция и цикл CI+полеsenior
- Общая картина: от URL до LCP до INP как эстафетаjunior
- Восемь слоёв трассировки: от service worker до второй навигацииmiddle
- Пять канонических поломок: где производство стабильно ломаетсяsenior
- Метод трёх треков: чтение трасс и построение системы мониторингаsenior
- Что такое cache stampede и почему он делает всё хужеjunior
- Лок и single-flight: ограничение параллельных rebuildmiddle
- XFetch: вероятностное раннее истечение без координацииmiddle
- Stale-while-revalidate и CDN request coalescingmiddle
- Детектирование stampede и дизайн TTL для продакшенаmiddle
- Метастабильный сбой, fencing-токены и production-постмортемыsenior
- Роли Raft, term и почему majority-кворум предотвращает split brainjunior
- Как Raft реплицирует log entry и решает, что его безопасно коммититьmiddle
- Выборы лидера в Raft: таймауты, правила голосования и четыре свойства безопасностиmiddle
- Raft в реальном мире: partition, медленный диск и клиентская маршрутизацияmiddle
- Расширения Raft: pre-vote, learner, snapshot и линеаризуемые чтенияsenior
- Raft в production: membership change, Multi-Raft и observabilitysenior
- Где происходит data fetching — и почему это решает LCPjunior
- Fetch waterfall''''ы — диагностика и лечение через Promise.allmiddle
- React Server Components и Suspense streamingmiddle
- Клиентский кэш: TanStack Query, SWR и stale-while-revalidatemiddle
- LCP, prefetch и race conditions в интерактивном fetchingmiddle
- Senior internals: RSC payload, слои кэша и production паденияsenior
- Конверт IPjunior
- Читаем IP-заголовокmiddle
- Трёхстороннее рукопожатие TCPjunior
- Номера последовательности и состояние соединенияmiddle
- DNS: что делает и зачем существуетjunior
- Обход резолвера: перенаправления, типы записей и gluemiddle
- TTL, кеширование и распространение DNSmiddle
- Что делает TLS и зачем он нуженjunior
- Рукопожатие за 1 RTT: key share и ECDHEmiddle
- Возобновление сессии и 0-RTTmiddle
- Расписание ключей, SNI, ALPN и расширенияsenior
- Защита 0-RTT, ECH, гибридный PQ и продакшн TLSsenior
- WebSocket: HTTP-апгрейд до постоянного соединенияjunior
- Формат WebSocket-фрейма: opcodes, маскирование, фрагментацияmiddle
- Backpressure в WebSocket: когда клиенты не успеваютmiddle
- Реконнект: jittered backoff, thundering herd, восстановление сообщенийsenior
- WebSocket в масштабе: HTTP/2 мультиплексирование, permessage-deflate, C10Msenior
- WebSocket в production: прокси, безопасность и распределённая архитектураsenior
- Что делают обратные проксиjunior
- Health checks, connection draining и slow startmiddle
- Session affinity, consistent hashing и правильное решениеmiddle
- Retry-бури, circuit breakers и load sheddingsenior
- Устойчивая архитектура LB: anycast, zone-aware маршрутизация и observabilitysenior
- Почему QUIC, а не TCP+TLSjunior
- Connection ID и миграция сетиmiddle
- Возобновление 0-RTT и шифрование пакетовsenior
- DDoS: что это и почему работаетjunior
- Атаки усиления и истощение состоянияmiddle
- Ограничение скорости: алгоритмы и архитектураmiddle
- WAF, межсетевые экраны, mTLS и HSTSmiddle
- Отравление DNS-кэша и BGP-перехватsenior
- Эшелонированная защита и экономика атакsenior
- Двенадцать слоёв: один URL, семь действующих лицjunior
- DNS, TCP, TLS по очереди: куда уходят миллисекундыmiddle
- Перехват прокси и шлюзы безопасности: rate limiter, WAF, mTLSmiddle
- Альтернативные пути: QUIC 0-RTT, WebSocket upgrade, миграция соединенияmiddle
- Наблюдаемость: распределённые трейсы, USE/RED и семплированиеsenior
- Устойчивость: каскадные повторы, circuit breakers и error budgetsenior
- Что такое три сигнала: метрики, логи, трейсыjunior
- Зачем нужны структурные логи: дневник против таблицыjunior
- Схема продакшн-лога: поля, которые несёт каждая строкаmiddle
- PII-редакция и log injectionsenior
- OTel Logs Data Model и audit-логи как подсистемаsenior
- Что такое OpenTelemetry: API, SDK, Collector, OTLPjunior
- Сигналы OTel, Semantic Conventions и проводной формат OTLPmiddle
- Collector OTel: receivers, processors, exporters и паттерны развёртыванияmiddle
- Vendor-нейтральность, eBPF-инструментирование, Operator и OTel в браузере и serverlesssenior
- Эксплуатация OTel Collector: надёжность, version skew, режимы отказа и управлениеsenior
- SLI, SLO и error budget: надёжность в числахjunior
- Error budget policy, latency SLO и составные journeysmiddle
- Продакшн-отказы SLO, самонаблюдаемость, безопасность и общая картинаsenior
- Что такое trace propagation и почему сломанная propagation хуже отсутствия трейсовjunior
- traceparent и tracestate: полный формат W3C-заголовкаmiddle
- Baggage и async-границы: перенос контекста через очереди и callback''''иmiddle
- Async context на разных языках, service mesh, миграция B3 и безопасностьsenior
- Production-сбои propagation, span links и платформенный дизайнsenior
- Debugging-воронка: SLO → RED → trace → profilejunior
- Архитектура OTel: один SDK, четыре сигнала, один wire-форматmiddle
- Петля инцидента: от пейджера до постмортема до предотвращенияmiddle
- Масштаб, безопасность и ROI наблюдаемых системsenior
- Cache lines и false sharing: когда параллелизм замедляет кодmiddle
- SIMD и data layout: AoS vs SoA и разница в 4–8xmiddle
- Cache-oblivious алгоритмы, PGO и production failuressenior
- GC в production: наблюдаемость, безопасность, edge cases и управление флотомsenior
- Batching: амортизируй фиксированную цену каждой операцииjunior
- Окно батчинга: размер и время ожиданияmiddle
- Batching в Kafka и Postgresmiddle
- io_uring и наблюдаемость пакетированияmiddle
- От Nagle до io_uring: эволюция пакетированияmiddle
- Backpressure, изоляция сбоев и безопасность батчей в продакшенеsenior
- CI enforcement и RUM: делаем бюджеты рабочимиmiddle
- V8 JIT-пайплайн, HTTP-приоритеты и безопасность bundlesenior
- Цикл performance: дисциплина, а не проектjunior
- Классификация и исправление: сопоставление family bottleneck с методамиmiddle
- Observability-стек и CI gates: ловить регрессии до выпускаmiddle
- От инцидента к enforcement: SLO burn до верифицированного исправления за 35 минутmiddle
- Культура, экономика и масштаб performancesenior
- At-most-once, at-least-once, exactly-once: три контракта доставкиjunior
- Три ножки сбоя — где реально происходят дубликаты и потериmiddle
- Consumer-side dedup: самый дешёвый путь к exactly-once processingmiddle
- Kafka exactly-once semantics: idempotent producer и транзакцииmiddle
- SQS visibility timeout, DLQ и outbox patternmiddle
- Exactly-once в production: impossibility-доказательство, гибридные паттерны и реальные инцидентыsenior
- Что такое OAuth и почему пароли — не ответjunior
- Authorization code flow с PKCEmiddle
- Валидация ID-токена и управление JWKS-кешемmiddle
- Ротация refresh-токенов и scope-based least privilegemiddle
- Sender-constrained токены: DPoP и mTLSsenior
- OAuth в production: audience атаки, observability и реальные провалыsenior