Базы данных
Партиционирование против шардирования: одно слово, два разных понятия
Команда добавляет PARTITION BY RANGE (created_at) к своей таблице events и называет это «шардированием базы данных». Месяц спустя они удивляются, почему пропускная способность записи не улучшилась. Партиционирование и шардирование часто путают — они решают разные проблемы на разных масштабах.
Партиционирование: один Postgres, таблица разбита для pruning
Декларативное партиционирование таблиц (введено в PostgreSQL 10) разбивает одну таблицу на именованные подтаблицы — партиции, все живущие на одном экземпляре Postgres.
-- Один Postgres, одна машина, множество партиций
CREATE TABLE events (
id BIGINT,
tenant_id INT,
created_at TIMESTAMPTZ,
payload JSONB
) PARTITION BY RANGE (created_at);
CREATE TABLE events_2026_01 PARTITION OF events
FOR VALUES FROM ('2026-01-01') TO ('2026-02-01');
CREATE TABLE events_2026_02 PARTITION OF events
FOR VALUES FROM ('2026-02-01') TO ('2026-03-01');Postgres получает две вещи от этого:
- Partition pruning: запрос с
WHERE created_at >= '2026-02-01'сканирует только нужные партиции, а не всю таблицу. - Мгновенное удаление для retention: удаление месяца данных —
DROP TABLE events_2026_01— мгновенно, без долгого DELETE, без bloat мёртвых строк, без массового VACUUM.
Критическое ограничение: партиционирование не увеличивает пропускную способность за пределы одной машины. Все записи всё равно идут на тот же primary Postgres; все чтения делят тот же CPU и RAM.
Шардирование: множество экземпляров Postgres, маршрутизация по ключу
Шардирование распределяет строки по N физически отдельным экземплярам Postgres. Каждый экземпляр держит подмножество данных. Записи и чтения для данного ключа шарда идут на Postgres того шарда — параллельный, независимый IO и CPU.
| Измерение | Партиционирование | Шардирование |
|---|---|---|
| Экземпляры Postgres | Один | Много (N) |
| Увеличивает пропускную способность записи? | Нет | Да (~N×) |
| Основное преимущество | Partition pruning, быстрый DROP для retention | Выход за потолок одной машины |
| Кросс-таблица joins | Бесплатно (всё на одном инстансе) | Дорого при кросс-шард; бесплатно при ко-локации |
| Операционный множитель | Низкий (всё ещё один инстанс) | N× операций на каждый шард |
| Доступно с | PostgreSQL 10 (декларативное) | Через расширение Citus или маршрутизацию на уровне приложения |
Как они сочетаются в продакшне
Реальные продакшн-системы обычно используют оба — партиционирование внутри каждого шарда:
Шард 0: экземпляр Postgres, хранящий tenant_id 1–500
└── таблица events: PARTITION BY RANGE (created_at)
├── events_2026_01 (январские строки для клиентов 1-500)
├── events_2026_02 (февральские строки для клиентов 1-500)
└── ...
Шард 1: экземпляр Postgres, хранящий tenant_id 501–1000
└── таблица events: те же месячные партиции
├── events_2026_01
└── ...Ключ шарда (tenant_id) маршрутизирует трафик на нужный экземпляр Postgres. Внутри этого инстанса временная партиция означает: запрос WHERE tenant_id = 42 AND created_at >= '2026-02-01' обрезается до февральской партиции. Retention — DROP PARTITION events_2026_01 на каждый шард.
Опытная интуиция: партиционировать для того, что вы бы сделали на единственной машине в любом случае (retention time-series, pruning запросов для больших таблиц); шардировать только когда пределы пропускной способности и хранилища одного Postgres измерены и доказаны как реальное ограничение.
Почему это работает
Почему Postgres поддерживает до ~1–2k партиций в OLTP-нагрузках, но ~10k в OLAP? Метаданные партиций загружаются в рабочую память планировщика при каждом запросе — большое число партиций замедляет генерацию плана. Для OLTP-запросов, касающихся одной-двух партиций, накладные расходы плана от 10k партиций доминируют над временем выполнения. OLAP-запросы, параллельно сканирующие много партиций, могут амортизировать стоимость планирования. Практический предел в OLTP — около 1–2k партиций на таблицу.
Команда добавляет PARTITION BY RANGE (created_at) к своей крупнейшей таблице. Какую проблему это решает?
В продакшн-кластере Citus каково типичное сочетание партиционирования и шардирования?
- 01Каковы два главных преимущества декларативного партиционирования таблиц в Postgres и каково его ключевое ограничение?
- 02B2B SaaS шардирует orders по tenant_id по 16 экземплярам Postgres. Каждый инстанс также партиционирует orders по месяцу created_at. Что делает запрос WHERE tenant_id = 42 AND created_at >= '2026-02-01'?
- 03Почему «партиционировать для управляемости, шардировать для мощности» — это опытная эвристика?
Партиционирование (декларативное PARTITION BY в PostgreSQL 10+) разбивает одну таблицу на подтаблицы на одном экземпляре Postgres — оно улучшает pruning запросов и делает DROP для retention мгновенным, но не увеличивает пропускную способность за пределы одной машины. Шардирование распределяет строки по N отдельным экземплярам Postgres с помощью ключа шарда, давая примерно N× пропускной способности и мощности хранилища ценой N× операционной сложности. Продакшн-системы используют оба: шардируют по tenant_id для кросс-машинной мощности и партиционируют по времени внутри каждого шарда для pruning и retention. Опытное правило: партиционировать свободно, когда таблица достаточно велика, чтобы выиграть; шардировать только после измерения и доказательства, что пределы одного Postgres — реальное бутылочное горлышко.
встречается в140
- Почему GraphQL получает N+1junior
- Механика DataLoader: батчинг на границе тикаmiddle
- Контракты batch-функции: порядок, формы, ошибкиmiddle
- Federation и lookahead: батчинг за пределами DataLoadermiddle
- Защита сложности запросов: depth, cost, persisted queriesmiddle
- Senior GraphQL API: scheduling-контракт, изоляция арендаторов, наблюдаемостьsenior
- Зачем идемпотентность: безопасные retryjunior
- Серверный state machine: четыре состояния idempotency keymiddle
- Outbox и inbox: effectively-once через dual-write границуmiddle
- Конкурентность и архитектура кеша для идемпотентности на масштабеsenior
- Наблюдаемость, production-инциденты и дизайн для глобального масштабаsenior
- Event loop: один поток, три очередиjunior
- Задачи, микрозадачи и scheduler.yield()middle
- Голодание микрозадач, длинные задачи и LoAFsenior
- Event loop Node.js: фазы, nextTick и задержка циклаsenior
- React, Vue и наблюдаемость INP в продакшенеsenior
- Render pipeline: шесть стадий от байтов до пикселейjunior
- Цена стадий и модель процесса рендерераmiddle
- Инвалидация, dirty-биты и containmiddle
- Слои композитора: продвижение, перекрытие и память GPUmiddle
- Флейм-стрип DevTools и жизненный цикл кадраmiddle
- Layout thrash: форсированная синхронная компоновкаsenior
- BeginMainFrame, анимации на потоке compositor и память GPUsenior
- Observability в проде: LoAF, INP и полная поверхность атакиsenior
- Что такое V8 и почему производительность различается в 100 разjunior
- Четырёхуровневый JIT-конвейер V8 и профилированная тиеризацияmiddle
- Hidden classes, деревья переходов и расположение в памятиmiddle
- Inline caches, состояния IC и деоптимизацияmiddle
- Orinoco GC: параллельный scavenger, конкурентная разметка и барьеры записиmiddle
- Спекулятивный движок TurboFan и ловушка deopt-loopsenior
- V8 в production: Isolates, сжатие указателей и реальные аварииsenior
- Жизненный цикл service worker и стратегии кешированияmiddle
- Граничные случаи service worker: version skew, долговременность и ловушка навигацииsenior
- Что делает реконсилер: render vs commitjunior
- Объект fiber и дерево с двойной буферизациейmiddle
- Чистота фазы render и подшаги фазы commitmiddle
- Реконсиляция: эвристики диффа и ловушка ключейmiddle
- Приоритетные lanes, time-slicing и useTransitionmiddle
- Bailout, мемоизация и tearingsenior
- React Profiler, компилятор и продакшн-наблюдаемостьsenior
- Стратегии рендеринга: SSG, SSR, ISR, streaming и гидратацияjunior
- SSG, SSR, ISR, streaming и RSC — как работает каждая стратегияmiddle
- Цена гидратации: selective, progressive, острова, resumabilitymiddle
- Hydration mismatch: причины, обнаружение и правило детерминизмаsenior
- RSC, стратегия на маршрут и production-наблюдаемостьsenior
- Core Web Vitals: что измеряют LCP, INP и CLSjunior
- CLS: почему происходят сдвиги лейаута и как их остановитьmiddle
- Трейдоффы метрик, RUM-атрибуция и цикл CI+полеsenior
- Общая картина: от URL до LCP до INP как эстафетаjunior
- Восемь слоёв трассировки: от service worker до второй навигацииmiddle
- Пять канонических поломок: где производство стабильно ломаетсяsenior
- Метод трёх треков: чтение трасс и построение системы мониторингаsenior
- Что такое cache stampede и почему он делает всё хужеjunior
- Лок и single-flight: ограничение параллельных rebuildmiddle
- XFetch: вероятностное раннее истечение без координацииmiddle
- Stale-while-revalidate и CDN request coalescingmiddle
- Детектирование stampede и дизайн TTL для продакшенаmiddle
- Метастабильный сбой, fencing-токены и production-постмортемыsenior
- Роли Raft, term и почему majority-кворум предотвращает split brainjunior
- Как Raft реплицирует log entry и решает, что его безопасно коммититьmiddle
- Выборы лидера в Raft: таймауты, правила голосования и четыре свойства безопасностиmiddle
- Raft в реальном мире: partition, медленный диск и клиентская маршрутизацияmiddle
- Расширения Raft: pre-vote, learner, snapshot и линеаризуемые чтенияsenior
- Raft в production: membership change, Multi-Raft и observabilitysenior
- Где происходит data fetching — и почему это решает LCPjunior
- Fetch waterfall''''ы — диагностика и лечение через Promise.allmiddle
- React Server Components и Suspense streamingmiddle
- Клиентский кэш: TanStack Query, SWR и stale-while-revalidatemiddle
- LCP, prefetch и race conditions в интерактивном fetchingmiddle
- Senior internals: RSC payload, слои кэша и production паденияsenior
- Трёхстороннее рукопожатие TCPjunior
- Номера последовательности и состояние соединенияmiddle
- DNS: что делает и зачем существуетjunior
- Обход резолвера: перенаправления, типы записей и gluemiddle
- TTL, кеширование и распространение DNSmiddle
- Рукопожатие за 1 RTT: key share и ECDHEmiddle
- Возобновление сессии и 0-RTTmiddle
- WebSocket: HTTP-апгрейд до постоянного соединенияjunior
- Формат WebSocket-фрейма: opcodes, маскирование, фрагментацияmiddle
- Backpressure в WebSocket: когда клиенты не успеваютmiddle
- Реконнект: jittered backoff, thundering herd, восстановление сообщенийsenior
- WebSocket в масштабе: HTTP/2 мультиплексирование, permessage-deflate, C10Msenior
- WebSocket в production: прокси, безопасность и распределённая архитектураsenior
- Что делают обратные проксиjunior
- Health checks, connection draining и slow startmiddle
- Session affinity, consistent hashing и правильное решениеmiddle
- Retry-бури, circuit breakers и load sheddingsenior
- Устойчивая архитектура LB: anycast, zone-aware маршрутизация и observabilitysenior
- Почему QUIC, а не TCP+TLSjunior
- Connection ID и миграция сетиmiddle
- Возобновление 0-RTT и шифрование пакетовsenior
- DDoS: что это и почему работаетjunior
- Атаки усиления и истощение состоянияmiddle
- Ограничение скорости: алгоритмы и архитектураmiddle
- WAF, межсетевые экраны, mTLS и HSTSmiddle
- Отравление DNS-кэша и BGP-перехватsenior
- Эшелонированная защита и экономика атакsenior
- DNS, TCP, TLS по очереди: куда уходят миллисекундыmiddle
- Перехват прокси и шлюзы безопасности: rate limiter, WAF, mTLSmiddle
- Альтернативные пути: QUIC 0-RTT, WebSocket upgrade, миграция соединенияmiddle
- Наблюдаемость: распределённые трейсы, USE/RED и семплированиеsenior
- Устойчивость: каскадные повторы, circuit breakers и error budgetsenior
- Что такое три сигнала: метрики, логи, трейсыjunior
- Зачем нужны структурные логи: дневник против таблицыjunior
- Схема продакшн-лога: поля, которые несёт каждая строкаmiddle
- PII-редакция и log injectionsenior
- OTel Logs Data Model и audit-логи как подсистемаsenior
- SLI, SLO и error budget: надёжность в числахjunior
- Error budget policy, latency SLO и составные journeysmiddle
- Продакшн-отказы SLO, самонаблюдаемость, безопасность и общая картинаsenior
- Петля инцидента: от пейджера до постмортема до предотвращенияmiddle
- Cache lines и false sharing: когда параллелизм замедляет кодmiddle
- SIMD и data layout: AoS vs SoA и разница в 4–8xmiddle
- Cache-oblivious алгоритмы, PGO и production failuressenior
- GC в production: наблюдаемость, безопасность, edge cases и управление флотомsenior
- Batching: амортизируй фиксированную цену каждой операцииjunior
- Окно батчинга: размер и время ожиданияmiddle
- Batching в Kafka и Postgresmiddle
- io_uring и наблюдаемость пакетированияmiddle
- От Nagle до io_uring: эволюция пакетированияmiddle
- Backpressure, изоляция сбоев и безопасность батчей в продакшенеsenior
- CI enforcement и RUM: делаем бюджеты рабочимиmiddle
- V8 JIT-пайплайн, HTTP-приоритеты и безопасность bundlesenior
- Цикл performance: дисциплина, а не проектjunior
- Классификация и исправление: сопоставление family bottleneck с методамиmiddle
- Observability-стек и CI gates: ловить регрессии до выпускаmiddle
- От инцидента к enforcement: SLO burn до верифицированного исправления за 35 минутmiddle
- Культура, экономика и масштаб performancesenior
- At-most-once, at-least-once, exactly-once: три контракта доставкиjunior
- Три ножки сбоя — где реально происходят дубликаты и потериmiddle
- Consumer-side dedup: самый дешёвый путь к exactly-once processingmiddle
- Kafka exactly-once semantics: idempotent producer и транзакцииmiddle
- SQS visibility timeout, DLQ и outbox patternmiddle
- Exactly-once в production: impossibility-доказательство, гибридные паттерны и реальные инцидентыsenior
- Что такое OAuth и почему пароли — не ответjunior
- Authorization code flow с PKCEmiddle
- Валидация ID-токена и управление JWKS-кешемmiddle
- Ротация refresh-токенов и scope-based least privilegemiddle
- Sender-constrained токены: DPoP и mTLSsenior
- OAuth в production: audience атаки, observability и реальные провалыsenior