Распределённые системы
Как Raft реплицирует log entry и решает, что его безопасно коммитить
Клиент отправляет SET x = 42 Raft-кластеру. Лидер дописывает это в свой лог. Но только лидер не может коммитить эту запись — ему нужно подтверждение от достаточного числа follower-ов, что они тоже её получили. Если лидер упадёт сразу после дописи, но до того как хоть один follower ответит, что происходит с записью?
Лог и AppendEntries
Лидер Raft хранит упорядоченный лог из entry. Каждый entry — тройка: (term, index, command). Когда клиент отправляет запись:
- Лидер дописывает entry в свой лог и выполняет fsync на диск.
- Лидер шлёт RPC
AppendEntriesкаждому follower, передавая: новый entry, плюс prevIndex и prevTerm — index и term entry, предшествующего новому. - Каждый follower проверяет: есть ли в моём логе entry на
prevIndexсprevTerm? Если да — дописывает и делает fsync. Если нет — отвечает mismatch. - Как только лидер получает подтверждение от большинства (включая себя), он помечает entry закоммиченным.
- Лидер пристёгивает свой commit index к следующему heartbeat. Follower-ы применяют entry до этого index к своим state machine.
| Шаг | Кто действует | Что происходит |
|---|---|---|
| 1 | Лидер | Дописывает (term=7, idx=101, cmd=“SET x=42”), fsync |
| 2 | Лидер | Шлёт AppendEntries B, C, D, E с prevIdx=100, prevTerm=7 |
| 3 | Follower-ы B, C, D, E | Каждый проверяет: idx=100 имеет term 7. Дописывает, fsync, отвечает success |
| 4 | Лидер | Получает 2 success (плюс своё = 3 из 5). Помечает idx=101 закоммиченным |
| 5 | Лидер | Отвечает клиенту success |
| 6 | Следующий heartbeat | Несёт commitIndex=101 — follower-ы применяют “SET x=42” к state machine |
Проверка целостности: Log Matching
Проверка prevIndex/prevTerm — не бюрократия, это механизм, удерживающий лог каждого follower идентичным логу лидера. Если лог follower-а расходится (потому что предыдущий лидер записал другие entry перед падением), ответ mismatch сигнализирует лидеру откатиться и повторить с более ранним prevIndex. Лидер продолжает уменьшать до нахождения последней точки согласия, затем перезаписывает расходящийся хвост follower-а своим.
Это приводит к идентичным логам, потому что: каждое закоммиченное entry в предыдущем term было сохранено большинством нод. Лог нового лидера (избранного большинством) пересекается с этим предыдущим большинством, поэтому новый лидер имеет закоммиченные entry. Незакоммиченные entry на диске старого лидера перезаписываются — они никогда не были подтверждены клиенту, поэтому потери данных нет.
Паттерн replicated state machine
Raft не интересует, что означают команды. Твоё приложение определяет state machine — key-value-маппу, дерево конфига, отношение — и команды, мутирующие её. Raft гарантирует: каждая нода применяет каждое закоммиченное entry в одном и том же порядке. Поскольку команды детерминированы, каждая state machine заканчивает в одном состоянии. Это паттерн replicated state machine: упорядоченный реплицированный лог + детерминированная state machine = консистентный распределённый сервис.
Важные следствия:
- Не используй
NOW(),random()или внешние API-вызовы внутри обработчиков команд — они нарушают детерминизм между репликами. - State machine специфична приложению; Raft агностичен к ней.
- Чтения для линеаризуемости должны идти через лидера (ReadIndex/lease, разбираются в следующем уроке); чтения с follower-ов могут вернуть stale-данные.
Follower Raft получает AppendEntries с prevIndex=50, prevTerm=4, но его лог на index 50 имеет term 3. Что делает follower?
Проследи клиентскую запись через 5-нодовый Raft-кластер
1/3Поставь шаги проверки целостности AppendEntries в правильном порядке:
- 1 Лидер выбирает следующий log index для отправки follower-у
- 2 Лидер шлёт AppendEntries с prevIndex, prevTerm и новым entry
- 3 Follower проверяет: есть ли в моём логе entry на prevIndex с prevTerm?
- 4 Если да — follower дописывает и отвечает success
- 5 Если нет — follower отвечает mismatch со своим конфликтующим index/term
- 6 Лидер уменьшает nextIndex для этого follower и повторяет с более ранним prevIndex
- 7 В итоге лидер находит последнюю точку совпадения; follower обрезает хвост и принимает версию лидера
- 01Почему log entry Raft не является закоммиченным в момент, когда лидер записывает его на диск?
- 02Follower был offline 2 минуты и пропустил 500 log entry. Он возвращается. Как он догоняет?
- 03Почему обработчики команд в Raft state machine должны быть детерминированы?
Лидер реплицирует записи через AppendEntries, который несёт проверку целостности prevIndex/prevTerm, заставляющую лог каждого follower-а сходиться к лидерскому. Entry закоммичено, когда большинство персистировало его; лидер затем транслирует commit index, чтобы follower-ы применили entry к своим state machine. Это паттерн replicated state machine: идентичные упорядоченные логи плюс детерминированные обработчики равно идентичное состояние на каждой реплике. Незакоммиченные entry от упавшего лидера безопасно отбрасывать — они никогда не были подтверждены. Стоимость fsync при каждом коммите — доминирующая операционная цена, поэтому Raft-нагрузки требуют dedicated NVMe, а не shared cloud-объёмов.
встречается в178
- Почему GraphQL получает N+1junior
- Механика DataLoader: батчинг на границе тикаmiddle
- Контракты batch-функции: порядок, формы, ошибкиmiddle
- Federation и lookahead: батчинг за пределами DataLoadermiddle
- Защита сложности запросов: depth, cost, persisted queriesmiddle
- Senior GraphQL API: scheduling-контракт, изоляция арендаторов, наблюдаемостьsenior
- Зачем идемпотентность: безопасные retryjunior
- Серверный state machine: четыре состояния idempotency keymiddle
- Outbox и inbox: effectively-once через dual-write границуmiddle
- Конкурентность и архитектура кеша для идемпотентности на масштабеsenior
- Наблюдаемость, production-инциденты и дизайн для глобального масштабаsenior
- Event loop: один поток, три очередиjunior
- Задачи, микрозадачи и scheduler.yield()middle
- Голодание микрозадач, длинные задачи и LoAFsenior
- Event loop Node.js: фазы, nextTick и задержка циклаsenior
- React, Vue и наблюдаемость INP в продакшенеsenior
- Render pipeline: шесть стадий от байтов до пикселейjunior
- Цена стадий и модель процесса рендерераmiddle
- Инвалидация, dirty-биты и containmiddle
- Слои композитора: продвижение, перекрытие и память GPUmiddle
- Флейм-стрип DevTools и жизненный цикл кадраmiddle
- Layout thrash: форсированная синхронная компоновкаsenior
- BeginMainFrame, анимации на потоке compositor и память GPUsenior
- Observability в проде: LoAF, INP и полная поверхность атакиsenior
- Что такое V8 и почему производительность различается в 100 разjunior
- Четырёхуровневый JIT-конвейер V8 и профилированная тиеризацияmiddle
- Hidden classes, деревья переходов и расположение в памятиmiddle
- Inline caches, состояния IC и деоптимизацияmiddle
- Orinoco GC: параллельный scavenger, конкурентная разметка и барьеры записиmiddle
- Спекулятивный движок TurboFan и ловушка deopt-loopsenior
- V8 в production: Isolates, сжатие указателей и реальные аварииsenior
- Жизненный цикл service worker и стратегии кешированияmiddle
- Граничные случаи service worker: version skew, долговременность и ловушка навигацииsenior
- Что делает реконсилер: render vs commitjunior
- Объект fiber и дерево с двойной буферизациейmiddle
- Чистота фазы render и подшаги фазы commitmiddle
- Реконсиляция: эвристики диффа и ловушка ключейmiddle
- Приоритетные lanes, time-slicing и useTransitionmiddle
- Bailout, мемоизация и tearingsenior
- React Profiler, компилятор и продакшн-наблюдаемостьsenior
- Стратегии рендеринга: SSG, SSR, ISR, streaming и гидратацияjunior
- SSG, SSR, ISR, streaming и RSC — как работает каждая стратегияmiddle
- Цена гидратации: selective, progressive, острова, resumabilitymiddle
- Hydration mismatch: причины, обнаружение и правило детерминизмаsenior
- RSC, стратегия на маршрут и production-наблюдаемостьsenior
- Core Web Vitals: что измеряют LCP, INP и CLSjunior
- CLS: почему происходят сдвиги лейаута и как их остановитьmiddle
- Трейдоффы метрик, RUM-атрибуция и цикл CI+полеsenior
- Общая картина: от URL до LCP до INP как эстафетаjunior
- Восемь слоёв трассировки: от service worker до второй навигацииmiddle
- Пять канонических поломок: где производство стабильно ломаетсяsenior
- Метод трёх треков: чтение трасс и построение системы мониторингаsenior
- Что такое cache stampede и почему он делает всё хужеjunior
- Лок и single-flight: ограничение параллельных rebuildmiddle
- XFetch: вероятностное раннее истечение без координацииmiddle
- Stale-while-revalidate и CDN request coalescingmiddle
- Детектирование stampede и дизайн TTL для продакшенаmiddle
- Метастабильный сбой, fencing-токены и production-постмортемыsenior
- Что такое отношение: таблицы, строки, ключи и ограниченияjunior
- Ограничения, ключи и типы данных Postgresmiddle
- Нормальные формы, денормализация и почему схемы «прилипают»middle
- JSONB, массивы и когда side table побеждаетmiddle
- Heap-хранилище, TOAST и выравнивание колонокsenior
- Целостность схемы: deferral, версионирование и сбои в продакшнеsenior
- Реляционная модель vs документные, wide-column, граф и key-valuesenior
- Index-only scan, Visibility Map и INCLUDEsenior
- Типичные сбои в продакшне и аудит индексовsenior
- pg_statistic, ANALYZE и производственная наблюдаемостьmiddle
- Производственные режимы отказа и стабильность плановsenior
- MVCC: как Postgres раздаёт согласованные снимкиjunior
- Заголовок tuple и механика снимковmiddle
- HOT-обновления и уровни изоляцииmiddle
- VACUUM, bloat и autovacuummiddle
- CLOG, XID wraparound и MultiXactsenior
- SSI и production-тюнинг autovacuumsenior
- Реальные провалы MVCC, deployment-паттерны и распределённые снимкиsenior
- Connection pool: зачем амортизировать стоимость backend Postgresjunior
- Режимы PgBouncer: session, transaction и statementmiddle
- Размер пула: формула (ядра × 2) + шпинделей и двухуровневый стекmiddle
- Исчерпание пула и idle-in-transaction: сценарий отказа в 3 ночиmiddle
- Миграция на transaction mode: план развёртывания и prepared statements в PgBouncer 1.21middle
- Процессная модель Postgres и почему увеличение max_connections снижает производительностьsenior
- Ландшафт пулеров 2026, serverless connection storms и полная таксономия отказовsenior
- Что такое миграция схемы и почему она заменяет ad-hoc DDLjunior
- ADD COLUMN: мгновенно в PG 11+ против перезаписи в старом Postgresjunior
- Режим отказа очереди блокировок: почему мгновенный DDL может заморозить базуmiddle
- Безопасные DDL-паттерны: NOT VALID, CONCURRENTLY и исправления небезопасных операцийmiddle
- Expand-contract: нулевой простой для ломающих изменений схемыmiddle
- Advisory-блокировки, инструменты миграций и координация деплояsenior
- Таксономия сбоев миграций и дисциплина продакшнаsenior
- Зачем нужно шардирование: потолок одного Postgresjunior
- Выбор ключа шарда: стратегии hash, range, list и directorymiddle
- Партиционирование против шардирования: одно слово, два разных понятияmiddle
- Ко-локация и Citus: инвариант, делающий шардирование пригодным к использованиюmiddle
- Режим отказа hot shard: обнаружение, изоляция и долгосрочная политикаmiddle
- Schema-based шардирование и альтернативы мультиарендностиsenior
- Онлайн-решардинг, 2PC и операционная стоимость шардированияsenior
- Семь актов: от CREATE TABLE до Citusjunior
- Акты 1–3 в глубину: схема, индексы и статистика планировщикаmiddle
- Акты 4–6 в глубину: MVCC bloat, connection pooling и безопасные миграцииmiddle
- Акт 7 в глубину: шардинг, co-location и семиуровневый каскад трейдоффовmiddle
- Наблюдаемость, антипаттерны и производственный триажsenior
- Где происходит data fetching — и почему это решает LCPjunior
- Fetch waterfall''''ы — диагностика и лечение через Promise.allmiddle
- React Server Components и Suspense streamingmiddle
- Клиентский кэш: TanStack Query, SWR и stale-while-revalidatemiddle
- LCP, prefetch и race conditions в интерактивном fetchingmiddle
- Senior internals: RSC payload, слои кэша и production паденияsenior
- Трёхстороннее рукопожатие TCPjunior
- Номера последовательности и состояние соединенияmiddle
- DNS: что делает и зачем существуетjunior
- Обход резолвера: перенаправления, типы записей и gluemiddle
- TTL, кеширование и распространение DNSmiddle
- Рукопожатие за 1 RTT: key share и ECDHEmiddle
- Возобновление сессии и 0-RTTmiddle
- WebSocket: HTTP-апгрейд до постоянного соединенияjunior
- Формат WebSocket-фрейма: opcodes, маскирование, фрагментацияmiddle
- Backpressure в WebSocket: когда клиенты не успеваютmiddle
- Реконнект: jittered backoff, thundering herd, восстановление сообщенийsenior
- WebSocket в масштабе: HTTP/2 мультиплексирование, permessage-deflate, C10Msenior
- WebSocket в production: прокси, безопасность и распределённая архитектураsenior
- Что делают обратные проксиjunior
- Health checks, connection draining и slow startmiddle
- Session affinity, consistent hashing и правильное решениеmiddle
- Retry-бури, circuit breakers и load sheddingsenior
- Устойчивая архитектура LB: anycast, zone-aware маршрутизация и observabilitysenior
- Почему QUIC, а не TCP+TLSjunior
- Connection ID и миграция сетиmiddle
- Возобновление 0-RTT и шифрование пакетовsenior
- DDoS: что это и почему работаетjunior
- Атаки усиления и истощение состоянияmiddle
- Ограничение скорости: алгоритмы и архитектураmiddle
- WAF, межсетевые экраны, mTLS и HSTSmiddle
- Отравление DNS-кэша и BGP-перехватsenior
- Эшелонированная защита и экономика атакsenior
- DNS, TCP, TLS по очереди: куда уходят миллисекундыmiddle
- Перехват прокси и шлюзы безопасности: rate limiter, WAF, mTLSmiddle
- Альтернативные пути: QUIC 0-RTT, WebSocket upgrade, миграция соединенияmiddle
- Наблюдаемость: распределённые трейсы, USE/RED и семплированиеsenior
- Устойчивость: каскадные повторы, circuit breakers и error budgetsenior
- Что такое три сигнала: метрики, логи, трейсыjunior
- Зачем нужны структурные логи: дневник против таблицыjunior
- Схема продакшн-лога: поля, которые несёт каждая строкаmiddle
- PII-редакция и log injectionsenior
- OTel Logs Data Model и audit-логи как подсистемаsenior
- SLI, SLO и error budget: надёжность в числахjunior
- Error budget policy, latency SLO и составные journeysmiddle
- Продакшн-отказы SLO, самонаблюдаемость, безопасность и общая картинаsenior
- Петля инцидента: от пейджера до постмортема до предотвращенияmiddle
- Cache lines и false sharing: когда параллелизм замедляет кодmiddle
- SIMD и data layout: AoS vs SoA и разница в 4–8xmiddle
- Cache-oblivious алгоритмы, PGO и production failuressenior
- GC в production: наблюдаемость, безопасность, edge cases и управление флотомsenior
- Batching: амортизируй фиксированную цену каждой операцииjunior
- Окно батчинга: размер и время ожиданияmiddle
- Batching в Kafka и Postgresmiddle
- io_uring и наблюдаемость пакетированияmiddle
- От Nagle до io_uring: эволюция пакетированияmiddle
- Backpressure, изоляция сбоев и безопасность батчей в продакшенеsenior
- CI enforcement и RUM: делаем бюджеты рабочимиmiddle
- V8 JIT-пайплайн, HTTP-приоритеты и безопасность bundlesenior
- Цикл performance: дисциплина, а не проектjunior
- Классификация и исправление: сопоставление family bottleneck с методамиmiddle
- Observability-стек и CI gates: ловить регрессии до выпускаmiddle
- От инцидента к enforcement: SLO burn до верифицированного исправления за 35 минутmiddle
- Культура, экономика и масштаб performancesenior
- At-most-once, at-least-once, exactly-once: три контракта доставкиjunior
- Три ножки сбоя — где реально происходят дубликаты и потериmiddle
- Consumer-side dedup: самый дешёвый путь к exactly-once processingmiddle
- Kafka exactly-once semantics: idempotent producer и транзакцииmiddle
- SQS visibility timeout, DLQ и outbox patternmiddle
- Exactly-once в production: impossibility-доказательство, гибридные паттерны и реальные инцидентыsenior
- Что такое OAuth и почему пароли — не ответjunior
- Authorization code flow с PKCEmiddle
- Валидация ID-токена и управление JWKS-кешемmiddle
- Ротация refresh-токенов и scope-based least privilegemiddle
- Sender-constrained токены: DPoP и mTLSsenior
- OAuth в production: audience атаки, observability и реальные провалыsenior