Распределённые системы
Распределённый капстоун: проверка с выбором ответа
Суть Кросс-трековая синтез-проверка с выбором ответа — как кворум, выборы лидера, часы, саги и ретраи соединяются в один пайплайн, и где текут швы.
Высота — путь к senior
НольJuniorMiddleSenior
Ты на senior-высоте — в орбитеШесть вопросов, прорезающих весь трек. Каждый — решение, которое дежурный инженер принимает, когда пайплайн из по отдельности корректных сервисов всё равно выдаёт неверное число в выписке клиента. Ни один из них не определение для зубрёжки.
Цель
Убедись, что умеешь соединить кворумную репликацию, выборы лидера с fencing, логические часы, компенсации саги и дисциплину ретраев в одну систему — и найти шов, где два корректных слоя складываются в баг.
Викторина
Completed
Пайплайн заказа из четырёх сервисов иногда дважды возвращает деньги клиенту. Каждый сервис проходит свои юнит-тесты; платёжный идемпотентен для списаний; сага образцовая; у ретраев есть backoff и jitter. Где живёт баг?
Heads-up Путь возврата проходит тесты, а сервис идемпотентен для списаний. Провалы композиции — ровно те, что не ловит ни один отдельный компонент, потому что каждый слой корректен в изоляции. Баг в шве, а не в слое.
Heads-up Брокеры по дизайну доставляют at-least-once; дубликаты — это ожидаемо, а не баг брокера. Пайплайн обязан быть безопасен под дубликаты через ключи идемпотентности, а не полагаться на то, что брокер их предотвратит.
Heads-up R + W > N — это свойство, которое ты хочешь: оно даёт пересечение для read-your-write и долговечность. Оно управляет видимостью реплик, а не тем, выстрелит ли повторно компенсация.
Викторина
Completed
Оркестратор саги работает как избранный лидер. Он попадает в долгую паузу GC, его lease истекает, выбирается новый лидер — и тут старый просыпается и пытается записать шаг саги. Что реально мешает ему повредить состояние, которое новый лидер уже продвинул?
Heads-up Он не может надёжно это знать — в этом и вся проблема. Приостановленный процесс считает, что время не шло, и может думать, что всё ещё держит lease. Безопасен только ресурс, проверяющий fencing-токен против устаревшего приостановленного лидера.
Heads-up Lease ограничивает wall-clock время, но приостановленный процесс не знает, что время прошло. Точка Клеппманна: без fencing-токена устаревший лидер может проснуться после истечения lease и всё равно выдать запись.
Heads-up Backoff разносит ретраи по времени; он никак не отвергает запись от ноды, которая больше не должна писать. Отвергать устаревшую запись — задача fencing-токена, а не политики ретраев.
Викторина
Completed
Коллега предлагает упорядочивать шаги саги между сервисами сравнением wall-clock меток (Date.now()), чтобы держать порядок 'Payment до Shipping'. Почему сеньор это отвергает и какой механизм верный?
Heads-up Дело не в производительности. Проблема в корректности: физические часы на разных хостах не синхронизированы достаточно туго, чтобы установить причинный порядок, как бы быстро ни был вызов.
Heads-up NTP в лучшем случае ограничивает рассинхрон десятками миллисекунд и может шагнуть часами назад. Упорядочивание межсервисных событий на субсекундной гранулярности на это полагаться не может; нужен логический порядок.
Heads-up Один дата-центр сужает рассинхрон, но никогда его не устраняет, и шаги часов всё равно случаются. Совместное размещение уменьшает — но не убирает — потребность в логических часах или часах с ограниченной неопределённостью.
Викторина
Completed
Почему идемпотентность называют несущим примитивом пайплайна, а не просто одной из защит среди многих?
Heads-up Идемпотентность не убирает ретраи; она делает их безопасными. Потерянному запросу всё равно нужен ретрай, чтобы завершиться. Идемпотентность гарантирует отсутствие лишнего эффекта у ретрая, а не отсутствие самого ретрая.
Heads-up Доставка exactly-once по сети невозможна. То, что зовут 'exactly-once' — это доставка at-least-once плюс идемпотентная обработка по dedup-id: сеть даёт дубликаты, ключ даёт exactly-once эффекты.
Heads-up 'decrement stock by 1' от природы повторяема и всё равно неверна при повторе. Идемпотентность — не природная повторяемость, а стабильный бизнес-ключ, который получатель записывает, чтобы второе прибытие было no-op, возвращающим первый результат.
Викторина
Completed
Шторм ретраев усиливает мелкий сбой вниз по стеку до полного отказа: каждый слой повторяет слой под собой. Каков структурный фикс и какое число его якорит?
Heads-up Большие таймауты дольше держат соединения открытыми и могут усугубить шторм, накапливая запросы в полёте. Они не ограничивают множение нагрузки; только бюджет ограничивает, насколько ретраи могут добавить.
Heads-up Отсутствие backoff — ровно то, что превращает кратковременный сбой в thundering herd: синхронные мгновенные повторы усиливают нагрузку. Backoff с jitter разносит ретраи; бюджет ограничивает их сумму.
Heads-up Масштабирование ёмкости откладывает коллапс, но шторм масштабируется с трафиком и снова насыщает новую ёмкость. Долговечный фикс ограничивает усиление ретраев у источника бюджетом, а не впитыванием.
Викторина
Completed
Каждый дашборд сервиса зелёный, а пайплайн молча подводит клиентов. За каким набором сигналов сеньор реально следит, чтобы ловить провалы композиции?
Heads-up Это ровно те зелёные дашборды, что скрывают провалы композиции. Каждый компонент в порядке в изоляции; провал живёт между компонентами, чего нодовые метрики на сервис никогда не показывают.
Heads-up Error rate на краю говорит, что что-то не так, но не где, и отстаёт от причины. Сигналы швов (consumer lag, leader churn, бюджет ретраев) позволяют поймать и локализовать провал до того, как он дойдёт до края.
Heads-up Двойной возврат или застрявшая сага не двигают агрегированный throughput. Throughput слеп к провалам корректности-в-шве; алертить надо прямо на межслойные сигналы.
Итог
Сквозная линия трека — одно дерево решений: кворум делает запись долговечной, лидер с fencing-токенами делает координацию безопасной для single-writer, логические часы упорядочивают шаги причинно, саги откатывают компенсациями, потому что распределённого ACID нет, а ретраям нужен бюджет, чтобы сбой не усилился. Идемпотентность по бизнес-намерению — несущий примитив, делающий at-least-once безопасным повсюду. Реальные провалы живут в швах — ретрай, заново стреляющий компенсацией без общего ключа — и ловишь ты их на сигналах швов, а не на зелёных дашбордах на сервис.