queues
Очереди, потоки, события
Как части системы передают работу через очереди сообщений, а не ждут друг друга — чтобы оставаться быстрыми и пережить сбой, не потеряв ни одного сообщения.
Начать трек → 00
С нуля
Перед senior-материалом: что вообще такое очередь сообщений и горстка слов, которые остальной трек считает уже знакомыми. 01
Гарантии доставки: at-most-once, at-least-once и правда об exactly-once
Exactly-once delivery невозможна (Two Generals). At-least-once + идемпотентный consumer = effectively-once. Kafka транзакции, SQS visibility timeout и outbox-паттерн — production-инструменты. 01 At-most-once, at-least-once, exactly-once: три контракта доставки 8 мин 02 Три ножки сбоя — где реально происходят дубликаты и потери 10 мин 03 Consumer-side dedup: самый дешёвый путь к exactly-once processing 12 мин 04 Kafka exactly-once semantics: idempotent producer и транзакции 12 мин 05 SQS visibility timeout, DLQ и outbox pattern 11 мин 06 Exactly-once в production: impossibility-доказательство, гибридные паттерны и реальные инциденты 14 мин 07 Гарантии доставки: тест с выбором ответа 13 мин 08 Гарантии доставки: тест на свободное припоминание 13 мин 09 Гарантии доставки: чтение кода и логов 14 мин 10 Гарантии доставки: построй краш-устойчивый платёжный консьюмер 240 мин
02
Kafka partitions
Как Kafka распределяет сообщения по partitions, назначает членов consumer group и почему количество partitions — это решение в одну сторону. 01 Kafka partitions: единица параллелизма, порядка и дверь в одну сторону 17 мин 02 Partition в Kafka: тест с множественным выбором 13 мин 03 Partition в Kafka: тест на свободное воспроизведение 14 мин 04 Partition в Kafka: чтение кода и конфигов 14 мин 05 Partition в Kafka: сломать и починить порядок по key 240 мин
03
RabbitMQ exchanges и маршрутизация
Direct, fanout, topic и headers exchanges — как binding keys маршрутизируют сообщения и где каждый паттерн применяется на production. 01 RabbitMQ exchanges: слой маршрутизации, который решает, кому достанется копия 16 мин 02 RabbitMQ exchanges: тест с выбором ответа 12 мин 03 RabbitMQ exchanges: тест на припоминание 13 мин 04 RabbitMQ exchanges: чтение конфигов и маршрутизации 14 мин 05 RabbitMQ exchanges: построй маршрутизирующую ткань событий заказов 240 мин
04
Гарантии порядка сообщений
Почему полный порядок дорог, как Kafka обеспечивает FIFO на уровне partition и практические паттерны сохранения порядка в distributed consumers. 01 Порядок сообщений: полный порядок — налог на throughput, частичный — честная сделка 16 мин 02 Порядок сообщений: тест с выбором ответа 12 мин 03 Порядок сообщений: тест на свободное воспроизведение 13 мин 04 Порядок сообщений: чтение кода и конфига 14 мин 05 Порядок сообщений: построй consumer, переживающий порядок 240 мин
05
Паттерн transactional outbox
Атомарная запись строки БД и сообщения — как outbox-таблица, polling relay и CDC устраняют проблему двойной записи. 06
Change-Data Capture
Чтение write-ahead log базы данных для стриминга каждого изменения строки как события — Debezium, Postgres logical replication и операционные ловушки. 01 Change-Data Capture: стриминг write-ahead log без переполнения диска 16 мин 02 Change data capture: тест с выбором ответа 12 мин 03 Change data capture: тест на воспроизведение 13 мин 04 Change data capture: чтение конфига и запросов 14 мин 05 Change data capture: запусти CDC и переживи застрявший slot 240 мин
07
UX при eventual consistency
Optimistic UI, разрешение конфликтов, индикаторы прогресса и возможности повтора — как сделать асинхронные системы отзывчивыми для пользователей. 01 UX поверх async-бэкендов: optimistic UI, состояния ожидания, read-your-writes 17 мин 02 UX при eventual consistency: тест с выбором ответа 13 мин 03 UX при eventual consistency: свободное припоминание 14 мин 04 UX при eventual consistency: чтение кода 14 мин 05 UX при eventual consistency: сделай асинхронный бэкенд мгновенным 240 мин
08
Всё вместе: event-driven service mesh
Сквозное проектирование pipeline обработки заказов — outbox, Kafka topics, consumer groups, CDC, dead-letter queues и observability. 01 Сквозной pipeline заказов: где живёт каждая гарантия доставки 17 мин 02 Капстоун очередей: тест с выбором ответа 13 мин 03 Капстоун очередей: тест на свободное припоминание 14 мин 04 Капстоун очередей: чтение кода и конфигурации 14 мин 05 Капстоун очередей: собери pipeline обработки заказов 240 мин
Проекты по этому треку
Guided-проекты, которые закрепляют изученное здесь.
Очередь задач at-least-once
Собери долговечную очередь задач на Postgres с visibility timeout и идемпотентными консьюмерами, чтобы упавший воркер не терял задачу.
Совместные курсоры
Показать живой курсор и выделение каждого подключённого пользователя в общем документе, без конфликтов, через WebSocket.
Планировщик задач
Планировщик задач cron + backoff с доставкой at-least-once, идемпотентными обработчиками и visibility timeout — чтобы ни одна задача не терялась молча, даже при краше воркера на середине выполнения.
Распределённые системы
Что ломается, когда система работает на множестве машин, — и как они договариваются, остаются доступными и не усугубляют сбои. Продвинутый уровень; сначала освойся хотя бы с одним бэкендом.