Лаборатория cache stampede

Собери read-through кэш (промах → пересчёт → заполнение) и сделай отказ видимым, а не теоретическим. Горячий ключ с фиксированным TTL — синхронизированный таймер: каждый конкурентный читатель, наблюдающий истечение в один миг, решает пересчитать, так что N читателей порождают N вызовов источника из одного события истечения. Твоя задача — это инструментировать: горячий ключ, настраиваемая стоимость пересчёта источника (например, 50–200 мс) и генератор нагрузки (k6 -c 50–200 или autocannon), бьющий в ключ через границу TTL. Зафиксируй fan-out ratio (параллельные промахи / вызовы источника) и скачок origin-QPS на временном графике — скачок и есть стампид, и без графика ты не докажешь, что следующие два этапа что-то починили. Держи кэш read-through, а не write-through: источник — авторитет, кэш лишь заполняется на промахе.

Добавь single-flight (коалесцирование запросов): когда N читателей одновременно промахиваются по одному ключу, только один полёт идёт к источнику, а остальные N-1 ждут его результата и делят его. Инвариант — ровно один вызов источника на коалесцированное окно промахов независимо от конкуренции. Два тонких момента на senior-глубине: (1) распространение ошибок — если единственный полёт падает, трансляция ошибки всем N ожидающим превращает один сбой источника в N сбоев запросов, поэтому не кешируй ошибки и позволь ожидающим ретраить независимо; (2) латентность очереди ожидания — ожидающие блокируются на время пересчёта (50–200 мс), измерь p50/p99 ожидания и убедись, что карта коалесцирования на ключ, сильно конкурирующие ключи не стопорят несвязанные ключи. Перезапусти тот же молот из этапа 1 и смотри, как fan-out схлопывается с N до 1.

Single-flight чинит стадо после его формирования; XFetch не даёт стаду сформироваться. Вероятностное раннее истечение пересчитывает горячий ключ до жёсткого TTL с вероятностью, растущей по мере приближения к истечению: пересчитывай если `now - delta * beta * log(rand()) > expiry`, где `delta` — измеренное время пересчёта источника, а `beta ≈ 1` — ручка настройки. Эффект — пересчёты размазываются по окну TTL вместо концентрации на границе, обрыв на графике origin-QPS становится склоном. Настрой beta под измеренную delta: слишком мал — редко пересчитываешь заранее (обрыв остаётся); слишком велик — пересчитываешь почти на каждом запросе (нагрузка на источник приближается к частоте промахов). Держи single-flight снизу — XFetch без коалесцирования всё равно стадит, когда два ранних пересчёта перекрываются.

Jitter и XFetch решают разные задачи, и сеньорная ошибка — их путать. Jitter TTL (например, `TTL * (0.9 + 0.2*rand())`) разносит истечение множества ключей, чтобы они не истекали в один миг — снижает межключевые столкновения, но ничего не делает для одного очень горячего ключа, который всё равно стампидит на собственном истечении независимо от jitter. XFetch размазывает пересчёт одного горячего ключа. Этот этап делает компромисс количественным: прогони TTL и beta, измерь две кривые — origin QPS (нагрузка) против staleness (как долго читатель может видеть устаревшие данные) — и построй график компромисса. Выбери дефолты, которые можешь защитить: например, 'TTL 60с + beta 1.0 + 10% jitter держат p95 staleness < 70с, пока origin QPS остаётся < 2% от частоты запросов под молотом 200'. Задокументируй, почему один jitter не починил бы случай горячего ключа из этапа 1.

Докажи end-to-end под прод-подобной нагрузкой и сделай наблюдаемым, когда оно ведёт себя плохо. Прогони полный стек (кэш + источник + single-flight + XFetch + jitter) под устойчивой k6-нагрузкой (например, 200 конкурентно, 30с, смесь горячих/холодных ключей) и найди QPS, где узким местом становится пересчёт источника, а не поиск в кэше. Снимай RED-метрики (rate запросов, hit/miss rate кэша, origin QPS, длительность пересчёта p50/p99) и трейс-span на вызов источника, чтобы собственная латентность кэша была видна в водопаде. Затем отработай инцидент: отключи XFetch или инжектируй stall источника 500 мс и смотри, как кэш усиливает его — origin QPS взлетает, hit rate падает, p99 раздувается. Обнаружь это по дашборду (не логам), смягчи (включи XFetch / добавь таймаут single-flight / сбрось нагрузку) и напиши пост-мортем на 5 строк, чья превенция — не 'добавь ещё кэша'.