Stale-while-revalidate и cache stampede

Ровно в T+3600 секунд запись кеша вашей самой популярной статьи истекает на всех edge POP одновременно. Тысяча пользователей запрашивает страницу в следующую секунду. Каждый получает cache miss. Каждый генерирует запрос к origin. Origin видит трафик в 1000× от нормы и начинает таймаутить — а поскольку часть запросов завершилась таймаутом, CDN сохранил 503-ответ как новую запись кеша. Теперь все пользователи видят 503 следующие 3600 секунд.

Проблема cache stampede

Cache stampede (он же thundering herd — гремящее стадо) происходит, когда:

1. Истекает популярный кешированный ответ.
2. Одновременно приходит много конкурентных запросов после истечения.
3. Все промахиваются по кешу и независимо обращаются к origin.
4. Origin перегружен; часть запросов завершается таймаутом.
5. CDN кеширует ответы с ошибками — ситуация ухудшается.

Без защиты коэффициент усиления равен (запросов/сек в момент истечения) × (время ответа origin). Страница с 500 req/s при 200 мс времени ответа origin может генерировать 100 одновременных запросов к origin — нагрузка в 100× от нормы.

stale-while-revalidate (SWR)

RFC 5861 определяет stale-while-revalidate=<seconds>:

Cache-Control: public, max-age=60, stale-while-revalidate=604800

После истечения max-age=60 секунд:

• Немедленно отдавать устаревший ответ всем входящим запросам.
• Отправить один фоновый запрос ревалидации к origin.
• Кеш снова становится свежим после ответа origin.
• Окно устаревания: max-age + stale-while-revalidate = 60 с + 7 дней.

Все 1000 конкурентных пользователей в T+60 по-прежнему получают ответ за ~20 мс (устаревший edge hit), тогда как origin видит ровно один запрос ревалидации. Stampede не происходит.

Trade-off: пользователи могут видеть контент, устаревший до stale-while-revalidate секунд. Для тела статьи (max-age=300, swr=3600) это означает, что контент может быть на 1 час устаревшим после истечения max-age. Для тикера срочных новостей неприемлемо — используйте короткий SWR или вообще без SWR.

stale-if-error: graceful degradation при сбое origin

RFC 5861 также определяет stale-if-error=<seconds>:

Cache-Control: public, max-age=3600, stale-if-error=86400

Когда origin возвращает 5xx или недоступен, кеш отдаёт устаревший ответ до stale-if-error секунд (1 день в примере) вместо возврата ошибки пользователям. Это CDN-эквивалент circuit breaker.

Где применять: маркетинговые страницы, документация, страницы статей — всё, где версия с задержкой в 1 день лучше, чем 503. Не применять для оформления заказа, платежей или любой операции, требующей реального времени.

Четыре стратегии защиты от stampede