Зачем circuit breaker: медленная зависимость роняет вызывающего

Платёжный провайдер во время инцидента замедляется с 50 мс до 5 с — он не падает, просто тормозит. Твой обработчик checkout зовёт его на каждый заказ и ждёт. За секунды каждый рабочий поток припаркован на 5-секундном платёжном вызове, пул потоков полон, и сервис перестаёт принимать любой запрос — включая главную страницу и листинг товаров, которые платежей вообще не касаются. Ничего не упало. Один даунстрим затормозил, твой код вежливо ждал, и ожидание расползлось, пока весь сервис не лёг. Circuit breaker — это тот элемент, который заметил бы, что платежи отказывают, и начал бы отклонять эти вызовы мгновенно — освобождая потоки и сохраняя жизнь остальному приложению.

Медленная зависимость опаснее мёртвой

Зависимость, которая отказывает в соединении, падает мгновенно — твой вызов возвращает ошибку за миллисекунду, и поток идёт дальше. Зависимость, которая принимает соединение и потом 5 секунд отвечает, гораздо хуже, потому что теперь каждый вызывающий блокируется на 5 секунд, держа дефицитные ресурсы: рабочий поток, сокет, взятое из пула соединение к БД, и часто вышестоящего вызывающего, ждущего его.

Это та же проблема занятости из юнита про пулы, теперь на слой выше. Под нагрузкой математика жестока: если обработчик держит поток 5 с вместо 50 мс, тому же трафику нужно в 100 раз больше потоков, чтобы успевать. Их никогда не хватает, поэтому запросы выстраиваются в очередь, пул потоков переполняется, и сервис уже не может обслуживать работу, никак не связанную с медленной зависимостью. Один больной даунстрим становится полным отказом — каскадным сбоем.

Быстрый отказ лучше зависания

Решение контринтуитивно: когда зависимость отказывает, самое безопасное — перестать её звать и вернуть ошибку немедленно. Вернуть отказ за 1 мс строго лучше, чем таймаут за 5 с, потому что быстрый отказ освобождает ресурсы вызывающего — поток, соединение, слот вышестоящего — на что-то полезное: обслужить другие маршруты, вернуть деградированный ответ, сбросить нагрузку. Медленный успех, который так и не придёт, всё равно стоит тебе всего, что стоил бы настоящий успех; быстрый отказ не стоит почти ничего.

Circuit breaker автоматизирует ровно это. Он стоит перед зависимостью, следит за вызовами, и когда отказы пересекают порог — размыкается: на период остывания он отклоняет вызовы мгновенно, даже не пытаясь, а потом осторожно проверяет, восстановилась ли зависимость. Имя буквальное: как электрический автомат, он размыкается, чтобы прекратить ток в неисправность, защищая всё, что подключено за ним.

Что брейкер тебе даёт

Брейкер превращает неограниченный системный сбой в ограниченный локальный. Вместо того чтобы каждый вызывающий узнавал о поломке зависимости медленным дорогим путём — ждя таймаут, — брейкер узнаёт об этом один раз, а потом коротко-замыкает всех остальных дёшево, пока зависимость не докажет, что восстановилась. Именно это изменение и останавливает один медленный сервис от заваливания остальных.