Опции TCP и типичные патологии

Вызов Redis занимает 200 мс — хотя Redis находится на том же хосте в датацентре. Нагрузки нет, таймаутов нет, ошибок нет — только 200 мс задержки на каждом маленьком запросе. Причина — взаимодействие двух дефолтных настроек TCP в худшем из возможных сочетаний, а исправление занимает одну строку.

Анатомия заголовка TCP

Каждый TCP-сегмент содержит обязательный заголовок в 20 байт плюс опциональные поля (ещё до 40 байт):

Поле опций (до 40 байт) содержит MSS, масштаб окна, SACK, метки времени и cookie TFO. Опции согласовываются только в SYN/SYN-ACK — после установки соединения набор опций фиксируется.

Поле опций TCP

Помимо MSS, масштаба окна и SACK:

Метки времени (RFC 7323): используются как для измерения RTT, так и для PAWS (защита от закольцованных порядковых номеров). PAWS предотвращает ситуацию, когда старые задержанные пакеты принимаются за новые данные при долго живущих высокоскоростных соединениях, где порядковые номера оборачиваются.

Cookie TFO также живёт в поле опций. Подробности — в уроке про SYN cookies и TFO.

Алгоритм Нейгла и delayed ACK — ловушка на 200 мс

По умолчанию TCP-отправитель группирует маленькие записи с помощью алгоритма Нейгла: не отправлять неполный сегмент, если в полёте есть неподтверждённые данные. Независимо от этого получатель задерживает ACK до 40 мс (дефолт Linux), надеясь прицепить ACK к исходящим данным приложения.

В сочетании эти два механизма создают опасное взаимодействие на паттернах «маленький запрос — маленький ответ»:

1. Клиент отправляет маленький запрос. Запрос меньше MSS.
2. TCP-стек сервера держит ACK до 40 мс, надеясь прицепить его к исходящему ответу.
3. Клиент не может отправить следующую маленькую запись, потому что Нейгл держит её (ждёт ACK первой записи).
4. Приложение сервера в конце концов отвечает, и delayed ACK срабатывает вместе с ответом.

Результат: задержка 40–200 мс на каждом маленьком интерактивном обмене.

Исправление: TCP_NODELAY=1 на сокете отключает Нейгла. gRPC, клиенты Redis, реализации HTTP/2 и любой RPC-слой, чувствительный к задержкам, устанавливают его по умолчанию. TCP_QUICKACK=1 говорит Linux немедленно подтвердить следующий сегмент (автосбрасывается после одного пакета, поэтому вызывайте его после каждого read() в плотном цикле).

Флаг PSH

Флаг PSH (push) говорит TCP-стеку получателя немедленно передать буферизованные данные приложению, не дожидаясь новых. Современные стеки передают данные приложению сразу по прибытии, поэтому PSH — это скорее подсказка, чем требование. Он устанавливается на последнем сегменте каждого write(), завершающего логическое сообщение, — полезно, когда TCP-стек ядра объединяет несколько записей приложения в один сегмент, гарантируя доставку записи получателю.

Явное уведомление о перегрузке (ECN)

Вместо сброса пакетов для сигнализации перегрузки ECN-совместимые маршрутизаторы помечают их двухбитовым кодом (CE = Congestion Experienced). В заголовке TCP зарезервированы флаги CWR (Congestion Window Reduced) и ECE (ECN-Echo). Согласование ECN происходит при обмене SYN/SYN-ACK: обе стороны объявляют поддержку через флаги ECE+CWR. При получении пакетов с меткой CE получатель устанавливает ECE для уведомления отправителя; отправитель уменьшает cwnd и устанавливает CWR в подтверждение.

ECN включён по умолчанию в Linux и macOS для соединений с надёжными адресатами. Некоторые старые промежуточные устройства сбрасывают пакеты с метками ECN — развёртывания используют обнаружение отказа и отключают ECN для таких адресатов.

Keepalive

По умолчанию TCP-соединение не отправляет пакетов в режиме простоя, поэтому соединение через NAT или файрвол может быть молча закрыто через 5–60 минут. SO_KEEPALIVE отправляет зондирующий пакет каждые tcp_keepalive_time секунд (дефолт Linux: 7200 с = 2 часа — слишком долго для использования в service mesh). Для долгоживущих RPC-соединений настройте:

• tcp_keepalive_time: 60–120 с
• tcp_keepalive_intvl: 10–30 с
• tcp_keepalive_probes: 3–5

Это позволяет обнаруживать мёртвых соседей за минуту, а не за два часа.

$ ss -tan state established | wc -l
12384
$ ss -tan state close-wait | wc -l
9821
$ ss -tan state time-wait | wc -l
1247
$ ss -s
Total: 12500
TCP:   23552 (estab 12384, closed 8920, orphaned 2, timewait 1247)
$ ps -p 1234 -o pid,stat,rss,vsz,cmd
PID STAT  RSS    VSZ CMD
1234 Ssl 8392000 12000000 /usr/bin/app-server