Cgroups: бюджет ресурсов, который ядро действительно навязывает

Контроллеры: одно дерево, учтённые ресурсы

Прежде чем выставить хоть один лимит, спроси себя: что происходит, когда он нарушается? Ответ у CPU и памяти разный — и путаница между ними это самая частая cgroups-ошибка в продакшене.

Control group (cgroup) — узел в дереве процессов, который ядро учитывает и ограничивает по каждому контроллеру (механизм учёта и принудительного ограничения одного ресурса). Современные системы работают на cgroup v2 — единой объединённой иерархии (один mount в /sys/fs/cgroup), заменившей раздельные деревья v1 по контроллерам. Контроллеры, которые волнуют рантайм контейнеров:

• cpu — cpu.max это "QUOTA PERIOD" в микросекундах: "50000 100000" значит 50 мс CPU на окно 100 мс = 0.5 ядра. cpu.weight (дефолт 100) задаёт пропорциональную долю при конкуренции.
• memory — memory.max это жёсткий лимит в байтах; memory.high — мягкий throttle, запускающий reclaim до стены; memory.low защищает минимум от reclaim.
• pids — pids.max ограничивает число процессов/потоков, прямая защита от fork-бомбы или текущего entrypoint (см. прошлый урок).
• io — io.max rate-лимитит блочный IO (BPS и IOPS) по устройству.

Вместе эти четыре контроллера покрывают каждый ресурс, которым может злоупотребить шумный сосед: процессорное время, память, слоты процессов и пропускную способность диска. Пропусти любой — и оставишь это измерение неограниченным: контейнер без pids.max, например, может fork-бомбить хост так же эффективно, как контейнер без memory.max.

runc пишет лимиты контейнера из блока linux.resources OCI-config.json в эти файлы при старте, затем перемещает PID 1 контейнера в cgroup, чтобы каждый потомок учитывался вместе. docker run -m 512m --cpus=0.5 --pids-limit=200 становится memory.max=536870912, cpu.max="50000 100000", pids.max=200. Чтение memory.current или cpu.stat изнутри или снаружи cgroup — то, как мониторинг видит реальное потребление, а не то, что показывает free, который (для cgroup-неосведомлённого инструментария) всё ещё показывает хост.

/sys/fs/cgroup/system.slice/docker-<id>.scope/
├── cpu.max          50000 100000          # 0.5 ядра
├── cpu.stat         usage_usec, nr_throttled, throttled_usec
├── memory.max       536870912             # стена 512 МиБ
├── memory.high      483183820             # ~90%, мягкий throttle
├── memory.current   421330944             # живой заряд
├── memory.events    oom 0  oom_kill 0     # растёт при каждом OOM-kill
└── pids.max         200

CPU — это квота; память — это стена

Два лимита отказывают противоположно, и смешивать их — классическая ошибка. CPU троттлится, никогда не убивается: если контейнер превышает квоту cpu.max внутри периода, ядро просто перестаёт его планировать до следующего периода — латентность скачет, nr_throttled растёт, но процесс жив. Память — жёсткая стена: перешагни memory.max, и нет «троттлить сильнее» — ядро запускает reclaim, и если не может освободить достаточно, OOM-killer в пределах cgroup шлёт SIGKILL процессу внутри cgroup. Это и есть 137 из Hook. memory.high существует именно чтобы смягчить это: выставленный ниже memory.max, он троттлит аллокации и форсирует reclaim рано, превращая жёсткое убийство в back-pressure, — но это не гарантия, стеной является только memory.max.

Почему это изоляция, а не виртуализация

Когда слышишь «изоляция контейнеров», легко представить что-то вроде VM — приватный пул ресурсов, до которого снаружи не достать. Эта модель здесь обманет.

Cgroup не даёт контейнеру свой CPU или свою RAM — она даёт ему учтённый ломоть хостовых. Нет второго пула памяти за гипервизором; memory.current заряжает те же физические страницы, которыми управляет хостовое ядро, а безлимитный контейнер (memory.max=max) конкурирует за весь хостовый RAM. В этом весь смысл дешевизны контейнеров: нет дублированного ядра, нет предзарезервированного гостевого RAM, почти нулевой оверхед — и вся причина, почему они не VM. Ядро общее, поэтому между шумным соседом и остальной нодой стоит бюджет, а не граница. Задавай бюджеты, или один контейнер без memory.max загонит хост в глобальный OOM и уронит все остальные контейнеры на машине.