journald и journalctl

journald захватывает всё, что пишут systemd-юниты в stdout/stderr.

Когда сервис запускается под systemd, stdout и stderr юнита передаются напрямую в journald. Не нужно настраивать путь лог-файла — журнал формируется автоматически.

# Показать последние 50 строк всего журнала (новые внизу):
journalctl -n 50

# Показать логи конкретного юнита (самый важный флаг):
journalctl -u nginx.service

# Логи юнита только с текущей загрузки:
journalctl -u nginx.service -b

# Комбинированно: последние 100 строк nginx, текущая загрузка:
journalctl -u nginx.service -b -n 100

Флаг -u — рабочая лошадка. Без него получаешь весь системный журнал — сотни строк в секунду на нагруженном сервере. С ним — ровно один сервис.

Фильтрация по приоритету для снижения шума.

journald отображает уровни серьёзности syslog на числа 0–7. -p фильтрует до этого уровня и выше (меньшее число = более серьёзный).

# Уровни приоритета (число = серьёзность syslog):
# 0 emerg   1 alert   2 crit   3 err
# 4 warning  5 notice  6 info  7 debug

# Только ошибки и хуже для nginx с последней загрузки:
journalctl -u nginx.service -b -p err

# Предупреждения и хуже, все юниты:
journalctl -b -p warning

# Всё включая debug (очень подробно):
journalctl -u myapp.service -p debug

# Диапазон (например, от warning до err):
journalctl -u myapp.service -p warning..err

На практике -p err — первое, что запускаешь при сбое сервиса. Убирает шум info и notice, оставляя только произошедшее.

Временные фильтры: --since и --until.

Граница загрузки (-b) удобна, но иногда нужно конкретное окно — например, 5 минут до срабатывания алерта.

# С конкретного времени:
journalctl -u postgres.service --since "2024-03-15 14:00:00"

# Временной диапазон:
journalctl -u postgres.service \
  --since "2024-03-15 14:00:00" \
  --until "2024-03-15 14:10:00"

# Относительное время (последние 30 минут):
journalctl -u postgres.service --since "30 min ago"

# Смещения загрузок: -b 0 = текущая, -b -1 = предыдущая, -b -2 = две назад:
journalctl -u postgres.service -b -1

# Список доступных загрузок:
journalctl --list-boots

--list-boots недооценён. Показывает каждую запись загрузки с индексом — после краша и перезагрузки можно заглянуть в -b -1 и прочитать последние моменты предыдущей сессии.

Отслеживание вживую с -f.

-f следит за журналом в реальном времени — как tail -f, но для структурированных логов.

# Следить за всеми новыми записями:
journalctl -f

# Следить только за конкретным юнитом (то, что реально нужно):
journalctl -u nginx.service -f

# Следить + фильтр приоритета (только ошибки):
journalctl -u myapp.service -f -p err

# Комбинированно: ошибки от двух юнитов одновременно:
journalctl -u nginx.service -u php-fpm.service -f -p err

-f можно комбинировать со всеми флагами. -f -p err во время деплоя даёт живой поток только фатальных событий без шума.

Структурированные поля: чем journald отличается от текстовых логов.

Каждая запись журнала — это набор ключ-значение, а не строка текста. Бинарный формат хранит типизированные поля вместе с сообщением. Можно запрашивать по любому полю.

# Подробный вывод со всеми полями юнита:
journalctl -u nginx.service -o verbose | head -40
# В выводе:
#   _SYSTEMD_UNIT=nginx.service
#   PRIORITY=3
#   _PID=1234
#   _UID=0
#   _COMM=nginx
#   MESSAGE=connect() failed (111: Connection refused)...

# Запрос по конкретному значению поля (например, только от PID 1234):
journalctl _PID=1234

# Все записи от пользователя www-data:
journalctl _UID=33

# Несколько фильтров по полям (AND):
journalctl _SYSTEMD_UNIT=nginx.service _PID=1234

# Форматы вывода: short (по умолчанию), json, cat (только MESSAGE):
journalctl -u nginx.service -b -p err -o json | head -5
journalctl -u nginx.service -b -o cat

Ключевые структурированные поля: _SYSTEMD_UNIT (какой юнит), PRIORITY (0–7), _PID (ID процесса), _UID (ID пользователя), _COMM (имя команды), MESSAGE (сама строка лога). Фильтрация по _PID — то, что буквально невозможно сделать через grep в смешанном лог-файле.