Конвейер анализа логов

Начни с find для поиска файлов логов среди ротированных архивов. На продакшн-сервере обычно есть access.log, access.log.1, access.log.2.gz и так далее. find находит все; xargs передаёт их как аргументы следующей команде, а не перенаправляет содержимое — это важно, потому что некоторые команды (например, grep -h) нуждаются в именах файлов, а не в stdin.

find /var/log/nginx -name 'access.log*' -not -name '*.gz'

Вывод: список совпавших путей, разделённых переводом строки.

Добавь -mtime -1 для ограничения файлами, изменёнными за последние 24 часа — важно, когда логи ротируются ежедневно и нужны только свежие данные.

find /var/log/nginx -name 'access.log*' -not -name '*.gz' -mtime -1

Никогда не передавай вывод find напрямую в cat для длинных списков — используй xargs, чтобы объединить пути в меньшее количество вызовов grep.

Добавь grep для фильтрации по временному окну или классу ошибок. Временная метка Combined Log Format выглядит как [21/Jun/2026:03:. Ищи по префиксу часа, чтобы ограничиться периодом всплеска.

find /var/log/nginx -name 'access.log*' -not -name '*.gz' -mtime -1 \
  | xargs grep '21/Jun/2026:03:'

-h подавляет префикс имени файла в выводе grep (чище для последующего разбора):

find /var/log/nginx -name 'access.log*' -not -name '*.gz' -mtime -1 \
  | xargs grep -h '21/Jun/2026:03:'

Теперь на stdout каждый запрос, залогированный в этот час — потенциально миллионы строк, но все релевантные.

Извлеки поле кода статуса с помощью cut. Строка Combined Log Format выглядит так:

192.0.2.1 - alice [21/Jun/2026:03:47:12 +0000] "GET /api/users HTTP/1.1" 200 1234

Поля разделены пробелами. Код статуса — поле 9. cut -d' ' -f9 его извлекает.

find /var/log/nginx -name 'access.log*' -not -name '*.gz' -mtime -1 \
  | xargs grep -h '21/Jun/2026:03:' \
  | cut -d' ' -f9

Вывод: столбец кодов статуса — 200, 404, 503, … по одному на строку. Это входные данные для стадии подсчёта.

Подсчитай и ранжируй с помощью sort | uniq -c | sort -rn. Эта трёхкомандная последовательность — канонический идиом гистограммы:

1. sort — группирует одинаковые строки рядом (требование uniq)
2. uniq -c — сворачивает серии и добавляет перед каждой её счётчик
3. sort -rn — сортирует по числовому счётчику по убыванию (максимум сначала)

find /var/log/nginx -name 'access.log*' -not -name '*.gz' -mtime -1 \
  | xargs grep -h '21/Jun/2026:03:' \
  | cut -d' ' -f9 \
  | sort | uniq -c | sort -rn

Пример вывода:

   4821 200
    312 503
     87 404
     14 401

Теперь видно: 503-ошибок в этот час было 312 — это и есть сигнал. Весь конвейер работает секунды на миллионах строк.

Расширь с помощью awk для многопольного анализа и вычисленных показателей. awk — швейцарский армейский нож для обработки текста по полям. Используй его для вычисления частоты ошибок за один проход или для извлечения клиентского IP (поле 1) с целью анализа топ-«болтунов».

Топ клиентских IP во время всплеска:

find /var/log/nginx -name 'access.log*' -not -name '*.gz' -mtime -1 \
  | xargs grep -h '21/Jun/2026:03:' \
  | awk '{print $1}' \
  | sort | uniq -c | sort -rn \
  | head -10

Частота ошибок в процентах с помощью awk:

find /var/log/nginx -name 'access.log*' -not -name '*.gz' -mtime -1 \
  | xargs grep -h '21/Jun/2026:03:' \
  | awk '$9 >= 500 {err++} {total++} END {printf "5xx rate: %.1f%%\n", err/total*100}'

awk обрабатывает каждую строку за один проход — промежуточная сортировка не нужна. Используй awk, когда нужна арифметика, условия или несколько выходных столбцов. Используй sort | uniq -c, когда нужны ранжированные счётчики.