основы awk

awk разбивает каждую строку на поля $1, $2, … $NF. По умолчанию разбиение идёт по пробельным символам (любой набор пробелов или табуляций). $0 — вся строка; $NF — последнее поле независимо от их количества; $(NF-1) — предпоследнее.

echo "alice  admin  1024" | awk '{print $1, $3}'
# alice 1024

Запятая в print $1, $3 выводит поля, разделённые выходным разделителем полей (по умолчанию пробел). Без запятой — print $1 $3 — поля конкатенируются без разделителя.

-F задаёт пользовательский разделитель входных полей:

awk -F: '{print $1, $7}' /etc/passwd

Разбивает по : вместо пробелов. Теперь $1 — имя пользователя, $7 — оболочка — те же колонки, что извлекает cut -d: -f1,7, но с куда большими возможностями в действии.

NR — номер текущей записи (строки); NF — количество полей в текущей записи.

awk '{print NR, NF, $0}' /etc/passwd | head -3
# 1 7 root:x:0:0:root:/root:/bin/bash
# 2 7 daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
# 3 7 bin:x:2:2:bin:/bin:/usr/sbin/nologin

NR полезен для: пропуска заголовков (NR > 1), вывода каждой N-й строки (NR % 10 == 0), нумерации строк вывода.

NF полезен для: обнаружения некорректных строк (NF != 7), доступа к последнему полю ($NF), или фильтрации строк с минимальным количеством колонок.

# Пропустить заголовок CSV (строка 1) и вывести строки ровно с 5 полями
awk -F, 'NR > 1 && NF == 5 {print $2, $4}' data.csv

Пары шаблон/действие: шаблон { действие }. Шаблон — любое выражение; действие выполняется только когда шаблон истинен. Любая из частей необязательна:

• Без шаблона: действие выполняется для каждой записи.
• Без действия: действие по умолчанию — {print $0} — вывести всю строку.

# Вывести строки, где поле 3 (размер ответа) > 10000
awk '$3 > 10000 {print $1, $3}' access.log

# Вывести строки, содержащие 'ERROR' (шаблон — регулярное выражение)
awk '/ERROR/ {print NR, $0}' app.log

# Вывести строки, НЕ совпадающие с шаблоном
awk '!/DEBUG/' app.log

В одной программе awk можно иметь несколько пар шаблон/действие — awk вычисляет каждую пару для каждой записи, выполняя все совпадающие действия по порядку. Это отличается от if/else: несколько шаблонов могут совпасть с одной записью.

Блоки BEGIN и END выполняются один раз — до и после всего ввода.

• BEGIN { ... } — инициализировать переменные, вывести заголовок, задать FS (разделитель полей).
• END { ... } — вывести итоги, средние значения, сводки.

awk 'BEGIN { total = 0 }
     { total += $3 }
     END { print "Total bytes:", total }' access.log

total инициализируется в 0 в BEGIN. Для каждой строки total += $3 накапливает третье поле. После всех строк END выводит итог. Это шаблон аккумулятора awk — без промежуточной сортировки и внешних инструментов.

Задание FS в BEGIN эквивалентно -F:

awk 'BEGIN { FS = ":" } { print $1, $7 }' /etc/passwd

Объединение шаблонов, аккумуляторов и END для настоящих сводок.

# Подсчитать строки по HTTP-коду в логе nginx
awk '{status[$9]++}
     END { for (code in status) print status[code], code }' access.log \
  | sort -rn

status[$9]++ использует $9 (поле кода состояния) как ключ ассоциативного массива и увеличивает его счётчик. После всего ввода END итерирует массив с for (ключ in массив) и выводит каждый код со счётчиком. Пайп в sort -rn даёт ранжированную таблицу.

Средний размер ответа по коду состояния:

awk '{count[$9]++; total[$9]+=$10}
     END { for (c in count) printf "%s  avg=%.0f\n", c, total[c]/count[c] }' access.log

Два параллельных массива, один проход по файлу. Это шаблон, для которого обычно тянешься к pandas или SQL; awk справляется за одну строку.