Подсчёт и нарезка

wc считает строки, слова и байты. Название расшифровывается как «word count» (подсчёт слов), но считает больше, чем слова.

wc /etc/passwd

Вывод:

 45  90 2751 /etc/passwd

Три числа: количество строк, слов, байт. Флаги позволяют выбрать одно:

wc -l /etc/passwd     # только количество строк
wc -w /etc/passwd     # только количество слов
wc -c /etc/passwd     # только количество байт

wc -l на сегодняшний день наиболее распространён: «сколько строк это производит?»

ls /etc | wc -l

Подсчитать количество записей в /etc.

head и tail срезают первые или последние N строк. По умолчанию оба показывают 10 строк. Используй -n N для изменения количества.

head -n 5 /etc/passwd     # первые 5 строк
tail -n 5 /etc/passwd     # последние 5 строк

tail -f следует за файлом по мере его роста — незаменим для просмотра логов в реальном времени:

tail -f /var/log/syslog

Новые строки появляются по мере добавления. Нажми Ctrl+C для остановки.

Оба инструмента работают с конвейерами:

ls /etc | head -n 10    # первые 10 записей
ls /etc | tail -n 10    # последние 10 записей

sort упорядочивает строки по алфавиту по умолчанию. Он читает весь ввод, сортирует его, затем выводит. Ключевые флаги:

• -r — обратный порядок (Я→А, или наибольшее→наименьшее с -n)
• -n — числовая сортировка (чтобы “10” шёл после “9”, а не перед “2”)
• -k N — сортировка по полю N (разбиение по пробелам)
• -u — уникальный: выводить каждое значение только один раз (как sort | uniq)

ls /etc | sort           # по алфавиту
ls /etc | sort -r        # в обратном алфавитном порядке
cat numbers.txt | sort -n   # в числовом порядке

sort -n критически важен, когда хочешь ранжировать по счётчику: без него “10” сортировался бы перед “2”, потому что “1” < “2” лексикографически.

uniq -c сворачивает последовательные одинаковые строки в одну с префиксом — счётчиком. Ключевое слово — последовательные: uniq обнаруживает только соседние дубликаты. Вот почему сначала должен идти sort: он сводит все одинаковые строки вместе, чтобы uniq мог их посчитать.

printf 'apple\nbanana\napple\ncherry\nbanana\napple\n' | sort | uniq -c

После сортировки поток: apple apple apple banana banana cherry.

Вывод uniq -c:

      3 apple
      2 banana
      1 cherry

Число дополняется пробелами слева по умолчанию. Формат: <счётчик> <значение>.

Классический конвейер частот: sort | uniq -c | sort -rn | head. Этот четырёхступенчатый шаблон находит наиболее распространённые элементы в любом потоке:

1. sort — группировать одинаковые элементы вместе.
2. uniq -c — подсчитать каждую группу.
3. sort -rn — сортировать числово в обратном порядке (наибольший счётчик первым).
4. head -n 10 — взять топ-10.

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -n 10

Это извлекает поле IP (поле 1 в логах nginx), подсчитывает появления каждого IP и показывает топ-10 — клиентов, делающих больше всего запросов. Тот же четырёхступенчатый шаблон работает с любым текстом: HTTP-коды состояния, user agents, сообщения об ошибках, авторы git-коммитов и т.д.