sort и uniq

sort упорядочивает строки лексически по умолчанию. Лексический порядок сравнивает символ за символом по значениям ASCII/Unicode. Это означает, что 10 сортируется перед 9, потому что '1' < '9' как символы — классическая ловушка.

printf '10\n9\n100\n2\n' | sort
# 10
# 100
# 2
# 9

Строки в ASCII-порядке (цифры сравниваются слева направо как символы). Для алфавитной сортировки строк это правильно, для числовых значений — нет.

-n переключает на численную сортировку. Числа разбираются как значения, а не последовательности символов.

printf '10\n9\n100\n2\n' | sort -n
# 2
# 9
# 10
# 100

Всегда используй -n, когда данные — столбец чисел. Забыть -n — одна из самых распространённых ошибок в sort внутри шелл-скриптов.

-r разворачивает порядок сортировки. В сочетании с -n даёт порядок от большего к меньшему.

printf '10\n9\n100\n2\n' | sort -rn
# 100
# 10
# 9
# 2

-u дедуплицирует: sort -u аналогично sort | uniq, но быстрее, потому что дедупликация происходит во время прохода сортировки.

printf 'b\na\nb\nc\na\n' | sort -u
# a
# b
# c

Используй sort -u, когда нужны только уникальные значения; используй sort | uniq -c, когда нужны уникальные значения со счётчиками.

-k N сортирует по полю N. По умолчанию sort считает пробельные символы разделителями полей. -k2 сортирует по второму разделённому пробелами полю; -k2,2 сортирует только по полю 2 (без -k2,2 сортировка продолжается по последующим полям как по критериям разрыва связей).

cat sizes.txt
# 150M  /var/log
# 2G    /usr
# 800M  /home
sort -k1 sizes.txt          # лексически по размеру: 150M, 2G, 800M (неверный порядок)
sort -k2 sizes.txt          # лексически по пути: /home, /usr, /var/log

Для численной сортировки по полю объедини -k с -n:

# Сортировать лог доступа по размеру ответа (поле 10 в Combined Log Format)
sort -k10 -n access.log | tail -5

Пять самых больших ответов в конце — в конце численно отсортированного списка. Добавь -r, чтобы поставить самый большой первым.

Для пользовательского разделителя добавь -t:

sort -t: -k3 -n /etc/passwd

Сортировать /etc/passwd по UID (поле 3), численно, с : как разделителем.

uniq -c подсчитывает последовательные одинаковые строки. Ему необходим отсортированный ввод — uniq сравнивает каждую строку только с непосредственно предыдущей. Если одинаковые строки не соседствуют, каждая группа получает свой счётчик.

printf 'error\nwarn\nerror\n' | uniq -c
# 1 error
# 1 warn
# 1 error          ← подсчитана отдельно, так как не соседствует

После sort:

printf 'error\nwarn\nerror\n' | sort | uniq -c
# 2 error
# 1 warn

Теперь обе строки error соседствуют, поэтому они свёртываются в один счётчик 2.

Идиома топ-N: sort | uniq -c | sort -rn. Три стадии работают вместе:

1. sort — сделать одинаковые строки соседними.
2. uniq -c — подсчитать каждую группу, производя строки вида 4 error.
3. sort -rn — отсортировать численно в обратном порядке, чтобы элемент с наибольшим счётчиком был первым.

Добавь | head -10, чтобы получить топ 10.

# Топ-10 IP-адресов в лог доступа nginx (IP — поле 1)
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -10

# Топ HTTP-кодов состояния
awk '{print $9}' access.log | sort | uniq -c | sort -rn

Формат вывода uniq -c: счётчик, затем пробел, затем значение. Второй sort -rn сортирует по счётчику, потому что он — первое поле. Эта идиома переносима в любую область: типы ошибок, user agent’ы, хэши SQL-запросов, названия событий.