Alert quality and tuning

Почему стена алертов и есть настоящая уязвимость

Правило детектирования существует не для того, чтобы срабатывать; оно существует, чтобы вызвать верное действие. Между правилом и действием сидит человек с конечным бюджетом внимания, и этот бюджет — самый дефицитный ресурс во всём стеке. Как только ты это принимаешь, «у нас 600 правил и сияющий дашборд» перестаёт быть утешением и становится предупреждением: каждое малоценное правило, которое ты добавляешь, тратит то внимание, что нужно тебе для ценного.

Ловушка — в базовой частоте (base rate). В реальной среде подавляющее большинство активности легитимно. Допустим, правило помечает как подозрительное 1 событие из 1000, а среда генерирует 10 миллионов событий в день — это 10 000 алертов. Теперь допустим, правило по-настоящему хорошее, с 99% долей истинных срабатываний на реальных атаках, но реальные атаки редки: скажем, 5 настоящих вредоносных событий, спрятанных в этих 10 миллионах. Правило ловит все 5 (отличный recall), но при этом помечает, скажем, 0,1% из безобидных 10 миллионов как подозрительные — 10 000 ложных срабатываний. Твой аналитик теперь стоит перед 10 005 алертами, чтобы найти 5 настоящих. Точность (precision) = 5 / 10 005 ≈ 0,05%. Recall идеален; система всё равно бесполезна, потому что ни один человек не читает 10 005 алертов в поисках 5 иголок, прежде чем решить, что стог не стоит обыска.

Это ошибка базовой частоты в операционной форме, и именно поэтому «мы поймали, алерт сработал» — холодное утешение. Покрытие без точности не защищает тебя — оно хоронит тебя, и взлом прячется в обломках твоих же детектов.

Precision, recall и рычаг, который ты на самом деле тянешь

Два числа управляют каждым решением о тюнинге, и их смешение — самая частая ошибка зрелого инженера:

• Recall (полнота, чувствительность) — из реальных атак какую долю ты поймал? Пропустить настоящую атаку — это ложноотрицательное (false negative). Это число хоронит компании.
• Precision (точность) — из алертов, что ты выдал, какая доля была настоящей? Кричать «волки» — это ложноположительное (false positive). Это число хоронит аналитиков — а выгоревший, десенсибилизированный аналитик дальше по цепочке порождает ложноотрицательное.

Эти два связаны твоим порогом. Ослабь правило (срабатывай на слабый сигнал) — recall растёт, но precision падает — больше шума. Затяни — precision растёт, но recall падает — ты рискуешь пропустить настоящий. Тюнинг — это не «сделать так, чтобы алерты исчезли». Тюнинг — это осознанное перемещение рабочей точки вдоль этой кривой, с открытыми глазами на то, какую ошибку ты меняешь на какую. Кардинальный грех — затянуть правило, пока шум не прекратится, и не заметить, что ты затянул его за истинный позитив: купить тихую консоль ценой слепоты.

Как зрелый инженер реально тюнингует: убей, ограничь, обогати, разнеси по уровням

Ты не тюнингуешь, глобально поднимая порог, пока не станет тихо. Это и есть ход, который теряет истинный позитив. Ты тюнингуешь правило за правилом, и порядок имеет значение:

1. Убей правила, которые никогда не могут вызвать действие. Каждый алерт должен отображаться в решение: если оно сработает, что я сделаю? Правило, чей честный ответ — «ничего, мы всегда закрываем его как безобидное», — чистый налог: оно тратит внимание и приучает команду авто-отклонять. Удаление поднимает точность с нулевой ценой для recall, потому что оно изначально не ловило ни одной реальной атаки. Это самая дешёвая точность, которую ты когда-либо купишь.
2. Ограничивай, а не глуши. Сканер уязвимостей, который долбит сеть в 02:00, ночь за ночью триггерит твоё правило на сканирование портов. Неверный фикс — отключить детектирование сканирования портов. Верный фикс — ограниченное подавление (scoped suppression): исключи этот IP-источник и это окно, и алертуй, если паттерн появляется откуда угодно ещё или в любое другое время. Ты сохранил recall для атаки, что тебе важна, и убрал шум от доверенного источника. Опасность широких подавлений в том, что они гниют — доверенный IP переназначают, окно дрейфует, — поэтому у каждого подавления должен быть владелец и срок истечения, иначе оно становится постоянным слепым пятном, внутри которого может спрятаться атакующий.
3. Обогащай, чтобы аналитик решал за секунды, а не за минуты. Голое «неудачный вход с 10.2.3.4» вынуждает пятиминутное расследование. Тот же алерт, обогащённый тем, чья учётка, гео/ASN, «этот пользователь обычно входит из Берлина, а это — из хостинг-провайдера в другой стране» и ссылкой на недавнюю активность, — это решение за пять секунд. Обогащение поднимает эффективную точность: истинный позитив, тонувший в неоднозначности, теперь очевидно требует действия.
4. Разнеси по уровням серьёзности и маршрутизируй соответственно. Не каждый детект заслуживает звонка в 03:00. Сопоставь детекты с серьёзностью (тут помогает тактика ATT&CK: техника дампа учёток важнее, чем пинг-разведка) и направь низкоприоритетные, высокообъёмные сигналы на дашборд или в ежедневный дайджест, оставив пейджер для горстки тех, что действительно требуют человека сейчас. Уровни защищают бюджет внимания без потери recall — низкосигнальные события всё ещё записываются, просто не прерывают.

Как измерить, сработал ли тюнинг — а не просто стало ли тише

Более тихая консоль — не доказательство более качественной; консоль Target можно было сделать тише, удалив ровно то правило, что сработало. Поэтому ты измеряешь сделку явно:

• Прокси точности — какая доля сработавших алертов берётся в работу против авто-закрытия как безобидных? Правило, авто-закрываемое в 99% случаев, — проблема точности, которую видно, не дожидаясь атаки.
• Recall, проверяемый намеренно — нельзя измерить ложноотрицательные ожиданием (ты не знаешь, что пропустил). Ты изготавливаешь известные истинные позитивы: purple-team учения и юнит-тесты детектов, которые воспроизводят реальную технику (по ATT&CK) и утверждают, что правило срабатывает. Изменение тюнинга, ломающее purple-team детект, ловится до того, как атакующий использует ту же брешь.
• Среднее время до детектирования/триажа — обогащение и уровни должны тянуть это вниз; если MTTD растёт после прохода тюнинга, ты обменял ясность на тишину.