Измерительный цикл: микробенч, макробенч, prod-профиль, эффект наблюдателя

Инженер переписывает горячую функцию на ассемблере. Микробенчмарк показывает 8x ускорение. Задеплоенный сервис стал быстрее на 3%. Production-профиль предсказал бы этот результат за 60 секунд — до переписывания.

Три области измерения

Микробенчмарк — одна функция в изоляции, без нагрузки, без I/O, повторяется миллионы раз. Инструменты: testing.B в Go, JMH для Java, Criterion для Rust, Benchmark.js. Лучший для: сравнения двух реализаций одного примитива (какая хэш-функция быстрее?). Лжёт когда: используется для предсказания задержки на уровне приложения — функция может занимать 4% production-времени вне зависимости от её изолированной скорости.

Макробенчмарк — полная система под синтетической нагрузкой, имитирующей продакшен. Инструменты: k6, JMeter, locust, vegeta. Лучший для: валидации end-to-end поведения перед выкаткой. Лжёт когда: синтетическая нагрузка не отражает реальный трафик (микс запросов, размеры тел, состояние кэша).

Production-профиль — непрерывное профилирование с накладными расходами 2-5%, захватывающее реальный трафик, реальное состояние кэша, реальный параллелизм. Лучший для: честного поиска следующего узкого места. Ограничение: можно запускать только в продакшене, поэтому он не ответит «поможет ли это изменение» до выкатки.

Рабочий процесс сеньора использует все три: микробенч для сравнения альтернатив, макробенч для end-to-end валидации, prod-профиль для поиска следующей цели.

Эффект наблюдателя

Каждое измерение возмущает систему.

Сэмплирующий профайлер на 100 Гц добавляет 0.5-2% накладных расходов от обхода стеков. На 1000 Гц — до 10%. Инструментирующие профайлеры (таймит каждый вход/выход из функции) добавляют 20-100% в JIT-рантаймах, потому что оптимизатор больше не может инлайнить теперь обёрнутые функции. Debug-сборка с хуками профайлера ведёт себя совсем не как release-сборка.

Следствие: выбирай измерение, которое минимально возмущает систему для данного вопроса. Используй сэмплирующие профайлеры для продакшена. Используй инструментирующие профайлеры для плотных микробенчмарков, где важны точные счётчики вызовов.

Всегда измеряй дважды: один раз без профайлера, один — с ним, и проверь, что основная метрика (throughput, latency p99) отличается не более чем на 5%. Если отличается больше — профайлер наблюдает другую систему, чем та, что работает в продакшене.

Полный измерительный цикл детально

«Сначала профиль» — не разовое действие, а повторяющийся цикл.

1. Воспроизведи медленный сценарий под реалистичной нагрузкой — replay production-трафика, нагрузочный тест на staging или живая канарейка.
2. Сними baseline-профиль достаточной длительности для статистической значимости (30 секунд при 100 Гц дают 3000 сэмплов — типичный минимум).
3. Прочитай профиль — назови hotspot конкретными цифрами: «функция X потребляет 38% CPU; вызывается по пути Y; средний self-time 220 мс на запрос».
4. Сформулируй одну гипотезу о фиксе и предскажи ожидаемое ускорение по закону Амдала.
5. Примени фикс изолированно — только то изменение, которое предсказал.
6. Сними новый профиль под той же нагрузкой и сравни с baseline; убедись, что hotspot уменьшился на предсказанную величину.
7. Выкати и наблюдай продакшен. Пропуск любого шага возвращает цикл в режим угадывания.