Аппаратные счётчики и Intel TMA: диагностика подкатегорий

Flame graph называет горячую функцию. Два инженера спорят: один говорит «перепишем алгоритм», другой — «исправим раскладку памяти». На уровне flame graph оба фрейма выглядят одинаково. Запуск perf stat -e instructions,cycles,cache-misses против функции решает спор за 30 секунд: IPC 0.4, cache-miss rate 18%. Побеждает раскладка памяти. Изменение алгоритма потратило бы спринт впустую.

Аппаратные счётчики: второй проход

Flame graph называет функцию. Аппаратные счётчики производительности показывают, что функция делала внутри CPU. perf stat -e cycles,instructions,cache-misses,branch-misses на том же горячем листе даёт IPC, miss rate и типы stall.

• Широкий фрейм с IPC 3.0: compute-bound. CPU выполняет алгоритм. Семейство исправлений: алгоритм, SIMD, специализация.
• Широкий фрейм с IPC 0.4 и cache-miss rate 15%: memory-bound. CPU ждёт RAM. Семейство исправлений: изменение раскладки данных.

На flame graph одинаковая ширина — противоположные исправления. Аппаратные счётчики — это второй диагностический проход, предотвращающий оптимизацию не тем инструментом на нетривиальных горячих путях.

Intel TMA: строгая таксономия

Модель пяти форм — рабочее приближение. Строгая версия — Intel Top-Down Microarchitecture Analysis (TMA), формализованная в Intel Optimization Manual и доступная через VTune, Linux perf (через toplev.py) и аналог AMD uProf.

TMA классифицирует каждый такт CPU в четыре верхнеуровневых корзины:

• Retiring (~25–50% на оптимизированном коде): реальная работа — CPU выполнял полезные инструкции.
• Bad Speculation (~5–15%): промах предсказателя ветвлений — конвейер сброшен, инструкции отброшены.
• Front-End Bound (~5–15%): stall выборки или декодирования инструкций — CPU не успевает заполнять конвейер новыми инструкциями.
• Back-End Bound (~30–60% на типичных нагрузках): stall памяти или вычислительных ресурсов.

Back-End Bound делится дальше:

• Memory Bound → L1 Bound, L2 Bound, L3 Bound, DRAM Bound, Store Bound
• Core Bound (вычислительные порты, цепочки зависимостей, делители с большой латентностью)

Каскад точно указывает, на каком ресурсе CPU голодает на горячем пути:

• DRAM-bound → исправление раскладки данных
• Bad Speculation → устранение ветвлений
• Front-End Bound → уменьшение размера кода
• Core Bound → настоящее алгоритмическое переосмысление или SIMD

Для senior performance-работы на критических сервисах TMA — диагностика с наивысшим разрешением. Команды, поставляющие latency-sensitive инфраструктуру (HFT, database engines, kernel hot paths), считают его стандартом.

# perf stat -e cycles,instructions,cache-misses,LLC-load-misses ./service --bench feed-rank

 8,400,000,000  cycles
 3,360,000,000  instructions          #  0.40 insns per cycle (IPC)
   900,000,000  cache-misses          # 10.7% of all memory refs
   700,000,000  LLC-load-misses       # 78% of cache misses miss L3 too

# Hot function from flame graph: score_embeddings()
# Self-time: 42% CPU
# IPC: 0.40   ← CPU stalled 60% of the time
# L3 miss rate: very high — going to DRAM on most accesses