Inline caches, состояния IC и деоптимизация

Одна строка кода — p.x — может выполниться за 1 такт CPU или за 100 тактов в зависимости от того, сколько разных форм объектов через неё прошло. Структура, принимающая это решение, называется inline cache, и её состояние — самое важное число производительности, которое DevTools по умолчанию не показывает.

Как работают inline caches

Каждый доступ к свойству в JS — полиморфная операция: объект может быть любой формы. V8 генерирует крохотный кэш для каждой точки вызова: когда строка выполняется первый раз, V8 записывает увиденный hidden class и смещение свойства для него. В следующий раз, когда та же строка выполняется с объектом того же hidden class, V8 читает свойство по записанному смещению напрямую — 5–10 тактов CPU. Никаких хеш-поисков, проверок типов, одна инструкция MOV.

Конечный автомат IC

Состояние IC живёт в слоте FeedbackVector для этой строки источника. Переходы односторонние — в сторону megamorphic:

Функция может иметь сотни IC-слотов. Один megamorphic-сайт не убивает всю функцию, но горячий цикл с megamorphic доступом к свойству убивает тело своего цикла.

Деоптимизация

Когда TurboFan оптимизирует функцию, он встраивает предположения: «этот аргумент всегда smi», «свойство z этого объекта всегда число», «этот цикл никогда не переполняет 32-битные индексы». Защита (guard) вставляется при каждом предположении. Если во время выполнения защита не срабатывает, V8 деоптимизирует: выбрасывает скомпилированный код, восстанавливает состояние интерпретатора из оптимизированного стека кадра и возобновляет выполнение в Ignition (или Sparkplug). Функция может позже подняться снова, но сам deopt стоит ~микросекунды.

Частые триггеры deopt:

• Передача другого типа в ранее типизированный аргумент
• Индексирование за пределами массива
• Получение NaN в числовой операции
• Доступ к удалённому свойству

Флаги Chrome DevTools --trace-opt --trace-deopt показывают deopt’ы. %OptimizationStatus(fn) при --allow-natives-syntax в d8 показывает текущий уровень.