Тегирование указателей и сжатие указателей

Схема тегирования, точно

Мы видели, что младший бит слова-значения — это тег. Теперь точная договорённость, обратная тому, что предполагают новички:

• Smi: младший бит 0. Целое занимает старшие биты. Маскирование не нужно, чтобы использовать целое в тегированной арифметике.
• Указатель на HeapObject: младший бит 1. Настоящий адрес — это слово с этим сброшенным битом.

Это работает, потому что аллокации в куче выровнены (минимум на границу слова), так что настоящий адрес всегда оканчивается на …000. V8 прибавляет 1, помечая его как указатель. Чтобы разыменовать, движок сбрасывает младший бит — один AND / вычитание:

// Концептуальное снятие тега (настоящее разыменование в V8 — одна инструкция):
const TAG = 1;
function isPointer(word) { return (word & TAG) === 1; }
function untag(word)     { return word & ~TAG; }   // сбросить тег-бит -> настоящий адрес
// затем загрузить по полученному адресу

Итак, цена динамической типизации: один битовый тест для классификации и одна маска перед любым обращением к объекту. Всё в V8 устроено так, чтобы эти две операции были по сути бесплатными на горячем пути.

Почему указатели были крупнейшей статьёй расхода кучи

Объектно-ориентированный JavaScript насыщен указателями. Подумайте, что держит типичный граф объектов: первое слово каждого HeapObject — это указатель (его Map). Каждое свойство, которое само является объектом, — указатель. Массивы объектов — это массивы указателей. Связанный список, дерево, граф fibre в React — подавляюще указатели.

На 64-битной машине каждый из этих указателей — 8 байт. Но почти никакой реальной программе не нужно 64-битное адресное пространство под её кучу JS — нескольких гигабайт вполне достаточно. Поэтому 4 из этих 8 байт на практике всегда нули. На графе с миллионами указателей это много потраченной памяти и потраченного кэша: каждая кэш-линия держит вдвое меньше полезных указателей, чем могла бы.

Сжатие указателей: 32-битные смещения в клетке

V8 8.0 (вышел в 2020, по умолчанию в Chrome и Node с тех пор) исправил это сжатием указателей (pointer compression). Идея:

1. Разместить всю кучу JS внутри единой выровненной на 4GB области — клетки (cage). Её начальный адрес — это base, хранимый в выделенном регистре.
2. Хранить каждый указатель на HeapObject не как полный 64-битный адрес, а как 32-битное смещение от base.
3. Чтобы разыменовать, реконструировать настоящий адрес как base + offset — один add относительно регистра base.

Вместе эти три шага означают, что через память путешествует только 32-битное смещение — общий base никогда не покидает свой регистр. Без шага 1 (выровненной клетки) не было бы общего base; без шага 3 нельзя было бы восстановить полный адрес без его хранения. Уберите любой из шагов — и вы теряете либо экономию в 4 байта, либо возможность разыменовывать вообще.

Сжатый указатель — 4 байта вместо 8. Тег Smi/указателя по-прежнему живёт в младшем бите 32-битного значения, поэтому схема чисто композируется с тегированием.

Выигрыш велик и был измерен на реальных нагрузках:

• Размер кучи упал ~40% на типичных веб- и Node-нагрузках — потому что куча так сильно состоит из указателей.
• Локальность кэша улучшилась, поскольку вдвое больше указателей умещается в кэш-линию, что часто ускоряет код, гоняющийся за указателями, несмотря на лишний add.

Цена: лимит 4GB и один add

Бесплатного нет. Цена сжатия указателей:

• Жёсткий лимит кучи 4GB на изолят. 32-битное смещение может адресовать только 4GB. Если вам действительно нужна большая куча JS в одном изоляте, придётся собрать V8 со сжатием, выключенным (или использовать несколько изолятов / воркер-потоков, у каждого своя клетка). Почти для всех приложений 4GB — гораздо больше, чем нужно; для немногих гигантов обработки данных — это реальная стена.
• Шаг разжатия. Каждая загрузка указателя теперь делает base + offset вместо использования хранимого значения напрямую. Это один дешёвый add, и выигрыш в локальности обычно более чем окупает его — но он не нулевой, и поэтому сжатие — это компромисс, а не чистый выигрыш.

Сравните со старой полной 64-битной схемой (до 8.0): указатели хранились как полные адреса, поэтому не было ни add при разжатии, ни лимита 4GB — но каждый указатель стоил 8 байт, а кэш-линии были использованы наполовину. V8 рассудил, что выигрыш по памяти и локальности стоит лимита для подавляющего большинства пользователей.