Числа, которые должен знать каждый инженер

Иерархия задержек

Спроси себя: сколько реально занимает чтение из RAM против диска, или вызов сервиса в другом регионе? Если не можешь ответить с точностью до порядка — будешь пропускать медленные дизайны не замечая. Вот таблица, которая это исправляет.

Любая операция системы лежит где-то на лестнице, охватывающей примерно восемь порядков — от попадания в кэш, что фактически бесплатно, до межконтинентального round-trip (круговой задержки между регионами), что целая вечность. Каноническая таблица Джеффа Дина «числа задержек, которые должен знать каждый программист» — позвоночник этой лестницы. Округлённо до важных порядков:

Обращение к L1-кэшу                   ~1 нс        (0,5 нс)
Branch mispredict                     ~5 нс
Обращение к L2-кэшу                   ~7 нс
Обращение к основной памяти (RAM)     ~100 нс      (~100× медленнее L1)
Чтение 1 МБ последовательно из RAM    ~250 мкс     (250 000 нс)
Случайное чтение с SSD                ~16 мкс      (~150× медленнее RAM)
Round-trip внутри ЦОД                 ~0,5 мс      (500 000 нс)
Disk seek (HDD)                       ~10 мс       (~20× round-trip в ЦОД)
Чтение 1 МБ последовательно с диска   ~30 мс
Round-trip CA → Нидерланды → CA       ~150 мс      (межрегион)

Абсолютные числа дрейфуют с поколениями железа — в исходной таблице Дина 2010 года не было строки SSD, а современный NVMe быстрее этих ~16 мкс — но отношения устойчивы, и именно их запоминают. RAM ~в 100× медленнее L1. SSD ~в 100–150× медленнее RAM, но ~в 1000× быстрее disk seek HDD. Сетевой round-trip внутри ЦОД (~0,5 мс) ~в 5000× дороже обращения к RAM. Межрегиональный round-trip (~150 мс) ~в 300× дороже внутридатацентрового и задаётся скоростью света, так что никакой апгрейд железа его не починит.

Как они масштабируются друг относительно друга

Самый полезный мысленный приём — известный как масштаб «если бы наносекунда была секундой» — растянуть лестницу в человеческое время, чтобы зазоры стали осязаемы. Умножь всё на ~10^9:

• L1-кэш (~1 нс) → 1 секунда.
• RAM (~100 нс) → ~2 минуты.
• Чтение SSD (~16 мкс) → ~4,5 часа.
• Round-trip в ЦОД (~0,5 мс) → ~6 дней.
• Disk seek (~10 мс) → ~4 месяца.
• Межрегиональный round-trip (~150 мс) → ~5 лет.

Теперь «читает из RAM вместо диска» перестаёт быть абстракцией: это разница между 2-минутным поручением и 4-месячной экспедицией. Поэтому существует кэширование, поэтому горячий рабочий набор в памяти стоит так дорого и поэтому одна случайная disk seek (перемещение считывающей головки к нужной дорожке, ~10 мс) или межрегиональный прыжок на пути запроса может доминировать над всем остальным вместе взятым. Урок из оценки — найди, какой шаг доминирует — это ровно применение этой таблицы: самый медленный уровень на пути задаёт пол.

Порядки пропускной способности, а не только задержки

Задержка — «сколько на один»; пропускная способность — «сколько в секунду», и у неё своя грубая лестница, которую стоит носить:

• Последовательная полоса RAM: десятки ГБ/с на сокет.
• NVMe SSD: ~3–7 ГБ/с последовательно, сотни тысяч IOPS (операций ввода-вывода в секунду).
• HDD: ~100–200 МБ/с последовательно, но всего ~100 случайных seek/с — случайный I/O это где диски умирают.
• Сеть: NIC на 10 Гбит/с двигает ~1,25 ГБ/с; 25/100 Гбит/с в современных ЦОД.
• Один хорошо настроенный сервис: низкие десятки тысяч простых запросов/с на CPU-связанную машину — разумная стартовая точка по порядку.

Важная пара: последовательный доступ на один-два порядка быстрее случайного и на дисках, и (в меньшей степени) в памяти, потому что последовательные чтения амортизируют цену seek/подготовки и используют prefetch. «Сделай паттерн доступа последовательным» — один из самых рычажных ходов по производительности именно из-за этого отношения.

Используя числа, чтобы дёшево отвергать дизайн

Выигрыш — дешёвый отсев: убить плохой дизайн в одном предложении вместо спринта. Несколько паттернов, что таблица опровергает мгновенно:

• «Будем читать с диска на каждый запрос при 50К QPS». HDD делает ~100 случайных seek/с; нужно ~500 дисков. Дизайн мёртв — кэшируй или используй SSD/RAM.
• «Один синхронный межрегиональный вызов на запрос — норм». Он добавляет ~150 мс к каждому запросу, пол. Перенеси данные ближе или сделай вызов асинхронным.
• «N+1 запросов, но они быстрые». 100 последовательных внутридатацентровых round-trip × 0,5 мс = 50 мс чистого ожидания сети до любой работы. Батчи их.
• «Цикл по 10М строк в приложении вместо SQL». Если каждая строка — это fetch, это 10М round-trip; отношение между работой в процессе и по сети — в тысячи раз. Толкай работу к данным.

У всех этих паттернов одна общая черта: они пересекают медленную границу много раз, когда хватило бы одного раза (или нуля). Когда видишь дизайн, где удалённый ресурс вызывается поштучно в цикле, таблица даёт отказ за секунды — без бенчмарка.