Кодирование мира

Биты не имеют собственного смысла. Бит — это просто электрическое состояние: высокое или низкое напряжение, намагниченность или её отсутствие, заряженность или незаряженность. Аппаратура хранит и перемещает эти состояния, не зная, что они означают. Смысл привносится извне — программным обеспечением и соглашениями. Две программы, читающие байт 01000001, могут прийти к совершенно разным выводам: одна скажет «число 65», другая — «буква A» — и обе будут правы, каждая в рамках своей кодировки. Никакого противоречия нет, потому что биты сами по себе не имеют мнения.

Это центральная идея урока: кодировка — это общепринятое соглашение, которое приписывает смысл битовому паттерну. Отправитель и получатель должны договориться о кодировке заранее, иначе коммуникация нарушается.

ASCII: первое универсальное соглашение для текста. В начале 1960-х каждый производитель компьютеров использовал свою собственную договорённость для отображения чисел на символы. Обмен файлами между машинами был постоянной головной болью. В 1963 году Американская ассоциация стандартов опубликовала ASCII — American Standard Code for Information Interchange — 7-битную кодировку, которая присваивает конкретное целое число (от 0 до 127) каждой английской букве, цифре, знаку пунктуации и нескольким управляющим кодам (перевод строки, табуляция, забой и т.д.).

Поскольку 7 бит хранят 2⁷ = 128 значений, ASCII охватывает ровно 128 кодовых позиций. Важные числа, которые стоит запомнить: заглавная ‘A’ — 65, заглавная ‘Z’ — 90; строчная ‘a’ — 97, строчная ‘z’ — 122; цифра ‘0’ — 48, ‘9’ — 57. Заметь, что заглавные и строчные буквы отличаются ровно на 32 — это не случайность, а намеренное решение, позволяющее переключаться между регистрами, изменив всего один бит.

ASCII хранится в 8-битных байтах, при этом старший бит всегда равен нулю. Текстовый файл, использующий только символы ASCII, — это последовательность байтов в диапазоне 0–127.

Unicode и UTF-8: одна кодировка для всех письменных систем. Unicode — это не кодировка, а стандарт, который присваивает уникальное число (называемое кодовой позицией, или code point, записывается как U+XXXX) каждому символу каждой человеческой письменной системы. По состоянию на 2024 год Unicode определяет более 140 000 кодовых позиций, охватывая 161 письменность, а также эмодзи и исторические символы. ‘A’ — это U+0041 (десятичное 65, то же самое, что в ASCII), ‘Ж’ — U+0416, ’😀’ — U+1F600.

UTF-8 — наиболее распространённый способ хранения кодовых позиций Unicode в байтах. Это кодировка переменной длины: кодовые позиции 0–127 (диапазон ASCII) хранятся как один байт, идентичный ASCII. Кодовые позиции выше 127 занимают 2, 3 или 4 байта. Первый байт многобайтовой последовательности сигнализирует, сколько байтов следует дальше, поэтому декодер всегда знает, где начинается каждый символ. Поскольку весь ASCII-текст является допустимым UTF-8, добавление поддержки UTF-8 обратно совместимо — ни один существующий ASCII-файл не сломается.

Концептуальный прорыв: Unicode разделяет две вещи, которые ASCII объединял — абстрактную личность символа (его кодовая позиция, целое число) и конкретные байты для хранения (кодировка, UTF-8). Одну и ту же кодовую позицию можно хранить в UTF-8, UTF-16 или UTF-32 — разные байты, один и тот же символ.

RGB: кодирование цвета тремя числами. Экран компьютера — это сетка крошечных точек, называемых пикселями. Каждый пиксель излучает свет, смешивая три цветовых компонента: Red (красный), Green (зелёный) и Blue (синий). Интенсивность каждого компонента хранится как число. При 8 битах на канал каждый компонент имеет 2⁸ = 256 уровней (0 означает отсутствие этого цвета, 255 — максимальную интенсивность). Три 8-битных канала вместе дают 24 бита на пиксель.

24 бита могут представить 2²⁴ = 16 777 216 различных цветов — достаточно для фотореалистичных изображений. Чистый красный — (255, 0, 0); чистый зелёный — (0, 255, 0); чистый синий — (0, 0, 255); белый — (255, 255, 255), все каналы на максимуме; чёрный — (0, 0, 0), все каналы на нуле. Цвет, который ты видишь, — это кодировка: три байта, которые схема дисплея интерпретирует как интенсивности света.

Форматы высокого класса используют 10 или 12 бит на канал (это «HDR» в современных дисплеях), давая миллиарды цветов. Форматы низкого класса используют меньше битов и жертвуют плавностью цветов. Принцип остаётся тем же: цвет — это соглашение о том, как интерпретировать числа.

PCM-аудио: кодирование звука как последовательности измерений. Почему это важно инженеру? Потому что каждый раз, когда ты работаешь с аудио API, стриминговыми пайплайнами или голосовыми интерфейсами, ты имеешь дело с PCM-данными (импульсно-кодовая модуляция) — и артефакты, которые придётся дебажить (щелчки, треск, искажения), напрямую вытекают из параметров ниже.

Звук — это физическая волна: давление воздуха, которое поднимается и опускается во времени. Чтобы хранить звук в цифровом виде, устройство (микрофон или АЦП — аналого-цифровой преобразователь) семплирует давление воздуха через равные интервалы и записывает каждое измерение как целое число. Этот метод называется PCM (импульсно-кодовая модуляция).

Два параметра определяют качество: частота дискретизации (количество измерений в секунду) и битовая глубина (количество битов каждого измерения). Аудио CD-качества использует 44 100 семплов в секунду (44,1 кГц) и 16 бит на семпл, давая 2¹⁶ = 65 536 возможных уровней амплитуды. Профессиональное аудио часто использует 24 бита (16 миллионов уровней) при 96 кГц.

Ключевая идея та же: эти 16-битные целые числа имеют смысл только если декодер знает, что они представляют амплитуды давления воздуха, измеренные с частотой 44,1 кГц. Сохрани те же целые числа в текстовом файле — и текстовый редактор покажет мусорные символы, потому что применит неверную кодировку.