data-engineering

Data engineering

Работа с данными в больших объёмах — как дёшево хранить огромные массивы и строить по ним аналитику и поиск. Продвинутый уровень; сначала изучи обычные базы данных.

9 юнитов·41 уроков·~40 ч

Начать трек →

00

С нуля

Перед senior-материалом: что вообще такое дата-инжиниринг и горстка слов, которые остальной трек считает уже знакомыми.

01 С нуля: что такое дата-инжиниринг на самом деле 10 мин

01

Oltp vs olap

Скоро — Data engineering для фуллстека

01 OLTP против OLAP: разделение нагрузок, определяющее data engineering 16 мин 02 OLTP vs OLAP: тест с множественным выбором 12 мин 03 OLTP vs OLAP: тест на свободное воспроизведение 14 мин 04 OLTP vs OLAP: чтение запросов и планов 14 мин 05 OLTP vs OLAP: разделите нагрузку 240 мин

02

Elt vs etl

Скоро — Data engineering для фуллстека

01 ELT против ETL: где выполняется Transform и почему индустрия перевернулась 16 мин 02 ELT vs ETL: тест с выбором ответа 13 мин 03 ELT vs ETL: тест на свободное припоминание 14 мин 04 ELT vs ETL: чтение моделей и конфигов 14 мин 05 ELT vs ETL: собери воспроизводимый, идемпотентный пайплайн 240 мин

03

Parquet

Скоро — Data engineering для фуллстека

01 Parquet: почему аналитика хранит колонки, а не строки 17 мин 02 Parquet: тест с выбором ответа 13 мин 03 Parquet: тест на припоминание 14 мин 04 Parquet: чтение кода и конфигов 14 мин 05 Parquet: собери эффективную для запросов таблицу озера 240 мин

04

Materialized views

Скоро — Data engineering для фуллстека

01 Материализованные представления: меняем устаревание и место на диске на скорость чтения 16 мин 02 Materialized views: тест с выбором ответа 13 мин 03 Materialized views: тест на припоминание 14 мин 04 Materialized views: чтение SQL и refresh 14 мин 05 Materialized views: владей refresh 240 мин

05

Event sourcing

Скоро — Data engineering для фуллстека

01 Event sourcing: append-only лог как источник истины 17 мин 02 Event sourcing: тест с множественным выбором 13 мин 03 Event sourcing: тест на свободное воспроизведение 13 мин 04 Event sourcing: чтение кода 14 мин 05 Event sourcing: построй аудируемый ledger 240 мин

06

Search

Скоро — Data engineering для фуллстека

01 Полнотекстовый поиск: инвертированный индекс, анализ и почему ранжирование важнее совпадения 17 мин 02 Полнотекстовый поиск: тест с выбором ответа 13 мин 03 Полнотекстовый поиск: тест на свободное припоминание 13 мин 04 Полнотекстовый поиск: чтение кода и запросов 14 мин 05 Полнотекстовый поиск: построй и мигрируй поисковый индекс 240 мин

07

Vectors

Скоро — Data engineering для фуллстека

01 Векторный поиск: треугольник recall–latency–память за RAG 17 мин 02 Vector search: тест с выбором ответа 13 мин 03 Vector search: тест на свободное воспроизведение 14 мин 04 Vector search: чтение кода и запросов 14 мин 05 Vector search: поймай тихий провал recall 240 мин

08

Putting it together

Скоро — Data engineering для фуллстека

01 Собираем вместе: система ломается на стыках, а не в хранилищах 17 мин 02 Дата-платформа: тест с выбором ответа 13 мин 03 Дата-платформа: свободное припоминание 14 мин 04 Дата-платформа: чтение кода и запросов 14 мин 05 Дата-платформа: проектируем от ингеста до отдачи 240 мин

Проекты по этому треку

Guided-проекты, которые закрепляют изученное здесь.

◆ Проекты

Фильтр Блума

Собери пространственно-эффективное вероятностное множество, отвечающее на запросы членства за O(1) с настраиваемой вероятностью ложных срабатываний, — и разберись, почему ложных отрицаний в нём быть не может принципиально.

◆ Проекты

Кодирование Хаффмана

Собери lossless-компрессор с нуля: постройте оптимальное дерево prefix-free кодов снизу вверх, выведи битовые строки и докажи, что round-trip точен, а результат короче кодирования фиксированной шириной.

◆ Проекты

Идемпотентный ETL-конвейер

Конвейеры не падают аккуратно — они падают в три часа ночи, на середине загрузки, и кто-то их перезапускает. Этот проект учит одному свойству, которое отличает любительский скрипт от настоящей дата-инженерии: прогон, который можно повторить сколько угодно раз и всё равно получить ровно одну копию каждой строки. Ты построишь пакетную загрузку, идемпотентный load, watermark для инкрементальных выгрузок и проверки качества данных, которые останавливают мусор, прежде чем он отравит всё ниже по течению.

◆ Проекты

Оптимизатор отчётной схемы

Отчётность — это место, где база либо оправдывает себя, либо нет: запросы широкие, таблицы большие, а «тормозит» — самый частый баг в продакшен-аналитике. Ты смоделируешь домен продаж и событий, напишешь честные медленные версии запросов для дашборда, а затем ускоришь их индексами и материализованными представлениями — и прочитаешь EXPLAIN ANALYZE, чтобы доказать ускорение, а не гадать о нём. Это сердце трека: превратить расплывчатое «отчёт подтормаживает» в измеренное, обоснованное изменение плана.

Следующий трек

AI / LLM

Как строить функции поверх больших языковых моделей — подавать им свои данные, давать вызывать твой код и проверять, что ответы и правда хорошие.