ai-llm

AI / LLM

Как строить функции поверх больших языковых моделей — подавать им свои данные, давать вызывать твой код и проверять, что ответы и правда хорошие.

9 юнитов·41 уроков·~39 ч

Начать трек →

С нуля

Перед senior-материалом: что вообще такое интеграция с LLM и горстка слов, которые остальной трек считает уже знакомыми.

01 С нуля: что такое интеграция LLM на самом деле 10 мин

Prompt caching

План

Кэширование промпта: как стабильный префикс режет стоимость входа в 10 раз

Кэш переиспользует точный префикс токен-в-токен по цене ~0.1x от входа. Любой байт, сдвигающий префикс — таймстамп,…

Собрано: 49% Срок: когда профинансируют Поддержать юнит →

01 Кэширование промпта: как стабильный префикс режет стоимость входа в 10 раз 16 мин 02 Prompt caching: тест с множественным выбором 13 мин 03 Prompt caching: тест на свободное припоминание 14 мин 04 Prompt caching: чтение запроса и usage 14 мин 05 Prompt caching: измерь экономию 210 мин

Tool calls

План

Вызовы инструментов: цикл round-trip, валидация схемы и защита от зацикливания агента

Вызов инструментов превращает модель в вызывающего функцию, но модель лишь шлёт запрос — выполняешь его ты. Каждый…

Собрано: 64% Срок: когда профинансируют Поддержать юнит →

01 Вызовы инструментов: цикл round-trip, валидация схемы и защита от зацикливания агента 17 мин 02 Tool calls: тест с выбором ответа 13 мин 03 Tool calls: тест на воспроизведение 14 мин 04 Tool calls: чтение кода и схем 14 мин 05 Tool calls: построй устойчивый цикл tool calling 240 мин

Rag architecture

План

Архитектура RAG: пайплайн, который ломается на ретривале, а не на генерации

RAG — это задача ретривала в костюме генерации. Размер чанка, top-k, реранкинг и порядок контекста двигают recall и…

Собрано: 52% Срок: когда профинансируют Поддержать юнит →

01 Архитектура RAG: пайплайн, который ломается на ретривале, а не на генерации 17 мин 02 RAG architecture: тест с множественным выбором 13 мин 03 RAG architecture: тест со свободным воспроизведением 14 мин 04 RAG architecture: чтение кода и pipeline 14 мин 05 RAG architecture: соберите и оцените retrieval-pipeline 240 мин

Streaming

План

Стриминг ответов LLM: SSE, частичные токены и прокси, который их съедает

Стриминг меняет общее время генерации на time-to-first-token. SSE шлёт delta-события, которые ты накапливаешь;…

Собрано: 57% Срок: когда профинансируют Поддержать юнит →

01 Стриминг ответов LLM: SSE, частичные токены и прокси, который их съедает 16 мин 02 Streaming: тест с множественным выбором 13 мин 03 Streaming: повторение на припоминание 14 мин 04 Streaming: чтение кода и потока 14 мин 05 Streaming: собери устойчивый streaming-эндпоинт и клиент 240 мин

Cost budgets

План

Бюджеты на LLM: асимметрия токенов, роутинг и kill switch

Output-токены стоят ~5x от input, а system prompt + история + RAG-контекст пересылаются каждый ход — поэтому…

Собрано: 49% Срок: когда профинансируют Поддержать юнит →

01 Бюджеты на LLM: асимметрия токенов, роутинг и kill switch 17 мин 02 LLM cost budgets: тест с множественным выбором 13 мин 03 LLM cost budgets: тест на свободное воспроизведение 14 мин 04 LLM cost budgets: код и cost-арифметика 14 мин 05 LLM cost budgets: построй cost observability и гардрейлы 240 мин

Agents

План

Цикл агента: ReAct, неуправляемые шаги и контекст, растущий каждый ход

LLM-агент — это while-цикл: вызвать модель, выполнить инструмент, добавить результат, снова вызвать модель. Опасность —…

Собрано: 43% Срок: когда профинансируют Поддержать юнит →

01 Цикл агента: ReAct, неуправляемые шаги и контекст, растущий каждый ход 17 мин 02 Агенты: тест с множественным выбором 13 мин 03 Агенты: тест на свободное воспроизведение 14 мин 04 Агенты: чтение кода и цикла 14 мин 05 Агенты: собрать ограниченного, наблюдаемого агента 240 мин

Evals

План

LLM-evals: регрессионный тест для недетерминированной фичи

LLM-фичу нельзя выкатывать без evals: один и тот же ввод даёт разный вывод, а смена модели или промпта тихо роняет…

Собрано: 44% Срок: когда профинансируют Поддержать юнит →

01 LLM-evals: регрессионный тест для недетерминированной фичи 17 мин 02 LLM-evals: тест с множественным выбором 13 мин 03 LLM-evals: тест на свободное воспроизведение 14 мин 04 LLM-evals: чтение кода и харнесса 14 мин 05 LLM-evals: собери eval-набор и CI-гейт 240 мин

Putting it together

План

Сборка production LLM-приложения: баг живёт в шве

Кэширование, RAG, стриминг, тулзы, агенты и evals проходят каждый свой тест, а вместе падают. Трассируй один запрос…

Собрано: 48% Срок: когда профинансируют Поддержать юнит →

01 Сборка production LLM-приложения: баг живёт в шве 17 мин 02 Сборка LLM-приложений: тест с выбором ответа 13 мин 03 Сборка LLM-приложений: тест на воспроизведение 14 мин 04 Сборка LLM-приложений: чтение кода и трейсов 14 мин 05 Капстоун: выкати собранную LLM-фичу, держащую на швах 240 мин

Проекты по этому треку

Guided-проекты, которые закрепляют изученное здесь.

◆ Проекты

Сервис RAG с опорой на источники

Демо RAG, отвечающее по корпусу, собирается легко; сервис RAG, которому ты доверишь живых пользователей, — нет. Сложность не в поиске, а в опоре на источники: заставить модель говорить только то, что подтверждает найденный текст, прикреплять цитаты, которые читатель может проверить, и доказать на eval-наборе, что ответы не уплывают в уверенную выдумку. Ты соберёшь весь цикл — нарезка, эмбеддинги, хранилище, retrieval top-k, опора, цитаты, оценка — и нащупаешь, где именно он течёт.

Следующий трек

Инженерная практика

Привычки, которые отличают пет-проект от профессиональной команды, — хорошо тестировать, безопасно выкатывать изменения и поддерживать сервис живым в продакшене.