Бюджеты на LLM: асимметрия токенов, роутинг и kill switch

Вечер пятницы, агент выкатывается за фича-флагом. У него есть tool-loop — observe, think, act, repeat — и нет лимита на итерации. Документ, который он подтягивает, ссылается на другой, тот — на третий. Агент дописывает каждый в контекст и пересылает весь растущий транскрипт модели каждый ход. К понедельнику счёт показывает $4 300 за одну «задачу», которая так и не завершилась. Месячный алерт на $1 000 сработал — в 2 ночи, в Slack-канал, который по выходным никто не читает.

Output-токены — дорогая половина

Первое, что удивляет инженеров в их первом счёте: input и output стоят не одинаково. У всех текущих фронтир-моделей output идёт примерно в 5x от input. На май 2026 Anthropic указывает Haiku 4.5 за $1/M input и $5/M output, Sonnet 4.6 за $3/$15, Opus 4.7 за $5/$25. GPT-4o у OpenAI — $2.50/$10, та же 4x-асимметрия.

Рычаг, который это даёт, конкретен: многословный ответ стоит куда дороже многословного вопроса. Ограничение max_tokens, просьба о кратком или структурированном выводе и запрет модели «рассуждать вслух» в финальном ответе — всё это бьёт по дорогой стороне баланса. Сеньор, разбирающий скачок стоимости, сначала проверяет объём output, а не input.

Где деньги на самом деле накапливаются

Таблица цен — ловушка, если на ней остановиться, потому что она оценивает один вызов. Счёт же строится на том, что LLM stateless: каждый ход пересылает весь контекст целиком. Три вещи тихо раздувают этот пересылаемый payload.

System prompt отправляется на каждом ходу. System prompt в 4 000 токенов в разговоре из 50 ходов — это не 4 000 токенов, а 200 000 input-токенов, оплаченных 50 раз. История разговора растёт линейно: ход 20 тащит с собой ходы 1–19, поэтому цена за ход растёт по ходу чата, а длинная сессия квадратична по сумме. RAG-контекст — самая тяжёлая разовая добавка: запихивать 30 извлечённых чанков (скажем, 15 000 токенов) в каждый запрос, когда хватило бы 3, — это 5x-множитель input-стоимости, которого никто не видит до счёта.

Вот почему postmortem про runaway-loop — каноничный AI-инцидент по стоимости. Агент, который дописывает результат tool в контекст на каждой итерации без лимита, не просто делает больше вызовов — каждый вызов больше предыдущего. Стоимость растёт суперлинейно. Среди реальных случаев — агент, сделавший 14 000 избыточных tool-вызовов, и разработчики, наблюдавшие, как $15 испаряются меньше чем за 10 минут. Урон нанесён до того, как человек вообще посмотрит.

Роутинг: не плати по тарифу Opus за работу для Haiku

Большинство запросов в реальном продукте несложные. Классификация, извлечение, короткие переписывания, решения о маршрутизации — маленькая дешёвая модель справляется с ними за долю стоимости. Паттерн сеньора — каскад: отправить запрос сначала в дешёвую модель и эскалировать на дорогую только когда проверка качества провалилась или задача распознана как сложная заранее. Перенаправление лёгких 80% на Haiku ($1/$5) вместо Opus ($5/$25) — это 5x-срез на этой доле без видимой пользователю потери.

Трейдофф реален и стоит назвать: роутинг добавляет шаг классификации (latency, иногда собственный вызов модели), а неверный маршрут тихо ухудшает качество. Ты платишь за путь эскалации — дешёвый вызов плюс дорогой ретрай стоят дороже, чем сразу пойти в дорогую модель, когда дешёвая провалилась. Роутинг выигрывает, только если дешёвая модель преуспевает достаточно часто, чтобы среднее село заметно ниже плоского дорогого тарифа. Меряй частоту эскалаций; если она выше ~30%, твой роутер или твоя дешёвая модель неверны.

Prompt caching: перестань платить за неизменный префикс

Самый крупный рычаг против пересылаемого контекста — prompt caching. Ты помечаешь стабильный префикс — system prompt, определения tool, фиксированный RAG-корпус — и провайдер его кэширует. У Anthropic чтение из кэша стоит 0.1x от базового input-тарифа (скидка 90%), а запись для заполнения кэша — 1.25x (TTL 5 минут) или 2x (TTL 1 час) от базового. Арифметика: 5-минутный кэш окупается после первого попадания; часовой — после второго.

Это превращает катастрофу «system prompt в 4 000 токенов, отправленный 50 раз» в одну полноценную запись плюс 49 чтений по десятой цены. Кэширование не помогает частям, которые меняются каждый ход (последнее сообщение пользователя, свежее извлечение), поэтому инженерный ход — упорядочить промпт под кэш: стабильное содержимое первым, изменчивое последним, чтобы кэшируемый префикс был как можно длиннее.