AI / LLM
LLM cost budgets: тест с множественным выбором
Суть Синтез с множественным выбором по юниту cost budgets — асимметрия цен на token, повторно отправляемый context, model routing, prompt caching и in-process budget-гардрейлы.
Высота — путь к senior
НольJuniorMiddleSenior
Ты на senior-высоте — в орбитеШесть вопросов через весь юнит. Каждый отражает решение, которое ты принимаешь в реальном cost-инциденте — не определение для пересказа, а tradeoff, который нужно взвесить, пока счётчик крутится.
Цель
Убедись, что можешь связать цены на token, повторно отправляемый context, routing, caching и in-process budget в одно решение — синтез, к которому вёл обзорный урок.
Викторина
Completed
Чат-бот поддержки на Sonnet 4.6 ($3/M вход, $15/M выход) отправляет вопрос на 200 token и получает ответ на 1500 token, по большей части chain-of-thought, который пользователь не видит. Где расход и какой первый рычаг?
Heads-up Даже с system prompt выход по $15/M против $3/M входа — дорогая половина здесь. Ответ на 1500 token многократно перевешивает вопрос на 200 token; цель — многословный ответ, а не вопрос.
Heads-up Выход идёт ~5x входа на Sonnet ($15 против $3 за M). Многословный ответ намного дороже многословного prompt — в этом весь смысл юнита.
Heads-up Каждый сгенерированный token биллится по output rate, показан он или нет. Скрытый chain-of-thought — это оплаченный выход, поэтому senior на скачке расходов первым делом смотрит объём выхода.
Викторина
Completed
Чат на 50 ходов повторно отправляет system prompt на 4000 token каждый ход, и input-счёт растёт. У какого фикса наибольший рычаг?
Heads-up Более дешёвая модель всё равно повторно отправляет префикс на 4000 token каждый ход; ты режешь rate, но не сам waste, и вслепую жертвуешь качеством на сложных ходах. Caching бьёт точно по неизменному повторно отправляемому входу.
Heads-up Это глушит единственный сигнал, пока waste продолжается. Cap — это backstop, а не оптимизация; убрать алерт — так runaway и остаётся незамеченным до инвойса.
Heads-up Обрезка history — реальный, но отдельный рычаг; она ничего не делает с фиксированным system-префиксом, отправляемым каждый ход, а агрессивная обрезка ломает связность multi-turn. Caching — точечный фикс здесь.
Викторина
Completed
Команда направляет лёгкие 80% запросов на Haiku ($1/$5) и эскалирует неудачи на Opus ($5/$25). После запуска счёт почти не сдвинулся. Самая вероятная причина?
Heads-up Routing может стоить дороже, чем без него, когда путь дёшево-потом-дорого срабатывает слишком часто. Шаг классификации плюс retry эскалации добавляют стоимость; экономия зависит от низкого escalation rate.
Heads-up Haiku — $1/$5, Opus — $5/$25 — разрыв в 5x на дёшево направленном срезе. Разрыв в ценах реален; проблема в том, что эскалации съедают экономию.
Heads-up Запускать дорогую модель, чтобы решить, какую модель запустить, обнуляет смысл. Тяжёлый router может стоить дороже, чем экономит; держи решение о routing дешёвым или эвристическим.
Викторина
Completed
Автономный agent loop без лимита итераций крутится всю ночь и выставляет счёт $4300. Почему месячный cap в $1000 его не остановил?
Heads-up Spend cap считает общий расход, а не один класс token. Разрыв в тайминге и гранулярности — месячный итог не ловит per-second runaway.
Heads-up Даже на покрытом ключе месячный cap срабатывает лишь после того, как итог цикла пересечёт порог — слишком поздно для loop, тратящего тысячи за часы.
Heads-up Caching не связан с enforcement cap. Реальный фикс — in-process kill switch на cost velocity и счётчик итераций, а не лимит в billing-дашборде.
Викторина
Completed
Почему agent loop без лимита стоит суперлинейно по числу итераций, а не просто линейно?
Heads-up Вызовы не одного размера. Stateless-модель повторно отправляет растущий транскрипт, так что каждый поздний вызов больше предыдущего; итог — сумма растущего ряда, а не плоская стоимость за вызов.
Heads-up Суперлинейный рост идёт от накопления повторно отправляемого input-context, а не от взрыва выхода. Каждый ход переплачивает за содержимое всех предыдущих ходов.
Heads-up Цены за token плоские; многие провайдеры дают объёмные скидки, а не надбавки. Суперлинейность структурна — накопление повторно отправляемого context — а не ценовой tier.
Викторина
Completed
Ты проектируешь cost-контроли для LLM-фичи. Какой порядок — от самой дешёвой первой линии обороны до крайнего средства — отражает приоритет юнита?
Heads-up Kill switch — backstop крайнего средства, а не первая линия. Ты снижаешь расход обычного пути (routing, caching, обрезка) до того, как опираться на circuit breaker, который срабатывает только в runaway.
Heads-up Поднять cap — вообще не контроль, это ослабление backstop. Caching и routing снижают расход; cap лишь ограничивает худший случай постфактум.
Heads-up Глобальный даунгрейд игнорирует повторно отправляемый context и вслепую жертвует качеством. Routing должен быть выборочным, а caching плюс in-process budget всё равно важны — один рычаг не ограничит runaway.
Итог
Сквозная линия — одно дерево решений: выход стоит ~5x входа, поэтому ограничь его первым; stateless-модель повторно отправляет system prompt, history и RAG каждый ход, поэтому кэшируй стабильный префикс и обрезай волатильные части; направляй лёгкое большинство дёшево и следи за escalation rate; а поскольку runaway loop стоит суперлинейно, а месячный cap меряется в днях, реальный тормоз — это in-process budget плюс kill switch на cost velocity. Каждый контроль снижает или ограничивает повторно отправляемый context и выход раньше, чем ограничивает счёт.