AI / LLM
Агенты: тест с множественным выбором
Суть Синтез по всему юниту в формате выбора — цикл ReAct, квадратичная стоимость контекста, выходы из цикла (termination), ловушки error recovery и когда писать скрипт вместо agent.
Высота — путь к senior
НольJuniorMiddleSenior
Ты на senior-высоте — в орбитеШесть вопросов через весь юнит. Каждый — это решение, которое вы принимаете, проектируя или отлаживая реального агента: не определение для пересказа, а компромисс, который надо взвесить, пока цикл крутится на чьём-то счёте.
Цель
Убедиться, что вы связываете механику цикла, экономику растущего контекста, набор выходов, которые нужны циклу, гигиену error recovery и выбор «скрипт или agent» — тот синтез, к которому вёл урок.
Викторина
Completed
Задача на 5 шагов агента стоит около $0.05. Тот же агент на задаче в 15 шагов стоит около $0.40 — примерно 8×, а не 3×. Почему?
Heads-up Модель всё время одна и та же. Меняется объём токенов: каждый вызов перечитывает весь накопленный транскрипт, а эта история растёт каждый ход.
Heads-up Накладные расходы на вызов примерно линейны по числу шагов и не объясняют сверхлинейный рост. Квадратичный член — это переотправка транскрипта, который удлиняется каждый ход.
Heads-up Повторы стоят столько же за токен, сколько любой вызов. Даже чистый прогон в 15 шагов без единого retry будет ~8× от прогона в 5 шагов — чисто из-за переотправки растущего контекста.
Викторина
Completed
Запрос агента, который должен стоить $0.08, крутился девять минут и сжёг $12. В трейсе search_orders вызван 142 раза с одинаковыми аргументами, каждый раз возвращая один и тот же пустой результат. Исключений не было. В чём корень?
Heads-up Пустой результат — не ошибка: инструмент отработал. Сбой в цикле: ничто не заметило повтор идентичного вызова и не ограничило траты. Лечение — считать «не найдено» терминальным ответом.
Heads-up Низкий лимит остановил бы кровотечение раньше, а не вызвал его. Проблема — отсутствие dedup и бюджета; поднятие лимита только увеличит счёт.
Heads-up Размер окна тут ни при чём — результат был пустым каждый раз. Агент молотил идентичный неудачный вызов, и больше контекста это не лечит.
Викторина
Completed
Поток поддержки всегда делает одни и те же три шага: найти заказ, проверить право на возврат, выдать или отклонить возврат. Коллега предлагает открытого агента со всеми тремя инструментами и recursion_limit=25. Что лучше и почему?
Heads-up Гибкость, которая не нужна, — это спекулятивная сложность. Порядок не ветвится, поэтому свобода модели лишь добавляет стоимость, задержку и класс отказов от thrashing, от которых теперь надо защищаться.
Heads-up Лимит 3 всё равно платит agent-налог — недетерминизм и переотправку контекста — ради задачи без ветвлений. Фиксированный путь нужно просто заскриптовать.
Heads-up Это инженерный компромисс с реальными последствиями: стоимость, задержка, тестируемость и поверхность отказов — всё в пользу скрипта, когда путь известен. Агента берегут для шагов, которые нельзя перечислить заранее.
Викторина
Completed
Сеньор говорит: «относись к лимиту шагов как к ремню безопасности, а не как к рулю». Что это значит на практике?
Heads-up Очень высокий лимит позволит квадратичному циклу сжечь куда больше токенов до срабатывания. Лимит — это страховка, которую ставят низко; регулярные упоры в него сигналят о глубже лежащем дефекте, а не о том, что его надо ослабить.
Heads-up Это переворачивает метафору. Цикл, который зависит от лимита, чтобы остановиться, рулит ремнём — он должен сам доходить до настоящего done, а лимит лишь ловит сбой.
Heads-up Даже идеальный промпт встречает пустые результаты и запутавшиеся модели. Ремень — именно на ту ночь, когда руль откажет; его держат независимо от качества промпта.
Викторина
Completed
Долгий агент дошёл до шага 40, и история переросла окно контекста модели. Фреймворк молча обрезает самые старые сообщения. Каково самое вероятное последствие?
Heads-up Молчаливая обрезка не бросает исключение — именно это её и опасно. Прогон продолжается без своих инструкций, выдавая правдоподобный, но неверный ответ.
Heads-up Меньше токенов на вызов — правда, но не к месту: выпавшие токены были определением задачи и ранними находками. Дешёвые вызовы, решающие не ту задачу, — не выигрыш.
Heads-up Самые старые сообщения обычно хранят исходные инструкции и первые результаты инструментов — именно тот контекст, на который опирается долгая задача. Их обрезка и есть то, как агент теряет нить.
Викторина
Completed
Когда вызов инструмента падает, частый паттерн — отдать текст ошибки модели как следующее наблюдение. Почему это одновременно суперсила и ловушка?
Heads-up Даже способные модели зацикливаются на идентичных пустых/неудачных результатах. Без лимита retry, dedup и «я попробовал X, не нашёл» как допустимого терминального ответа error-feedback становится багом thrashing.
Heads-up Скрывать ошибки — значит лишить модель главного канала recovery. Лечение — структурные ограничители вокруг error-feedback (лимиты и dedup), а не подавление ошибок.
Heads-up Это отдельная задача редактирования/редакции. Ловушка на уровне цикла — неограниченные повторы идентичного неудачного вызова, что и порождает runaway-стоимость.
Итог
Сквозная линия — одна проектная дисциплина: цикл переотправляет всю историю каждый ход, поэтому стоимость квадратична по шагам, а долгий прогон переполняет окно и роняет собственные инструкции. У наивного цикла единственный выход, до которого модель может не дойти, поэтому добавляют независимые: естественный stop, лимит шагов (ремень), бюджет по wall-clock/токенам, реально ограничивающий доллары, и dedup/progress-проверку, убивающую thrashing. Error-feedback — суперсила recovery и ловушка runaway; ограничьте её лимитом retry на инструмент. И прежде всего спросите, известен ли путь — если да, заскриптуйте, а открытого агента берегите для шагов, которые честно нельзя перечислить заранее.