AI / LLM
Tool calls: тест с выбором ответа
Суть Тест с выбором на синтез по всему юниту — цикл round-trip, валидация JSON schema как граница доверия, защита от runaway-цикла, parallel tool use и tool_choice.
Высота — путь к senior
НольJuniorMiddleSenior
Ты на senior-высоте — в орбитеШесть вопросов поперёк всего юнита. Ни один не про определение для заучивания — каждый отражает решение, которое ты принимаешь, собирая реальный agent-цикл против реальных, иногда мутирующих, tools.
Цель
Убедись, что связываешь контракт round-trip, границу доверия при валидации, защиту от runaway, параллелизм и tool_choice — тот синтез, к которому вёл урок.
Викторина
Completed
Задача пользователя требует четырёх tool call на разных шагах. Сколько примерно вызовов модели сделает цикл и почему это важно для стоимости?
Heads-up Модель никогда не исполняет client tools; она лишь эмитит tool_use-запрос. Каждое исполнение требует, чтобы твой код его выполнил и отправил совершенно новый запрос с результатами.
Heads-up Каждый запрос заново шлёт всю накапливающуюся историю плюс блок tools, так что входные токены растут на каждом шаге. Именно это накопление и есть причина, по которой важен prompt caching статичного блока tools.
Heads-up Никакого отдельного разделения plan/execute нет. Цикл делает по одному вызову модели на каждый раунд tool_use, пока stop_reason не станет end_turn.
Викторина
Completed
Модель возвращает tool_use для cancel_order с id 'ord_9f3c' — id, которого никогда не было в разговоре. Каков senior-ход?
Heads-up input_schema направляет модель, но не связывает её; модели регулярно эмитят правдоподобные, но выдуманные id. Считать аргументы tool call доверенными — это ровно тот путь, которым галлюцинированный id мутирует не ту запись.
Heads-up Бросок из цикла завершает ход и не даёт модели шанса восстановиться. Хуже того, голый catch вокруг невалидированной мутации может выстрелить плохим запросом до того, как бросит. Сначала валидируй; ошибку возвращай как tool_result.
Heads-up Выдуманный аргумент — это неправильно, а не временно. Слепые ретраи лишь жгут токены и могут повторить деструктивное действие. Решение — валидация плюс ошибка, возвращённая модели, а не ретраи.
Викторина
Completed
Агент в проде иногда накручивает огромные счета на отдельных ходах. Логи показывают: он зовёт lookup_order, получает ошибку и зовёт снова с теми же аргументами — снова и снова. В чём корневая причина и фикс?
Heads-up Вызов не падает временно — модель повторяет одинаковые аргументы и получает одинаковую детерминированную ошибку. Backoff лишь замедляет прожигание, но никогда его не завершает; недостающее звено — cap итераций и repeat-detection.
Heads-up max_tokens ограничивает длину вывода одного ответа, а не число итераций цикла. Runaway — это цикл, заново вызывающий модель, и никакой настройкой выходных токенов это не ограничить.
Heads-up Починка tool убирает этот триггер, но любая будущая ошибка — другой tool, плохой аргумент — пересоздаёт runaway. Защита цикла — это структурная оборона, нужная независимо от того, какой tool сломался.
Викторина
Completed
Есть две цепочки. Цепочка A: get_weather(NYC) и get_weather(SF). Цепочка B: find_user(email) затем cancel_user_order(userId). Какую модель может распараллелить и почему?
Heads-up Модель не может заполнить userId для cancel_user_order, пока не увидит результат find_user, так что зависимый вызов нельзя выпустить в том же ходе. Параллелизм здесь блокирует зависимость по данным, а не рантайм.
Heads-up Современные модели действительно эмитят несколько tool_use-блоков в одном ответе для независимых вызовов; это и есть выигрыш по латентности от parallel tool use. Можно отказаться через disable_parallel_tool_use, но это не дефолт.
Heads-up Параллелизм про независимость данных, а не про семантику мутаций. Цепочка B как раз последовательная именно потому, что её второй вызов зависит от вывода первого; чтения цепочки A независимы и параллелятся.
Викторина
Completed
Ты строишь классификатор, который всегда должен возвращать одну из фиксированного набора категорий как структурированный JSON — проза недопустима как ответ. Какая настройка tool_choice подходит и почему не остальные?
Heads-up auto позволяет модели ответить прозой вместо вызова tool, что ломает контракт «ответ всегда структурированный JSON». auto — для агентов, где проза иногда правильный ответ.
Heads-up any форсирует вызов tool, но даёт модели выбирать среди всех; с одним tool это почти эквивалентно, но как только добавишь второй, модель может выбрать не тот. Форсирование именованного tool — точный контроль для извлечения гарантированной формы.
Heads-up none запрещает все tools, так что ты получишь свободную прозу и будешь её парсить — ровно тот хрупкий путь, который форсирование tool и призвано заменить. none нужен, чтобы выбить текстовое резюме, когда результаты уже на руках.
Викторина
Completed
Агент с 10 tools прогоняет 6-шаговую задачу, и латентность и стоимость куда выше ожидаемого, хотя каждый tool быстрый. В чём доминирующий оверхед и стандартное смягчение?
Heads-up По условию каждый tool быстрый. Оверхед — это потокеновый налог на повторную отправку полного массива схем каждый раунд, а не время исполнения tool.
Heads-up Меньшая модель может быть дешевле за токен, но это не решает повторную отправку 5000 токенов схемы шесть раз. Кэширование статичного блока tools бьёт ровно в реальный оверхед и сохраняет качество модели.
Heads-up Раздутые наборы tools действительно вредят выбору, но оверхед в вопросе — это потокеновая стоимость повторной отправки схемы каждый раунд. Prompt caching бьёт в это напрямую, не выбрасывая нужные tools.
Итог
Сквозная линия — один контракт: модель лишь запрашивает tool, твой код его исполняет, и цикл заново вызывает модель после каждого результата — так что стоимость накапливается, схемы шлются заново каждый раунд (кэшируй их), а незащищённый цикл уходит в разнос. Валидация — это граница доверия: провалидируй по схеме, затем authorize и existence-check, затем исполни, возвращая ошибки как tool_result, чтобы модель само-исправлялась. Параллелизм помогает лишь независимым вызовам; tool_choice (auto/any/tool/none) задаёт, сработает ли tool и какой.