AI / LLM
LLM-evals: тест с множественным выбором
Суть Тест с множественным выбором на синтез по всему юниту evals — golden set, программные проверки против judge, калибровка judge, offline-гейт против online-семплинга и режимы, когда зелёный набор лжёт.
Высота — путь к senior
НольJuniorMiddleSenior
Ты на senior-высоте — в орбитеШесть вопросов, пронизывающих весь юнит. Каждый отражает решение, которое ты принимаешь, выкатывая реальную LLM-фичу, — не определение для пересказа, а компромисс, который надо взвесить, когда набор зелёный и нужно решить, веришь ли ты ему на самом деле.
Цель
Убедись, что умеешь связать дизайн golden set, выбор скорера, калибровку judge и разделение offline/online — и распознать, когда проходящий eval всё равно тебе лжёт.
Викторина
Completed
Провайдер за ночь молча подменил снапшот твоей модели. Репозиторий не менялся, CI зелёный, качество упало на 15%. Какой слой структурно способен это поймать и почему?
Heads-up CI запускается на изменения кода. Подмена снапшота на стороне провайдера меняет поведение без diff в репозитории, поэтому гейт, триггерящийся на коммиты, никогда не переоценивает новую модель. Именно для этого существует online-семплинг.
Heads-up Online-оценка существует ровно для этого: семплируй реальный трафик, скорь теми же автоматическими методами, и тренд качества падает при сдвиге поведения провайдера. Это обнаружимо, нужен лишь online-слой.
Heads-up Temperature 0 снижает, но не гарантирует детерминизм, и ничего не гарантирует между версиями модели — новый снапшот может дать другой вывод и при temperature 0. Поймать это он не может.
Викторина
Completed
Ты собрал golden set из чистых примеров, которые использовал при разработке фичи. Набор показывает 96%, но пользователи натыкаются на сбои. В чём ошибка дизайна?
Heads-up Покрытие важнее количества. 80 кейсов, охватывающих реальные категории запросов, ловят больше, чем 2000 почти одинаковых лёгких. Фикс — представить живое распределение, а не раздуть число.
Heads-up Проблема не в скорере, а в датасете. Более строгий скорер на неверных лёгких кейсах всё равно измеряет мир, в котором пользователи не живут.
Heads-up Нет признаков смены модели. Набор зелёный, потому что тестирует ожидаемые лёгкие кейсы, а не продакшн-трафик, который реально падает, — это пробел в покрытии датасета, а не регрессия модели.
Викторина
Completed
Твоя фича возвращает JSON-объект с обязательным enum-полем `status` плюс свободный текст `rationale`. Какая стратегия скоринга верна?
Heads-up Расточительно и рискованно — ты платишь за лишний вызов модели и наследуешь bias и флакость judge, чтобы оценить поля с точным ответом. Проверка схемы по enum детерминирована и бесплатна; никогда не отдавай структурное утверждение стохастическому скореру.
Heads-up Порядок ключей и пробелы в JSON варьируются, а свободный rationale законно отличается на каждом прогоне, поэтому exact-string match помечает корректный вывод как сбой. Используй структурный JSON-match по полям и judge по прозе.
Heads-up Это ловушка «у меня же работало»: ручные проверки не масштабируются, не воспроизводимы и не гейтят CI. Спот-чеки питают golden set, но не заменяют его.
Викторина
Completed
LLM-as-judge выдаёт идентичный вердикт на десяти повторных прогонах одного кейса. Коллега называет его «откалиброванным». Он прав?
Heads-up Воспроизводимость — это лишь низкая дисперсия. Уверенно смещённый judge стабилен и неправ; его стабильность читается как надёжность, пока он пропускает регрессии, которые поймали бы люди. Калибровка — это согласие с человеческими метками, а не самосогласованность.
Heads-up Это только хуже — судейство тем же семейством провоцирует self-preference bias, когда модель выше оценивает собственные генерации. Нужно согласие с людьми, а не выравнивание с тем, что оценивается.
Heads-up Дело не в детерминизме; недостающий шаг — валидация против человеческих меток. Стабильный judge нормален, как только ты измерил, что его согласие с людьми превышает порог.
Викторина
Completed
В попарном сравнении LLM-as-judge перестановка того, какой ответ идёт первым, иногда переворачивает вердикт. Что это и как смягчить?
Heads-up Temperature 0 снижает шум семплинга, но не убирает position bias — это систематическое предпочтение порядка. Фикс — симметризовать сравнение (оба порядка, усреднение), а не понижать temperature.
Heads-up Переворот — реальный воспроизводимый bias judge, наблюдаемый и в корректных харнессах; исследования сильных моделей-судей показывают разворот предпочтения при перестановке. Аудит меток полезен, но bias не уберёт.
Heads-up Если порядок меняет вердикт, judge не считает их равными — его сбивает позиция. Симметризуй и усредни, чтобы вердикт отражал качество, а не расположение.
Викторина
Completed
В чём точный механизм regression gate и какая senior-дисциплина заставляет его со временем ужесточаться, а не гнить?
Heads-up Вывод LLM не фиксированная строка даже при temperature 0; гейт со string-pin валился бы на законных вариациях. Гейт скорит распределение против порога baseline, а не байтовое равенство.
Heads-up Гейт, который не блокирует merge, — это не гейт, а дашборд. Смысл в том, чтобы автоматически свалить билд на изменении, вызвавшем регрессию, до выкатки.
Heads-up Замороженный набор устаревает по мере дрейфа трафика и перестаёт покрывать новые категории сбоев. Дисциплина обратная: возвращай каждый продакшн-сбой внутрь, чтобы гейт расширялся, отслеживая сдвиг baseline.
Итог
Сквозная линия юнита — один пайплайн: golden set из реального трафика (покрытие важнее количества), скоринг самым дешёвым честным методом — программный там, где у вывода есть структура, откалиброванный judge только для open-ended качества, — затем offline-гейт в CI и online-семплинг для дрейфа. Зелёный набор лжёт двумя способами: датасет, который больше не совпадает с живым распределением, и judge, который ты не валидировал против людей. Consistency — это не accuracy; position, self-preference и verbosity bias реальны; а дисциплина, держащая гейт честным, — превращать каждый продакшн-сбой в golden-кейс в тот же день.