«Вроде получше» — не результат. Почему рейтингам моделей нельзя верить, как собрать свою проверку за час и какие ловушки ждут по дороге.
Вы будете постоянно выбирать: эта модель или та, эти настройки или другие, до дообучения или после. Без способа честно сравнить вы будете принимать решения по впечатлению — а впечатление обманывает систематически и в предсказуемую сторону.
| Проблема | Суть |
|---|---|
| Утечка тестов в обучение | Тестовые задания опубликованы в интернете, а модели учатся на интернете. Модель могла видеть ответы |
| Оптимизация под тест | Когда метрика становится целью, её начинают улучшать напрямую — часто в ущерб реальной пользе |
| Не ваши задачи | Тест на школьной математике ничего не говорит о ваших текстах про электронику |
| Не ваш язык | Большинство тестов на английском |
| Не ваше сжатие | Рейтинг для полной модели, а вы запускаете сжатую в четыре бита |
Как фильтром, а не решением. Отобрать три-четыре кандидата подходящего размера — годится. Выбрать из них лучшую для себя — только своей проверкой. Разница между 1-м и 5-м местом в рейтинге для вашей задачи может оказаться нулевой или обратной.
Час на составление списка кажется лишним, пока вы в четвёртый раз не пытаетесь вспомнить, была ли старая модель лучше. С готовым списком ответ занимает десять минут и не зависит от настроения.
| Приём | Зачем |
|---|---|
| Вслепую | Перемешайте ответы двух моделей и не смотрите, где чей, пока не оценили |
| Попарно | «Какой из двух лучше» надёжнее, чем «оцени по десятибалльной» |
| Фиксируйте всё остальное | Температура, запрос, seed для картинок. Меняйте одно |
| Несколько прогонов | При ненулевой температуре ответ каждый раз разный |
| Записывайте, а не запоминайте | Иначе сработает «запоминается яркое» |
| Показатель | Почему важен |
|---|---|
| Доля правильных | Основное |
| Доля выдуманного | Модель с 90% правильных и 10% уверенных выдумок хуже, чем с 80% правильных и 20% честных «не знаю» |
| Честные отказы | Умение сказать «в тексте нет ответа» — отдельная ценная способность. Глава 11 |
| Соблюдение формата | Для агентов и автоматизации критично |
| Скорость | Модель вдвое умнее и впятеро медленнее часто проигрывает на практике |
| Стабильность | Одинаковый ли результат при повторе |
Обязательно включите в список задачи, на которые правильный ответ — «не знаю». Вопросы о несуществующих деталях, о том, чего нет в предоставленном тексте, о событиях после обучения. Модель, которая на них честно отказывается, полезнее той, что набрала балл выше, но уверенно врёт. Этот тест почти никогда не делают.
Соблазнительная идея: пусть сильная модель оценивает ответы слабой. Экономит время и работает — с оговорками, которые стоит знать.
| Искажение | В чём проявляется |
|---|---|
| Предпочитает длинное | Длинный ответ получает оценку выше при равном содержании |
| Предпочитает свой стиль | Оценивает выше ответы, похожие на собственные |
| Влияние порядка | Первый из двух вариантов систематически выигрывает |
| Не ловит фактические ошибки | Если сама их не знает — пропустит |
Минимум, который стоит делать: предъявлять пары в обоих порядках и сравнивать. Если оценка меняется от перестановки — она бесполезна.
| Область | Как проверять |
|---|---|
| Изображения | Один набор запросов, один seed, генерация до и после — и смотреть парами |
| LoRA стиля | Обязательно на объектах, которых не было в обучении — глава 17 |
| Распознавание речи | Взять записи с известным текстом и считать долю ошибок в словах |
| Классификация | Отложенная часть данных, глава 05. И смотреть не только на долю верных, но и на то, какие ошибки |
Если из ста плат исправны девяносто, то модель, всегда отвечающая «исправна», покажет 90% точности и будет абсолютно бесполезна. Смотрите на ошибки по типам: сколько исправных названо сломанными и, главное, сколько сломанных пропущено. Цена у этих двух ошибок совершенно разная.
Последняя глава: как превратить всё это в работающий инструмент под вашу задачу.
Бесплатная книга · tariel.ge · версии инструментов и команды проверяйте в документации проектов
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.