Тематическая реконструкция

Человек задаёт пример, лошадь стучит копытом и останавливается ровно на нужном числе. Можно поменять вопрос, позвать другого человека, убрать хозяина из двора. Представление продолжается. Однако достаточно изменить одну незаметную деталь испытания, и арифметика исчезает. История Умного Ганса особенно интересна в тот момент, когда перестаёшь спрашивать, какой ответ он дал, и начинаешь выяснять, откуда этот ответ взялся.

В начале XX века Вильгельм фон Остен показывал в Берлине коня, который будто бы умел считать. Психолог Оскар Пфунгст исследовал его выступления и описал опыты в книге «Умный Ганс», вышедшей по-немецки в 1907 году. За внешне одинаковыми правильными ответами обнаружился навык, совсем не похожий на решение школьных примеров.

Что изменилось, когда ответ спрятали от человека

Пфунгст разделил условия опыта. В одних случаях задающий вопрос знал нужное число, в других число было показано лошади и скрыто от людей. Отдельно проверяли, что произойдёт, если ограничить Гансу обзор человека. Правильные ответы зависели и от знания решения спрашивающим, и от возможности видеть его. Одного отсутствия хозяина оказалось недостаточно для строгой проверки.

Подсказками служили малые движения. Человек слегка наклонял голову или корпус, наблюдая за копытом, а при достижении ожидаемого числа выпрямлялся. Ганс начинал и прекращал стук в ответ на такие сигналы. Спрашивающий мог искренне верить в математические способности коня: намеренно подавать команду ему не требовалось.

Исследователь затем воспроизвёл найденный механизм. В описанном опыте он просил сложить три и четыре, но задерживал движение остановки до четырнадцатого удара. Конь выдавал четырнадцать. Эта проверка сильнее простого наблюдения: предполагаемую причину изменили и получили соответствующее изменение ответа. Слова задачи остались прежними, число ударов стало другим.

Так обнаружилась ловушка испытания: человеку казалось, что он проверяет вычисление, хотя ответ формировался при его собственном участии. Любая новая задача оставляла тот же канал подсказки. Можно было долго разнообразить примеры и каждый раз получать подтверждение неверного объяснения.

Почему имя коня появилось в машинном обучении

Сегодня эффектом Умного Ганса называют ситуацию, когда модель получает верные предсказания за счёт признаков, ненадёжных за пределами привычных данных. В исследовании 2025 года, опубликованном в Nature Machine Intelligence, авторы изучали этот эффект в моделях обучения без учителя. Они показали, что артефакты данных могут поддерживать удачные ответы и оставаться незаметными при обычной оценке, а после изменения условий приводить к ошибкам.

Здесь полезно различать метку и подсказку. Метка сообщает при обучении, какой ответ считается правильным. Подсказка может случайно оказаться во входных данных и совпадать с этой меткой. Модель получает возможность связать ответ с деталью, которую разработчик вообще не считал частью задачи. Никакого намерения обмануть проверяющего для этого не нужно.

Как проверить, что модель подсмотрела

Учебный пример можно устроить с фотографиями чашек. Допустим, все красные чашки сняты на светлом столе, а синие на тёмном. Разделение снимков на тренировочную и проверочную части ещё не разрушает эту связь: оба набора могут сохранить одинаковый фон. Для проверки стоит снять те же цвета на других столах. Это условная иллюстрация, по ней нельзя судить о поведении конкретной нейросети без опыта.

Проверяющему пригодится вопрос: что должно остаться верным после удаления предполагаемой подсказки? Для чашек сохраняются цвета, меняется фон. Для таблицы можно проверить, не содержит ли входной столбец сведения, появляющиеся только после нужного события. Если прогноз делают до покупки, запись о её завершении не должна незаметно попасть в признаки. Иначе проверка даёт системе информацию из будущего.

Подозрительно удобный признак сначала стоит описать, затем изменить условия и сравнить результат. Высокая доля совпадений сама по себе не сообщает, какой механизм сработал. Ганс оставил удивительно практичный образец такой проверки: убрать доступ к ответу, сохранить вопрос и посмотреть, что останется от успеха.

Источник: digitalskillsacademy.ru