Когда ведро молчит под звездным дождем
Вечером я поставил во двор ведро под звездный дождь, так я называю редкие вспышки на небе. Идея простая: чем больше капель света в ведре, тем увереннее, что там что-то есть.
Некоторые системы распознавания устроены похоже. Они копят отдельные «капли уверенности» для каждого варианта ответа, а если капель почти нет, честно показывают пустоту, мол, не знаю. Звучит здорово, но на сложных картинках такие системы часто проигрывают тем, что просто выдают вероятности.
Штука в том, что бывает «темная зона». Пример попадает туда, где всем вариантам ответа достается почти ноль капель. Ведро как будто сухое, и подсказка, куда крутить настройку, почти исчезает. Выход простой: когда везде темно, одного правильного ответа мало, система не учится выбраться.
И тут важна деталь, как именно считать эти капли. Один способ обрубает все «минусы» в ноль, ведро сразу молчит. Другой оставляет слабый огонек, но он еле заметен, когда вариантов много. А третий делает так, что даже в темноте остается толчок, и при ярком свете поведение становится привычно устойчивым.
Чтобы вытащить ведро из темноты, добавили отдельный пинок на тренировке. Если система чувствует пустоту, она сильнее подталкивает капли именно к правильному варианту. Капель стало больше, пустота падает, и этот пинок сам стихает.
После этого меньше примеров застревало в почти нулевых каплях. Точность росла и меньше зависела от капризных настроек. А пустота осталась полезной: если брать ответы, где ведро не пустое, ошибок меньше, и по пустоте можно замечать чужие, незнакомые картинки. Репетиция не замирает, ведро хоть чуть-чуть, но отвечает.