Поплавки, которые исчезают в темноте
Ночь, тихое озеро, лодка. Рыбак следит за поплавками со светящимися палочками. Но стоит поплавку уйти чуть под воду, свечение пропадает. Рыба клюёт, а рыбак ничего не видит. Точно так же работает одна умная программа: она переводит свои сигналы в оценки уверенности, но при слабом сигнале оценка падает до нуля. Нет оценки, нет обратной связи, нечему учиться.
А почему поплавок гаснет? Палочка светит только над водой. Есть три конструкции: одна гаснет резко, вторая тускнеет плавно, третья всегда сохраняет слабый огонёк даже на глубине. В программе это три способа считать уверенность. Резкий вариант хуже всех: на сложных задачах он давал результат на десятки процентов ниже обычного подхода. Огонёк-вариант справлялся заметно лучше.
Первая попытка починить: наказывать программу за неправильные ответы. Как если бы рыбак выдёргивал поплавки, которые всплыли не в том месте. Штука в том, что утонувшие поплавки от этого видимыми не становятся. Их просто становится меньше. Чем сильнее наказание, тем больше поплавков уходит под воду. Точность только падала.
Настоящее решение: к каждому утонувшему поплавку крепится маленький спасательный буёк. Он подтягивает поплавок наверх ровно настолько, чтобы вернуть свечение, а потом отцепляется сам. В программе это дополнительный толчок: если оценка правильного ответа упала до нуля, система подаёт сигнал, пропорциональный неуверенности. Чем глубже поплавок, тем сильнее толчок. Всплыл, засветился, буёк отпустил.
А ещё доработали сам поплавок. Огонёк-вариант хорош под водой, но на поверхности разгорается слишком ярко и слепит. Поэтому собрали гибрид: под водой он светит как огонёк, а над водой яркость растёт ровно и спокойно. Лучшее от обоих конструкций без перегрева.
Рыбак возвращается на озеро с буйками и гибридными поплавками. На спокойной воде разница небольшая. Но на бурном озере с сотней видов рыб обновлённая снасть угадывает улов вдвое чаще старой. А самые яркие, уверенные сигналы почти никогда не врут. Тусклый поплавок, значит, стоит перепроверить. Яркий, почти наверняка верный.
Буйки пригодились не только на рыбалке. Тот же приём проверили на распознавании размытых лиц, на задачах с малым числом примеров, на поиске незнакомых объектов. Везде старая система замирала в тёмной зоне, а обновлённая училась нормально. Никакой перестройки не понадобилось: только буёк и гибридный поплавок. Там, где уверенность падает до нуля, маленький толчок возвращает способность учиться.