Ночной обход без шпаргалок
В тихом холле горит тусклый свет. Новый охранник выходит на смену с пустым блокнотом: ни списков, ни старых заметок. На стене только правила здания. Этот обход похож на AlphaZero: как охранник выбирает, куда идти дальше, так и она выбирает следующий ход по одним правилам.
Раньше сильные игровые программы были как смена с толстыми папками. Там были готовые подсказки, заученные ситуации, целые полки «если так, то так». И ещё привычка метаться и проверять всё подряд, будто можно заглянуть в каждую дверь сразу.
А тут всё по-другому. AlphaZero не тащит за собой эти папки. Внутри у неё один «внутренний подсказчик»: он шепчет, какие ходы выглядят стоящими, и одновременно прикидывает, к чему всё идёт. Как охранник, который и выбирает пару дверей, и чувствует, спокойная ночь выходит или тревожная.
Штука в том, что одной догадки мало. Охранник пробует разные маршруты в уме, но не тыкается куда попало: «внутренний подсказчик» ведёт к важным местам. А когда дальше уже неясно, помогает быстрая оценка, насколько всё похоже на спокойную смену. Так план становится крепче, чем первое решение.
А потом начинается привычка учиться на себе. AlphaZero играет сама с собой, снова и снова. После партии она сверяет, что обещала заранее, и чем всё кончилось, и подправляет себя, чтобы в следующий раз меньше ошибаться. Как охранник, который после смены записывает, где обход успокоил здание, а где зря упустил шум.
Самое удивительное видно на деле. Старые программы пытались пересчитать почти всё, как охранник, который носится без остановки. AlphaZero проверяет меньше вариантов, зато выбирает умнее, что именно проверять. И она смогла обыгрывать сильные программы в разных играх, не получая на руки чужие готовые партии.
К утру охранник не стал сильнее от новых папок и не стал быстрее бегать. Охранник стал сильнее от умения замечать важное и потом аккуратно проверять несколько путей. Вот что показала AlphaZero в разных играх: спокойное внимание иногда бьёт суету, когда вариантов слишком много. Вывод простой: не всегда надо охватить всё, иногда надо выбрать правильно.