Как чужие видео дали роботу новые глаза
Под голыми лампами в театральной мастерской новичок обходит приоткрытый ящик, кружку на метке, полотенце на спинке стула и маску, которую надо вернуть в нужный короб. Этот спектакль он не ставил. Но после множества записей от лица других рабочих и пары живых показов уже видит, что трогать, куда класть и что не сдвигать.
С роботами долго было наоборот. Их часто учили почти заново под каждое дело, или кормили отдельными картинками вещей. А по фото не поймешь ход рук: сейчас тянуться к ящику, потом закрыть его, потом подвинуть кружку. В захламленных углах такая слепота сразу мешает.
Новый ход был таким: роботу сначала показывали огромный поток видео глазами человека и короткие подписи. Кадры из одного действия связывали между собой, далекие моменты разводили. Подписи тянули взгляд к важной смене, вроде маска ушла в ящик, а не к цвету стены. И еще учили держать в голове короткую, полезную памятку. Смысл простой: время и смысл вместе подсказали, что замечать.
А потом эти натренированные глаза уже не перекраивали под каждую новую работу. Их оставляли как есть и учили только движениям, да еще с учетом того, как согнуты суставы робота. Как тот рабочий за кулисами: взгляд у него тот же, меняется только вечерняя последовательность сигналов. На незнакомых тренировочных мирах такой подход заметно обошел и старт с нуля, и старые способы подготовки зрения.
Когда начали убирать части этого подхода, самое больное место оказалось в подписях. Без них падение было самым сильным. Будто рабочий видит движение, но уже не понимает, какая вещь сейчас главная, и рука тянется не к той кружке или забывает закрыть ящик. Ну и вот, дело было не просто в большом количестве видео.
Это сработало и в комнате, где вещи лежали вперемешку. После совсем небольшого числа показов робот с такими глазами лучше закрывал ящики, ставил предметы на место, подталкивал кружку и складывал полотенце, особенно когда цель надо было точно выцепить из беспорядка. Выходит, обычные человеческие видео можно превратить в глаза, которые потом служат роботу в новых делах.