Микрофон на раме и ухо для робота
В углу веломастерской мастер крутит колесо и ловит тот самый еле слышный шорох, когда колодка цепляет диск. Он приклеивает к инструменту маленький микрофон, прижимает к раме и пишет видео. Глаза видят руки, а вибрация в металле выдает касание, даже если улица шумит.
У роботов с руками та же беда. Камера видит, где пальцы, но часто не ловит миг, когда начался контакт, скользит предмет или уже прилип. Как с тормозом, положение видно, а состояние контакта слышно через сам предмет. Вывод простой, когда касание спрятано, вибрация помогает.
Команда, которая сделала ManiWAV, начала без робота. Они переделали ручной захват так, чтобы контактный микрофон сидел под полоской цепкой ленты, и подключили его прямо в разъем микрофона у экшн камеры. Так звук и видео сохранялись вместе, и каждый скрежет совпадал с движением пальца.
Потом тот же захват поставили на робот-руку, и стало сложнее. Моторы гудят рядом, и робот иногда стукается о вещи не так, как человек. Еще пришлось поправить небольшую задержку между звуком и картинкой, чтобы робот не реагировал, когда момент уже прошел.
Чтобы робот не привык к тишине, в тренировки подмешивали посторонние шумы и отдельные записи гула моторов. А звук превратили в картинку по времени и высоте, и уже эту картинку вместе с видео скармливали сети, которая сразу училась выбирать движения, как повернуть, куда сдвинуть и насколько разжать захват.
В делах руками это сработало почти как в велоуглу. Лопатка поддевает бублик, и важнее не видеть его, а поймать момент, когда лопатка вошла и не застряла. Ластик на доске, камера путается, прижат он или чуть висит, а вибрация помогает держать контакт. Стакан с виду одинаковый, пустой или нет, и встряска в руке выдает правду.
Новое тут не в какой-то хитрой ладони. Новое в дешевом ухе, которое слушает через сам захват, и в привычке записывать звук и видео одним файлом, как мастер пишет шорох тормоза вместе с руками. Это не спасет там, где почти нет вибрации и мотор все забивает. Но когда ухо на месте, сомнений меньше, и рука действует увереннее.