손끝 대신, 물건에 귀를 붙이면 들리는 것들

자전거 수리대 옆에서 정비사님이 바퀴를 돌리며 브레이크를 맞추고 계셨어요. 겉으론 딱 좋아 보이는데, 아주 살짝 스치면 “쉬익” 소리가 나요. 정비사님은 프레임에 작은 마이크를 테이프로 붙이고, 손 움직임은 영상으로, 닿는 순간은 떨림 소리로 같이 남기셨어요.

로봇도 비슷하게 곤란할 때가 많대요. 카메라는 손이 어디에 있는지는 보여줘도, 딱 닿기 시작한 순간이나 미끄러지는지 붙잡혔는지는 놓치기 쉬워요. 눈은 위치를 보고, 물건에 붙인 “귀”는 상태를 듣는 셈이에요. 숨은 접촉은 물체를 타고 온 소리가 더 잘 알려줘요.

ManiWAV라는 팀은 그 “붙여 둔 귀”를 로봇에게 주고 싶었어요. 그래서 로봇부터 쓰지 않고, 사람이 손으로 집게를 움직이는 장면을 많이 모았대요. 집게 손가락 안쪽에 접촉 마이크를 넣고 미끄럼 방지 테이프로 덮은 다음, 액션카메라에 바로 꽂아 영상과 소리를 한 파일에 같이 저장했어요.

그 집게를 로봇 팔에 달자 새 문제가 나왔어요. 모터 소리가 계속 끼어들고, 로봇은 사람처럼 부드럽지 않게 툭 건드리기도 했거든요. 소리와 영상의 타이밍도 아주 조금 어긋나서, 로봇이 늦게 반응하지 않게 맞춰야 했어요.

현장에서 버티게 하려고 연습할 때 일부러 시끄러운 소리와 모터 소리를 섞어 넣었어요. 그리고 소리를 그냥 “크다, 작다”로 보지 않고, 시간에 따라 높낮이와 세기가 어떻게 바뀌는지 그림처럼 바꿔서 특징을 잡았어요. 영상에서 보이는 손 위치랑, 집게를 타고 올라온 떨림 소리를 같이 써서 로봇이 계속 작은 움직임을 고르게 했죠.

효과는 자전거 브레이크 “쉬익”이 알려주던 것과 닮았어요. 뒤집개로 빵을 뒤집을 때, 보이는 것보다 중요한 건 끼워 넣는 순간과 미끄러짐이었고 접촉 소리가 그때를 잡아줬대요. 컵은 비어 보여도 흔들 때 떨림 소리가 달랐고, 벨크로도 겉모양보다 문지를 때 진동이 달랐어요. 방 안 마이크보다, 물건에 붙인 귀가 더 믿을 만했죠.

새로운 건 멋진 손이 아니라, 싸게 붙일 수 있는 작은 “귀”와 가르치는 방식이었어요. 밖에서 손이 하는 일을 영상과 소리로 딱 맞춰 모으고, 로봇 자기 소음 속에서도 접촉을 듣게 만든 거죠. 아주 조용한 접촉은 놓칠 수도 있지만, 테이프 붙인 마이크 하나로 “닿았나?”가 “닿았네”로 바뀌는 순간이 많아졌어요.