金属が触れた音を、物に耳を当てて聞く話

自転車修理のすみで、整備士さんが回る車輪に顔を近づけます。見た目は大丈夫でも、ブレーキがほんの少し当たると「シュッ」と小さく鳴ります。道の音に消えるので、フレームに小さなマイクをテープで貼って、物の中の震えを録ります。

ロボットの手も同じで、目だけだと大事な一瞬を見落とします。触れ始めたのか、すべっているのか、ひっかかっているのか。位置は映像で分かっても、状態は「物に耳を当てた音」で分かることがあります。つまり、見えない触れ方は震えが教えてくれます。

そこでManiWAVの人たちは、その「貼り付けた耳」をロボットに持たせようとしました。最初はロボット抜きで、手で道具を動かす場面をたくさん録ります。指先みたいなつかむ部品の下に小さなマイクを入れて、カメラに直結します。映像と震え音が、ずれずに同じ動画に残ります。

その部品をロボットの腕に付けると、今度は腕のモーター音が邪魔をします。手で動かすときには出ないぶつかり方も起きます。で、音と映像のタイミングも少し直して、音を聞いた時にはもう遅い、にならないようにします。

練習では、わざと周りの音やモーター音を混ぜて、うるさい現場でも聞き分けられるようにします。音も、ただの大きさじゃなくて、時間と高さの変化が見える形にして、意味のある筋やはね方を拾います。映像と合わせて、つかむ向きや開き方をこまめに選びます。

効果は、自転車の「当たり音」と同じ出方でした。フライパンでひっくり返すときは、ヘラが差し込めた合図が震えで分かります。ホワイトボードを拭くときは、押しつけが弱いと音が軽くなります。コップは見た目が同じでも、振った震えで中身の気配が出ます。面ファスナーも、こする震えが違います。

新しいのは高い手じゃなくて、安い「耳」と教え方でした。外で人がやる動きを録って、映像と震え音を同じタイミングで持ち帰る。ロボット自身のうるささにも負けにくくする。静かすぎる触れ方は苦手でも、テープで貼ったマイクみたいに、迷う瞬間が「今、当たった」と分かる場面が増えます。