腹話術効果とは？目で見た場所に音の位置が引き寄せられる仕組み
映画やテレビを見ていると、声は画面とは別の場所にあるスピーカーから出ているのに、画面に映った人の口元から聞こえるように感じることがあります。これは、目で見た位置が音の位置の判断に影響するためです。このように、音が聞こえる位置が、同時に見えているものの位置へ引き寄せられる現象を「腹話術効果」といいます。
腹話術効果とは？
腹話術効果は、音と目に見えるものが別々の位置にあるとき、音だけを聞いた場合よりも、音の位置を見えているものの近くに感じる現象です。腹話術師の声が、口を動かす人形から出ているように感じられることから、この名前で呼ばれています。
たとえば、右側から短い音が鳴るのと同時に、正面で光が点滅したとします。音だけを聞けば右側だと分かる場合でも、光を一緒に見ると、音が実際より正面寄りから聞こえるように感じることがあります。音を出す装置の位置が変わったわけではありません。変わるのは、聞いた人が判断する音の位置です。
この現象は、人の声と口の動きだけに限りません。研究では、短い音と光のように、特別な意味を持たない組み合わせでも確認されています（Bruns, 2019）。
なぜ目で見た位置に音が引き寄せられるのか
私たちは物の場所を知るとき、目で見た位置と耳で聞いた方向を別々に使うだけでなく、両方を手がかりにしています。同じころに音が鳴り、何かが動いたり光ったりすると、私たちは二つの情報を合わせて位置を判断することがあります。
その際、どちらの情報が位置を判断するうえで確かかによって、頼り方が変わります。見えているものの位置がはっきりしていれば、音の位置の判断がそちらへ寄りやすくなります。一方、映像が非常にぼやけていて位置が分かりにくい場合には、逆に音の情報が見たものの位置の判断に影響することもあります。腹話術効果は、目がいつでも耳に勝つという決まりではありません（Alais & Burr, 2004）。
研究で分かっていること
1981年、BertelsonとRadeauは、音と目で見える合図を異なる位置から示し、参加者が感じた位置を指し示す課題を行いました。同じ試行で、参加者には、二つの信号が同じ場所から出たように感じたかどうかも尋ねました。その結果、音と光を同じ場所のものだと感じなかった場合にも、音の位置の判断が光の方向に引き寄せられることがありました。つまり、二つを同じ場所から出たものだとはっきり思い込まなくても、見た位置の影響が現れるという結果です（Bertelson & Radeau, 1981）。
2004年、AlaisとBurrは、音と視覚情報の位置を判断する実験で、見えるもののぼやけ具合を変えました。視覚情報の位置が明瞭な場合、音の位置の判断は視覚情報に強く引き寄せられました。ところが、視覚情報を非常に強くぼかすと、今度は見た位置の判断が音の方向に引き寄せられました。中間の条件では、どちらか一方の位置だけではなく、二つの情報を合わせた位置に近い判断になりました。この研究は、目と耳の情報の確かさに応じて、位置の判断に使う割合が変わることを示しています（Alais & Burr, 2004）。
2022年の研究では、参加者が画面中央の顔写真を見ながら、左右の異なる方向から聞こえるように加工した声を聞き、声の位置を答えました。顔写真の目がこちらを向いている場合は、目を閉じている写真の場合よりも、声を画面中央から聞こえたと判断しやすくなりました。さらに別の実験では、顔写真がある場合には、声だけを聞く場合よりも中央に寄った判断が増えました。顔が見えるというだけでなく、その見え方も結果に関わることを示す研究です（Lavanほか, 2022）。
どのような条件で起こりやすいのか
腹話術効果の強さには、見えているものと音の関係が影響します。音と映像のタイミングがそろっていると、別々のタイミングで示された場合より、見た位置が音の判断に影響しやすい傾向があります。また、二つが同じ出来事から生じたように見えるかどうかも、影響の強さに関わります。ただし、二つを同じ発生源だと判断することが、効果が起こるための必須条件ではありません（Bruns, 2019）。
視覚情報が不鮮明な場合や、音と映像のタイミングがずれる場合には、音の位置が必ず見える位置へ引き寄せられるとは限りません。どの程度ずれるかは、見聞きする条件によって変わります。
身近な場面で考える
たとえば、テレビの左右にスピーカーを置き、画面中央で話す人の映像を見ているとします。声は左右のスピーカーから出ていても、話す人の口の動きと声のタイミングが合っていれば、声が画面中央から聞こえるように感じるかもしれません。映像を見ながら音の位置を判断するときに、目からの情報も使っているという例です。
腹話術師が人形の口を声に合わせて動かす場面も、同じ考え方で理解できます。人形の口が動くのを見ていると、実際には腹話術師が声を出していても、人形の方から声が聞こえるように感じられることがあります。
このように、腹話術効果は、音の場所を耳だけで決めているわけではないことを教えてくれます。見えているものが何か、どこにあるか、音とどう重なっているかによって、私たちが感じる音の位置も変わり得るのです。
参考文献・出典
- Bertelson, P., & Radeau, M. (1981). Cross-modal bias and perceptual fusion with auditory-visual spatial discordance. 音と光の位置をずらし、同じ場所から出たと感じない場合にも位置の判断が影響されることを調べた研究。
- Alais, D., & Burr, D. (2004). The ventriloquist effect results from near-optimal bimodal integration. 視覚情報のぼやけ具合を変え、音と視覚情報の位置の判断がどのように影響し合うかを調べた研究。
- Bruns, P. (2019). The Ventriloquist Illusion as a Tool to Study Multisensory Processing: An Update. 腹話術効果の実験方法、起こる条件、研究上の知見を整理した総説。
- Lavan, N., Chan, W. Y., Zhuang, Y., Mareschal, I., & Shergill, S. S. (2022). Direct eye gaze enhances the ventriloquism effect. 顔写真の視線や顔の有無が、声の位置の判断に与える影響を調べた研究。