マガーク効果とは？口の動きが音の聞こえ方に与える影響
話している人の口の動きを見ると、声だけを聞いたときとは違う音に感じることがあります。特に、音声と口の動きが食い違う映像では、実際に流れている音声にはない音を聞いたように感じる場合があります。これがマガーク効果です。
マガーク効果とは？
マガーク効果とは、耳から聞こえる声と目で見る発音の動きが食い違ったとき、聞こえる音が音声だけの場合とは変わる現象です。心理学では、声を聞く働きに視覚の情報も関わることを示す例として研究されてきました。
たとえば「バ」という声に、「ガ」と発音している人の口の動きを重ねた映像を考えてください。音声だけを聞けば「バ」ですが、その映像を見ながら聞くと「ダ」と感じる人がいます。「バ」の音と「ガ」の口の動きが合わさり、どちらとも異なる音に感じられるのです。ここでの「バ」「ガ」「ダ」は、研究で使われた音をおおよそカタカナで表したものです。
1976年の研究で何が分かったのか
この現象は、Harry McGurkとJohn MacDonaldが1976年に発表した研究で広く知られるようになりました。研究者らは、女性が短い音を繰り返して話す映像と、別の発音の音声を組み合わせました。
「ガ」と発音している口の動きに「バ」の音声を重ねると、参加した成人は「ダ」と聞こえたと報告しました。一方、映像を見ずに音声だけを聞いた場合には「バ」と聞き取り、音声と口の動きが一致する加工していない映像でも、発音を正しく聞き取れました。音声を「ガ」、口の動きを「バ」にした逆の組み合わせでは、二つの音がつながったような答えも多く見られました（McGurk & MacDonald, 1976）。
こうした比較は、音声を変えなくても、同時に見る口の動きによって聞こえ方が変わり得ることを示しています。
なぜ口の動きで聞こえ方が変わるのか
誰かの話を聞くとき、私たちは声だけでなく、唇や顔の動きからも手がかりを得ることがあります。たとえば相手の口元が見えていると、どのような音を出そうとしているかを判断する材料が増えます。
マガーク効果の研究では、耳に届く音と、目に見える発音の動きが別々の内容を示します。聞き手がその両方を使って話された音を捉えようとした結果、音声だけを聞く場合とは異なる聞こえ方になると考えられます。ただし、二つの情報がどのように結び付くかについては、研究者の間で議論が続いています（Van Engen et al., 2022）。
誰にでも「ダ」と聞こえるのか
同じ組み合わせの映像を見ても、全員が「ダ」と感じるわけではありません。Basu Mallickら（2015）は、英語を話す成人165人を対象に、音声と口の動きを食い違わせた複数の映像を繰り返し見せ、聞こえた音を答えてもらいました。
音声にも口の動きにも一致しない「ダ」などの音を答えた割合は、参加者ごとに見ると0％から100％まで幅がありました。また、映像ごとに参加者の回答をまとめると、その割合は17％から58％と異なりました。別の実験では、三つの選択肢から答えた集団のほうが、自由に答えた集団よりも、こうした音を答えた割合が高い結果でした（Basu Mallick et al., 2015）。
つまり、マガーク効果は研究で確かめられている現象ですが、誰が、どの映像を、どのような方法で見て答えるかによって、現れ方は変わります。
身近な場面で考える
たとえば、家で友人と同じ発音の動画を見ているとします。動画には、「ガ」の口の動きに「バ」の音声が重ねられています。あなたは「ダ」と聞こえますが、友人は「バ」と聞こえるとします。二人が聞いている音声は同じでも、口の動きが聞こえ方に与える影響は同じとは限りません。これは研究結果を理解するための仮の場面です。
一方、日常の会話では普通、相手の声と口の動きは一致しており、短い音だけでなく言葉や文章を続けて聞きます。研究で使う食い違った映像に対する反応から、普段の会話の聞き取り能力まで判断することはできません。マガーク効果は、聞くという体験が耳からの情報だけで決まるとは限らないことを教えてくれる現象として理解するとよいでしょう（Van Engen et al., 2022）。
参考文献・出典
- McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746–748. 声と口の動きを食い違わせた映像が、聞こえ方を変えることを示した研究。
- Basu Mallick, D., Magnotti, J. F., & Beauchamp, M. S. (2015). Variability and stability in the McGurk effect: contributions of participants, stimuli, time, and response type. Psychonomic Bulletin & Review, 22(5), 1299–1307. 参加者・映像・回答方法によって効果の現れ方が異なることを調べた研究。
- Van Engen, K. J., Dey, A., Sommers, M. S., & Peelle, J. E. (2022). Audiovisual speech perception: Moving beyond McGurk. The Journal of the Acoustical Society of America, 152(6), 3216–3225. マガーク効果と自然な会話の聞き取りを区別する必要性を論じた総説。