Érzékeink mindig figyelnek egymásra, kicsit beleütik az orrukat egymás munkájába, írja Lawrence D. Rosenblum, a riverside-i Kaliforniai Egyetem pszichológiaprofesszora a Scientific American folyóirat januári számában. Ha valakinek 90 percre bekötik a szemét, az egyébként ép látású személy tapintása fokozottan érzékennyé válik a látókéreg működése révén. Egy ehhez hasonló példa: agyi képalkotó eljárásokkal kimutatták, a vak emberek látókérge "újrahuzalozza" magát, a halláshoz igazodik.
Ba-ba-ba vagy da-da-da?
Ennek az úgynevezett multimodális érzékelésnek az egyik legrégibb és leglátványosabb példája az úgynevezett McGurk-effektus. A hatást 1976-ban írta le Harry McGurk és John MacDonald. Ha videón egy olyan személyt nézünk, aki a "ga" szótagot mondogatja némán, a videó hangsávján azonban ugyanezt a személyt halljuk, amint a "ba" szótagot ismételgeti, akkor úgy halljuk, mintha a "da" szótagot mondogatná. A néma "ga" szótagok megváltoztatják a hallható "ba" szótagok érzékelését, mert az agy integrálja azt, amit látunk és hallunk. A McGurk-hatás minden nyelven működik, és az sem tudja magát kivonni alóla, aki jól ismeri és régóta tanulmányozza a jelenséget.
A hallott beszédet a tapintással érzékelt beszéd is befolyásolja. 1991-ben Carol Fowler és a Dartmouth College-ben dolgozó munkatársai arra kértek tapasztalatlan önkénteseket, próbálják ki az úgynevezett Tadoma-módszert. Ennek az a lényege, hogy az ujjakat a szájra, az arcra és a nyakra téve értelmezzük a másik beszédét. A cochleáris implantátum bevezetése előtt sok süket és vak személy használta a módszert. Az önkéntesek által érzékelt szótagok befolyásolták a szomszédos hangszóróból érkező szótagok értelmezését.
1997-ben az oxfordi egyetemen dolgozó Gemma Calvert feltérképezte, hogy az agy mely területei mutatják a legnagyobb aktivitást szájról olvasás közben. A kísérletben részt vevő önkénteseknek - akiknek nem volt ebben gyakorlatuk - egy olyan ember ajkáról kellett leolvasniuk a szavakat, aki lassan, artikulálva mondta a számokat némán, nullától kilencig. Calvert és munkatársai azt tapasztalták, a szájról olvasás kisüléseket hoz létre a hallókéregben, valamint a szomszédos területen, amely a beszéd hallgatása közben aktív. Ez a kísérlet egyike volt az első vizsgálatoknak, amelyek kimutatták más érzék hatását egy olyan agyterületen, amelyről korábban azt hitték, hogy egyetlen érzék számára van fenntartva.
A látás is befolyásolja az ízlelést
A multimodális beszédérzékeléssel kapcsolatos tanulmányok arra ösztönözték a kutatókat, hogy mindenféle korábban nem tanulmányozott kölcsönhatást megvizsgáljanak az érzékek között. Azt például szinte mindenki tudja, hogy a szaglás jelentős összetevője az ízlelésnek. A náthás ember nemcsak a szagokat, de az ízeket is alig érzi. Azt viszont már jóval kevesebben gondolják, hogy a látás és a hallás is befolyásolja az érzékelt ízeket.
Az egyik különösen meghökkentő eredmény az volt, hogy ha narancsízű italt pirosra színeznek, akkor az önkéntesek cseresznyeízűnek érzik, és fordítva. 2005-ben Massimiliano Zampini, a trentói egyetem kutatója munkatársaival kimutatta, hogy a hangszín is befolyásolja az ízlelést. Ha megváltoztatta a burgonyaszirmot rágcsáló önkénteseknek hangszórón bejátszott ropogtatás hangszínét, az részben befolyásolta, mennyire érezték frissnek a csipszet az alanyok.
A multiszenzoros agy
Annyira megszaporodtak az ehhez hasonló eredmények, hogy a kutatók jelentős része ma már úgy véli: az agy veleszületetten multiszenzoros. Ez a módosított modell összhangban áll az agy hihetetlen plaszticitásával. Az agy érzékmegvonás esetén képes átváltani egy terület elsődleges funkcióját egy másikra még akkor is, ha ez a megvonás csak rövid ideig tart, vagy enyhe. Az elmúlt négy év képalkotó kutatásai alátámasztották: a látásuktól csupán másfél órára megfosztott emberek látókérge válaszol a tapintási ingerekre. A látókéreg fokozza a tapintás érzékenységét.
Ehhez hasonló példa, hogy rövidlátók esetében gyakran javulnak a hallási és térbeli készségek, akkor is, ha szemüveget viselnek (amely a látási periféria jó részét homályosan hagyja). Általánosan elmondható, hogy az érzékek közötti kompenzáció sokkal gyakoribb, mint gondolták.
Már a gyakorlatban hasznosítják
Ez a "multiszenzoros forradalom" lassan kezd hasznot hozni azok számára, akik elvesztették valamelyik elsődleges érzéküket. A kutatások kimutatták például, hogy a cochleáris implantátum kevésbé hatékony, ha az agynak volt elég ideje "újrahasznosítani" az elhanyagolt hallókérget más érzékek, például a látás és a tapintás számára. Ezért javallott, hogy a születetten süket gyerekek a lehető leghamarabb megkapják a segédeszközt.
Az arc- és beszédfelismerésen dolgozó mérnökök is hasznosíthatják a multiszenzoros érzékeléssel kapcsolatos kutatásokat. A beszédfelismerő rendszerek például gyakran rosszul működnek viszonylag csekély háttérzaj esetén is. Ha megtanítják az ilyen rendszereket a szájról készült felvételek elemzésére, az jelentősen növeli a pontosságot. Ez a módszer akár olyan egyszerű kamerákkal is működik, mint amilyet a mobiltelefonokba vagy a laptopokba szerelnek.
A multiszenzoros érzékelés fogalma látszólag ellentmond a hétköznapi tapasztalatainknak. Hajlamosak vagyunk ösztönösen típusokba rendezni érzékeinket, mivel látszólag mindegyik a világ nagyon eltérő aspektusait közvetíti számunkra. Arra használjuk a szemünket, hogy másokat lássunk, a fülünket, hogy meghallgassuk őket. Az alma keménységét a kezünkkel érezzük, az ízét a nyelvünkkel. Amikor azonban az érzékelési információ eljut az agyba, összeomlik ez a szigorú osztályozás. Az agy nem irányítja át a szemből érzékelő információt az egyik idegi tárolóba, a fülből származó hallási információt egy másikba. Inkább megpróbálja olyan sokféle módon értelmezni a világból származó ingereket, ahogyan csak tudja, és ez a különféle érzékelési információk keverésével valósítható meg a legjobban.