Már hangot is lehet fényképezni, vissza is játszható

Egy speciális kamerával egy levél vagy egy zacskó rezgéséből reprodukálható a közelében lejátszott zene, vagy akár a beszéd is.

Az MIT kutatói a Microsofttal és az Adobe céggel közösen olyan új módszert dolgoztak ki a beszédhangok lehallgatásához, amelyhez még mikrofonra sincs szükség. Megoldásuk egy speciális, másodpercenként több ezer képkockát rögzíteni képes (nagysebességű) digitális kamerát használ.

Lefényképezzük, amit mond

Ennek a megoldásnak az a lényege, hogy egy egyedi algoritmus segítségével képileg rögzítik azokat a rendkívül apró, szabad szemmel nem látható rezgéseket, amelyeket a hanghullámok keltenek tárgyakban. Ezek elemzésével utólag képesek rekonstruálni az eredeti beszédet, zenét vagy egyéb zajokat.

Az MIT által rögzített demonstráció videóban először egy szobanövény leveleinek rezgését vizsgálják, a második kísérlethez pedig egy üres chipses zacskót használnak a lehallgatáshoz. Azért ilyen könnyű tárgyakat, mert ezeket képesek olyan mértékben megrezgetni a hanghullámok, hogy azokat már mérni lehessen, egy betonfal esetében ez nem lenne lehetséges. Mindkét esetben kizárólag képi információk rögzítésével képesek visszanyerni a hangokat közel öt méteres távolságból.

Ilyen gyors kamerája nincs otthon

A kísérlethez használt digitális kamera másodpercenként 2-6 ezer képkockát tud rögzíteni, ami jóval magasabb a tipikus otthoni készülék hatvan képkockás sebességéhez képest. A kutatók szerint azonban a módszer nem igényli a jelenlegi legfejlettebb, akár százezer kép/másodperces kamerákat, pedig már ilyenek is léteznek.

A videón megnézheti, hogy működik a módszer

De még egy ilyen fejlett kamerával is rendkívül nehéz érzékelni a levelek rezgését, a kutatók videója szerint még lassított visszajátszás esetén is csak egy pixel méretének századrészének megfelelő nagyságban rezegetik a hangullámok a leveleket. A kutatók azonban egy olyan megoldást találtak, amely a teljes felvétel minden pontját elemzi, és így kimutathatók a rezgések.

Visszajátsszák a képről a hangot

Ahogy azt a videón is bemutatják, ha nem is tökéletes eredetiségében - kissé búgó alapzaj mellett -, de képesek rekonstruálni a képről a növény közelében lejátszott zenét.

Második kísérletük során a kutatók egy hangszigetelő üveg mögül filmeztek egy földön heverő chipses zacskót, és képesek voltak reprodukálni a közelében elhangzott beszédet. A reprodukált hang ebben az esetben sem tökéletes, leginkább egy robotéra hasonlít, de az elhangzó szavak értelmezhetők. A megoldás akár egy laptophoz csatlakoztatott fülhallgató esetén is működik: ezzel a módszerrel a kutatók képesek voltak felismertetni a géppel, hogy a távolban látható fülesen épp az Ice ice Baby című szám szól.

A chipses zacskóval lehet lehallgatni a beszédet Forrás: Origo

Nem mindig kell hozzá csúcskamera

Meglepő módon képesek voltak egy hagyományos, boltban megvehető digitális tükörreflexes fényképezőgéppel felvett, 60 fps-sel felvett videóból is kinyerni a hanginformációkat a képérzékelő szenzorok egyedi vezérlésével

Bár ilyen készülékekkel a hangreprodukció nagyon rossz minőségű, és nem is mindig jár sikerrel, egyes esetekben ennek ellenére is beválik.