Látás pótlása és szenzoros helyettesítése

Az előadások a következő témára: "Látás pótlása és szenzoros helyettesítése"— Előadás másolata:

1 Látás pótlása és szenzoros helyettesítése

2 Bevezetés 37 millió ember teljesen vak 128 millió látás károsult
Általuk használt eszközök: Fehér bot Kutya Évek óta léteznek fejlettebb elektronikai eszközök, ezek nem terjedtek még el széleskörűen

3 Vakság fő okai AMD: időskori makula degeneráció, fotoreceptorok fokozatos elveszítése RP(festékes recehártya-gyulladás):Örökletes szembetegség, amely idővel látótér-beszűkülést, majd teljes vakságot okoz Ezeknél a betegségeknél annak ellenére, hogy a fotoreceptorok külső rétegei elhalnak a belsőrétegek gyakran működőképesek, ezért retina beültetéssel lehetséges a látás visszaállítása. A louisville-i egyetem orvosai Kentucky államban retinasejtek átültetésével adták vissza egy RP-ben szenvedő idős asszony látását. A recehártya felső rétegéből kivett szövetdarabot egy abortusszal elvett magzat szeméből ültették át a hatvanhárom éves nő szemébe. A műtétet két és fél éve végezték, és azóta az asszony látása majdnem teljesen helyreállt.

4 Ismétlés: szem anatómiája, látás biofizikája
Csapok, pálcikák Ganglion sejtek Látóideg Látókéreg A vizuális információ feldolgozása a szemben kezdődik. A szem hátsó részén található az ideghártya retina, ahol a fény a fotoreceptor sejtek csapjaiban és pálcikáiban idegi jellé alakul, és a feldolgozás első lépései is megtörténnek. Ezek a jelek a bipoláris sejteken keresztül a retina nagy ganglionsejteihez jutnak. A ganglionsejtek nyúlványainak összeszedődéséből alakul ki a látóidegfőnél a látóideg. Ezen, majd a látóideg kereszteződésén keresztül a rostok a látókötegben folytatódnak az oldalsó térdes testig, ahol átkapcsolódnak a következő neuronokhoz (látósugárzás), amelyek az agykéreg megfelelő helyeire, a látókéreghez vezetik az ingerületeket.

5 Ismétlés: szem anatómiája, látás biofizikája
Látóideg kereszteződés: retina mediális részéből származó rostok kereszteződnek, laterális részből eredők azonos oldali pályán maradnak látóköteg Látóköteg oldalsó térdestestbe (geniculatus magból) fut, amely az elsődleges látókéreg bemenete Magasabb rendű látókérgek (V2-V5) komplex hierarchikus rendszert alkotnak és még nem eléggé ismertek ahhoz, hogy a látás helyettesítésében használják Az elsődleges látókéreg (V1, Brodman 17, striatális kéreg) az agy nyakszirtlebenyének (lobus occipitalis) területén elhelyezkedő, két milliméter vastagságú, réteges szerkezetű struktúra. A kérgi feldolgozás első és nélkülözhetetlen állomása. Az oldalsó geniculatus magból (LG) induló körülbelül egymillió axon az elsődleges látókéreg negyedik rétegében található sejteknek ad bemenetet. Az LG első és második rétegének (nagysejtes vagy magnocelluláris réteg) axonjai a kéreg negyedik rétegének alsó részét látják el információval. Fontos megjegyezni, hogy a magno- és parvocelluláris pályák, azaz a hol-rendszer és a mi-rendszer pályái a V1-ben nem kapcsolódnak össze.

6 Fejlett látóprotézisek három fő csoportja
Szenzoros helyettesítés: ultrahang vagy kamera segítségével történik a környezet feltérképezése, az ebből adódó eredményeket átkonvertálják hangra vagy tapintható kijelzőre Retina erősítése: a retina funkcióit érzékelőkkel pótolják, melyek elektromos jelekkel stimulálják a retinát. Ezek a jelek konvertálódnak idegi impulzusokká és a látóidegen keresztül eljutnak az agyba Digitális kamera képe alapján közvetlenül az agyat stimulálják (behatolnak a látóidegbe vagy elektródákat helyeznek a látókéregre) Szenzoros helyettesítéses műszerek évek óta léteznek a piacon, ez az egyetlen típus, amely hordozható és megfizethető. CCD detektorok és a CMOS áramkörök elősegítették a kameraalapú rendszerek elterjedését.

7 Éjszakai látás Cél: szem frekvencia tartományának szélesítése, élesség növelés Éjjel látó szemüveg: erősíti a környező UV, látható vagy infrafényt, majd újra kijelzi a látható spektrális tartományban. A képet fotokatódokra képezik le: fény elnyelésének hatására, elektronok válnak ki a felületből Teleszkópokkal, optikai eszközökkel is megvalósítható lenne de hordozható „szerény” méretek miatt elektronikus erősítést alkalmaznak. Kép erősítő: elérhető fény intenzitását növeli. Erősítés folyamata: mozgási energia növelése vagy lavina hatás révén a kilépő elektronok számának növelése. Végeredményben erősítés után a foszfor kijelzőre több foton jut mint amennyi a szemüvegbe a környezetről.

8 Hőkamera Hőkamera: kriogenikusan hűtött fényérzékeny elemek tömbjei az infrasugárzás során keletkező hő fotonokat közvetlenül elektromos árammá alakítja Különböző betegségek pl. rákok, légúti szindrómák diagnosztizálásában is használják

9 Szonár alapú rendszerek
Működési elv: rövid ultrahang impulzus kibocsátás transzduktorral, majd annak visszaverődését vizsgálja. Típusai: piezoelektromos, elektrosztatikus A visszaverődés ideje ad információt a tárgy távolságáról. Mivel az ultrahang kibocsátása és elnyelése is szűk szögben történik a transzduktorra érkező mintából az irányt is meg lehet határozni. (transzdukor: eszköz amely egyik energia formát, egy másikra alakítja)

10 Kivitelezési példák Kézben tartós ultrahang alapú protézis
Távolsággal arányos vibráció Távolságot diszkrét szintekre osztva 8 különböző hangtónus jelzi

11 Kivitelezési példák Fejlettebb verziók
Mindkét fülbe hangjelzés, így irányról is információt ad (6 °-os pontosság 5 m-en belül)

12 Kivitelezési példák NavBelt
Vezetési és leképezési mód: leképezési módnál hanggal jelzi, hogy merre szabad az út és merre van akadály, Vezetési módnál a kívánt célhoz számítógép segítségével el is navigálja. 120 fokos „látómező” 8 db szenzorral mert egynek csak 15 fok a látószöge.

13 Kivitelezési példák GuideCane Joystickkal irányítható szervokormány
Láb magasságnál érzékeli az akdályokat

14 Ultrahang alapú rendszerek hátrányai
Legtöbb eszköznél végig kell pásztázni az akadályt a kiterjedésének észleléséhez Ez sok idő, fáradtság Csak a lábmagasságig terjedő akadályokat nem érzékelik (pl. lépcső) Hang alapú visszacsatolás gátolja, csökkenti a környezetből származó hangi információ befogadását (autó) Újonnan fejlesztett okos bot: kamerával érzékelőkkel headseten keresztül hang visszacsatolással

15 Szenzoros helyettesítés
Hang alapú visszajelzés Bement: Ultrahang vagy kamera képe alapján Felbontás növelése és a sávszélesség igény csökkentésére: A kép világosság térképét használják és 2D-s frekvencia térképre konvertálják amelyből keletkezik a hang

16 Szenzoros helyettesítés
Hang alapú visszajelzés Kivitelezése: szemüvegbe épített kamera + fülhallgató + notebook 10-15 óra gyakorlás Lényegesen segíti a tárgyak felismerését. fMRI-vel vizsgálták egy páciens agyi működését, az első órában a tanulási folyamatban a hallásért felelős agyi területek voltak aktívak, de azt követően jelentősen nőtt a látókéreg működése is.

17 Tapintás alapú szenzoros helyettesítés
Működési elv szerint: Elektromos elven működő: tapintás érzést elektromos árammal éri el adott pontban Mechanikus elven működő: bőr mechanikus rezgetése Hz között Kiterjedés szerint: 1D (pl. NavBelt, de hangalapú) 2D Főinformáció hordozó: amplitúdó vagy frekvencia vagy mindkettő

18 Tapintáshoz alkalmas testrészek
Ujjbegyek: a legérzékenyebbek (60-szor érzékenyebbek mint a has) Hát: nagy felület Ajak, nyelv: érzékeny, alacsony statikusterhelés igény

19 Mechanikus tapintó kijelző
Technikák: kis tűk mozgása, hőmérséklet, sűrített levegő Aktuátorok: SMA, vezérelhető folyadék, pneumatikus szelepek, motorok, PZT anyagok, szolenoid tekercs SMA: emlékező fém PZT: piezoelektromos anyag Hátrányok: sok érzékenységet befolyásoló tényező, környezeti és test hőmérséklet, Zsír, izom, csont összetétel, testhelyzet, életkor …. Eszköz karbantartás: bonyolult, drága

20 Elektromos tapintó kijelző
Elektródákkal közvetlenül az idegrostokat stimulálják Állandó felületi nyomás igény (izzadás nagy hátrány) Érzékenység és fájdalom küszöb miatt, viszonylag szűk működési tartomány

21 Elektromos tapintó kijelző
Nyelv használata elterjedt, nem akadályoz beszédet és más érzékszervet (pl. hallás) Prototípus 3x3 cm-es 25x25 pixeles felbontás Fekete-fehér képet közöl , fekete - nincs stimuláció - fehér maximális áram

22 Látó neuroprotézis Első kísérlet és foszfén (fényes folt) leírása 1755-ben 1970-es években 35 különálló foszfén 1-10 mA árammal, amely különlegesen magas és veszélyes Fejlődési tendencia: invazív agykérget használó idegsebészet helyett kevésbé invazív retinás megoldások Ok: sebészeti szempontból könnyebben elérhető, retina képalkotása, szerkezete ismertebb, minta a látókérgek bonyolult hierarchikus, visszacsatolásokkal teli kapcsolata

23 Neuroprotézis elemei Kamera (gyakran ennek háza a szemüveg) leképezés CCD detektorra vagy fotodióda tömbre Processzor: kép és jel feldolgozás Akkumulátor, videojel, (elterjedt a rádiófrekvenciás) Elektron stimulátor, gerjesztő Elektróda tömb (oxidált iridium, hatékony és biokompatibilis) Retina alapú protézisnél az enkoder a retina síkjában helyezkedik el. akár a képalkotó optikai eszköz maradhat teljesen a szem, ha képes szemmozgásra sokkal természetesebb használatot eredményez. Komoly probléma az energia ellátás, fontos hogy vezeték nélküli legyen, ne termelődjön hő, minimális teljesítmény disszipáció Másik probléma legkisebb reakció és szemmozgások mikro mozgásokat okozhatnak, továbbá a sejtek folyamatosan cserélődnek egy beültetett implantátum megzavarja az egyensúlyukat Elekróda tömbnek is kell energia ellátás ->vezetékezés kiküszöbölése, ideális mo:önellátó fotódióda kérdés elég áramot tudnak- e termelni

24 Elektróda tömbök elhelyezése
Retina felett/alatt Látókéreg Látóideg körül

25 Megvalósítási kísérletek
2. Ábra Harwardon készült prototípus fotódióda áramot generál ha lézerrel megvilágítjuk a 2x2 mmes 12 db fotódiódát . lézer továbbítja a képi információt is chip feldolgozza elektróda tömböt a fotódiódákon termelődő árammal működteti

26 Megvalósítási kísérletek
Felső ábra: CCD kamera majd jelfeldolgozó egység innen az információ vezeték nélküli kapcsolattal kerül a bőr alá ültetett fogadó egységnek innen már vezetékes kapcsolattal működik a retina fölé ültetett implantátum (elektróda tömb) Alsó ábra: Teljesen vezeték nélkül 25 platina elektróda vezérlése sikerült Az adat és energia továbbítás rádiófrekvenciás sugárzással történik be van ültetetve a fogadóegység (antenna) és a stimulátor (gerjesztő egység) az egészséges retina funkcióit teljesen helyettesíti és közvetlenül a ganglion sejteknek ad bemenetet. Mikroprocesszor a páciens övére rögzítve azzal vezetékes kapcsolata van a szemüvegnek. Már alak és minta felismerésre képesek voltak vele. Jó eséllyel a nem nagyon távoli jövőben pontosabb tárgy felismerést is lehetővé tesz mellyel már a vakok képesek eligazodni ismeretlen környezetben.

27 Roska Tamás- Celluláris neurális hálózatok
Újfajta számítógép konstrukció – CNN Univerzális számítógép Előny gyorsabb számítási teljesítmény, kisebb hely igény 1988-CNN elmélet az CNN univerzális számítógépek alapja Hagyományos számítógéphez is kapcsolható chipek Analóg, ugyanakkor logikai műveleteket is végez Cellák párhuzamosan működnek, hozzájuk fényérzékelő is csatolható CNN: Ez egy csatolt, analóg, nem lineáris processzor-tömb, amely alapértelmezésben egy négyzetrácson elhelyezkedő, lokálisan összekötött cella-rendszert alkot. A négyzetrács minden csúcspontjában egy cella (áramkör) van. Minden cellát három érték jellemez: az U bemeneti feszültség, mely időben állandó, az x(t)állapot érték, és az y(t)kimeneti feszültség. CNN univerzális számítógépek: A CNN hálózat elméletében leírt cellák lokális memóriákkal, lokális logikai és analóg egységekkel vannak ellátva, és egy globális programozó egység biztosítja, hogy a számítógép tárolt-program vezérléssel működhessen.

28 Roska Tamás - Bionikus szem
Cellák fotoszenzort tartalmaznak Másodpercenként több 1000 kép készítése és azonnali műveletek elvégzése Bionikus fül kifejlesztése is hasonló Retinában rengeteg feldolgozó csatorna

29 Összefoglalás Szenzoros helyettesítés: évek óta piacon lévő eszközök, korlátolt Hallás Tapintás Neuroprotézis: kutatási terület prototípusok, több megvalósítási probléma