SZÁMÍTÓGÉP ARCHITEKTÚRÁK - 15 Németh Gábor. 2001Németh Gábor: Számítógép architektúrák 2 NEURÁLIS HÁLÓZATOK Három fő hajtóerő: 1.Az információ-technológia.

Az előadások a következő témára: "SZÁMÍTÓGÉP ARCHITEKTÚRÁK - 15 Németh Gábor. 2001Németh Gábor: Számítógép architektúrák 2 NEURÁLIS HÁLÓZATOK Három fő hajtóerő: 1.Az információ-technológia."— Előadás másolata:

1 SZÁMÍTÓGÉP ARCHITEKTÚRÁK - 15 Németh Gábor

2 2001Németh Gábor: Számítógép architektúrák 2 NEURÁLIS HÁLÓZATOK Három fő hajtóerő: 1.Az információ-technológia számára ma az adaptív viselkedés, tanulás és gondolkodási funkciók érdekes kihívást jelentenek. 2.A sebesség növelésének egyik lehetséges útja a nagymértékű párhuzamosítás. 3.Noha a digitális számítógépek kiválóak pontosan definiált problémák algoritmikus megoldására, számos feladat nem illik ebbe a kategóriába.

3 2001Németh Gábor: Számítógép architektúrák 3 NEURÁLIS HÁLÓZATOK - 2 Kezdettől fogva egyik fő kutatási célkitűzés valamiféle mesterséges intelligencia kifejlesztése. Két fő probléma: 1.Nincs az intelligencia területét kellően lefedő és az intelligencia jelentését általánosan definiáló elfogadott elmélet. (A lift is rendelkezik bizonyos intelligenciával, oda megy, ahová hívják.) 2.Az élő szervezetek által megvalósított intelligencia- funkciókhoz tartozó architektúrában az elemek száma hatalmas. (Az emberi agyban a neuronok száma 10 11, az összeköttetések száma 10 15.)

4 2001Németh Gábor: Számítógép architektúrák 4 NEURÁLIS HÁLÓZATOK - 3 MESTERSÉGES NEURÁLIS HÁLÓZAT: a biológiai idegrendszerek viselkedésének egy részhalmazát szimulálni kívánó, egyszerű adaptív elemekből álló, nagymértékben párhuzamos hálózat. Egy (biológiai alapú) neurális hálózat nemlineáris differenciálegyenleteket old meg analóg formában, valós időben. A neurális hálózat egy részének elemi funkciója meghatározott jelminták szelektív adaptív szűrése.

5 2001Németh Gábor: Számítógép architektúrák 5 NEURON MODELL A neuronokat axonok (kimenetek) csatlakoztatják a többi neuronhoz változó súlytényezőjű csatlakozásokon (szinapszisokon) keresztül. FORMÁLIS NEURON MODELL: a1a1 a2a2 anan bemenetek...... w1w1 w2w2 wnwn o kimenet LEGEGYSZERŰBB MODELL: (c =állandó, H =Heaviside függvény, k = küszöb- szint)

6 2001Németh Gábor: Számítógép architektúrák 6 NEURON MODELL - 2 A bemenő és kimenő jelek értékét a pillanatnyi impulzusfrekvencia hordozza. A biológiai neuron pontosabb közelítéseinél három tényezőt kell figyelembe venni: 1.A bemenet nemlineáris veszteségű integrátorként viselkedik (és lehet, hogy nemlineáris az összegzés is). 2.A kimenet telítődik. 3.A súlytényezők adaptálódnak a gerjesztéshez is és a kimenő jelhez is.

7 2001Németh Gábor: Számítógép architektúrák 7 NEURON MODELL - 3 1.A bemenet nemlineáris veszteségű integrátorként viselkedik (és lehet, hogy nemlineáris az összegzés is).  (o) egy nemlineáris veszteség tényező. Az o kimenet egy nemnegatív aktivitás változó. Állandó be- menő jelek esetén o aszimptotikus egyensúlyi értékhez tart: ebből

8 2001Németh Gábor: Számítógép architektúrák 8 NEURON MODELL - 4 2.A kimenet nagy aktivitásnál telítődik. Ezért a  (o) veszteség az o aktivitás (kimenet) valamilyen szigorúan növekvő függvénye kell legyen. Mivel o nem lehet negatív egy szigmoid függvénnyel közelíthető: 3.A súlytényezők adaptálódnak a gerjesztéshez is és a kimenő jelhez is:  - adaptációs paraméter,  (o) - o pozitív függvénye, Taylor sorában az állandó tag zérus (zérus aktivitásnál nem változik a neuron viselkedése). Nincs elméletünk F, γ, α és β meghatározására!

9 2001Németh Gábor: Számítógép architektúrák 9 NEURON MODELL - 5 Kísérleti adatok szerint a neuron a bemenő gerjesztés alapvető tulajdonságára válik a legérzékenyebbé. Nem teljesen bizonyított viselkedés: Ha az a bemenő vektor elemei stacionárius tulajdonságú sztochasztikus változók, akkor a w súlyvektor elemei az a korrelációs mátrixának legnagyobb sajátérték vektorához konvergálnak.

10 2001Németh Gábor: Számítógép architektúrák 10 NEURÁLIS RENDSZER MODUL............... x bemenet N M y kimenet Anatómiai vizsgá- latok alapján az agy ennek kétdi- menziós változata. M és N adaptív mátrixok! Nincs elméletünk f 1, f 2 és f 3 meghatározására!

11 2001Németh Gábor: Számítógép architektúrák 11 NEURÁLIS RENDSZER MODUL - 2 KÉT ALAPVETŐ KÉRDÉS: Az élő szervezetek neurális hálózatai milyen adaptív függvényeket alkalmaznak?  Nem ismerjük pontosan a választ! Meghatározott tulajdonságokhoz milyen adaptív függvények szükségesek?  Még mindig hiányzik az általános elmélet!

12 2001Németh Gábor: Számítógép architektúrák 12 NEURÁLIS RENDSZER MODUL - 3 PÉLDA: alakzatfelismerés. A neurális hálózatot fekete doboznak tekintjük, mely {x} bemenő vektor halmazt fogad és arra {y} választ ad.  y i = f(x, m)  ahol m a hálózat belső paramétereit jelenti. Alakzatfelismerés: ha egy x k bemenő minta az i osztályhoz tartozik, akkor

13 2001Németh Gábor: Számítógép architektúrák 13 NEURÁLIS RENDSZER MODUL - 4 A probléma általános megfogalmazása a gyakorlatban két problémát vet fel: 1.A különféle osztályok statisztikus sűrűségfüggvényei átlapolódnak, így csak közelítő osztályozást kapunk. (Pl. beszédfelismerésnél a fonémák kiejtése függ a beszélőtől, a mondatban elfoglalt helytől stb. A use [‘yüz] vagy [‘yüs] és a youth [‘yüth] pl. átlapolódnak. 2.HOGYAN DEFINIÁLJUK AZ OSZTÁLYOKAT? - Tetszőlegesen definiálhatjuk az osztályokat? - Valamilyen belső (esetleg rejtett) szabályok határozzák meg őket?

14 2001Németh Gábor: Számítógép architektúrák 14 NEURÁLIS RENDSZER MODUL - 5 Például hogyan alakult ki a ”madár” fogalma? Ha valamilyen belső szabályok/összefüggések vezetnek az osztályok fogalmának kialakulására, akkor a neurális hálózat adaptálódhat ezen szabályokhoz, azaz valamifajta tanulást valósíthat meg. Meglehetősen általánosan elfogadott vélemény szerint az osztályok belső jellemzése az elsődleges információ- elemek közötti kölcsönös összefüggésekből származik.  Az osztályok kialakulása versengő (felügyelet nélküli) tanulási folyamat eredménye!

15 2001Németh Gábor: Számítógép architektúrák 15 SZEMANTIKUS TÉRKÉP Felügyelet nélküli tanulás neurális hálózatban: A cellák a bemenő jelet összehasonlítják belső paramétereikkel. A legjobban egyező cella "behangolja" magát erre a bemenetre. A legjobban egyező cella topológiai szomszédait aktivizálja, hogy (kisebb mértékben) szintén hangolódjanak erre a bemenetre.  A felügyelet nélküli tanulás eredményeként a cellák más-más bemenő jelekre hangolódnak be úgy, hogy valamilyen tulajdonság koordináta rendszert (szemantikus térképet) hoznak létre a hálózatban.

16 2001Németh Gábor: Számítógép architektúrák 16 SZEMANTIKUS TÉRKÉP - 2 Egy x bemenő vektor az objektum nevét és tulajdonságait tartalmazza: A matematikai eljárás stabilitásának biztosítására a vektor hosszát egységnyire normalizáljuk. A név és tulajdonság részeket egymáshoz képest a tulajdonság javára súlyozzuk. A nevek kódolásánál egyforma metrikus távolságot biztosítunk a névpárok között.

17 2001Németh Gábor: Számítógép architektúrák 17 SZEMANTIKUS TÉRKÉP - 3 Minden cellát (neuront) kétdimenziós helyével (p) azonosítunk. A gerjesztett cellacsoport közepe az a c helyű neuron, melyre x * w c = max. A neuronon súlytényezőinek adaptációja: A relatív adaptáció a maximum helyétől mért távolsággal csökken:

18 2001Németh Gábor: Számítógép architektúrák 18 SZEMANTIKUS TÉRKÉP - 4 A konvergencia biztosítására: ahol n a tanítási (adaptációs) lépések száma. Nincs elméletünk ε, h pc, σ i és σ f meghatározására! A felügyelet nélküli tanulásnál kialakuló szemantikus térképen megjelennek a térképen szomszédos területeket összefogó kategóriák (pl. madarak), DE még nincs elméletünk a kategóriák automatikus körülhatárolására.