Szabadkai Műszaki Szakfőiskola 1

A neuron modellje a következő 3 elemből áll: 1. A szinapszisok halmaza amelyekkel a neuronok egymáshoz vannak kapcsolva. Minden szinapszishoz egy súly van rendelve. Egy teteszőleges k-adik neuronra a w kj jelölés a j-dik szinapszisán jelöli a súlyt. Ez azt jelenti, hogy a k-adik neuron x j bemenetét be kell szorozni a megfelelő w kj együtthatóval. Negatív w kj érték esetén inhibíciós szinapszissal van dolgunk, ellenkező esetben exitációssal. 2

2. Az összegző a bemeneti jeleit összegzés előtt a hozzájuk tartozó szinapszis-súlyokkal kell beszorozni. Ennek az elemnek a kimenete a neuron aktivációs állapota, vagy a neuron aktivációs szintje. 3. Az aktivációs függvény az, mely meghatározza a neuron kimeneti értékét. A kimenet mindig a [0,1] vagy a [-1,1] tartományba esik. 3

A neuron tartalmazhat egy θ küszöböt is amelynek az a feladata, hogy korlátozza a neuron aktivációjának szintjét. A neuron matematikai leírása két egyenletből áll: x 1, x 2,..., x n - bemeneti jelek w k1, w k2,..., w kn - a k-dik neuron súlyai bemenet k – a bemenetek lineáris kombinációja Θ k – a k-dik neuron küszöbe f() – a neuron aktivációs függvénye y k – a k-dik neuron kimeneti jele 4

X1 X2 xn bemenetek w k1 w k2 w kn súlyok Σ Lineáris összegző Aktivációs függvény f (.) bemenet k Kimenet y k Θ k küszöb

x 0 =-1, w k0 =θ k X1 X2 xn bemenetek w k1 w k2 w kn súlyok Σ Lineáris összegző Aktivációs függvény f (.) vivi Kimenet y k w k0 w k0 =Θ k X0=-1 Fix bemenet 6

A neuron kimenetének viselkedésében jelentős szerepet játszik a kiválasztott aktivációs függvény. Leggyakrabban 3 alaptípusú aktivációs függvényt használunk: 1. Küszöbfüggvény 2. Darabokból összeállított lineáris függvény 3. Szigmoidális függvény 7

A neuron nem negatív aktivációja esetén a neuron kimenete 1, ellenkező esetben 0. 1 f (.) bemenet 8

1 f (.) bemenet 9

A szigmoidális függvény nem lineáris és differenciálható. Ez a neuron aktivációjának leggyakrabb alakja. Monoton növekvő, sima, és tart az aszimptóták felé. A szigmoidális függvény képlete: Az a paraméter a függvény meredekségét határozza meg. Ha a nagy, a függvény a küszöbfüggvény alakjához tart. Ez az unipoláris szigmoidális függvény ((0,1) intervallum). 1 f (.) bemenet 10

Ha azt szeretnénk, hogy az aktivációs függvény kimenete a (-1,1) tartományban legyen, használhatjuk a tangens hiperbolikus függvényt: 1 f (.) bemenet 11

A neuronok összekötési módja határozza meg a neurális háló architektúráját. A hálókat 5 csoportba oszthatjuk: 1. Egyrétegű 2. Többrétegű 3. Rekurens 4. Oldalról összekötött 5. Hibrid 12

Az összes neuron egy rétegbe van szervezve. Ez egyben a háló kimeneti rétege. A hálónak van egy bemeneti rétege is, amely a bemeneti adatok fogadására szolgál. Egy rétegen belül nincsenek összeköttetések. 13

Akár az egyrétegű hálóknál, a többrétegű hálóknak is van egy bemeneti rétegük amelyek amelyek a bemeneti adatok fogadására szolgálnak, és van egy kimeneti réteg is. A többrétegű hálóknál viszont megjelenhet egy vagy több rejtett réteg isamelyeknek nincs kapcsolatuk sem a bemenettel, sem a kimenettel. Ezek a hálók lehetnek teljesen vagy részlegesen összekapcsoltak. 14

Ezek a hálók egy vagy több visszacsatolást tartalmaznak. Lehetnek rejtett rétegeik is. Bemenetek Kimenetek Z késés 15

Ennél a típusnál a bemeneti és kimeneti rétegeken kívül van rejtett réteg is. Ennek a rétegnek a neuronjai a szomszédos neuronokkal is össze vannak kötve (oldalösszeköttetés). 16

Ezeket a hálókat az eddig felsorolt architektúrák kombinálásával kapjuk. 17

Ahhoz, hogy elvégezhessük egy függvény approximációját, mintákat osztályokba klasszifikáljunk, következtessünk valamilyen paraméterre, vagy valamilyen más feladatot elvégezzünk neurális háló segítségével, az adott problémát példahalmaz-minta formában szükséges felállítani, amit tanítóhalmaznak nevezünk. Ha minden bemeneti x vektorhoz egy kívánt d kimenet tartozik, akkor a súlyok módosításának módszerét felügyelt tanítási módszernek nevezzük (supervised learning/training). 18

Ha csak a bemeneti vektor és a háló struktúrája adott, akkor a súlyokat a kívánt kimenetek ismerete nélkül kell módosítani. Ezt a módszert nem felügyelt tanítási módszernek nevezzük (unsupervised learning/training). Ez a két alapvető módszeren kívül léteznek más, kevésbéismert tanítási módszerek is, pl. tanítás kritizálással (reinforcement learning). 19

A felügyelt tanítási módszer feltételezi a kívánt d kimenet ismeretét minden x bemenetre. A tanító jel generátora (“tanító”) a kívánt kimeneti d jel segítségével lehetővé teszi a kívánt és a valódi jelek közti különbség meghatározását ( ρ (d,y) távolság). A korábbn meghatározott algoritmus alapján a “tanító” képes elvégezni a súlyok változtatását (a W mátrix elemeit) a pillanatnyi eltérés minimalizálása érdekében. 20

A háló paramétereinek változtatását a “tanító” emulációja miatt lépésenként végezzük, vagyis a “tanító” tudását a neurális hálóra visszük át. A felügyelt tanítás alkalmas az approximációs és interpolációs technikák megvalósítására, regresszióanalízisre és paraméteresztimációra. Tanító jel generátor x Adaptív VNM (W) d tanító jel y p(d,y) A tanító jel generátora 21

Ennél a tanítási módszernél a kívánt kimenet közvetlenül nem ismert, ezért a háló adaptációjának kritériuma csak a háló kimenetei lehetnek az aktuális bemenetekre. y x Adaptív VNM (W) 22

A felügyelet és felügyelet nélkül betanított neurális hálók jelentősen különböznek. A felügyelet nélküli tanítás lehetővé teszi a rendszer összetett jellemzőinek osztályokba sorolását, míg a felügyelt tanítással ki lehet számítani az adott osztályok jellemzőit. 23

A neurális hálók tanítása a súlyok változtatásaival történik. A súlyok változása annak a következménye, hogy különböző tanítójeleket hozunk a neurális háló bemeneteire. Ha a tanítás folyamata alatt a kimeneti jelek is rendelkezésünkre állnak, akkor felügyelt tanításról beszélünk. Ellentett esetben, a tanítás felügyelet nélküli. 24

Az i-dik neuron w i =[w i1 w i2 … w in ] T súlyvektora a bemeneti x vektor és az r tanítási jel szorzatával arányosan változik. A tanítójel a w i súlyok, a neuron x bemenete és néha a kívánt d kimenet függvénye, vagyis r = r ( w i, x, d i ) A súlyvektor változását a k diszkrét pillanatban a következőképpen definiálhatjuk: Δ w i (k)= η r ( w i (k), x (k), d i (k)) x (k) η – tanítási állandó Ez a kifejezés mutatja a súlyok változásának összefüggését a bemeneti jel és a tanítójel függvényében. Diszkrét esetben a tanítási szabályt a következőképpen írhatjuk le: w i (k+1)= w i (k)+ η r ( w i (k), x (k), d i (k)) x (k) w i (k+1)= w i (k)+ Δ w i (k) 25

Ez a módszer felügyelet nélküli tanítás amelyet Hebb neuropszichológus a következőképpen definiált: “Ha egy A idegsejt az akszonon keresztül állandóan stimulál egy B idegsejtet, akkor erősödnek a fizikai és kémiai reakciók vagy az egyik, vagy mind a két idegsejtben, ami az A stimuláló idegsejt nagyobb hatékonyságát erdményezi”. 26

Ha az i-dik neuron j-dik bemenetének és kimenetének y i x j szorzata pozitív, akkor a w ij súly növekedni fog. Ellenkező esetben ez a súly csökkenni fog. Az x és y változók a neuron bemenete és kimenete. Matematikailag az i-dik neuron j-dik súlyának változását a következő képlettel definiáljuk: Δ w ij = η y i x j, j=1,2,...,n (n a neuron bemeneteinek száma) 27

Tanítási jelnek a neuron kimeneti jelét vesszük r = f ( w i T x ) Mivel r = y i, írhatjuk a következőt Δ w ij = η f( w i T x )x j Ez a kifejezés a j-dik súly változását jelenti, míg az i-dik neuron összes súlyának változása Δ w i = η f( w i T x ) x Az y i x j korrelációs együtthatók határozák meg a kritériumot amely szerint születik az a döntés, hogy mely súlyok fognak növekedni (y i x j >0) vagy csökkenni (y i x j <0). 28

Ebben az esetben felügyelt tanításról van szó, a tanítási jel pedig a neuron kívánt és valódi kimenetei közti különbség, a képlete: r = d i - y i y i =sgn( w i T x ) a neuron valódi kimenete, d i pedig az i-dik neuron kimenete. Ennek alapján az i-dik súlyvektor változásait a következőképpen fejezhetjük ki: Δ w i = η ( d i -sgn( w i T x )) x Az egyes szinapszisok változását a következő képlet szerint számítjuk: Δ w ij = η ( d i -sgn( w i T x ))x j, j=1,2,...,n 29

Ezt a tanítási szabályt csak a bináris kimenetek esetében alkalmazhatjuk. Változás csak akkor lesz, ha az y i kimenet nem pontos. Mivel a neuron kimenete csak 1 vagy -1 lehet, a szinapszis változásának csak a következő értéke lehet: Δ w i =+/-2 η x η + x+ uiui x1x1 x2x2 x3x3 x4x w i1 w i2 w ii w in yiyi 1 0 didi - + d i -y i η(d i -y i )x X ∆W∆W 30

Az előjel akkor pozitív ha d i =1 és sgn( w T x )=-1, akkor negatív ha d i =-1 és sgn( w T x )=1. A súlyok kezdeti értékeit tetszőlegesen válszthatjuk. 31

Ezt a módszert még kontinuális perceptron szabálynak nevezzük, vagy hibakorrekció módszernek. Ez a módszer a felügyelt módszerek csoportjába tartozik. Csak az olyan neuronoknál használjuk amelyeknek kontinuális aktivációs függvénye van (kontinuális perceptron). Ennek a módszernek az alapötlete a célfüggvény minimalizációja a hibajel alapján, vagyis a neuron valódi kimenetét a kívánt kimenetekhez minél közelebb állítani. 32

+ x + uiui x1x1 x2x2 x3x3 x4x w i1 w i2 w ii w in yiyi didi - + d i -y i r X ∆W∆W x f’(u i ) f(u i ) η 33

A célfüggvényt a hibajel négyzetes összegeként határozzuk meg, a hiba pedig a kívánt és a valódi kimenetek különbsége. E=0.5*(d i -y i ) 2, (kriterium függvény) vagy E=0.5*(d i -f(w i T x)) 2 34

A Delta tanítási szabályt a kritériumfüggvény deriválásával nyerjük a súlyok szerint, ami a hibavektor gradiensét eredményezi: Ennek a gradiensvektornak az egyes komponensei Mivel a hiba minimalizációja azt követeli, hogy a súlyok változtatása a gradiens negatív irányába történjenek:, η a tanítási koefficiens. 35

A tanítási jel (Delta jel) alakja: Most az egyes súlyok változását, illetve az egyes komponenseket a következő képlet alapján számoljuk: 36

A célfüggvény ábrázolásával a súlyok változásának függvényében egy többdimenziós felületet kapnánk, amely a hiba felületet képviseli. Az alkalmazott aktivációs függvények típusától függően két esetet különböztetünk meg. Ha lineáris aktivációs függvényeket használunk, a hibafelület a súlyok másodfokú függvénye, ezért a felületnek egy minimuma van. 37

Ha nemlineáris aktivációs függvényeket használunk, a hibafelületnek több minimuma van. Mind a két esetben a Delta algoritmus célja, hogy megfelelő algoritmussal, lépésenként, egy tetszőleges pontból kiindulva megtalálja a globális minimumot. Nemlineáris aktivációs függvények esetén a globális minimumot nem mindig lehetséges megtalálni, mert megtörténhet, hogy az algoritmus először egy lokális minimumra talál. Az algoritmus gyorsaságát és stabilitását az η tanítási együtthatóval lehet szabályozni. Az η kisebb értékeire a tanítás biztosan a minimumhoz konvergál, de a tanítási folyamat hosszabb ideig tart. 38

39