Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Neurális hálók. A mesterséges neuron modellje A neuron modellja a következő 3 elemből áll: 1.A szinapszisok halmaza amelyekkel a neuronok egymáshoz vannak.

Hasonló előadás


Az előadások a következő témára: "Neurális hálók. A mesterséges neuron modellje A neuron modellja a következő 3 elemből áll: 1.A szinapszisok halmaza amelyekkel a neuronok egymáshoz vannak."— Előadás másolata:

1 Neurális hálók

2 A mesterséges neuron modellje A neuron modellja a következő 3 elemből áll: 1.A szinapszisok halmaza amelyekkel a neuronok egymáshoz vannak kapcsolva. Minden szinapszishoz egy súly van rendelve. Egy teteszőleges k-adik neuronra a w kj jelölés a j-dik szinapszisán jelöli a súlyt. Skup sinapsi kojim su neuroni međusobno povezani. Svakoj sinapsi je pridružen težinski koeficijent. Za proizvoljni k-ti neuron oznaka w kj označava težinski koeficijent na njegovoj j-toj sinapsi. To znači da se j-ti ulaz x j u k-ti neuron, prethodno množi sa adekvatnim težinskim koeficijentom w kj. U slučaju negativne vrednosti w kj radi se o inhibicionoj sinapsi, u suprotnom, sinapsa je eksitaciona.

3 A mesterséges neuron modellje 2. Sumator ulaznih signala prethodno pomnoženih sa odgovarajućim težinama sinapsi. Ovaj element se naziva još i linearni kombinator, a njegov ozlaz predstavlja aktivaciju neurona ili nivo aktivacije neurona. 3.Aktivaciona funkcija kojom se ograničavaju vrednosti izlaza neurona. Opseg izlaza neurona obično se kreće u intervalu [0,1] ili [-1,1].

4 A mesterséges neuron modellje A neuron tartalmazhat egy θ küszöböt is amelynek az a feladata, hogy korlátozza a neuron aktivációjának szintjét. A neuron matematikai leírása két egyenletből áll: x 1, x 2,..., x n - bemeneti jelek w k1, w k2,..., w kn - a k-dik neuron súlyai ulaz k – a bemenetek lineáris kombinációja Θ k – a k-dik neuron küszöbe f() – a neuron aktivációs függvénye y k – a k-dik neuron kimeneti jele

5 A neuron nemlineáris modellje (1)

6 A neuron nemlineáris modellje (2) x 0 =-1, w k0 =θ k

7 Aktivációs függvények A neuron kimenetének viselkedésében jelentős szerepet játszik a kiválasztott aktivációs függvény. Leggyakrabban 3 alaptípusú aktivációs függvényt használunk: 1. Küszöbfüggvény 2. Darabokból összeállított lineáris függvény 3. Szigmoidális függvény

8 Küszöbfüggvény A neuron nemnegatív aktivációja esetén a neuron kimenete 1, ellenkező esetben 0.

9 Darabokból összeállított lineáris függvény

10 Szigmoidális függvény A szigmoidális függvény nem lineáris és differenciálható. Ez a neuron aktivációjának leggyakrabb alakja. Monoton növekvő, sima, és tart az aszimptóták felé. A szigmoidális függvény képlete: Az a paraméter a függvény meredekségét határozza meg. Ha a nagy, a függvény A küszöbfüggvény alakjához tart. Ez az unipoláris szigmoidális függvény ((0,1) intervallum).

11 Szigmoidális függvény Ha azt szeretnénk, hogy az aktivációs függvény kimenete a (-1,1) tartományban legyen, használhatjuk a tangens hiperbolikus függvényt:

12 A neurális hálók architektúrája A neuronok összekötési módja határozza meg a neurális háló architektúráját. A hálókat 5 csoportba oszthatjuk: 1.Egyrétegű 2.Többrétegű 3.Rekurens 4.Oldalról összekötött 5.Hibrid

13 Egyrétegű hálók Az összes neuron egy rétegbe van szervezve. Ez egyben a háló kimeneti rétege. A hálónak van egy bemeneti rétege is, amely a bemeneti adatok fogadására szolgál. Egy rétegen belül nincsenek összeköttetések.

14 Többrétegű hálók Akár az egyrétegű hálóknál, a többrétegű hálóknak is van egy bemeneti rétegük amelyek amelyek a bemeneti adatok fogadására szolgálnak, és van egy kimeneti réteg is. A többrétegű hálóknál viszont megjelenhet egy vagy több rejtett réteg isamelyeknek nincs kapcsolatuk sem a bemenettel, sem a kimenettel. Ezek a hálók lehetnek teljesen vagy részlegesen összekapcsoltak.

15 Rekurens hálók Ezek a hálók egy vagy több visszacsatolást tartalmaznak. Lehetnek rejtett rétegeik is.

16 Oldalról összekötött hálók Ennél a típusnál a bemeneti és kimeneti rétegeken kívül van rejtett réteg is. Ennek a rétegnek a neuronjai a szomszédos neuronokkal is össze vannak kötve (oldalösszeköttetés).

17 Hibrid hálók Ezeket a hálókat az eddig felsorolt architektúrák kombinálásával kapjuk.

18 A neurális hálók tanítása Ahhoz, hogy elvégezhessük egy függvény approximációját, mintákat osztályokba klasszifikáljunk, következtessünk valamilyen paraméterre, vagy valamilyen más feladatot elvégezzünk neurális háló segítségével, az adott problémát példahalmaz-minta formában szükséges felállítani, amit tanítóhalmaznak nevezünk. Ha minden bemeneti x vektorhoz egy kívánt d kimenet tartozik, akkor a súlyok módosításának módszerét felügyelt tanítási módszernek nevezzük (supervised learning/training).

19 A neurális hálók tanítása Ha csak a bemeneti vektor és a háló struktúrája adott, akkor a súlyokat a kívánt kimenetek ismerete nélkül kell módosítani. Ezt a módszert nem felügyelt tanítási módszernek nevezzük (unsupervised learning/training). Ez a két alapvető módszeren kívül léteznek más, kevésbéismert tanítási módszerek is, pl. tanítás kritizálással (reinforcement learning).

20 Felügyelt tanítás A felügyelt tanítási módszer feltételezi a kívánt d kimenet ismeretét minden x bemenetre. A tanító jel generátora (“tanító”) a kívánt kimeneti d jel segítségével lehetővé teszi a kívánt és a valódi jelek közti különbség meghatározását (ρ(d,y) távolság). A korábbn meghatározott algoritmus alapján a “tanító” képes elvégezni a súlyok változtatását (a W mátrix elemeit) a pillanatnyi eltérés minimalizálása érdekében.

21 Felügyelt tanítás A háló paramétereinek változtatását a “tanító” emulációja miatt lépésenként végezzük, vagyis a “tanító” tudását a neurális hálóra visszük át. A felügyelt tanítás alkalmas az approximációs és interpolációs technikák megvalósítására, regresszióanalízisre és paraméteresztimációra.

22 Felügyelet nélküli tanítás Ennél a tanítási módszernél a kívánt kimenet közvetlenül nem ismert, ezért a háló adaptációjának kritériuma csak a háló kimenetei lehetnek az aktuális bemenetekre.

23 A neurális hálók tanítása A felügyelet és felügyelet nélkül betanított neurális hálók jelentősen különböznek. A felügyelet nélküli tanítás lehetővé teszi a rendszer összetett jellemzőinek osztályokba sorolását, míg a felügyelt tanítással ki lehet számítani az adott osztályok jellemzőit.

24 A neurálsi hálók tanításának alapszabálya A neurális hálók tanítása a súlyok változtatásaival történik. A súlyok változása annak a következménye, hogy különböző tanítójeleket hozunk a neurális háló bemeneteire. Ha a tanítás folyamata alatt a kimeneti jelek is rendelkezésünkre állnak, akkor felügyelt tanításról beszélünk. Ellentett esetben, a tanítás felügyelet nélküli.

25 A neurálsi hálók tanításának alapszabálya Az i-dik neuron w i =[w i1 w i2 … w in ] T súlyvektora a bemeneti x vektor és az r tanítási jel szorzatával arányosan változik. A tanítójel a w i súlyok, a neuron x bemenete és néha a kívánt d kimenet függvénye, vagyis r=r(w i,x,d i ) A súlyvektor változását a k diszkrét pillanatban a következőképpen definiálhatjuk: Δw i (k)=ηr(w i (k),x(k),d i (k))x(k) η – tanítási állandó Ez a kifejezés mutatja a súlyok változásának összefüggését a bemeneti jel és a tanítójel függvényében. Diszkrét esetben a tanítási szabályt a következőképpen írhatjuk le: w i (k+1)=w i (k)+ ηr(w i (k),x(k),d i (k))x(k) w i (k+1)=w i (k)+ Δw i (k)

26 Hebb tanítási szabály Ez a módszer felügyelet nélküli tanítás amelyet Hebb neuropszichológus a következőképpen definiált: “Ha egy A idegsejt az akszonon keresztül állandóan stimulál egy B idegsejtet, akkor erősödnek a fizikai és kémiai reakciók vagy az egyik, vagy mind a két idegsejtben, ami az A stimuláló idegsejt nagyobb hatékonyságát erdményezi”.

27 Hebb tanítási szabály Ha az i-dik neuron j-dik bemenetének és kimenetének y i x j szorzata pozitív, akkor a w ij súly növekedni fog. Ellenkező esetben ez a súly csökkenni fog. Az x és y változók a neuron bemenete és kimenete. Matematikailag az i-dik neuron j-dik súlyának változását a következő képlettel definiáljuk: Δw ij = ηy i x j, za j=1,2,...,n (n a neuron bemeneteinek száma)

28 Hebb tanítási szabály Tanítási jelnek a neuron kimeneti jelét vesszük r=f(w i T x) Mivel r=y i, írhatjuk a következőt Δw ij = ηf(w i T x)x j Ez a kifejezés a j-dik súly változását jelenti, míg az i-dik neuron összes súlyának változása Δw i = ηf(w i T x)x Az y i x j korrelációs együtthatók határozák meg a kritériumot amely szerint születik az a döntés, hogy mely súlyok fognak növekedni (y i x j >0) vagy csökkenni (y i x j <0).

29 Perceptron tanítási szabály Ebben az esetben felügyelt tanításról van szó, a tanítási jel pedig a neuron kívánt és valódi kimenetei közti különbség, a képlete: r=d i -y i y i =sgn(w i T x) a neuron valódi kimenete, d i pedig az i-dik neuron kimenete. Ennek alapján az i-dik súlyvektor változásait a következőképpen fejezhetjük ki: Δw i = η(d i -sgn(w i T x))x Az egyes szinapszisok változását a következő képlet szerint számítjuk: Δw ij = η(d i -sgn(w i T x))x j, j=1,2,...,n

30 Bipoláris perceptron Ezt a tanítási szabályt csak a bináris kimenetek esetében alkalmazhatjuk. Változás csak akkor lesz, ha az y i kimenet nem pontos. Mivel a neuron kimenete csak 1 vagy -1 lehet, a szinapszis változásának csak a következő értéke lehet: Δw i =+/-2ηx

31 Bipoláris perceptron Az előjel akkor pozitív ha d i =1 és sgn(w T x)=-1, akkor negatív ha d i =-1 és sgn(w T x)=1. A súlyok kezdeti értékeit tetszőlegesen válszthatjuk.

32 Delta tanítási szabály Ezt a módszert még kontinuális perceptron szabálynak nevezzük, vagy hibakorrekció módszernek. Ez a módszer a felügyelt módszerek csoportjába tartozik. Csak az olyan neuronoknál használjuk amelyeknek kontinuális aktivációs függvénye van (kontinuális perceptron). Ennek a módszernek az alapötlete a célfüggvény minimalizációja a hibajel alapján, vagyis a neuron valódi kimenetét a kívánt kimenetekhez minél közelebb állítani.

33 Kontinuális perceptron

34 Delta tanítási szabály A célfüggvényt a hibajel négyzetes összegeként határozzuk meg, a hiba pedig a kívánt és a valódi kimenetek különbsége. E=0.5*(d i -y i ) 2, (kriterium függvény) vagy E=0.5*(d i -f(w i T x)) 2

35 Delta tanítási szabály A Delta tanítási szabályt a kritériumfüggvény deriválásával nyerjük a súlyok szerint, ami a hibavektor gradiensét eredményezi: Ennek a gradiensvektornak az egyes komponensei Mivel a hiba minimalizációja azt követeli, hogy a súlyok változtatása a gradiens negatív irányába történjenek: η a tanítási koefficiens

36 Delta tanítási szabály A tanítási jel (Delta jel) alakja: Most az egyes súlyok változását, illetve az egyes komponenseket a következő képlet alapján számoljuk:

37 Delta tanítási szabály A célfüggvény ábrázolásával a súlyok változásának függvényében egy többdimenziós felületet kapnánk, amely a hiba felületet képviseli. Az alkalmazott aktivációs függvények típusától függően két esetet különböztetünk meg. Ha lineáris aktivációs függvényeket használunk, a hibafelület a súlyok másodfokú függvénye, ezért a felületnek egy minimuma van.

38 Delta tanítási szabály Ha nemlineáris aktivációs függvényeket használunk, a hibafelületnek több minimuma van. Mind a két esetben a Delta algoritmus célja, hogy megfelelő algoritmussal, lépésenként, egy tetszőleges pontból kiindulva megtalálja a globális minimumot. Nemlineáris aktivációs függvények esetén a globális minimumot nem mindig lehetséges megtalálni, mert megtörténhet, hogy az algoritmus először egy lokális minimumra talál. Az algoritmus gyorsaságát és stabilitását az η tanítási együtthatóval lehet szabályozni. Az η kisebb értékeire a tanítás biztosan a minimumhoz konvergál, de a tanítási folyamat hosszabb ideig tart.


Letölteni ppt "Neurális hálók. A mesterséges neuron modellje A neuron modellja a következő 3 elemből áll: 1.A szinapszisok halmaza amelyekkel a neuronok egymáshoz vannak."

Hasonló előadás


Google Hirdetések