NEURONHÁLÓK.

Az előadások a következő témára: "NEURONHÁLÓK."— Előadás másolata:

1 NEURONHÁLÓK

2  Egy neuron modellje Súlytényezők A1 w1 Kimenet wi
szummázó küszöb fv. Kimenet wi Bemeneti aktiválások Ai wn An

3 Küszöbfüggvények Lépésfüggvény lépésfüggvény szigmoid függvények
1, ha x > 0 f(x) = f’(x), azaz f(x) előző értéke ha x = 0 -1, ha x < 0 ahol x =  Ai*wi

4 Szigmoid függvények f(x) = 1 / (1+e-x) f(x) = tanh(x)

5 Kétrétegű neurális hálózat
Y1 Yj Yn W11 Wmj W1j Wij Wmn Win Wi1 W1n Wm1 X1 Xi Xm

6 Tanulás Donald Hebb: Organization of Behaviour wij =  ai aj
ahol  a tanulási sebesség, ai és aj az i-edik és j-edik neuron aktivitási szintje (két különböző réteg!) Ez az ú.n. korrelációs tanulás. Egy változata wij = - wij + S(ai) S(aj) ahol S egy szigmoid függvény

7 Tanulás tanító nélkül Tanulás tanítóval
A fenti két módszer egyáltalán nem vizsgálta a kimenetet a súlytényezők változtatásához. Ezért ezt „tanító nélküli” tanulásnak (néha önszerveződésnek) nevezzük. Tanulás tanítóval Minden bemenethez megadjuk a kívánt kimeneti értéket. Az ettől való eltérés a hiba, ennek alapján korrigáljuk a súlytényezőket. A hibakorrekciós tanulás egy formája: wij =  ai[cj – bj] ahol  a tanulási sebesség, ai az i-edik neuron bj a j-edik neuron aktivitási szintje és cj a kivánt szint.

8 Többrétegű neurális hálózatok
Visszafelé terjedéses hálók: tanítóval tanulnak, bemeneti és kimeneti rétegük között egy v. több rejtett réteg található. A hibát először a kimenetre határozzuk meg, onnan transzformáljuk vissza a rejtett rétegekre, innen a „visszafelé terjedés” név.

9 o1 ok oq kimeneti réteg w21k W2 súlymátrix w211 w21q h1 hj hp rejtett réteg W1 súlymátrix w1nj w11j w1np w111 w1ij w11p w1ip w1n1 w1i1 i1 ii in bemeneti réteg

10 A működés Előre menet 1. A rejtett réteg neuronjainak aktivitása:
h = F(iW1), ahol h a rejtett réteg neuronjainak vektora, i a bemeneti réteg neuronjainak vektora és W1 a súlymátrix a két réteg között. 2. A kimeneti réteg neuronjainak aktivitása: o = F(hW2), ahol o a kimeneti réteg neuronjainak vektora, h a rejtett réteg neuronjainak aktivitása és W2 a súlymátrix a két réteg között. F az 1/(1+e-x) alakú szigmoid függvény. Visszafelé menet 3. A kimeneti hiba meghatározása: d=o(1-o)(o-t), ahol d a hibavektor, o a kimeneti réteg neuronjainak aktivitása, t a helyes kimeneti értékek vektora.

11 4. A rejtett réteg hibája:
e = h(1-h)W2d, ahol e a hibavektor a rejtett réteg neuronjaira. 5. A súlytényezők módosítása a második kapcsolati rétegben: W2 = W2 + W2, ahol W2 =  hd + W2t-1 6. A súlytényezők módosítása az első kapcsolati rétegben: W1 = W1 + W1t, ahol W1t =  i e + W1t-1

12 A tanultak visszahívása
h = F(W1i) o = F(W2h), ahol o a visszahívott mintázat