NEURONHÁLÓK

 Egy neuron modellje Súlytényezők A1 w1 Kimenet wi szummázó küszöb fv. Kimenet wi Bemeneti aktiválások Ai wn An

Küszöbfüggvények Lépésfüggvény lépésfüggvény szigmoid függvények 1, ha x > 0 f(x) = f’(x), azaz f(x) előző értéke ha x = 0 -1, ha x < 0 ahol x =  Ai*wi

Szigmoid függvények f(x) = 1 / (1+e-x) f(x) = tanh(x)

Kétrétegű neurális hálózat Y1 Yj Yn W11 Wmj W1j Wij Wmn Win Wi1 W1n Wm1 X1 Xi Xm

Tanulás Donald Hebb: Organization of Behaviour wij =  ai aj ahol  a tanulási sebesség, ai és aj az i-edik és j-edik neuron aktivitási szintje (két különböző réteg!) Ez az ú.n. korrelációs tanulás. Egy változata wij = - wij + S(ai) S(aj) ahol S egy szigmoid függvény

Tanulás tanító nélkül Tanulás tanítóval A fenti két módszer egyáltalán nem vizsgálta a kimenetet a súlytényezők változtatásához. Ezért ezt „tanító nélküli” tanulásnak (néha önszerveződésnek) nevezzük. Tanulás tanítóval Minden bemenethez megadjuk a kívánt kimeneti értéket. Az ettől való eltérés a hiba, ennek alapján korrigáljuk a súlytényezőket. A hibakorrekciós tanulás egy formája: wij =  ai[cj – bj] ahol  a tanulási sebesség, ai az i-edik neuron bj a j-edik neuron aktivitási szintje és cj a kivánt szint.

Többrétegű neurális hálózatok Visszafelé terjedéses hálók: tanítóval tanulnak, bemeneti és kimeneti rétegük között egy v. több rejtett réteg található. A hibát először a kimenetre határozzuk meg, onnan transzformáljuk vissza a rejtett rétegekre, innen a „visszafelé terjedés” név.

o1 ok oq kimeneti réteg w21k W2 súlymátrix w211 w21q h1 hj hp rejtett réteg W1 súlymátrix w1nj w11j w1np w111 w1ij w11p w1ip w1n1 w1i1 i1 ii in bemeneti réteg

A működés Előre menet 1. A rejtett réteg neuronjainak aktivitása: h = F(iW1), ahol h a rejtett réteg neuronjainak vektora, i a bemeneti réteg neuronjainak vektora és W1 a súlymátrix a két réteg között. 2. A kimeneti réteg neuronjainak aktivitása: o = F(hW2), ahol o a kimeneti réteg neuronjainak vektora, h a rejtett réteg neuronjainak aktivitása és W2 a súlymátrix a két réteg között. F az 1/(1+e-x) alakú szigmoid függvény. Visszafelé menet 3. A kimeneti hiba meghatározása: d=o(1-o)(o-t), ahol d a hibavektor, o a kimeneti réteg neuronjainak aktivitása, t a helyes kimeneti értékek vektora.

4. A rejtett réteg hibája: e = h(1-h)W2d, ahol e a hibavektor a rejtett réteg neuronjaira. 5. A súlytényezők módosítása a második kapcsolati rétegben: W2 = W2 + W2, ahol W2 =  hd + W2t-1 6. A súlytényezők módosítása az első kapcsolati rétegben: W1 = W1 + W1t, ahol W1t =  i e + W1t-1

A tanultak visszahívása h = F(W1i) o = F(W2h), ahol o a visszahívott mintázat