Mesterséges Neurális Hálózatok 3. előadás

Az előadások a következő témára: "Mesterséges Neurális Hálózatok 3. előadás"— Előadás másolata:

1 Mesterséges Neurális Hálózatok 3. előadás
Póczos Barnabás NIPG ELTE-IK

2 Reprezentációs és approximációs kérdések

3 Tartalom Reprezentációs, és approximációs kérdések
A tanulás (mindig valamilyen optimalizálás) Optimalizálási módszerek Perceptron Többrétegű perceptron Alkalmazások

4 Reprezentációs kérdések
Hilbert 13. sejtése (1900) Legyen f olyan 3 változós függvény, melyre f(a,b,c)=x, ahol x^7+ax^3+bx^2+cx+1=0 Bizonyítsuk be, hogy f nem írható fel véges sok kétváltozós folytonos függvény segítségével. Átfogalamazva: Igazoljuk, hogy van olyan 3 bemenetű nermlineáris rendszer, mely nem írható fel véges számú kétváltozós folytonos függvény segítségével. Azaz van olyan többváltozós rendszer, amit nem tudunk dekomponálni egyszerűbbekkel :-((

5 Dekomponálás, példa Legyenek Φ1(.,.) , Φ2 (.,.) kétváltozós függvények
ψ1(.), ψ2(.), ψ3(.) egyváltozós függvények c1, c1 konstansok Ekkor f egy dekomponálása a következő: f(x,y,z)=Φ1(ψ1(x), ψ2(y)) + Φ2(c1ψ3(y)+c2ψ4(z),x)

6 Dekomponálás példa f(x,y,z)=Φ1(ψ1(x), ψ2(y)) + Φ2(c1ψ3(y)+c2ψ4(z),x)
Σ y ψ3 c1 Φ2 Σ z ψ4 c2

7 Reprezentációs kérdések
Arnold megcáfolja a Hilbert sejtést (1957) Nemkonstruktív reprezentációs tételek: Kolmogorov (1957) Sprecher (1965)

8 Reprezentáció, Kolmogorov 1957
f: [0,1]N  R tetszőleges, folytonos, N ¸ 2 Létezik N(2N+1) db folytonos, egyváltozós, f-től független (csak N-től függ) monoton növekedő függvény, hogy p,q(¢): [0,1]  R p=1..N, 0=1..2N továbbá létezik N db f-től függő egyváltozós, függvény ,q=1..N, hogy

9 Reprezentáció, Kolmogorov 1957
A tétel azonban nem konstruktív Adott N-hez, nem ismerjük Adott N-hez és f-hez nem ismerjük

10 Reprezentáció, Sprecher (1965)
A Kolmogorov féle függvényrendszer helyett elég egy Φ és ψ. Azaz létezik λ, és ε, hogy Ez a tétel sem konstruktív.

11 Approximáló rendszer, univerzális approximátorok
Hornik, Stichambe, White (1989) Def ΣN(g) 1 rétegű neurális hálózat Állítás: Ha δ>0 tetszőleges, g tetszőleges de telítődő, f folytonos A kompakt halamazon érelmezett →

12 Approximáló rendszer, univerzális approximátorok
Tehát approximáció szempontjából elég: 1 rejtett réteg Telítődő nemlinearitás Tanító algoritmus még nincs, ezek csak egzisztencia tételek.

13 Approximáló rendszer, univerzális approximátorok
Blum, Li (1991) SgnNet^2(x,w) két rétegű neurális hálózat egyenletesen sűrű L^2-ben. Bizonyítás: Integrál közelítő összegek

14 Feedforward neurális háló
Speciálisan egy két rétegű neurális hálózat:

15 Blum, Li (1991) Egyenletesen sűrű L2-ben, más szóval, ha tetszőleges
akkor

16 Bizonyítás (Lenvendowszky János jegyzete)
Integrálközelítés 1 dimenzióban: A továbbiakban csak a 2 dimenziós esettel foglalkozunk Partícionáljuk az állapotteret:

17 Egy ilyen partícionálást meg tud tanulni
az alábbi neurális hálózat: 1 ha X eleme Xi -1 egyébként

18 Az AND függvény reprezentálása 1 neuronnal

19 Az OR függvény reprezentálása 1 neuronnal

20 Neuron típusok

21 Neuron típusok Perceptron, Adaline
y=f(s)=f(wTx) f(.) W0 W1 W2 WN Σ x0=1 x1 x2 xN y s

22 Neuron típusok Fukoshima (1988)
x1 W1 s1 x2 W2 u f1(.,.) f2(.) Σ xN WN s2 xg Wg

23 Neuron típusok Radiális Bázis Függvény (RBF)
Minden bemenet közvetlenül a nemlinearitásra jut, mely N bemenetű Nicsenek lineáris paraméterek Nincs lineáris összegzés Itt a nemlinearitás a PARAMÉTEREZETT x1 f(x1,…, xn) x2 xn

24 Adaptáció, tanulás, költség függvények

25 Adaptáció, tanulás Nincsenek rögzített képességek, a képességek a tanulás során fejlődnek, adaptálódnak a (változó) környezethez. Tanítóval adott bemenet-kimenet párok  tanulás  approximáció, leképzés megtanulása. Tanító nélkül csak bemenet  tanulás mintákban szabályosság, hasonlóság, különbözőség megtanulása

26 Tanítóval történő tanítás (supervised learning)
adott bemenet-kimenet párok  tanulás  approximáció, leképzés megtanulása mindig kiszámítható a hiba a tanítás során (tényleges és kívánt válasz különbsége) a hiba a tanítás alapja feladat: modell illesztés, identifikáció, függvény approximáció, ezek valójában szélsőérték keresési feladatok hiba  min

27 Megerősítéses tanulás
Speciális tanítóval történő tanítás A feladat végén kapunk kritikát a működésről. (jutalom, vagy büntetés)

28 Tanító nélküli tanulás (unsupervised learning)
Csak bemeneti minták állnak rendelkezésre, kívánt válaszok nem Cél szabályosság, hasonlóság, különbözőség megtanulása Valójában ezek is szélsőérték keresési eljárások

29 Tanítóval történő tanítás
n zaj Ismeretlen rendszer g(u,n) fekete doboz a modellezendő feladat u input d output C(d,y) költség függvény hibaszámítás pl C(d,y)=|d-y|2 Neural Net modell g^(w,u) y w Paraméter módosító algoritmus

30 Neural net modell A Neural Net = modell lehet speciális eset
statikus (memória neélküli) dinamikus (memóriával rendelkező) g^(w,ut-k,…, ut-1, ut)=yt g^(w,ut-k,…, ut-1, ut, yt-k,…, yt-1)=yt speciális eset g^(w,u)=wTu g^(w1,w2,w3,ut-1,ut,yt-1)=w1Tyt-1+ w2Tut-1+ w3Tut

31 Költség függvények Cél d output, és y approximált output, minél közelebb legyen egymáshoz. Speciális esetek Pillanatnyi hiba alapján C(d,y)=c(w)=(d-y)T(d-y)= =(g^(w,u)-y)T(g^(w,u)-y) min_w