Mesterséges Neurális Hálózatok 3. előadás Póczos Barnabás NIPG ELTE-IK

Reprezentációs és approximációs kérdések

Tartalom Reprezentációs, és approximációs kérdések A tanulás (mindig valamilyen optimalizálás) Optimalizálási módszerek Perceptron Többrétegű perceptron Alkalmazások

Reprezentációs kérdések Hilbert 13. sejtése (1900) Legyen f olyan 3 változós függvény, melyre f(a,b,c)=x, ahol x^7+ax^3+bx^2+cx+1=0 Bizonyítsuk be, hogy f nem írható fel véges sok kétváltozós folytonos függvény segítségével. Átfogalamazva: Igazoljuk, hogy van olyan 3 bemenetű nermlineáris rendszer, mely nem írható fel véges számú kétváltozós folytonos függvény segítségével. Azaz van olyan többváltozós rendszer, amit nem tudunk dekomponálni egyszerűbbekkel :-((

Dekomponálás, példa Legyenek Φ1(.,.) , Φ2 (.,.) kétváltozós függvények ψ1(.), ψ2(.), ψ3(.) egyváltozós függvények c1, c1 konstansok Ekkor f egy dekomponálása a következő: f(x,y,z)=Φ1(ψ1(x), ψ2(y)) + Φ2(c1ψ3(y)+c2ψ4(z),x)

Dekomponálás példa f(x,y,z)=Φ1(ψ1(x), ψ2(y)) + Φ2(c1ψ3(y)+c2ψ4(z),x) Σ y ψ3 c1 Φ2 Σ z ψ4 c2

Reprezentációs kérdések Arnold megcáfolja a Hilbert sejtést (1957) Nemkonstruktív reprezentációs tételek: Kolmogorov (1957) Sprecher (1965)

Reprezentáció, Kolmogorov 1957 f: [0,1]N  R tetszőleges, folytonos, N ¸ 2 Létezik N(2N+1) db folytonos, egyváltozós, f-től független (csak N-től függ) monoton növekedő függvény, hogy p,q(¢): [0,1]  R p=1..N, 0=1..2N továbbá létezik N db f-től függő egyváltozós, függvény ,q=1..N, hogy

Reprezentáció, Kolmogorov 1957 A tétel azonban nem konstruktív Adott N-hez, nem ismerjük Adott N-hez és f-hez nem ismerjük

Reprezentáció, Sprecher (1965) A Kolmogorov féle függvényrendszer helyett elég egy Φ és ψ. Azaz létezik λ, és ε, hogy Ez a tétel sem konstruktív.

Approximáló rendszer, univerzális approximátorok Hornik, Stichambe, White (1989) Def ΣN(g) 1 rétegű neurális hálózat Állítás: Ha δ>0 tetszőleges, g tetszőleges de telítődő, f folytonos A kompakt halamazon érelmezett →

Approximáló rendszer, univerzális approximátorok Tehát approximáció szempontjából elég: 1 rejtett réteg Telítődő nemlinearitás Tanító algoritmus még nincs, ezek csak egzisztencia tételek.

Approximáló rendszer, univerzális approximátorok Blum, Li (1991) SgnNet^2(x,w) két rétegű neurális hálózat egyenletesen sűrű L^2-ben. Bizonyítás: Integrál közelítő összegek

Feedforward neurális háló Speciálisan egy két rétegű neurális hálózat:

Blum, Li (1991) Egyenletesen sűrű L2-ben, más szóval, ha tetszőleges akkor

Bizonyítás (Lenvendowszky János jegyzete) Integrálközelítés 1 dimenzióban: A továbbiakban csak a 2 dimenziós esettel foglalkozunk Partícionáljuk az állapotteret:

Egy ilyen partícionálást meg tud tanulni az alábbi neurális hálózat: 1 ha X eleme Xi -1 egyébként

Az AND függvény reprezentálása 1 neuronnal

Az OR függvény reprezentálása 1 neuronnal

Neuron típusok

Neuron típusok Perceptron, Adaline y=f(s)=f(wTx) f(.) W0 W1 W2 WN Σ x0=1 x1 x2 xN y s

Neuron típusok Fukoshima (1988) x1 W1 s1 x2 W2 u f1(.,.) f2(.) Σ xN WN s2 xg Wg

Neuron típusok Radiális Bázis Függvény (RBF) Minden bemenet közvetlenül a nemlinearitásra jut, mely N bemenetű Nicsenek lineáris paraméterek Nincs lineáris összegzés Itt a nemlinearitás a PARAMÉTEREZETT x1 f(x1,…, xn) x2 xn

Adaptáció, tanulás, költség függvények

Adaptáció, tanulás Nincsenek rögzített képességek, a képességek a tanulás során fejlődnek, adaptálódnak a (változó) környezethez. Tanítóval adott bemenet-kimenet párok  tanulás  approximáció, leképzés megtanulása. Tanító nélkül csak bemenet  tanulás mintákban szabályosság, hasonlóság, különbözőség megtanulása

Tanítóval történő tanítás (supervised learning) adott bemenet-kimenet párok  tanulás  approximáció, leképzés megtanulása mindig kiszámítható a hiba a tanítás során (tényleges és kívánt válasz különbsége) a hiba a tanítás alapja feladat: modell illesztés, identifikáció, függvény approximáció, ezek valójában szélsőérték keresési feladatok hiba  min

Megerősítéses tanulás Speciális tanítóval történő tanítás A feladat végén kapunk kritikát a működésről. (jutalom, vagy büntetés)

Tanító nélküli tanulás (unsupervised learning) Csak bemeneti minták állnak rendelkezésre, kívánt válaszok nem Cél szabályosság, hasonlóság, különbözőség megtanulása Valójában ezek is szélsőérték keresési eljárások

Tanítóval történő tanítás n zaj Ismeretlen rendszer g(u,n) fekete doboz a modellezendő feladat u input d output C(d,y) költség függvény hibaszámítás pl C(d,y)=|d-y|2 Neural Net modell g^(w,u) y w Paraméter módosító algoritmus

Neural net modell A Neural Net = modell lehet speciális eset statikus (memória neélküli) dinamikus (memóriával rendelkező) g^(w,ut-k,…, ut-1, ut)=yt g^(w,ut-k,…, ut-1, ut, yt-k,…, yt-1)=yt speciális eset g^(w,u)=wTu g^(w1,w2,w3,ut-1,ut,yt-1)=w1Tyt-1+ w2Tut-1+ w3Tut

Költség függvények Cél d output, és y approximált output, minél közelebb legyen egymáshoz. Speciális esetek Pillanatnyi hiba alapján C(d,y)=c(w)=(d-y)T(d-y)= =(g^(w,u)-y)T(g^(w,u)-y) min_w