Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

1 Mesterséges Neurális Hálózatok 3. előadás Póczos Barnabás NIPG ELTE-IK.

Hasonló előadás


Az előadások a következő témára: "1 Mesterséges Neurális Hálózatok 3. előadás Póczos Barnabás NIPG ELTE-IK."— Előadás másolata:

1 1 Mesterséges Neurális Hálózatok 3. előadás Póczos Barnabás NIPG ELTE-IK

2 2 Reprezentációs és approximációs kérdések

3 3 Tartalom Reprezentációs, és approximációs kérdések A tanulás (mindig valamilyen optimalizálás) Optimalizálási módszerek Perceptron Többrétegű perceptron Alkalmazások

4 4 Reprezentációs kérdések Hilbert 13. sejtése (1900) Legyen f olyan 3 változós függvény, melyre f(a,b,c)=x, ahol x^7+ax^3+bx^2+cx+1=0 Bizonyítsuk be, hogy f nem írható fel véges sok kétváltozós folytonos függvény segítségével. Átfogalamazva: Igazoljuk, hogy van olyan 3 bemenetű nermlineáris rendszer, mely nem írható fel véges számú kétváltozós folytonos függvény segítségével. Azaz van olyan többváltozós rendszer, amit nem tudunk dekomponálni egyszerűbbekkel :-((

5 5 Dekomponálás, példa Legyenek Φ 1 (.,.), Φ 2 (.,.) kétváltozós függvények ψ 1 (.), ψ 2 (.), ψ 3 (.) egyváltozós függvények c 1, c 1 konstansok Ekkor f egy dekomponálása a következő: f(x,y,z)=Φ 1 (ψ 1 (x), ψ 2 (y)) + Φ 2 (c 1 ψ 3 (y)+c 2 ψ 4 (z),x)

6 6 Dekomponálás példa f(x,y,z)=Φ 1 (ψ 1 (x), ψ 2 (y)) + Φ 2 (c 1 ψ 3 (y)+c 2 ψ 4 (z),x) x z y Σ Φ1Φ1 Φ2Φ2 ψ1ψ1 ψ2ψ2 ψ3ψ3 ψ4ψ4 Σ f(x,y,z) c1c1 c2c2

7 7 Reprezentációs kérdések Arnold megcáfolja a Hilbert sejtést (1957) Nemkonstruktív reprezentációs tételek: –Kolmogorov (1957) –Sprecher (1965)

8 8 Reprezentáció, Kolmogorov 1957 f: [0,1] N  R tetszőleges, folytonos, N ¸ 2  Létezik N(2N+1) db folytonos, egyváltozós, f-től független (csak N-től függ) monoton növekedő függvény, hogy  p,q ( ¢ ): [0,1]  R továbbá létezik N db f-től függő egyváltozós, függvény p=1..N, 0=1..2N, q=1..N, hogy

9 9 Reprezentáció, Kolmogorov 1957 A tétel azonban nem konstruktív Adott N-hez, nem ismerjük Adott N-hez és f-hez nem ismerjük

10 10 Reprezentáció, Sprecher (1965) A Kolmogorov féle függvényrendszer helyett elég egy Φ és ψ. Azaz létezik λ, és ε, hogy Ez a tétel sem konstruktív.

11 11 Approximáló rendszer, univerzális approximátorok Hornik, Stichambe, White (1989) Def Σ N (g) 1 rétegű neurális hálózat Állítás: Ha δ>0 tetszőleges, g tetszőleges de telítődő, f folytonos A kompakt halamazon érelmezett →

12 12 Approximáló rendszer, univerzális approximátorok Tehát approximáció szempontjából elég: –1 rejtett réteg –Telítődő nemlinearitás Tanító algoritmus még nincs, ezek csak egzisztencia tételek.

13 13 Approximáló rendszer, univerzális approximátorok Blum, Li (1991) –SgnNet^2(x,w) két rétegű neurális hálózat egyenletesen sűrű L^2-ben. Bizonyítás: Integrál közelítő összegek

14 14 Feedforward neurális háló Speciálisan egy két rétegű neurális hálózat:

15 15 Blum, Li (1991) Egyenletesen sűrű L 2 -ben, más szóval, ha és tetszőleges akkor

16 16 Bizonyítás A továbbiakban csak a 2 dimenziós esettel foglalkozunk Partícionáljuk az állapotteret: Integrálközelítés 1 dimenzióban: (Lenvendowszky János jegyzete)

17 17 Egy ilyen partícionálást meg tud tanulni az alábbi neurális hálózat: 1 ha X eleme X i -1 egyébként

18 18 Az AND függvény reprezentálása 1 neuronnal

19 19 Az OR függvény reprezentálása 1 neuronnal

20 20 Neuron típusok

21 21 Neuron típusok Perceptron, Adaline y=f(s)=f(w T x) f(.) W0W0 W1W1 W2W2 WNWN Σ x 0 =1 x1x1 x2x2 xNxN s y

22 22 Neuron típusok Fukoshima (1988) f 1 (.,.) W1W1 W2W2 WNWN Σ x1x1 x2x2 xNxN WgWg xgxg f 2 (.) s1s1 s2s2 u

23 23 Neuron típusok Radiális Bázis Függvény (RBF) Minden bemenet közvetlenül a nemlinearitásra jut, mely N bemenetű Nicsenek lineáris paraméterek Nincs lineáris összegzés Itt a nemlinearitás a PARAMÉTEREZETT x1x1 x2x2 xnxn f(x 1,…, x n )

24 24 Adaptáció, tanulás, költség függvények

25 25 Adaptáció, tanulás Nincsenek rögzített képességek, a képességek a tanulás során fejlődnek, adaptálódnak a (változó) környezethez. Tanítóval –adott bemenet-kimenet párok  tanulás  approximáció, leképzés megtanulása. Tanító nélkül –csak bemenet  tanulás  mintákban szabályosság, hasonlóság, különbözőség megtanulása

26 26 Tanítóval történő tanítás (supervised learning) –adott bemenet-kimenet párok  tanulás  approximáció, leképzés megtanulása –mindig kiszámítható a hiba a tanítás során (tényleges és kívánt válasz különbsége) –a hiba a tanítás alapja –feladat: modell illesztés, identifikáció, függvény approximáció, –ezek valójában szélsőérték keresési feladatok hiba  min

27 27 Megerősítéses tanulás Speciális tanítóval történő tanítás A feladat végén kapunk kritikát a működésről. (jutalom, vagy büntetés)

28 28 Tanító nélküli tanulás (unsupervised learning) Csak bemeneti minták állnak rendelkezésre, kívánt válaszok nem Cél szabályosság, hasonlóság, különbözőség megtanulása Valójában ezek is szélsőérték keresési eljárások

29 29 Tanítóval történő tanítás Ismeretlen rendszer g(u,n) fekete doboz a modellezendő feladat Neural Net modell g^(w,u) Paraméter módosító algoritmus C(d,y) költség függvény hibaszámítás pl C(d,y)=|d-y| 2 u input d output y w n zaj

30 30 Neural net modell A Neural Net = modell lehet –statikus (memória neélküli) –dinamikus (memóriával rendelkező) g^(w,u t-k,…, u t-1, u t )=y t g^(w,u t-k,…, u t-1, u t, y t-k,…, y t-1 )=y t speciális eset –g^(w,u)=w T u –g^(w 1,w 2,w 3,u t-1,u t,y t-1 )=w 1 T y t-1 + w 2 T u t-1 + w 3 T u t

31 31 Költség függvények Cél d output, és y approximált output, minél közelebb legyen egymáshoz. Speciális esetek Pillanatnyi hiba alapján C(d,y)=c(w)=(d-y) T (d-y)= =(g^(w,u)-y) T (g^(w,u)-y)  min_w


Letölteni ppt "1 Mesterséges Neurális Hálózatok 3. előadás Póczos Barnabás NIPG ELTE-IK."

Hasonló előadás


Google Hirdetések