Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Pécsi Tudományegyetem Pollack Mihály Műszaki Kar Műszaki Informatika Szak Data Mining 30. Gyakorlat Dr. Pauler Gábor, Egyetemi Docens PTE-PMMK Számítástechnika.

Hasonló előadás


Az előadások a következő témára: "Pécsi Tudományegyetem Pollack Mihály Műszaki Kar Műszaki Informatika Szak Data Mining 30. Gyakorlat Dr. Pauler Gábor, Egyetemi Docens PTE-PMMK Számítástechnika."— Előadás másolata:

1

2 Pécsi Tudományegyetem Pollack Mihály Műszaki Kar Műszaki Informatika Szak Data Mining 30. Gyakorlat Dr. Pauler Gábor, Egyetemi Docens PTE-PMMK Számítástechnika Tanszék Iroda: Boszorkány u., B épület 101 Tel: 72/ / Készült a PTE Alapítvány támogatásával

3 A gyakorlat tartalma 29. Házi Feladat ellenőrzése: Nőtervezés FuzzyTech-ben A neurális hálózatok tanulása: Nem felügyelt tanulás Hebb-f é le tanul á si t ö rv é ny A szükséges hálózati topológia: BAM A BAM aktivációja A Hebb-féle tanulás algoritmusa Tesztelése, alkalmazása és kritikája Fel ü gyelt tanul á s Delta tanul á si m ó dszer A szükséges hálózati topológia: perceptron A perceptron aktivációja A delta-szabály algoritmusa Tesztelése, alkalmazása és kritikája Visszacsatol ó tanul á si m ó dszer A szükséges hálózati topológia: többmezős perceptron A többmezős perceptron aktivációja A visszacsatoló tanulás algoritmusa Tesztelése, alkalmazása és kritikája Neurális hálózatok validációja Nem fel ü gyelt tanul á sn á l Fel ü gyelt tanul á sn á l Egyszerű valid á ci ó Keresztvalid á ci ó Számítógépes alkalmazás a neurális hálózatok elméletéhez Mátrix diagramm Vezérlési függvény diagramm 30. Házi Feladat: Karakterek tervezése a vezérlési függvény szimulátorban

4 Neurális rendszerek tanulása A tanul á ssal kapcsolatos alapfogalmak: Tanul á s (Learning): –A neur á lis h á l ó zat kezdetben v é letlen é rt é kű w szinaptikus s ú lyainak m ó dos í t á sa annak é rdek é ben, hogy a h á l ó zat a k í v á nt viselked é st mutassa Tan í t ó minta (Teaching Sample/Pattern Set) – Az i=1..n input é s o=1..O output v á ltoz ó k kor á bban megfigyelt y j ={y ij i=1..n, y oj o=1..O} j=1..m vektoraib ó l á ll ó adatb á zis  tanul á si r á ta (Learning R ate): –[0,1] k ö zti skal á r, amely azt fejezi ki, hogy a neur á lis h á l ó zat milyen gyorsan saj á t í tja el az ú j ismereteket a r é giek fel ü l í r á s á val –Magas tanul á si r á ta gyorsabb tanul á st, de roml ó á ltal á nos í t á si é s memoriz á ci ó s k é pess é get jelent:  =1 nincs mem ó ria, csak az utols ó minta tanul á sa (pl. Alzheimer -kór ) –Alacsony tanul á si r á ta viszont lass ú tanul á st eredm é nyez:  =0 nincs tanul á s, csak mem ó ria (pl. Elef á nt) Tan í t á si ciklus/ epoch (Learning Epoch) –A fenti dilemma felold á s á ra a minta vektorokat nem egy l é p é sben magas tanul á si r á t á val, hanem e=1..E ciklusban megism é telve (Repetition), alacsonyabb tanul á si r á ta mellett tan í tjuk meg a h á l ó zatnak Nem fel ü gyelt tanul á si m ó dszerek (Unsupervised Learning): –Nem v á rjuk, hogy adott inputokhoz előre ismert outputokat adjon ki a rendszer, hanem egy á ltal á nos hibaf ü ggv é nyt pr ó b á lunk minimaliz á lni a szinaptikus s ú lyok be á ll í t á sa sor á n –Explorat í v: tendenci á kat keres ü nk a mintaadatokban, gyakorlatban ritk á bb

5 Hebb-f é le asszociat í v tanul á si t ö rv é ny (Hebbian Rule): A hozzá szükséges há l ó zati topol ó gia: K é tir á ny ú Asszociat í v Mem ó ria (Bidirectional Associative Memory, BAM): Egymezős, i,k=1..n neuronokb ó l á ll ó h á l ó zat, ik k é tir á ny ú mezők ö zi ö sszek ö ttet é sekkel A neuronok aggreg á ci ó ja addit í v, jelz é si f ü ggv é nye S-g ö rbe A mezőben a neuronok egy- vagy k é tdimenzi ó s t é rszerkezetbe lehetnek rendezve Minden m á s h á l ó zat ennek a speci á lis alesete, ez a leg á ltal á nosabb topol ó gia A BAM h á l ó zat aktiv á ci ó ja Mivel BAM visszacsatol ó h á l ó zat, aktiv á ci ó ja y ij inputokb ó l t=1..T peri ó dusban cikliku s: 1. Lépés:input minták be: x i1j = y ij, i=1..n, j=1..m 2. Lépés:körkörös súly×jelzés aggregál: x kt+1j =  i (w ik × s i (x itj ))/  i (w ik ), (30.6) i,k=1..n, t=1..T, j=1..m Ké tf é le kimenete lehet: Nem felügyelt tanulás 1 w ik kk x it S i (x it ) ii ii uiui lili kk x it S i (x it ) ii ii uiui lili w kk w ii w ki - Ez az output jelzések inputba történő visszacsatoláshoz szükséges jelzés tükröző függvény I/O diagramm-jele s i (x i1j ) ×w ii ×w ik ×w ki ×w kk Avg i x kt+1j s k (x kt+1j ) x kt+2j

6 A BAM aktivációja A h á l ó zat x it membr á n é rt é kei a v é gtelenbe konverg á lnak A h á l ó zat x it membr á n é rt é kei egy adott x* vektor fele konverg á lnak, é s e k ö r ü l Ljapunov-stabil á llapot (Ljapunov Stability) alakul ki, vagyis megadhat ó x* olyan  sugar ú k ö rnyezete, amiből a rendszer m á r nem l é p ki kűlső beavatkoz á s n é lk ü l t=1..T időperi ó duson kereszt ü l. Ekkor a rendszer felismerte (Recognition) x* vektort. A mátrix diagrammon egy 16 neuronból álló BAM-ra látunk példát, amelyek egy 4×4 pixeles kétdimenziós térrácsba vannak rendezve, és inputként az „A” karakter van betöltve membrán értékeikbe

7 y ij y kj A Hebb-féle tanulás algoritmusa e=1..E-epoch során a j=1..m mintaelem eket cikli- kusan betöltjük a neuronok membrán értékeibe, mire a hálózat a fentebb leírt módon tüzel (lásd: ) Majd az i-edik és k-adik neuronok közti ik ö sszek ö ttet é s ek w ikje s ú ly á t (ami kezd etben random értékű) Az i-edik és k-adik neuronok s ije é s s kje jelz é s einek (lásd: ) szorzat ával (lásd: ) módo- sítjuk (lásd: ), a  ike tanul á si r á t á val ar á nyosan : FOR e=1..E DO /Epochok FOR j=1..m DO /Mint á k w ik(je+1) =  ike ×s ije ×s kje + (1-  ike )×w ikje, i,k=1..n Ahol: (30.7) s ije = s i (y ij ), s kje = s k (y kj ) - az i-edik, illetve k- adik neuron ok jelzései a j-edik mintaelemn é l y ij, y kj - az i-edik, illetve k-adik neuron ok membrán értékeibe töltött a j-edik mintaelem ek NEXT j /K ö vetkező minta NEXT e /K ö vetkező epoch A jelzések szorzata tulajdonk é ppen egy kompenz á l ó É S oper á tor a k é t jelz é s k ö zt, amivel asszociat í v kapcsolatot teremthet az adott k é t neuron á ltal modellezett dolg ok k ö zt. (Pl. Pavlov h í res k í s é rlet é ben a kutya ny á laz á si felt é teles reflexe ú gy alakult ki, hogy „betöltöttek neki” sok mintát, amikor a csengő sz ó lt É S a kaja is j ö tt ) s i (y ij ) s k (y kj ) s i (y ij ) s ije ×s ije s ije ×s kje s kje ×s kje  w ikje  w iije  w kkje

8 A Hebb-féle tanulás tesztelése - Az aktiv á ci ó konvergenci á ja (Activation Convergency): az y j megtanult mint á k ( ) egyre m é lyebb völgyeket hoznak l é tre a tanul á s sor á n a rendszer Ljapunov-energiaf ü ggv é ny é n (Ljapunov Energy Function): L je =  i  k S i (x i )×S k (x k )×w ik (30.7) A tanul á s minős é g é t jelzi, hogy a rendszer h á ny l é p é sben tal á l bele az ezek m é ly é n l é vő Ljapunov-stabil helyekre, vagyis ismer fel mint á kat. -A helyesen felismert minták aránya (Recognition Efficiency): a betan í tott mint á t hány %- ban ismeri fel az y j input vektorokból, vagy t é veszti össze m á s mintával (Crosstalk), mert egy másik közeli völgybe ugrik be - A tanul á s konvergenci á ja (Learning Convergency): az y j input vektorok é s az y* felismert minta ( ) k ö zti n é gyzetes eukli - deszi t á vols á gk é nt megjelenő SSE je ö sszes í tett n é gyzetes hibaf ü ggv é ny milyen gyor - san cs ö kken egy előre r ö g - z í tett SSE* hat á r é rt é k al á az e=1..E epochok sor á n : SSE je =  i (y ji -y i *) 2 (30.8)

9 A Hebb-féle tanulás alkalmazásai 1 Egyszerűbb karakter felismer é s (Character Recognition): K é tdimenzi ó s mezőstrukt ú r át alkalmazunk, a mint á k egy k é tdimenzi ó s pixelr á csban defini á l ó dnak (itt pl. 4×4-es 16 neuronnal) Zajos, vagy hiányos inputból több aktivációs körön keresztül előhívja a leghasonlóbb betanított mintát (pl. az „A” karaktert) H á tr á nya, hogy a pixelr á cs felbont á sa fel ü lről korl á tozza, h á nyf é le karaktert k é pes hat é konyan megtanulni, pl. 4×4-es felbontásnál ideális esetben max. 16 karaktert, a valóságban inkább csak 4-et, az elméletileg lehetséges 2 16 =65536 féle karakterből. Elég pazarlóan bánik a neuronokkal!

10 A Hebb-féle tanulás alkalmazásai 2 Tempor á lis asszociat í v mem ó ria (Temporal Associative memory, TAM): Egydimenzi ó s mezőstrukt ú r ájú BAM hálózat, ahol A mintaadatb á zis egy t=1..m+n elemű idősoron j=1..m eltol á ssal v é gigcs ú sz ó i=1..n elemű időbeli ablak ban j ö n l é tre A TAM aktivációs ciklusai során az időbeli ablakot előre csúsztatva képes előrejelzést készíteni durván nemlináris szerkezetű idősorokra Az autoregresszi ó s (Autoregression, AR) modellekkel (lásd: Session15) anal ó g műk ö d é sű, azok multikolinearit á ssal kapcsolatos h á tr á nyai n é lk ü lSession15 R é szv é ny á rfolyam-előrejelz é s nél, vagy hangfelismer é s nél haszn á lj á k A BAM hálózat és a Hebb-féle tanulás k ritik á ja: Előnye, hogy e gyszerű hálózatot igényel, és a tanulás számolásigénye alacsony Hátránya, hogy c sak a gyakorlatban ritk á bb nem fel ü gyelt tanul á s sor á n haszn á lhat ó, rosszul elkülönülő minták esetén baj lehet a Ljapunov-stabilitással, az aktiváció számolásigénye a ciklikus iterációk miatt magas, és nagyon pazarlóan bánik a neuronokkal Csak nem felügyelt tanulásra használható Fel ü gyelt tanul á si m ó dszerek (Supervised Learning) Adott inputokb ó l előre ismert outputokat szeretn é nk megkapni A gyakorlatban gyakrabban fordul elő, mint a nem fel ü gyelt v á ltozat w ik kk x it S i (x it ) ii ii uiui lili kk x it S i (x it ) ii ii uiui lili w ii w ki w ik kk x it S i (x it ) ii ii uiui lili kk x it S i (x it ) ii ii uiui lili w ii w ki w ik w ki w ik w ki w ik w ki w ik w ki

11 A gyakorlat tartalma 29. Házi Feladat ellenőrzése: Nőtervezés FuzzyTech-ben A neurális hálózatok tanulása: Nem felügyelt tanulás Hebb-féle tanulási törvény A szükséges hálózati topológia: BAM A BAM aktivációja A Hebb-féle tanulás algoritmusa Tesztelése, alkalmazása és kritikája Felügyelt tanulás Delta tanulási módszer A szükséges hálózati topológia: perceptron A perceptron aktivációja A delta-szabály algoritmusa Tesztelése, alkalmazása és kritikája Visszacsatoló tanulási módszer A szükséges hálózati topológia: többmezős perceptron A többmezős perceptron aktivációja A visszacsatoló tanulás algoritmusa Tesztelése, alkalmazása és kritikája Neurális hálózatok validációja Nem felügyelt tanulásnál Felügyelt tanulásnál Egyszerű validáció Keresztvalidáció Számítógépes alkalmazás a neurális hálózatok elméletéhez Mátrix diagramm Vezérlési függvény diagramm 30. Házi Feladat: Karakterek tervezése a vezérlési függvény szimulátorban

12 y ij Delta tanulási szabály A hozzá szükséges há l ó zati topol ó gia: Perceptron (Perceptron): - Az i=1..n input é s o=1..O output neuronokb ó l á ll ó k é tmezős (Dual-Layer) h á l ó zat io mezők ö zti teljes előrecsatol á st (Full Feedforward Connection) tartalmaz -A z output neuronok addit í v aggreg á ci ó j ú ak, az inputok jelz é si f ü ggv é nye line á ris, az outputok é S-g ö rbe A Perceptron aktiv á ci ó ja - Előrecsatol ó h á l ó zatk é nt egy l é p é sben x oj output membr á n é rt é keket sz á m í t ki az input mezőbe töltött y ij mint á kb ó l: x oj =  i (w io × s i (y ij ))/  i (w io ), i=1..n, o=1..O, j=1..m (30.8) Input x it S i (x it ) ii ii uiui lili ii x ot S o (x ot ) oo oo uouo lolo Input x it S i (x it ) ii ii uiui lili ii x ot S o (x ot ) oo oo uouo lolo w io s i (y ij ) ×w io x oj Avg i s o (x oj ) A perceptron aktivációja jelzési diagrammon: y ij s i (y ij ) s o (x oj ) A perceptron aktivációja I/O diagrammon:

13  oje y ij x oje y ij A Delta-tanulási algoritmus 1 e=1..E-epoch során az y j j=1..m mintaelem eket ciklikusan betöltjük az i=1..n input neuronok membrán értékeibe, mire a hálózat a fentebb leírt módon tüzel (lásd: ) Majd az i-edik és o-adik neuronok közti io ö sszek ö ttet é s ek w io je s ú ly á t (ami kezd etben random értékű) a  io e tanul á si r á t á val ar á nyosan az alábbi szorzattal (lásd: ) módosítjuk (lásd: ): Az i-edik input neuron s i (y ij ) jelzését (lásd: ) összeszorozzuk o output  oje „deltájával”, ami: Az x oje output membrán érték é s y oj elvárt output minta közti különbségnek és az output jelzési függ- vény S’ o (y oj ) elvárt outputbeli elsőrendű parciális deriváltjának (lásd: ) szorzata. A delta az output neuron jelzésében fennálló +/- hibát jelenti. FOR e=1..E DO /Epochok FOR j=1..m DO /Mint á k w io(je+1) =  ioe × s i (y ij ) ×  oje + (1-  ioe )×w ioje, i=1..n, o=1..O (30.9) ahol:  oje = s o ’ (y oj )×(y oj - x oje ) (30.10) s o ’ (y oj ) – az o-adik output neuron jelz é si f ü ggv é ny é nek elsőrendű parci á lis deriv á ltja y oj – elvárt output minta é rt é k x oje - t é nyleges output membr á n é rt é k NEXT j /K ö vetkező minta NEXT e /K ö vetkező epoch A delta-szabály lényegében az input jelzés és az output hiba közti kompenzáló ÉS operátor s i (y ij )×  oje  w ioje s i (y ij ) s o (y oj ) s i (y ij ) s’ o (y oj ) y oj s’ o (y oj )

14 A Delta-tanulási algoritmus 2 Tesztel é se: Ö sszes í tett n é gyzetes hiba (Sum of Squared Errors, SSE): SSE je =  o (  oje 2 ), j=1..m, e=1..E (30.11) A tanul á s konvergenci á ja (Convergency): az SSE je ö sszes í tett n é gyzetes hiba cs ö kken é si ü teme az e=1..E epochok sor á n A ddig p ö rgeti a tanul á si epochokat, amíg egy előre defini á lt SSE* hat á r á rt ék alá nem megy Felhaszn á l á sa : A vezérlési függvény ploton látszik, hogy az output mező neuronjainak S o jelzési függvénye tetszőleges szögben elforgatott és eltolt fuzzy féltereket (Fuzzy Halfspace) képes ábrázolni az input változók (lásd: X és Y) terében A félterek határának életlensége az output jelzési függvény  o meredekségétől függ A perceptron a faktoranalízishez (lásd: Session16) hasonló műk ö d é sű, csak line á risan szepar á lhat ó csoportos í t á s ra haszn á lhat ó, hasonlóan a faktoranalízis- alapú csoportosításhoz (lásd: Lesson18) Session16Lesson18 Kritik á ja: Csak egy input é s egy output mezős h á l ó zatot kezel, és csak primitív lineáris szeparációkat tud megtanulni

15 A gyakorlat tartalma 29. Házi Feladat ellenőrzése: Nőtervezés FuzzyTech-ben A neurális hálózatok tanulása: Nem felügyelt tanulás Hebb-féle tanulási törvény A szükséges hálózati topológia: BAM A BAM aktivációja A Hebb-féle tanulás algoritmusa Tesztelése, alkalmazása és kritikája Felügyelt tanulás Delta tanulási módszer A szükséges hálózati topológia: perceptron A perceptron aktivációja A delta-szabály algoritmusa Tesztelése, alkalmazása és kritikája Visszacsatoló tanulási módszer A szükséges hálózati topológia: többmezős perceptron A többmezős perceptron aktivációja A visszacsatoló tanulás algoritmusa Tesztelése, alkalmazása és kritikája Neurális hálózatok validációja Nem felügyelt tanulásnál Felügyelt tanulásnál Egyszerű validáció Keresztvalidáció Számítógépes alkalmazás a neurális hálózatok elméletéhez Mátrix diagramm Vezérlési függvény diagramm 30. Házi Feladat: Karakterek tervezése a vezérlési függvény szimulátorban

16 A visszacsatoló tanulási módszer A szükséges há l ó zati topol ó gia: T ö bbmezős perceptron (Multi-Layer Perceptron): - Egy i=1..n input, h=1..H rejtett é s o=1..O output neuronokb ó l á ll ó t ö bbmezős (Multi-Layer) h á l ó zat ih é s ho teljes mezők ö zi előrecsatol á sokkal (Full Feedforward Connection) -Mezőn belüli csatolások nincsenek -A mezőközi teljes előrecsatolások kizárólag tanulás közben kétirányúvá válnak, és visszafele közvetítenek hibajelzéseket, innen kapta a visszacsatoló tanulási módszer (Backpropagation) a nevét - A rejtett mező addit í v aggreg á ci ó j ú, az output lehet additív és multiplikat í v is. Az input neuronok jelz é si f ü ggv é nye i line á risak, a t ö bbi mező neuronjai é S- g ö rbe. Input x it S i (x it ) ii ii uiui lili ii x ht S h (x ht ) hh hh uhuh lhlh Input x it S i (x it ) ii ii uiui lili ii x ht S h (x ht ) hh hh uhuh lhlh hh x ot S o (x ot ) oo oo uouo lolo hh x ot S o (x ot ) oo oo uouo lolo w ih w ho

17 y ij A többmezős perceptron aktivációja I/O diagrammon Előrecsatol ó h á l ó zatk é nt elősz ö r x hj rejtett membr á n é rt é keket sz á m í t ki az y ij input mint á kb ó l: x hj =  i (w ih × s i (y ij ))/  i (w ih ), i=1..n, h=1..H, j=1..m (30.11) Majd az x hj rejtett membr á n é rt é kekből kisz á m í tja az x oj output membr á n é rt é keket: x oj =  h (s h (x hj ) Who ) 1/  h(Who), h=1..H, o=1..O, j=1..m (30.12) Végül az x o j output membr á n é rt é kekből kisz á m í tja az s oj output jelzési é rt é keket: s oj = S o (x oj ), o=1..O, j=1..m (30.13) s i (y ij ) ×w ih Avg i x hj s h (x hj ) ×w ho ii ii x oj s o (x oj )

18 A többmezős perceptron aktivációja jelzési diagrammon Az e lőrecsatol ásban elősz ö r x hj rejtett membr á n é rt é keket sz á m í t ki az y ij input mint á kb ó l: x hj =  i (w ih × s i (y ij ))/  i (w ih ), i=1..n, h=1..H, j=1..m (30.11) Majd az x hj rejtett membr á n é rt é kekből kisz á m í tja az x oj output membr á n é rt é keket: x oj =  h (s h (x hj ) Who ) 1/  h(Who), h=1..H, o=1..O, j=1..m (30.12) Végül az x o j output membr á n é rt é kekből kisz á m í tja az s oj output jelzési é rt é keket: s oj = S o (x oj ), o=1..O, j=1..m (30.13) y ij s i (y ij ) s h (x hj ) x hj s o (x oj ) x oj

19 A többmezős perceptron aktivációja mátrix diagrammon Egy mezőként 16 neuronnal rendelkező, 3 mezős perceptront látunk mátrixos formában, a mezők és a csatolások beállításaival A rejtett mező gyakran több neuronból áll, mint az I/O mezők, így a csatolási mátrixok nem mindig kvadratikusak Az aktiváció fentről lefele, illetve balról jobbra halad:

20 y ij x hj x oj s h (x hje ) s o (x oje )  oje A visszacsatoló tanulási algoritmus 1 FOR e=1..E DO /Epochok FOR j=1..m DO /Mint á k 1.L É P É S: ho rejtett-output ö sszek ö ttet é sek m ó dos í t á sa delta-szab á llyal: w ho(je+1) =  hoe × s h (x hj e ) ×  oje + (1-  hoe )×w hoje, h=1..H, o=1..O (30.14) ahol:  oje = s o ’ (y oj )×(y oj - x oje ) (30.15) 2.L É P É S: a  oje output hibajeleket a módosított ho összeköttetések vissza- csatolják és súlyozva aggregálják h=1..H rejtett neuronok: s h(j+1)(e+1) = s hje +  hje, h=1..H (30.16) Ahol:  hje =  o ( w ho(je+1) ×  oje )/  o ( w ho(je+1) ), o=1..O (30.17) – ha a h-adik neuron aggreg á ci ó ja addit í v  hje =  o (  oje Who(je+1) ) 1/  o(Who(je+1)), (30.18) o=1..O – ha a h-adik neuron aggreg á ci ó ja multiplikat í v 3.L É P É S: ih input-rejtett ö sszek ö ttet é sek m ó dos í t á sa delta-szab á llyal: w ih(je+1) =  ihe ×s ije ×  hje + (1-  ihe )×w ihje, i=1..n, h=1..H (30.19) ahol: s ije = s i (y ij ) (30.20) y ij - az i-edik input neuron membr á n é rt é k ébe töltött a j-edik minta érték NEXT j /K ö vetkező minta NEXT e /K ö vetkező epoch S’ o (y oj ) y oj s h (x hje )×  oje ×w ho(je+1) Avg o  hje s h (x hje ) s i (y ij ) s i (y ij )×  hje  w ih

21 A visszacsatoló tanulási algoritmus 2 Tesztel é se: -Ö sszes í tett n é gyzetes hiba (Sum of Squared Errors, SSE): - SSE je =  h (  hje 2 ) +  o (  oje 2 ), j=1..m, e=1..E (30.21) - A tanul á s konvergenci á ja (Convergency): az SSE je ö sszes í tett n é gyzetes hiba cs ö kken é s i üteme az e=1..E epochok sor á n, amíg elér egy SSE* előzetes hat á r á rt é k et Felhaszn á l á sa: A t ö bbmezős perceptron k é pes a leg bonyo - lultabb modellezésre az eddig tanult módszerek közül : - Az 1. mező kezeli az input változókat - A 2. mező műk ö d é se a faktoranalízis-alapú csoportosítással anal ó g, egyszerű line á ris szepar á ci ó t k é pes megjelen í teni. Az input változók terében f uzzy f é ltereket (Fuzzy Halfspace) (lásd: Session28) modellez, melyek határa - az 1. mező csatolásainak súlyaitól függő - tetszőleges szögben állhat, életlenségi fokát a jelzési függvény meredeksége határozza megSession28 - A 3. mező műk ö d é se a diszkriminancia anal í zissel (lásd: Session19) anal ó g. K onvex fuzzy hiperpoli é dereket (Convex Fuzzy Hyperpolihedron) modellez. Multiplikatív aggregációja megfelelel egy fuzzy félterek közti kompenzáló fuzzy ÉS operátornak. E nnek eredménye olyan fuzzy faktor szab á ly (Fuzzy Factor Rule), ami az input v á ltoz ó k ból alkotott faktor okon defini á lt fuzzy nyelvi v á ltoz ó k é rt é keiből á ll ö ssze. A faktorokat az 1. mező, a nyelvi változókat a 2. definálja, automatikus tanulással. A fuzzy faktor szabályok nagy előnye az egyszerű fuzzy szabályokhoz képest, hogy átlósan is állhatnak a koordináta tengelyekre, így átlós helyzetű vezérlési függvény- részleteket hatékonyabban modellezik azoknál. Session19

22 A visszacsatoló tanulási algoritmus 3 A vezérlési függvény diagrammon egy négymezős perceptron látható, karakterfelismerési alkalmazással: A 4. mező egy-egy neuronja egy karaktert modellez, Amelyek a 3. mező konvex fuzzy poliédereiből állnak össze. Amelyek a 2. mező fuzzy féltereiből épülnek fel Az 1. mező fogadja a szkenelt kép pixeleinek X,Y koordinátáit, mint mintákat Az esetleges 4. mező működése a legközelebbi szomszéd-módszert használó hierachikus klaszterezéssel (lásd: Session17) analóg, de annál jóval kevésbé szélsőérték-érzékeny és kifinomultabb több csoportos, nemlineáris szeparációt képes megjeleníteni. Konkáv fuzzy hiperpoliédereket modellez. A negyedik mező egyetlen neuronja fuzzy faktor szabályokból álló szabálybázist jelenít meg:Session17

23 Például, az emberi agy V1-es elsődleges látókérgének (Primary Visual Cortex) IVC rétegében találhatók a látott képen található kontúrok irányérzékelő területei Ezek több száz, egymás feletti neuronmezőből épülnek fel Az előrecsatoló hálózatot piramis-sejtek tízmilliói építik fel Biológiai analógia

24 Előnyei: Bonyolult ismeretek automatikus elsaj á t í t á s á ra k é pes. Egy sokmezős h á l ó zat magasab b szintjein egyre absztraktabb é s bonyolultabb ö sszef ü gg é seket k é pes megjelen í teni. Pl. a neurol ó giai szakirodalomban r é g ó ta é l é nk vita folyik arr ó l, hogy l é tezik-e nagymama-sejt (Grandmother Cell): vajon amikor nagymam á nkat felismerj ü k egy k é pről, ez egyetlen neuron t ü zel é s é ben ragadhat ó meg, vagy t ö bb neuron ö sszj á t é k á t jelenti? A v á lasz jelenleg nem ismeretes, de plusz egy mező hozz á ad á s á val a h á l ó zathoz k ö nnyen el é rhető olyan helyzet, hogy egy neuron azonos í tsa a nagymam á t. Hátrányai: Belső műk ö d é se (Throughput) á tl á thatatlan, nem kapcsol ó dik hozz á se m milyen magyar á z ó komponens, í gy neh é z a k ö vetkeztet é seire magyar á zatot adni. Csek é ly sz á m ú neuronb ó l á ll ó h á l ó zatokn á l ez m é g lehets é ges az I/O vagy Jelz é si diagramm seg í ts é g é vel Nincs manu á lis tud á sbeviteli lehetős é g a l é tező tud á s á br á zol á s á ra, ez é rt mindent a null á r ó l kell megtanulnia, ami hosszab í tja a tanul á st A neur á lis h á l ó zat műk ö d é s é t direktben szimul á l ó neur á lis elvű chipek nagyon dr á g á k, é s csak katonai alkalmaz á sokban terjedtek el, igaz, hogy ezeken viszont a h á l ó zat műk ö d é se rettenetesen gyors. Ezen a helyzeten sokat seg í thetnek az ú jabban elterjedő p á rhuzamos feldolgoz á si (Parallel Processing) k é pess é ggel rendelkező, t ö bbmagos, olcs ó bb polg á ri c é l ú processzorok A visszacsatoló tanulási módszer kritikája 1

25 A legnagyobb hátrány, hogy n agyon rossz a visszacsatoló tanul á s konvergenci á ja, mert a minimaliz á lt hibaf ü ggv é nyen iszonyatos mennyis é gű lok á lis optimum van : PÉLDA: kétváltozós input térben (X, Y) V- alakzatban elhelyezkedő mintákat akarunk megtanítani a fentiekben tárgyalt hárommezős, 6 neuronos perceptron hálózatnak visszacsatoló tanulással: A 3. mező két output neuronja által definiált konvex fuzzy hiperpoliéderek (lásd: ) rosszul fedik le a V- alakú minta eloszlás „hoszabbik szárát”, Ezért a rejtett és az output mező közti tanulás elkezdi emelni az őket felépítő 2. mezős fuzzy félterek közt nagyobb hibajelet (több lefedetlen megfigyelést) produkálónak a súlyát, „megnyújtva” a hiperpoliédereket Ekkor azonban a V-alakú eloszlás „rövidebb szárán” generálódik nagyobb hibajel, ezért az input és a rejtett mező közti tanulás megnöveli az ezirányba néző 1. mezős Y input változó súlyát, ami úgy elforgatja a 2. mező fuzzy féltereit, hogy a 3. mező fuzzy hiperpoliéderei lecsúsznak a V-alakú minta eloszlás „hoszabbik száráról”, és a móka kezdődik elölről… Látható, hogy még ennyire kis méretű, egyszerű rendszer esetén is előállhat olyan helyzet, hogy a visszacsatoló tanulás egyáltalán nem konvergál, a súlyok beállítása egy lokális optimumba ragad, vagy több közt ide-oda ugrál, és tanulás teljesítménye messze elmarad az adott hálózattal elérhető lehetséges leghatékonyabb megoldástól. A visszacsatoló tanulási módszer kritikája 2 X Y X Y

26 Mindez azért van, mert a visszacsatoló tanulás során csak az output mező neuronjai képeznek közvetlenül hibajeleket az elvárt outputokból, a rejtett mezőkre a hibajelek már csak egyre közvetettebb módon, egyre több kereszthatással tarkítva jutnak le. Ezért a rejtett mezők egyre kevésbé célirányosan tanulnak, viszont a bennük bekövetkező hirtelen változások alapjaiban rázhatják meg a felépített modellt. Ezt a következőképpen képzelhetjük el: PÉLDA: Egy dobozban lévő építőkockákból akarunk várat építeni. Az alul lévő nagyobb kockák szimbolizálják a többmezős perceptron alacsonyabb szintű mezőit, a felül lévő kisebb kockák a magasabbakat. A várat úgy építjük, hogy a kockahalom tetejét egy, a formáját mintázó légkalapáccsal addig ütögetjük, amíg a kockák a megkívánt helyre nem lökdösik egymást Azonban csak a tetejére tudunk ütéseket mérni, az alul levő nagyobb kockák helyzetét csak közvetett módon, lassan, bizonytalanul tudjuk módosítani Ha viszont váratlanul nagyot mozdulnak, az egész vár összeomolhat A visszacsatoló tanulási módszer kritikája 3

27 A gyakorlat tartalma 29. Házi Feladat ellenőrzése: Nőtervezés FuzzyTech-ben A neurális hálózatok tanulása: Nem felügyelt tanulás Hebb-féle tanulási törvény A szükséges hálózati topológia: BAM A BAM aktivációja A Hebb-féle tanulás algoritmusa Tesztelése, alkalmazása és kritikája Felügyelt tanulás Delta tanulási módszer A szükséges hálózati topológia: perceptron A perceptron aktivációja A delta-szabály algoritmusa Tesztelése, alkalmazása és kritikája Visszacsatoló tanulási módszer A szükséges hálózati topológia: többmezős perceptron A többmezős perceptron aktivációja A visszacsatoló tanulás algoritmusa Tesztelése, alkalmazása és kritikája Neurális hálózatok validációja Nem felügyelt tanulásnál Felügyelt tanulásnál Egyszerű validáció Keresztvalidáció Számítógépes alkalmazás a neurális hálózatok elméletéhez Mátrix diagramm Vezérlési függvény diagramm 30. Házi Feladat: Karakterek tervezése a vezérlési függvény szimulátorban

28 A lacsony  tanul á si r á t á val é s magas E tanul á si epoch ism é tl é s sz á m mellett végezzük a tanítást, ami rendkívül magas sz á mol á sig é ny ű lesz : “ ism é tl é s a tud á s anyja ” -elv :  ↓, E ↑ Vagy ö sszek ö ttet é senk é nt, mintánként, epochonként k ü l ö n random v á ltoztatjuk a  tanul á si r á t á t egy tartom á nyban, hogy kir á zza a tanul á st egy szuboptim á lis helyzetbe akad á sb ó l: “ adj neki egy pofont, h á tha tanul belőle ” -elv :  hoje =0.01+Rnd(0,0.001)(30.22) Vagy epochonként random v á ltoztatjuk a tan í t ó mintavektorok sorrendj ét : “ magyar á zd el ú jra neki m á sk é pp, h á tha tanul belőle ” -elv : j(e+1) = je + Rnd(1..m)(30.23) Vagy genetikus algoritmust (Genetic Algorithm, GA) (lásd: Session26) haszn á lunk a h á l ó zat szinapszis-s ú lyainak minim á lis ö sszes í tett hib á t biztos í t ó be á ll í t á s á hoz, ami j ó l kezeli a rengeteg lok á lis optimumot a hibaf ü ggv é nyben: “ teny é szd ki a macskát, aki m á r ö szt ö n ö sen tudja, mi a jó neki, és nem kell tanulnia” -elvSession26 Neur á lis h á l ó zatok valid á ci ó ja (Validation of Neural Networks ) : A neur á lis h á l ó zat, mint eloszlásfüggetlen becsl ési rendszer hat é konys á g á nak m é r é se Nem fel ü gyelt tanul á sn á l ez valami entr ó pia-m é rt é k, mennyire siker ü lt homog é n csop o rtokat l é trehozni a megfigyel é sekből, pl. Wilks- (lásd: Session19)Session19 Fel ü gyelt tanul á sn á l a következő módszerek használatosak: Egyszerű valid á ci ó (Validation): A minimaliz á lt SSE o hib á kb ó l kisz á m í that ó k az R 2 o modell illeszked é sek o=1..O output v á ltoz ó nk é nt: R 2 o = (VAR(x o ) – SSE o /m) / VAR(x o ), o=1..O (30.24) [0,1] k ö zti é rt é ket vehet fel, ahol 1 a t ö k é letes illeszked é s, R 2 o >0.75 elfogadható Keresztvalid á ci ó (Cross-validation): Egy, a tan í t ó mint á t ó l f ü ggetlen z j ={z ij i=1..n, z oj o=1..O} j=1..m teszt/valid á ci ó s mint á n (Test/Validation Sample/Pattern Set) v é gig futtatjuk a becsl é st (lehet, hogy egy mint á t felez el v é letlen m ó don tan í t ó - é s tesz r é szre). Majd k isz á m í tj uk ennek az illeszked é seit: R 2 ’ o = (VAR(z o ) – SSE o /m) / VAR(z o ), o=1..O (30.25) Optim á lis esetben az egyszerű- és a keresztvalidált illeszkedés egyenlő : R 2 o ≈ R 2 ’ o Ha az utóbbi kisebb, a hálózat túltanulta (Overlearning) a minta egyedi részleteit, és ez zavarja az általánosítást. Ez ellen a hálózat vágásával (Pruning) védekezhetünk, ami a kis súlyú összekötetések törlését jelenti. Megoldási lehetőségek az alacsony konvergenciára:

29 Számítógépes alkalmazások a neurális hálózatok elméletéhez 1 A MatrixSim.xls fájl egy maximum 3 mezős, mezőnként maximum 16 neuront tartalmazó hálózat aktivációját jeleníti meg mátrix diagramm formában. A zöld cellák a neuronok mebrán értékei, a pirosak a neuronok jelzései, a sárga különböző árnyalataiban pompázó cellák az összeköttetések súlyai (az árnyalat a súly nagyságával arányosan világosodik). A sárga színű legördülő menükben állíthatjuk a mezők:MatrixSim.xls Sorszámát, Jelzési határértékét, Jelzési meredekségét, A mezőtípust (I/O/rejt) A neuronok aggregá- cióját (Addit/Multiplik) A jelzési függvény tí- pusát (Lineáris/S-gör) Csatolásokra beállítható: A típusuk (előre/hátra /mezőközi) A tanulásuk (Hebb/ delta/visszacstoló/ random) A tanulási ráta A mezők neuronjai 4×4- es térrácsban is láthatók

30 Számítógépes alkalmazások a neurális hálózatok elméletéhez 2

31 30-1. Házi Feladat: karakterek tervezése a vezérlési függvény szimulátorban Módosítsa a ContrFunctSim.xls fájlban található négymezős teljes előrecsatoló hálózat beállításait úgy, hogy a jelenlegi neuronmennyiség felhasználásával a K, L, M, N, O, X, Y, Z karaktereket fel tudja ismerni.ContrFunctSim.xls A megoldás: 30-1Megoldas.xls30-1Megoldas.xls


Letölteni ppt "Pécsi Tudományegyetem Pollack Mihály Műszaki Kar Műszaki Informatika Szak Data Mining 30. Gyakorlat Dr. Pauler Gábor, Egyetemi Docens PTE-PMMK Számítástechnika."

Hasonló előadás


Google Hirdetések