Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

30. Előadás Dr. Pauler Gábor, Egyetemi Docens

Hasonló előadás


Az előadások a következő témára: "30. Előadás Dr. Pauler Gábor, Egyetemi Docens"— Előadás másolata:

1 Pécsi Tudományegyetem Pollack Mihály Műszaki Kar Műszaki Informatika Szak Data Mining
30. Előadás Dr. Pauler Gábor, Egyetemi Docens PTE-PMMFK Villamos Intézet Számítástechnika Tanszék Iroda: Boszorkány u., B épület 101 Tel: 72/ /3725 Készült a PTE Alapítvány támogatásával

2 Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai Mesterséges neurális hálózatok bevezető A mesterséges neurális hálózatok története Biológiai analógia Mikroszerkezet Valós neuron és számítógépi megjelenése Valós neuron és matematikai modellje Permanens memória Rövid távú memória Tüzelés Szinapszisok Mesterséges neurális hálózat topológiája Neuronmezők A mezőn belüli szinapszis halmazok fajtái A mezőközi szinapszis-halmazok fajtái Aktiváció, a neuronok tüzelése Mesterséges neurális hálózat ábrázolása Topológiai diagramm I/O diagramm Jelzési diagramm Mátrixos forma Vezérlési függvény diagramm Szakirodalom

3 Mesterséges neurális hálózatok bevezető 1
A Session27–ban tanult szakértői rendszerek (Expert Systems, ES) és a Session28–ban tárgyalt fuzzy rendszerek (Fuzzy Systems, FS) egyik fő hátránya az automatikus ismeretbeszerzési-tanulási képesség hiánya volt A klasszikus sokváltozós statisztikai módszerek közül a hierarchikus és K-közép klaszterezés (lásd: Session17) és a diszkriminancia analízis (lásd: Session19), illetve a CART/CHAID/QUEST algoritmus (lásd: Session27) rendelkezik egyediből általánosító, indukciós (Induction) képességgel, de ezt sokszor erősen limitálják az adott módszer döntési térbeli eloszlásra tett feltételezései: A diszkriminancia analízis normális eloszlású, konvex poliéder alakú térrészekben elhelyezkedő, lineárisan szeparálható csoportokat feltételez A K-közép klaszterezés ugyanezt feltételezi, a normalitás kivételével A hierarchikus klaszterezés a legközelebbi szomszéd (Nearest Neighbor) agglomerációs módszerrel képes nem konvex döntési térrészekben elhelyezkedő csoportokat felismerni, de nagyon érzékeny a szélsőséges megfigyelésekre (Outlier), sokszor külön csoportot képeznek

4 Mesterséges neurális hálózatok bevezető 2
CFPerKot EredPerEszk KotPerEszk 0.10 0.18 0.30 0.80 0.16 $ 0.14 0.13 0.69 A CART és a hasonló algoritmusok hipertéglatestek kombinálásával leírható térrészekben elhelyezkedő csoportokat képesek modellezni, De a döntési térben átlós helyzetben elhelyezkedő eloszlások esetén kevéssé hatékonyak: vagy rossz a predikciós képességük, vagy azonnal túltanulják (Overlearning) a minta adatbázist Mindezen problémákra az egyik lehetséges megoldást a Mesterséges neurális hálózatok (Artificial Neural Networks, ANN) alkalmazása kínálja: Olyan eloszlásfüggetlen becslési rendszerek (Distribution Free Estimators), amelyek a döntési térbeli (Decision Space) I/O változók kapcsolatát leíró, nem konvex térrészekben elhelyezkedő, nem lineáris, nem monoton, tengelyekre átlós helyzetű részeket tartalmazó vezérlési függvényeket (Control Function) képesek hatékonyan, kevés moduláris egység közreműködésével modellezni A vezérlési függvény modelljét tanítómintából (Learning/training sample/pattern/data) történő automatikus tanulással állítják elő

5 Mesterséges neurális hálózatok bevezető 3
Működésük a konnekcionizmuson (Connectionism) alapul: egyszerű számításokat végző, programozható egységek/ sejtek/ neuronok (Units/ Cells/ Neurons) információt áramoltató összeköttetésekkel/szinapszisokkal (Connection/Node/Synapse) történő hálózatba (Network) kapcsolásán alapul Amelyek párhuzamos, megosztott információ-feldolgozást (Parallel Distrubuted Processing, PDP) végeznek, az outputok inputokból történő kiszámításához, több diszkrét időperióduson keresztüli dinamikus (Dynamic) folyamatban A magasabb rendű élőlények idegrendszerének analógiájára épülnek fel, jelentős leegyszerűsítésekkel A mesterséges neurális hálózatok története: 1857 Hebb (UK): az asszociáción alapuló tanulás kognitív pszichológiai modellje 1943 McCullogh – Pitts (USA): az idegsejt első matematikai modellje 1955 Hopfield (USA): a legegyszerűbb hálózat az asszociatív memória (Associative Memory) használata mintafelismerésre 1962 Rosenblatt (USA): Perceptron, az első többmezős (Multi-Layer) előrecsatoló (Feedforward) hálózat 1986 Rummelhart (DE): Backpropagációs (Backpropagation) algoritmussal tanított hálózat, postai levelek kézírásos irányítószámainak felismerésére 1992 Roska Tamás (Magyarország, MTA-SZTAKI), gyors parallel működéső képfeldolgozó chip, mesterséges szem 1995 Az első neurális beépülők (Add-in) kezdetleges táblázatkezelőkhöz (Framework, Lotus), tőzsdei árfolyamelőrejelzési alkalmazással

6 Biológiai analógia 1 Elsőként lássuk az átlagosan 1500cm3 térfogatban százmilliárd (1011) neuront és egykvintillió (1016) szinapszist tartalmazó emberi agy erősen vázlatos felépítését: A legősibb része a gerincvelő (Spinal Cord) végén lévő agytörzs (Brain stem), amely legjobban védett részként az alapvető életfunkciókat szabályozza (légzés, szívritmus, hőmérséklet, víz és ionháztartás, emésztés, nemi funkciók), innen lép ki a fejen található szerveket idegző 12 pár agyideg (Cerebral nerves) Mellette található a kisagy (Cerebellum), amely a nem tudatos, reflexszerű mozgáskoordinációért felelős (pl. hogy kezeink és lábaink ne ütközzenek egymásba) A főemlősöknél az agy különböző kérgi (Cortex) lebenyeinek (Lobe) tömegaránya nő, és barázdálódással nagyobb felületűek lesznek, ezek specializált feladatokat látnak el: A homloklebeny (Frontal lobe) elülső területe az absztrakt gondolkodásért felelős. Ez az agy jelenleg legkevésbé ismert területe, szőke nőknél hiányzik is.

7 Biológiai analógia 2 E mögött van a mozgásokkal kapcsolatos mintákat tároló terület (Premotor area). Ennek alján van a beszédmozgás-vezérlő (Motor speech area) Mögötte a tudatos mozgásvezérlő (Primary motor cortex) helyezkedik el. Itt fentről lefele a láb, törzs, kéz, fej, arc, száj vezérlői (Motoric areas) vannak. A fejtetői lebeny (Parietal lobe) kérgének elején (Primary Somesthetic Cortex) hasonló sorrendben, de eltérő beosztásban kapnak helyet a testi érzékelő központok (Sensory Areas) Ez mögött az érzékelt minták tárolóterülete (Somesthetic association area) van, alján a beszédfelismerő központtal (Sensory speech area) A halántéklebenyben (Temporal lobe) felül a hallókéreg (Primary auditory cortex), az alatt a hangminták tárolója (Auditory Association area), az alatt az egyensúlyozás-helyzetérzékelés van. A hátsó lebenyben (Occipital lobe) a látókéreg (Visual cortex), illetve a látott képek tárolóterülete (Visual association area) helyezkedik el.

8 Biológiai analógia 3 Jelenleg a kisagy kérgének felépítése a legjobban feltárt, három rétegre (Layer) oszlik, melyek közül az első a molekuláris réteg (Molecular layer) benne specializált idegsejtekkel. A rétegeket inputokat hozó (Afferent/ Ascending) és outputokat elszállító (Efferent/ Descending) szinapsziskötegek (Fiber) kötik össze.

9 Biológiai analógia 4 Egy neuronból átlagban szinapszis indul ki, de ez a szám nagyon szóródik. A köztes jelfeldolgozók (Interneuron) két kötegesek (Bipolar), az érzékelők (Sensory) egy kötegesek (Unipolar), a mozgatók (Motory) sok kötegesek (Multipolar), a piramis-sejtek (Pyramidal) szinapszisai fenyőfa-alakzatúak, funkciójuk jelenleg nem teljesen ismert A kisagykéreg mikro-szerkezete (Micro-circuitry) sokfajta specializált sejt és szinapszisköteg izgató (Excitatory, +) vagy gátló (Inhibitory, -) kapcsolódásából épül fel: MF: Moharost DCN: Mély kisagyi közvetítő sejt IO: alárendelt oliva színű sejt CF: felszálló köteg GC: szemcsesejt PF: Párhuzamos köteg PC: Purkinje sejt GgC: Golgi sejt SC: Csillag sejt BC: Kosár sejt (jórészük pontos szerepe és műkö- dése jelenleg nem Ismert)

10 Biológiai analógia 5 A Johann Evangelista Purkinje által 1830-ban felfedezett Purkinje-sejt az agyban előforduló legnagyobb méretű idegsejt, melynek több 1000 szinapszisa mindig egy trapéz alakú sík térrészben foglal helyet a kisagyi kéregben. Pontos szerepe máig sem ismert. Bár a jelenlegi pozitron emissziós tomográf (PET) képalkotó technológia és kontrasztanyagai már lehetővé teszik elhelyezkedésének feltérképezését, ez nem ad támpontot arra nézve, hogy időben, dinamikusan hogy működik együtt más sejtekkel az élő agyszövetben. Az elektródák beültetése ezen méréshez olyan finom módszer, mintha úthengerrel simogatnánk egy macskát. Ezért jelentős kutatások folynak a neuronok biológiailag valósághű matema- tikai modellezése érdekében. Ehhez egyre na- gyobb teljesítményű szoftverek vannak, néhányat megadtunk a szakirodalomban. (a diagrammon egy Purkinje sejtCa2+ion koncentrációja látható)

11 Mikroszerkezet 1 Az idegsejteket Microglia sejtek tartják mechanika-ilag a helyükön és eszik meg a tönkrementeket Astrociták táplálják őket erekből felvett glükózzal Oligodendrociták állítják elő a csatolások szigete-lését adó Myelint Az idegsejt membránja (Cell body) szigeteletlen rövid Dendriteken veszi fel az input elektromos jeleket 2.3m/s sebeséggel Hosszú, myelines Neuro-lemmocitákkal szigetelt Axonokon ad ki output jelet 90m/s sebeséggel A végbunkók (Synaptic Terminal) felé, melyek ingerületátvivő (Neuro Transmitter) anyagokat löknek ki a következő idegsejt membránjára, ezek ott ion kapukat (Ion Channel) nyitnak ki Az elektronok a Ranvier- befűződések közt ugranak át a myelinen nem az axon-ban halad-nak, ezért olyan gyors!

12 Mikroszerkezet 2 Az idegsejt glükózból és oxigénből nyert adenozin-trifoszfát (ATP) energiaforrás felhasználásával egy K+ -kifele /Na+-befele ion pumpát működtet, amivel környezetéhez képest -170mV alappontenciált tart fenn Ha izgalomba jön, és tüzel (Firing), akkor beengedi a K+ ionokat és -210mV-ra történő elektromos potenciálváltás fut végig a membránján, dendritjein, és axonjain. Ez a végbunkócskákban bonyolult vegyi folyamatok révén ingerület átvivő anyagokat (acetil-kolint, hisztamint) szabadít fel, amelyek kinyitják a következő kapcsolódó sejt membránján a K+ ion kapukat, így az ingerület tovaterjed a hálózatban. Jelenleg még az elemi építőkőnek számító végbunkócskák működése sem ismert pontosan: jóval nagyobb sebeséggel továbbítják az ingerületet, mint az a résztvevő ionok és molekulák tömege és az őket gyorsító elektromos erőtér alapján lehetséges lenne Ezért sokan kvantumfizikai hatásokat, vagy téridő-mikrogörbületeket (Holon) sejtenek e mögött, de ezekre az erősen spekulatív elméletekre jelenleg még közvetett bizonyítékok sincsenek.

13 Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai Mesterséges neurális hálózatok bevezető A mesterséges neurális hálózatok története Biológiai analógia Mikroszerkezet Valós neuron és számítógépi megjelenése Valós neuron és matematikai modellje Permanens memória Rövid távú memória Tüzelés Szinapszisok Mesterséges neurális hálózat topológiája Neuronmezők A mezőn belüli szinapszis halmazok fajtái A mezőközi szinapszis-halmazok fajtái Aktiváció, a neuronok tüzelése Mesterséges neurális hálózat ábrázolása Topológiai diagramm I/O diagramm Jelzési diagramm Mátrixos forma Vezérlési függvény diagramm Szakirodalom

14 Valós neuron és számítógépi megjelenése
Sj xit Si(xit) wik wji ai bi ui li Valós neuron és számítógépi megjelenése A fenti elektronmikroszkópos felvételen egy idegsejt látható egy jelenlegi technikai szintű mikroprocesszor elemi vezetékpályáira fektetve. Az idegsejt szer nagyobb méretű ezeknél, viszont olyan lebegőpontos számítási funkciókat lát el, melyek gépi ábrázolásához logikai kapuk és kondenzátorok százaira van szükség egy digitális áramköröket tartalmazó chipben. Emellett az idegsejt sok nagyságrenddel energiatakarékosabb, mint a digitális áramköri elemek. Egy emberi aggyal összemérhető, bár annál jóval lassabb feldolgozási sebességű 100TByte-os tárolókapcitású, klaszter elvű szuperszámítógép (kb node-dal) működtetéséhez jelenleg egy kisebb erőmű szükséges Az emberi agy viszont 1500cm3 térfogatban még másodpercnyi működéshez szükséges energiahordozókat és oxigént is tárol.

15 Valós neuron és matematikai modellje 1
Sj xit Si(xit) wik wji ai bi ui li Permanens memória (Non-volatile Memory): a j=1..m neuronokból az i=1..n neuronok felé menő ji szinapszisok t=0..T időperióduson keresztül az sjt jelzéseket eltérő wjit intenzi- tással, súllyal (Weight) konvertálják ingerület- átvivők kibocsátásába A rendszer tanítása a kezdetben véletlen ér- téket felvevő wji0 súlyok megváltoztatásából áll Rövid távú memória (Volatile Memory): A neuronok egy aktivációs folyamatban (Neural Activation) xit membrán értékekbe (Membrane Value) aggregálják (Aggregate) a szinapszisok wjit×sjt súlyozott jelzéseit, illetve adott (1-di) le- csengési ráta (Decay Rate) szerinti ütemben le- csengetik (Passive Decay) azt, a membrán érték [li, ui] alsó-/felső korlátokon belül tartása és idő- beli simítása miatt. Az aggregáció módjai: Additív (Additive): xit=di(Sj(wjit×sjt)/Sj(wjit))+(1-di)×xit-1 i=1..n,j=1..m,t=1..T (30.1) Multiplikatív (Multiplicative): xit=diPj(sjtwjit)(1/ Sj(wjit))+(1-di)×xit-1, i=1..n, j=1..m, t=1..T (30.2) (az azonosan aggregált csatolások 1 dendrithez (Site) csatlakoznak)

16 Valós neuron és matematikai modellje 2
Sj xit Si(xit) wik wji ai bi ui li Tüzelés (Firing): a neuron sit=Si(xit) jelzési függvénye (Signal Function) mindig szigorúan monoton növekvő, [li, ui] alsó/felső korlátok közt helyezkedik el, ai tüzelési határértékkel (Threshold) és bi meredekséggel (Slope): Lineáris (Linear): sit+1 = (xit - ai) / bi + (ui – li)/2, i=1..n, t=1..T (30.3) Csak input neuronokban használatos mert nem korlátos Szakaszonként lineáris (Sectionwise linear): sit+1 = Max(li, Min(ui,(xit - ai) / bi + (ui – li)/2)), i=1..n, t=1..T (30.4) Egyszerűsítés, a lebegőpontos műveletek elkerülésére végett használatos S-görbe (Sigmoid/Logistic): sit+1 = 1 / (1 + exp( -(xit - ai) / b i)) × (ui – li) + li, i=1..n, t=1..T (30.5) A biológiában ez a leggyakoribb, de lebegőpontos számításokat követel A tüzelés során kiadott sit jelzés wikt súlyokkal súlyozott formában (sit × wikt) terjed tovább a szinapszisokon Sj xit Si(xit) wik wji ai bi ui li Sj xit Si(xit) wik wji ai bi ui li

17 Valós neuron és matematikai modellje 3
A wikt szinapszisok/ kapcsolatok/ csatolások (Synapse, Connection) tulajdonságai mesterséges neurális hálózatokban: i és k neuronok közti t időpontbeli wikt  R valós súllyal ellátott összeköttetetés Erősség (Srength) szerint lehet: Izgató (Exciting): Pozitív súlyú wikt>0 Gátló (Blocking): Negatív súlyú wikt<0 Jelkódolás (Signal Encoding) szerint lehet: Amplitúdó-modulált (AM, Amplitude Modulation): a jel nagysága hordozza az infót. A biológiában csak az egyszerűbb vezérléseknél található meg. A matematikai modellekben túlnyomórészt ezt használjuk. Frekvencia modulált (FM, Frequency Modulation): azonos nagyságú jelek sűrűsége hordozza az infót. A biólógiában a nagy pontosságú, gyors vezérléseknél (pl. kéz-/ szemmozgás) elterjedt, a matematikában csak a biológiailag valósághű modellezésnél használatos Irányultság (Direction) szerint lehet: Előrecsatoló (Feedforward): csak az inputtól az output irányában közvetít jelzést, visszafele nem: wiktR, wkit=0 Visszacsatoló (Recurrent): csak az outputtól az input irányában közvetít jelzést, odafele nem: wikt=0, wkitR wik wki Input xit Si(xit) ai bi ui li Sj xkt Sk(xkt) ak bk uk lk

18 Valós neuron és matematikai modellje 4
Kétirányú (Bidirectional): mindkét irányban közvetít jelzést: wijt = wjit  R Önmagára visszacsatoló (Recursive, Self-connected): mind a kiinduló, mind a végpontja ugyanaz a neuron: wiitR A neuron membránérték-memóriájának (Volatile Membrane Memory) modellezésénél, Vagy frekvencia-modulált jelzés modellezésénél használatos: a neuronok önvisszacsatoló szinapszisai szabályos időközönként (0.01s-0.1s) tüzelésre késztetik őket. Az ingerület-átvivők mennyiségének növekedésével a tüzelés frekvenciája nő. Késleltetés (Delay) szerint lehet: Azonnali csatolás (Prompt): ez az általános Késleltetett csatolás (Delayed Connection): Véges impulzusszámú válasz (Finite Impulse Response, FIR) szűrőt alkalmaz Ami időben eltolja az átfolyó jelzéseket Idősori előrejelzőkben használatos wik Input xit Si(xit) ai bi ui li Sj xkt Sk(xkt) ak bk uk lk wii

19 Valós neuron és matematikai modellje 5
A matematikai modell fontos eltéréseket tartalmaz a valósághoz képest: A valóságban a szinapszisok ingerület-átvivőkön alapuló kémiai információ tárolása a hosszú távú memória (Non-volatile/Long Term Memory, LTM) alapja, sec alatt tanítható és több évig képes tárolni. Emellett az elektromos membrán-potenciálok a rövid távú memória (Volatile/Short Term Memory, STM) alapját képezik, ami 0.01 sec alatt vált állapotot, és kb. 7-8 sec-ig tárol. Matematikai modellekben az (1-di) lecsengési ráta (Decay Rate) szabályozza a memória stabilitását, nem a tárolás alapja. A valóságban a neuronok membránjai nem számtani vagy geometriai átlagolással aggregálnak, mint az a (30.1) és (30.2) formulákban szerepel, hanem csak töltést összegezni tudnak, mivel elektronikailag kondenzátoroknak (Condenser) felenek meg. A multiplikatív aggregációt az jeleníti meg, hogy az output neuronok speciális dendritjei (Site) az ingerület átvivők mennyiségével nem egyenesen arányosan, hanem logaritmikusan engednek be ionokat. A logaritmikusan transzformált jelzések összeadása szorzásnak felel meg. A passzív lecsengetés gondoskodik róla, hogy az összegzett jelzések ne vehessenek fel végtelen nagy értéket. Ezt azonban nehéz egyedileg belőni, így a matematikai modellben átlagokat haszálunk, és a passzív lecsengés csak időbeli simítási funkciót lát el.

20 Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai Mesterséges neurális hálózatok bevezető A mesterséges neurális hálózatok története Biológiai analógia Mikroszerkezet Valós neuron és számítógépi megjelenése Valós neuron és matematikai modellje Permanens memória Rövid távú memória Tüzelés Szinapszisok Mesterséges neurális hálózat topológiája Neuronmezők A mezőn belüli szinapszis halmazok fajtái A mezőközi szinapszis-halmazok fajtái Aktiváció, a neuronok tüzelése Mesterséges neurális hálózat ábrázolása Topológiai diagramm I/O diagramm Jelzési diagramm Mátrixos forma Vezérlési függvény diagramm Szakirodalom

21 Mesterséges neurális hálózat topológiája (ANN, Artificial Neural Network Topology):
Neuronok halmazai és az őket összekötő szinapszisok rendszere. Meghatározza, hogy az adott hálózat milyen bonyolult ismereteket képes megtanulni Irányított gráffal modellezzük, melynek csomópontjai a neuronok, élei a szinapszisok Neuronmezők (Neuron Field): i=1..n neuronok azonos Sj membrán aggregációval, Si jelzési függvénnyel, ai aktivációs határértékkel, bi jelzési függvény meredekséggel, ui, li jelzési korlátokkal bíró csoportjai, amelyek fizikailag egy helyen találhatók valamilyen alakzatba rendezve, és környezetükhez azonos módon kapcsolódnak: i=1..n Input mező (Input Field): Érzékelőkről (Receptor) kap membrán értékeket, általában lineáris jelzési függvényű, és a rejtett/ output mező felé adja ki a jelzést h=1..H Rejtett mező (Hidden Field): Egy input vagy rejtett mezőtől kap membrán értékeket Egy másik rejtett vagy output mező felé adja ki a jelzést Általában szigmoid jelzési függvényű És a legtöbbször több neuron van benne, mint az input mezőben o=1..O Output (Output Field): Egy input/rejtett mezőtől kap membrán értékeket A vezérelt eszköz felé adja ki a jelzéseket Lehet lineáris vagy szigmoid jelzési függvényű A legtöbbször kevesebb neuronból áll, mint a rejtett mező Neuronmezők szélessége (Width): az egyes mezőbe rendezett neuronok száma A topológia mélysége (Depth): a neuronmezők száma Neurális topológia 1 Input xit Si(xit) ai bi ui li Sj xht Sh(xht) ah bh uh lh xot So(xot) ao bo uo lo wih who

22 Neurális topológia 2 A mezőn belüli szinapszis halmazok fajtái
Input xit Si(xit) ai bi ui li Sj xht Sh(xht) ah bh uh lh xot So(xot) ao bo uo lo wih who A mezőn belüli szinapszis halmazok fajtái Nincs: ez a legáltalánosabb Komplementer (Complementary): pozitív súlyok Kompetitív (Competitive): negatív súlyok, a neuronok kölcsönösen csökkentik egymás membrán értékeit, nagy szerepe van mintafelismerő rendszereknél A mezőközi szinapszis-halmazok fajtái Direkt csatolás (Direct Connection): A két mező neuronjainak 1:1 hozzárendelése Teljes csatolás (Full Connection): A két mező neuronjainak N:M hozzárendelése (Descartes-szorzat) Alakfeltérképező csatolás (Self-Organizing Map Connection): Az input mezőben minden neuron egy input döntési változót képvisel Az output mező neuronhalmaza az egyes döntési változók szerinti, megadott számú osztópontok halmazainak Descartes-szorzata Az output mező neuronjai térrácsot alkotnak a döntési térben, köztük kompetitív belső csatolás van Az input/output mező közt teljes előrecsatolás van K-közép klaszterezéssel analóg működésű hálózatokban használatos, az output mező neuronjai a klaszter centrumok Sanger-féle csatolás (Sanger Connection): Egy nagyszámú neuront tartalmazó input mezőt Kisebb számú output mezővel kapcsol Teljes előrecsatolással A faktoranalízissel analóg módon működő hálózatokban használatos, az output mező neuronjai a faktorok Input xit Si(xit) ai bi ui li Sj xht Sh(xht) ah bh uh lh Input xit Si(xit) ai bi ui li Sj xht Sh(xht) ah bh uh lh

23 Neurális topológia 3 Aktiváció, neuronok tüzelési rendszere (Activation, Firing of Neurons) Célja outputok létrehozása inputokból. Fajtái: Szinkron (Synchronous): Diszkrét időperiódusokra van osztva a rendszer működése Egy időperiódusban minden neuron aktiválódik és tüzel, nagy memóriaigényű de pontos Aszinkron (Asynchronous): Véletlen permutációs (Random Permutation): Véletlen nem visszatevéses mintavétellel mindegyik egyszer és csak egyszer tüzel Véletlen (Random): Véletlen visszatevéses mintavétellel tüzelnek, lehet hogy többször, vagy egyszer sem Sorfolytonos (Serial): Önkényes sorrendben tüzelnek Ez a legkisebb memóriaigényű és leggyorsabb, de nagyon erősen torzít Topológiai sorban (Topologic): Előbb az input neuronok, majd az output neuronok tüzelnek Kis erőforrás-igényű és nem torzít Főleg előrecsatoló hálózatoknál jó Időablakos eltolással (Time Delay) Nem a kurrens jelzéssel dolgozik, hanem egy korábbi időperióduséval Idősori modelleknél használatos Stabilitási (Stable) Visszcsatoló hálózatokban addig folytatja ciklusokban a tüzelést, amíg Ljapunov stabil hálózat állapotot nem ér el, a változások már nem lépnek túl egy határértéket

24 Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai Mesterséges neurális hálózatok bevezető A mesterséges neurális hálózatok története Biológiai analógia Mikroszerkezet Valós neuron és számítógépi megjelenése Valós neuron és matematikai modellje Permanens memória Rövid távú memória Tüzelés Szinapszisok Mesterséges neurális hálózat topológiája Neuronmezők A mezőn belüli szinapszis halmazok fajtái A mezőközi szinapszis-halmazok fajtái Aktiváció, a neuronok tüzelése Mesterséges neurális hálózat ábrázolása Topológiai diagramm I/O diagramm Jelzési diagramm Mátrixos forma Vezérlési függvény diagramm Szakirodalom

25 Neurális hálózat megjelenése Topológiai diagrammon
A neurális hálózat topológiáját topológiai diagrammon (Topology Diagram) ábrázolhatjuk, ami egy irányított gráf (Directed Graph), ahol: A csomópontok (Node) ábrázolják a neuronokat: Alul az aggregáció módjának a kijelzése látható (Sj vagy Pj) Középen a jelzési függvény ábrázolása az ai határértékkel, bi meredekséggel, ui, li korlátokkal Az élek (Edge) ábrázolják a súlyozott összeköttetéseket: Az él irányítottsága fejezi ki a jelzés haladási irányát Az él színe vagy vastagsága fejezi ki a wij súly nagyságát A csomópontok térben neuronmezőkbe (Neuron Field) rendezettek lehetnek Az input mező általában alul val bal oldalt, az output mező fent vagy jobb oldalt helyezkedik el A topológiai diagramm korlátlan számú neuront tud ábrázolni, de az aktivációs folyamat függvénytranszformációit nem mutatja be, csak a hálózat szerkezetét Input xit Si(xit) ai bi ui li Sj xht Sh(xht) ah bh uh lh xot So(xot) ao bo uo lo wih who

26 Neurális hálózat megjelenése az I/O diagrammon
Sj xi Si(xi) wik ai bi wji×Sj(xj) wik×Si(xi) Az I/O diagramm a neurális hálózat függvénytranszformációinak legrész-letesebb ábrázolása, de minden neuronhoz csak 2 input jelzést tud ábrázolni: A súlyozott jelzések egy koordináta tengelyen jelennek meg, majd egy dendriteket szimbolizáló vezető-rácsozat átlagolja vagy össze-szorozza őket A jelzési függvény a neuront szimbolizáló kör belsejében lévő koordináta rendszerben jelenik meg A szinaptikus súlyok a kimenő jelzést transzformáló lineáris függvények a szinapszisok „kanyarodásainál”

27 Neurális hálózat megjelenése a Jelzési diagrammon
A jelzési diagramm (Signal Diagramm) a jelzési függvénytranszformációkat tömörebben ábrázolja: egyetlen 3D függvényként mutatja a kapcsolati súlyok, az aggregáció és a jelzési függvény együttes hatását Emiatt a kapcsolati súlyok, jelzési határértékek és meredekségek nem figyelhetők meg közvetlenül rajta, mint az I/O diagrammon, viszont áttekinthetőbb formában mutatja a hálózat szerkezetét és a jelzések áramlását: a szinapszisokat széles szürke nyilak ábrázolják, a bennük áramló jelzés intenzitását a vörös nyilak A diagramm hátránya, hogy csak két input neuron aggregá-cióját képes megjeleníteni Si(xi) Sj(xj) ai bi wji Si(Sj(wji×Sj(xj)))

28 Neurális hálózat megjelenése Mátrixos formában
A mátrixos forma (Matrix Form) a neurális hálózat legtömörebb ábrázolása, korlátlan számú I/O neuront tud ábrázolni, de a hálózat szerkezetét, és a transzformációkat nem mutatja A neuronok a zöld membrán érték- és a piros jelzési függvény vektor (Mebran/Sinal Vector) elemei, ezeket térben összerendezve egy kék mezőben (Field) is mutathatja Szinapszisaik a sárga szinaptikus súlymátrix (Syanptic Matrix) egy oszlopa, a dendritjei egy sora

29 Neurális hálózat megjelenése Vezérlési függvény diagrammon
A vezérlési függvény diagramm (Control Function Plot) 2 input változó (x,y) terében képes ábrázolni tetszőleges számú neuron által megjelenített vezérlési függvényt Neurális hálózat megjelenése Vezérlési függvény diagrammon

30 Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai Mesterséges neurális hálózatok bevezető A mesterséges neurális hálózatok története Biológiai analógia Mikroszerkezet Valós neuron és számítógépi megjelenése Valós neuron és matematikai modellje Permanens memória Rövid távú memória Tüzelés Szinapszisok Mesterséges neurális hálózat topológiája Neuronmezők A mezőn belüli szinapszis halmazok fajtái A mezőközi szinapszis-halmazok fajtái Aktiváció, a neuronok tüzelése Mesterséges neurális hálózat ábrázolása Topológiai diagramm I/O diagramm Jelzési diagramm Mátrixos forma Vezérlési függvény diagramm Szakirodalom

31 Szakirodalom 1 Neurális hálózatok elméletével kapcsolatos jegyzetek CANAL-formátumban, magyarul: NeuralTheoryNotes.doc Összefoglaló a biológiai analógiáról, angolul: Marco Balsi internetes tankönyve, chat-szobája, szoftver- és példa gyűjteménye neurális hálózatokról angolul: Nem kerekedelmi licenszű neurális szoftverek: Forráskód csomagok telepítő nélkül C-ben: SNNS: (C forráskód, ingyenes, GUI, Tutorial HTML-ben és PDF-ben, Stuttgarti Egyetemen tanítják)

32 Szakirodalom 2 Nem kerekedelmi licenszű neurális szoftverek:
Forráskód csomagok telepítő nélkül Java-ban: Java Neural Networks by Jochen Frölich: (Java Class forráskód, Internetes applet Kohonen-hálózatokról, ingyenes, nincs GUI, Tutorial HTML-ben) Biológiai modellező szoftverek: Neuron: (ingyenes, GUI, Win XP telepítő, Tutorial HTML-ben, Yale-n tanítják) Genesis: (GNU licenszes, GUI, Win XP telepítő, Tutorial HTML-ben, Caltech-en tanítják, gyenge a backpropagációs része) PDP++: (C++ forráskód, GUI, Win XP telepítő, Tutorial HTML-ben)

33 Szakirodalom 3 Döntéstámogatási szoftverek:
JNNS: (Az SNNS leegyszerűsített változata Java-ban, GNU licenszes, GUI, Win XP telepítő, Tutorial PDF-ben, Tübingeni Egyetemen tanítják) JOONE: (Java, GNU licenszes, GUI, Win XP telepítő, Tutorial PDF-ben) Kereskedelmi licenszű neurális döntéstámogató szoftverek: NeuroSolutions: (60 napos shareware, nincs mentés, GUI, Win XP telepítő, Excel Add-in, Excel Wizard, MATLAB modul, Tutorial PDF-ben, Orvosi informatikai, és automatikus járműirányítási alkalmazások) NeurOK: (Excel Add-in, C forráskód, XML-es felület, Win XP telepítő, Pénzügyi alkamazások) EasyNN: (30 napos shareware, GUI, Win XP telepítő, Tutorial HTML-ben, pénzügyi előrejelzési alkalmazások) ALNFit Pro: (30 napos shareware, GUI, Win XP telepítő, Tutorial PDF-ben, pénzügyi előrejelzési alkalmazások) Trajan: (30 napos shareware, GUI, Win XP telepítő, Tutorial HTML-ben, nincs még valós alkalmazása) AINet: (1 napos shareware, GUI, Win 95 telepítő, Tutorial PDF-ben, nincs még valós alkalmazása) NeNet: (teljesítmény limitált shareware, GUI, Win 95 telepítő, Tutorial HTML-ben, SOM hálózatokra kihegyezve) Kiegészítő csomagok statisztikai szoftverekhez: Statistica Neural Networks: https://www.statsoft.com/downloads/maintenance/download.html (nincs shareware, GUI, Win XP telepítő, Tutorial mozifájlokban)

34 Szakirodalom 4 Kiegészítő csomagok MATLAB-hoz:
Matlab Neural Toolbox: (Nincs shareware) SOM ToolBox: (Matlab 5, ingyenes, GUI, Tutorial PDF-ben) FastICA: (Matlab 7, ingyenes, GUI, Tutorial PDF-ben) NetLab: (Matlab 5, ingyenes, GUI, Tutorial PDF-ben) NNSysID: (Matlab 7, ingyenes, GUI, Tutorial PDF-ben) Pénzügyi előrejelzésben használatos Excel Add-In-ek: NeuroShell: (nincs shareware, piacvezető) NeuroXL: (nincs shareware) Több mint 50 kereskedelmi licenszű neurális szoftver összehasonlító elemzése, linkekkel:


Letölteni ppt "30. Előadás Dr. Pauler Gábor, Egyetemi Docens"

Hasonló előadás


Google Hirdetések