Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Pécsi Tudományegyetem Pollack Mihály Műszaki Kar Műszaki Informatika Szak Data Mining 30. Előadás Dr. Pauler Gábor, Egyetemi Docens PTE-PMMFK Villamos.

Hasonló előadás


Az előadások a következő témára: "Pécsi Tudományegyetem Pollack Mihály Műszaki Kar Műszaki Informatika Szak Data Mining 30. Előadás Dr. Pauler Gábor, Egyetemi Docens PTE-PMMFK Villamos."— Előadás másolata:

1

2 Pécsi Tudományegyetem Pollack Mihály Műszaki Kar Műszaki Informatika Szak Data Mining 30. Előadás Dr. Pauler Gábor, Egyetemi Docens PTE-PMMFK Villamos Intézet Számítástechnika Tanszék Iroda: Boszorkány u., B épület 101 Tel: 72/ / Készült a PTE Alapítvány támogatásával

3 Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai Mesterséges neurális hálózatok bevezető A mesterséges neurális hálózatok története Biológiai analógia Mikroszerkezet Valós neuron és számítógépi megjelenése Valós neuron és matematikai modellje Permanens memória Rövid távú memória Tüzelés S zinapszis ok Mesters é ges neur á lis h á l ó zat topol ó gi á ja Neuronmezők A mezőn bel ü li szinapszis halmazok fajt á i A mezők ö zi szinapszis-halmazok fajt á i Aktiv á ci ó, a neuronok t ü zel é se Mesters é ges neur á lis h á l ó zat ábrázolása Topológiai diagramm I/O diagramm Jelzési diagramm Mátrixos forma Vezérlési függvény diagramm Szakirodalom

4 Mesterséges neurális hálózatok bevezető 1 A Session27–ban tanult szakértői rendszerek (Expert Systems, ES) és a Session28–ban tárgyalt fuzzy rendszerek (Fuzzy Systems, FS) egyik fő hátránya az automatikus ismeretbeszerzési-tanulási képesség hiánya voltSession27Session28 A klasszikus sokváltozós statisztikai módszerek közül a hierarchikus és K-közép klaszterezés (lásd: Session17) és a diszkriminancia analízis (lásd: Session19), illetve a CART/CHAID/QUEST algoritmus (lásd: Session27) rendelkezik egyediből általánosító, indukciós (Induction) képességgel, de ezt sokszor erősen limitálják az adott módszer döntési térbeli eloszlásra tett feltételezései: Session17 Session19Session27 –A diszkriminancia analízis normális eloszlású, konvex poliéder alakú térrészekben elhelyezkedő, lineárisan szeparálható csoportokat feltételez –A K-közép klaszterezés ugyanezt feltételezi, a normalitás kivételével –A hierarchikus klaszterezés a legközelebbi szomszéd (Nearest Neighbor) agglomerációs módszerrel képes nem konvex döntési térrészekben elhelyezkedő csoportokat felismerni, de nagyon érzékeny a szélsőséges megfigyelésekre (Outlier), sokszor külön csoportot képeznek

5 Mesterséges neurális hálózatok bevezető 2 –A CART és a hasonló algoritmusok hipertéglatestek kombinálásával leírható térrészekben elhelyezkedő csoportokat képesek modellezni, –De a döntési térben átlós helyzetben elhelyezkedő eloszlások esetén kevéssé hatékonyak: vagy rossz a predikciós képességük, vagy azonnal túltanulják (Overlearning) a minta adatbázist Mindezen problémákra az egyik lehetséges megoldást a Mesterséges neurális hálózatok (Artificial Neural Networks, ANN) alkalmazása kínálja: –Olyan eloszlásfüggetlen becslési rendszerek (Distribution Free Estimators), amelyek a döntési térbeli (Decision Space) I/O változók kapcsolatát leíró, nem konvex térrészekben elhelyezkedő, nem lineáris, nem monoton, tengelyekre átlós helyzetű részeket tartalmazó vezérlési függvényeket (Control Function) képesek hatékonyan, kevés moduláris egység közreműködésével modellezni –A vezérlési függvény modelljét tanítómintából (Learning/training sample/pattern/data) történő automatikus tanulással állítják elő CFPerKot EredPerEszk KotPerEszk $$ $$ $$ $$ $$ $$ $$ $$ 0.14 $$ $$ 0.13 $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$$$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ $$ 0.69 $$ $$ $$ $$ $$

6 Mesterséges neurális hálózatok bevezető 3 –Működésük a konnekcionizmuson (Connectionism) alapul: egyszerű számításokat végző, programozható egységek/ sejtek/ neuronok (Units/ Cells/ Neurons) információt áramoltató összeköttetésekkel/szinapszisokkal (Connection/Node/Synapse) történő hálózatba (Network) kapcsolásán alapul –Amelyek párhuzamos, megosztott információ-feldolgozást (Parallel Distrubuted Processing, PDP) végeznek, az outputok inputokból történő kiszámításához, több diszkrét időperióduson keresztüli dinamikus (Dynamic) folyamatban –A magasabb rendű élőlények idegrendszerének analógiájára épülnek fel, jelentős leegyszerűsítésekkel A mesterséges neurális hálózatok története: –1857 Hebb (UK): az asszociáción alapuló tanulás kognitív pszichológiai modellje –1943 McCullogh – Pitts (USA): az idegsejt első matematikai modellje –1955 Hopfield (USA): a legegyszerűbb hálózat az asszociatív memória (Associative Memory) használata mintafelismerésre –1962 Rosenblatt (USA): Perceptron, az első többmezős (Multi-Layer) előrecsatoló (Feedforward) hálózat –1986 Rummelhart (DE): Backpropagációs (Backpropagation) algoritmussal tanított hálózat, postai levelek kézírásos irányítószámainak felismerésére –1992 Roska Tamás (Magyarország, MTA-SZTAKI), gyors parallel működéső képfeldolgozó chip, mesterséges szem –1995 Az első neurális beépülők (Add-in) kezdetleges táblázatkezelőkhöz (Framework, Lotus), tőzsdei árfolyamelőrejelzési alkalmazással

7 Biológiai analógia 1 Elsőként lássuk az átlagosan 1500cm 3 térfogatban százmilliárd (10 11 ) neuront és egykvintillió (10 16 ) szinapszist tartalmazó emberi agy erősen vázlatos felépítését: A legősibb része a gerincvelő (Spinal Cord) végén lévő agytörzs (Brain stem), amely legjobban védett részként az alapvető életfunkciókat szabályozza (légzés, szívritmus, hőmérséklet, víz és ionháztartás, emésztés, nemi funkciók), innen lép ki a fejen található szerveket idegző 12 pár agyideg (Cerebral nerves) Mellette található a kisagy (Cerebellum), amely a nem tudatos, reflexszerű mozgáskoordinációért felelős (pl. hogy kezeink és lábaink ne ütközzenek egymásba) A főemlősöknél az agy különböző kérgi (Cortex) lebenyeinek (Lobe) tömegaránya nő, és barázdálódással nagyobb felületűek lesznek, ezek specializált feladatokat látnak el: A homloklebeny (Frontal lobe) elülső területe az absztrakt gondolkodásért felelős. Ez az agy jelenleg legkevésbé ismert területe, szőke nőknél hiányzik is.

8 Biológiai analógia 2 E mögött van a mozgásokkal kapcsolatos mintákat tároló terület (Premotor area). Ennek alján van a beszédmozgás-vezérlő (Motor speech area) Mögötte a tudatos mozgásvezérlő (Primary motor cortex) helyezkedik el. Itt fentről lefele a láb, törzs, kéz, fej, arc, száj vezérlői (Motoric areas) vannak. A fejtetői lebeny (Parietal lobe) kérgének elején (Primary Somesthetic Cortex) hasonló sorrendben, de eltérő beosztásban kapnak helyet a testi érzékelő központok (Sensory Areas) Ez mögött az érzékelt minták tárolóterülete (Somesthetic association area) van, alján a beszédfelismerő központtal (Sensory speech area) A halántéklebenyben (Temporal lobe) felül a hallókéreg (Primary auditory cortex), az alatt a hangminták tárolója (Auditory Association area), az alatt az egyensúlyozás-helyzetérzékelés van. A hátsó lebenyben (Occipital lobe) a látókéreg (Visual cortex), illetve a látott képek tárolóterülete (Visual association area) helyezkedik el.

9 Biológiai analógia 3 Jelenleg a kisagy kérgének felépítése a legjobban feltárt, három rétegre (Layer) oszlik, melyek közül az első a molekuláris réteg (Molecular layer) benne specializált idegsejtekkel. A rétegeket inputokat hozó (Afferent/ Ascending) és outputokat elszállító (Efferent/ Descending) szinapsziskötegek (Fiber) kötik össze.

10 Biológiai analógia 4 Egy neuronból átlagban szinapszis indul ki, de ez a szám nagyon szóródik. A köztes jelfeldolgozók (Interneuron) két kötegesek (Bipolar), az érzékelők (Sensory) egy kötegesek (Unipolar), a mozgatók (Motory) sok kötegesek (Multipolar), a piramis-sejtek (Pyramidal) szinapszisai fenyőfa-alakzatúak, funkciójuk jelenleg nem teljesen ismert A kisagykéreg mikro-szerkezete (Micro-circuitry) sokfajta specializált sejt és szinapszisköteg izgató (Excitatory, +) vagy gátló (Inhibitory, -) kapcsolódásából épül fel: MF: Moharost DCN: Mély kisagyi közvetítő sejt IO: alárendelt oliva színű sejt CF: felszálló köteg GC: szemcsesejt PF: Párhuzamos köteg PC: Purkinje sejt GgC: Golgi sejt SC: Csillag sejt BC: Kosár sejt (jórészük pontos szerepe és műkö- dése jelenleg nem Ismert)

11 Biológiai analógia 5 A Johann Evangelista Purkinje által 1830-ban felfedezett Purkinje-sejt az agyban előforduló legnagyobb méretű idegsejt, melynek több 1000 szinapszisa mindig egy trapéz alakú sík térrészben foglal helyet a kisagyi kéregben. Pontos szerepe máig sem ismert. Bár a jelenlegi pozitron emissziós tomográf (PET) képalkotó technológia és kontrasztanyagai már lehetővé teszik elhelyezkedésének feltérképezését, ez nem ad támpontot arra nézve, hogy időben, dinamikusan hogy működik együtt más sejtekkel az élő agyszövetben. Az elektródák beültetése ezen méréshez olyan finom módszer, mintha úthengerrel simogatnánk egy macskát. Ezért jelentős kutatások folynak a neuronok biológiailag valósághű matema- tikai modellezése érdekében. Ehhez egyre na- gyobb teljesítményű szoftverek vannak, néhányat megadtunk a szakirodalomban. (a diagrammon egy Purkinje sejtCa 2+ ion koncentrációja látható)

12 Mikroszerkezet 1 Az idegsejteket Microglia sejtek tartják mechanika- ilag a helyükön és eszik meg a tönkrementeket Astrociták táplálják őket erekből felvett glükózzal Oligodendrociták állítják elő a csatolások szigete- lését adó Myelint Az idegsejt membránja (Cell body) szigeteletlen rövid Dendriteken veszi fel az input elektromos jeleket 2.3m/s sebeséggel Hosszú, myelines Neuro- lemmocitákkal szigetelt Axonokon ad ki output jelet 90m/s sebeséggel A végbunkók (Synaptic Terminal) felé, melyek ingerületátvivő (Neuro Transmitter) anyagokat löknek ki a következő idegsejt membránjára, ezek ott ion kapukat (Ion Channel) nyitnak ki Az elektronok a Ranvier- befűződések közt ugranak át a myelinen nem az axon- ban halad- nak, ezért olyan gyors!

13 Mikroszerkezet 2 Az idegsejt glükózból és oxigénből nyert adenozin- trifoszfát (ATP) energiaforrás felhasználásával egy K + - kifele /Na + -befele ion pumpát működtet, amivel környezetéhez képest -170mV alappontenciált tart fenn Ha izgalomba jön, és tüzel (Firing), akkor beengedi a K + ionokat és -210mV-ra történő elektromos potenciálváltás fut végig a membránján, dendritjein, és axonjain. Ez a végbunkócskákban bonyolult vegyi folyamatok révén ingerület átvivő anyagokat (acetil- kolint, hisztamint) szabadít fel, amelyek kinyitják a következő kapcsolódó sejt membránján a K + ion kapukat, így az ingerület tovaterjed a hálózatban. Jelenleg még az elemi építőkőnek számító végbunkócskák működése sem ismert pontosan: jóval nagyobb sebeséggel továbbítják az ingerületet, mint az a résztvevő ionok és molekulák tömege és az őket gyorsító elektromos erőtér alapján lehetséges lenne Ezért sokan kvantumfizikai hatásokat, vagy téridő- mikrogörbületeket (Holon) sejtenek e mögött, de ezekre az erősen spekulatív elméletekre jelenleg még közvetett bizonyítékok sincsenek.

14 Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai Mesterséges neurális hálózatok bevezető A mesterséges neurális hálózatok története Biológiai analógia Mikroszerkezet Valós neuron és számítógépi megjelenése Valós neuron és matematikai modellje Permanens memória Rövid távú memória Tüzelés S zinapszis ok Mesters é ges neur á lis h á l ó zat topol ó gi á ja Neuronmezők A mezőn bel ü li szinapszis halmazok fajt á i A mezők ö zi szinapszis-halmazok fajt á i Aktiv á ci ó, a neuronok t ü zel é se Mesters é ges neur á lis h á l ó zat ábrázolása Topológiai diagramm I/O diagramm Jelzési diagramm Mátrixos forma Vezérlési függvény diagramm Szakirodalom

15 A fenti elektronmikroszkópos felvételen egy idegsejt látható egy jelenlegi technikai szintű mikroprocesszor elemi vezetékpályáira fektetve. Az idegsejt szer nagyobb méretű ezeknél, viszont olyan lebegőpontos számítási funkciókat lát el, melyek gépi ábrázolásához logikai kapuk és kondenzátorok százaira van szükség egy digitális áramköröket tartalmazó chipben. Emellett az idegsejt sok nagyságrenddel energiatakarékosabb, mint a digitális áramköri elemek. Egy emberi aggyal összemérhető, bár annál jóval lassabb feldolgozási sebességű 100TByte-os tárolókapcitású, klaszter elvű szuperszámítógép (kb node-dal) működtetéséhez jelenleg egy kisebb erőmű szükséges Az emberi agy viszont 1500cm 3 térfogatban még másodpercnyi működéshez szükséges energiahordozókat és oxigént is tárol. Valós neuron és számítógépi megjelenése jj x it S i (x it ) w ik w ji ii ii uiui lili

16 jj x it S i (x it ) w ik w ji ii ii uiui lili Valós neuron és matematikai modellje 1 Permanens memória (Non-volatile Memory): a j=1..m neuronokból az i=1..n neuronok felé menő ji szinapszisok t=0..T időperióduson keresztül az s jt jelzéseket eltérő w jit intenzi- tással, súllyal (Weight) konvertálják ingerület- átvivők kibocsátásába A rendszer tanítása a kezdetben véletlen ér- téket felvevő w ji0 súlyok megváltoztatásából áll Rövid távú memória (Volatile Memory): A neuronok egy aktivációs folyamatban (Neural Activation) x it membrán értékekbe (Membrane Value) aggregálják (Aggregate) a szinapszisok w jit ×s jt súlyozott jelzéseit, illetve adott (1-  i ) le- csengési ráta (Decay Rate) szerinti ütemben le- csengetik (Passive Decay) azt, a membrán érték [l i, u i ] alsó-/felső korlátokon belül tartása és idő- beli simítása miatt. Az aggregáció módjai: Addit í v (Additive): x it =  i (  j (w jit ×s jt )/  j (w jit ))+(1-  i )×x it-1 i=1..n,j=1..m,t= 1..T(30.1) Multiplikat í v (Multiplicative): x it =  i  j (s jt wjit ) (1/  j(wjit)) +(1-  i )×x it-1, i=1..n, j=1..m, t= 1..T(30.2) (az azonosan aggregált csatolások 1 dendrithez (Site) csatlakoznak)

17 Valós neuron és matematikai modellje 2 Tüzelés (Firing): a neuron s it =S i (x it ) jelzési függvénye (Signal Function) mindig szigorúan monoton növekvő, [l i, u i ] alsó/felső korlátok közt helyezkedik el,  i tüzelési határértékkel (Threshold) és  i meredekséggel (Slope): Line á ris (Linear) : s it+1 = (x it -  i ) /  i + (u i – l i )/2, i=1..n, t=1..T (30.3) Csak input neuronokban haszn á latos mert nem korlátos Szakaszonk é nt line á ris (Sectionwise linear) : s it+1 = Max(l i, Min(u i,(x it -  i ) /  i + (u i – l i )/2)), i=1..n, t=1..T (30.4) E gyszerűs í t é s, a lebegőpontos műveletek elkerülésére végett használatos S-g ö rbe (Sigmoid /Logistic ) : s it+1 = 1 / (1 + exp( -(x it -  i ) /  i )) × (u i – l i ) + l i, i=1..n, t=1..T (30.5) A b iol ó gi á ban ez a leggyakoribb, de lebegőpontos sz á m í t á sokat k ö vetel A tüzelés során kiadott s it jelzés w ikt súlyokkal súlyozott formában (s it × w ikt ) terjed tovább a szinapszisokon jj x it S i (x it ) w ik w ji ii ii uiui lili jj x it S i (x it ) w ik w ji ii ii uiui lili jj x it S i (x it ) w ik w ji ii ii uiui lili

18 Valós neuron és matematikai modellje 3 A w ikt szinapszis ok/ kapcsolat ok/ csatolások (Synapse, Connection) tulajdonságai mesterséges neurális hálózatokban : - i é s k n euronok k ö zti t időpontbeli w ikt  R val ó s s ú llyal ell á tott ö sszek ö ttetet é s Erőss é g (Srength) szerint lehet : –Izgat ó (Exciting): Pozit í v s ú ly ú w ik t > 0 –G á tl ó (Blocking): Negat í v s ú ly ú w ik t < 0 Jelk ó dol á s (Signal Encoding) szerint lehet : –Amplit ú d ó -modul á lt (AM, Amplitude Modulation): a jel nagys á ga hordozza az inf ó t. A biológiában csak az egyszerűbb vezérléseknél található meg. A matematikai modellekben túlnyomórészt ezt használjuk. –Frekvencia modul á lt (FM, Frequency Modulation): azonos nagys á g ú jelek sűrűs é ge hordozza az inf ó t. A biólógiában a nagy pontosságú, gyors vezérléseknél (pl. kéz-/ szemmozgás) elterjedt, a matematikában csak a biológiailag valósághű modellezésnél használatos Ir á nyults á g (Direction) szerint lehet : –Előrecsatol ó (Feedforward): csak az inputt ó l az output ir á ny á ban k ö zvet í t jelz é st, visszafele nem: w ik t  R, w ki t =0 –Visszacsatol ó (Recurrent): csak az outputt ó l az input ir á ny á ban k ö zvet í t jelz é st, odafele nem: w ik t =0, w ki t  R w ik w ki Input x it S i (x it ) ii ii uiui lili jj x kt S k (x kt ) kk kk ukuk lklk

19 Valós neuron és matematikai modellje 4 –K é tir á ny ú (Bidirectional): mindk é t ir á nyban k ö zvet í t jelz é st: w ijt = w jit  R –Ö nmag á ra visszacsatol ó (Recursive, Self- connected): mind a kiindul ó, mind a v é gpontja ugyanaz a neuron: w ii t  R A neuron membr á n é rt é k-mem ó ri á j á nak (Volatile Membrane Memory) modellezésénél, Vagy frekvencia-modulált jelzés modellez é s énél használatos: a neuronok önvisszacsatoló szinapszisai szabályos időközönként (0.01s-0.1s) tüzelésre késztetik őket. Az ingerület-átvivők mennyiségének növekedésével a tüzelés frekvenciája nő. K é sleltet é s (Delay) szerint lehet : –Azonnali csatol á s (Prompt): ez az á ltal á nos –K é sleltetett csatol á s (Delayed Connection) : - V é ges impulzus számú v á lasz (Finite Impulse Response, FIR ) szűrőt alkalmaz - Ami időben eltolja az á tfoly ó jelz é seket - Idősori előrejelzőkben haszn á latos w ik Input x it S i (x it ) ii ii uiui lili jj x kt S k (x kt ) kk kk ukuk lklk w ii

20 Valós neuron és matematikai modellje 5 A matematikai modell fontos eltéréseket tartalmaz a valósághoz képest: A valóságban a szinapszisok ingerület-átvivőkön alapuló kémiai információ tárolása a hosszú távú memória (Non-volatile/Long Term Memory, LTM) alapja, sec alatt tanítható és több évig képes tárolni. Emellett az elektromos membrán-potenciálok a rövid távú memória (Volatile/Short Term Memory, STM) alapját képezik, ami 0.01 sec alatt vált állapotot, és kb. 7-8 sec-ig tárol. Matematikai modellekben az (1-  i ) lecsengési ráta (Decay Rate) szabályozza a memória stabilitását, nem a tárolás alapja. A valóságban a neuronok membránjai nem számtani vagy geometriai átlagolással aggregálnak, mint az a (30.1) és (30.2) formulákban szerepel, hanem csak töltést összegezni tudnak, mivel elektronikailag kondenzátoroknak (Condenser) felenek meg. A multiplikatív aggregációt az jeleníti meg, hogy az output neuronok speciális dendritjei (Site) az ingerület átvivők mennyiségével nem egyenesen arányosan, hanem logaritmikusan engednek be ionokat. A logaritmikusan transzformált jelzések összeadása szorzásnak felel meg. A passzív lecsengetés gondoskodik róla, hogy az összegzett jelzések ne vehessenek fel végtelen nagy értéket. Ezt azonban nehéz egyedileg belőni, így a matematikai modellben átlagokat haszálunk, és a passzív lecsengés csak időbeli simítási funkciót lát el.

21 Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai Mesterséges neurális hálózatok bevezető A mesterséges neurális hálózatok története Biológiai analógia Mikroszerkezet Valós neuron és számítógépi megjelenése Valós neuron és matematikai modellje Permanens memória Rövid távú memória Tüzelés S zinapszis ok Mesters é ges neur á lis h á l ó zat topol ó gi á ja Neuronmezők A mezőn bel ü li szinapszis halmazok fajt á i A mezők ö zi szinapszis-halmazok fajt á i Aktiv á ci ó, a neuronok t ü zel é se Mesters é ges neur á lis h á l ó zat ábrázolása Topológiai diagramm I/O diagramm Jelzési diagramm Mátrixos forma Vezérlési függvény diagramm Szakirodalom

22 Neurális topológia 1 Mesters é ges neur á lis h á l ó zat topol ó gi á ja (ANN, Artificial Neural Network Topology): N euronok halmazai é s az őket összekötő szinapszis ok rendszere. Meghat á rozza, hogy az adott hálózat milyen bonyolult ismereteket k é pes megtanulni Ir á ny í tott gr á ffal modellezz ü k, melynek csom ó pontjai a neuronok, é lei a szinapszisok Neuronmezők (Neuron Field): i=1..n n euronok azonos  j membrán aggregációval, S i jelzési függvénnyel,  i aktivációs határértékkel,  i jelzési függvény meredekséggel, u i, l i jelzési korlátokkal b í r ó csoportjai, amelyek fizikailag egy helyen találhatók valamilyen alakzatba rendezve, és környezetükhez azonos módon kapcsolódnak: i=1..n Input mező (Input Field): -É rz é kelőkről (Receptor) kap membr á n é rt é keket, á ltal á ban line á ris jelz é si f ü ggv é nyű, és a r ejtett/ output mező fel é adja ki a jelz é st h=1..H Rejtett mező (Hidden Field): - Egy input vagy rejtett mezőtől kap membr á n é rt é keket - Egy m á sik rejtett vagy output mező fel é adja ki a jelz é st -Á ltal á ban szigmoid jelz é si f ü ggv é nyű -É s a legt ö bbsz ö r t ö bb neuron van benne, mint az input mezőben o=1..O Output (Output Field): - Egy input/rejtett mezőtől kap membr á n é rt é keket - A vez é relt eszk ö z fel é adja ki a jelz é seket - Lehet line á ris vagy szigmoid jelz é si f ü ggv é nyű - A legt ö bbsz ö r kevesebb neuronb ó l á ll, mint a rejtett mező Neuronmezők sz é less é ge (Width): a z egyes mezőbe rendezett neuronok sz á ma A topol ó gia m é lys é ge (Depth): a neuronmezők sz á ma Input x it S i (x it ) ii ii uiui lili jj x ht S h (x ht ) hh hh uhuh lhlh Input x it S i (x it ) ii ii uiui lili jj x ht S h (x ht ) hh hh uhuh lhlh jj x ot S o (x ot ) oo oo uouo lolo jj x ot S o (x ot ) oo oo uouo lolo w ih w ho

23 Neurális topológia 2 A mezőn bel ü li szinapszis halmazok fajt á i Nincs: ez a leg á ltal á nosabb Komplementer (Complementary): pozit í v s ú lyok Kompetit í v (Competitive): negat í v s ú lyok, a neuronok k ö lcs ö n ö sen csökkentik egym á s membrán értékeit, nagy szerepe van mintafelismerő rendszerekn é l A mezők ö zi szinapszis-halmazok fajt á i Direkt csatol á s (Direct Connection) : A k é t mező neuronjainak 1:1 hozz á rendel é se Teljes csatol á s (Full Connection) : A k é t mező neuronjainak N:M hozz á rendel é se (Descartes-szorzat) Alakfelt é rk é pező csatol á s (Self-Organizing Map Connection) : Az input mezőben minden neuron egy input d ö nt é si v á ltoz ó t k é pvisel Az output mező neuronhalmaza az egyes d ö nt é si v á ltoz ó k szerinti, megadott sz á m ú oszt ó pontok halmazainak Descartes-szorzata Az output mező neuronjai t é rr á csot alkotnak a d ö nt é si t é rben, köztük kompetitív belső csatolás van Az input/output mező közt teljes előrecsatol á s van K-k ö z é p klaszterez é ssel anal ó g műk ö d é sű h á l ó zatokban haszn á latos, az output mező neuronjai a klaszter centrumok Sanger-f é le csatol á s (Sanger Connection) : Egy nagysz á m ú neuront tartalmaz ó input mezőt Kisebb sz á m ú output mezővel kapcsol Teljes előrecsatol á ssal A faktoranal í zissel anal ó g m ó don műk ö dő h á l ó zatokban haszn á latos, az output mező neuronjai a faktorok Input x it S i (x it ) ii ii uiui lili jj xhtxht S h (x ht ) hh hh uhuh lhlh Input x it S i (x it ) ii ii uiui lili jj xhtxht S h (x ht ) hh hh uhuh lhlh jj xotxot S o (x ot ) oo oo uouo lolo jj xotxot oo oo uouo lolo w ih w ho Input x it S i (x it ) ii ii uiui lili Input x it S i (x it ) ii ii uiui lili jj xhtxht S h (x ht ) hh hh uhuh lhlh jj xhtxht hh hh uhuh lhlh jj xhtxht hh hh uhuh lhlh jj xhtxht hh hh uhuh lhlh Input x it S i (x it ) ii ii uiui lili jj xhtxht S h (x ht ) hh hh uhuh lhlh Input x it S i (x it ) ii ii uiui lili jj xhtxht S h (x ht ) hh hh uhuh lhlh Input x it S i (x it ) ii ii uiui lili Input x it S i (x it ) ii ii uiui lili

24 Neurális topológia 3 Aktiv á ci ó, neuronok t ü zel é s i rendszere (Activation, Firing of Neurons) C é lja outputok l é trehoz á sa inputokb ó l. F ajt á i: Szinkron (Synchronous) : Diszkr é t időperi ó dusokra van osztva a rendszer műk ö d é se Egy időperi ó dusban minden neuron aktiv á l ó dik é s t ü zel, n agy mem ó riaig é nyű de pontos Aszinkron (Asynchronous) : V é letlen permut á ci ó s (Random Permutation): V é letlen nem visszatev é ses mintav é tellel minde gyik egyszer é s csak egyszer t ü zel V é letlen (Random): V é letlen visszatev é ses mintav é tellel t ü zelnek, l ehet hogy t ö bbsz ö r, vagy egyszer sem Sorfolytonos (Serial): Ö nk é nyes sorrendben t ü zelnek Ez a legkisebb mem ó riaig é nyű é s leggyorsabb, de nagyon erősen torz í t Topol ó giai sorban (Topologic): Előbb az input neuronok, majd az output neuronok tüzelnek Kis erőforr á s-ig é nyű é s nem torz í t Főleg előrecsatol ó h á l ó zatokn á l j ó Időablakos eltol á ssal (Time Delay) Nem a kurrens jelz é ssel dolgozik, hanem egy kor á bbi időperi ó dus é val Idősori modellekn é l haszn á latos Stabilit á si (Stable) Visszcsatol ó h á l ó zatokban addig folytatja ciklusokban a t ü zel é st, am í g Ljapunov stabil h á l ó zat á llapotot nem é r el, a változások már nem lépnek túl egy határértéket

25 Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai Mesterséges neurális hálózatok bevezető A mesterséges neurális hálózatok története Biológiai analógia Mikroszerkezet Valós neuron és számítógépi megjelenése Valós neuron és matematikai modellje Permanens memória Rövid távú memória Tüzelés S zinapszis ok Mesters é ges neur á lis h á l ó zat topol ó gi á ja Neuronmezők A mezőn bel ü li szinapszis halmazok fajt á i A mezők ö zi szinapszis-halmazok fajt á i Aktiv á ci ó, a neuronok t ü zel é se Mesters é ges neur á lis h á l ó zat ábrázolása Topológiai diagramm I/O diagramm Jelzési diagramm Mátrixos forma Vezérlési függvény diagramm Szakirodalom

26 Neurális hálózat megjelenése Topológiai diagrammon A neurális hálózat topológiáját topológiai diagrammon (Topology Diagram) ábrázolhatjuk, ami egy irányított gráf (Directed Graph), ahol: A csomópontok (Node) ábrázolják a neuronokat: –Alul az aggregáció módjának a kijelzése látható (  j vagy  j ) –Középen a jelzési függvény ábrázolása az  i határértékkel,  i meredekséggel, u i, l i korlátokkal Az élek (Edge) ábrázolják a súlyozott összeköttetéseket: –Az él irányítottsága fejezi ki a jelzés haladási irányát –Az él színe vagy vastagsága fejezi ki a w ij súly nagyságát A csomópontok térben neuronmezőkbe (Neuron Field) rendezettek lehetnek Az input mező általában alul val bal oldalt, az output mező fent vagy jobb oldalt helyezkedik el A topológiai diagramm korlátlan számú neuront tud ábrázolni, de az aktivációs folyamat függvénytranszformációit nem mutatja be, csak a hálózat szerkezetét Input x it S i (x it ) ii ii uiui lili jj x ht S h (x ht ) hh hh uhuh lhlh Input x it S i (x it ) ii ii uiui lili jj x ht S h (x ht ) hh hh uhuh lhlh jj x ot S o (x ot ) oo oo uouo lolo jj x ot S o (x ot ) oo oo uouo lolo w ih w ho

27 Neurális hálózat megjelenése az I/O diagrammon jj xixi S i (x i ) w ik ii ii w ji ×S j (x j ) w ik ×S i (x i ) S i (x i ) Az I/O diagramm a neurális hálózat függvénytranszformációinak legrész- letesebb ábrázolása, de minden neuronhoz csak 2 input jelzést tud ábrázolni: A súlyozott jelzések egy koordináta tengelyen jelennek meg, majd egy dendriteket szimbolizáló vezető- rácsozat átlagolja vagy össze- szorozza őket A jelzési függvény a neuront szimbolizáló kör belsejében lévő koordináta rendszerben jelenik meg A szinaptikus súlyok a kimenő jelzést transzformáló lineáris függvények a szinapszisok „kanyarodásainál”

28 S i (x i ) S j (x j ) ii ii w ji S i (  j (w ji ×S j (x j ))) Neurális hálózat megjelenése a Jelzési diagrammon A jelzési diagramm (Signal Diagramm) a jelzési függvénytranszformációkat tömörebben ábrázolja: egyetlen 3D függvényként mutatja a kapcsolati súlyok, az aggregáció és a jelzési függvény együttes hatását Emiatt a kapcsolati súlyok, jelzési határértékek és meredekségek nem figyelhetők meg közvetlenül rajta, mint az I/O diagrammon, viszont áttekinthetőbb formában mutatja a hálózat szerkezetét és a jelzések áramlását: a szinapszisokat széles szürke nyilak ábrázolják, a bennük áramló jelzés intenzitását a vörös nyilak A diagramm hátránya, hogy csak két input neuron aggregá- cióját képes megjeleníteni

29 Neurális hálózat megjelenése Mátrixos formában A mátrixos forma (Matrix Form) a neurális hálózat legtömörebb ábrázolása, korlátlan számú I/O neuront tud ábrázolni, de a hálózat szerkezetét, és a transzformációkat nem mutatja A neuronok a zöld membrán érték- és a piros jelzési függvény vektor (Mebran/Sinal Vector) elemei, ezeket térben összerendezve egy kék mezőben (Field) is mutathatja Szinapszisaik a sárga szinaptikus súlymátrix (Syanptic Matrix) egy oszlopa, a dendritjei egy sora

30 Neurális hálózat megjelenése Vezérlési függvény diagrammon A vezérlési függvény diagramm (Control Function Plot) 2 input változó (x,y) terében képes ábrázolni tetszőleges számú neuron által megjelenítettvezérlési függvényt

31 Az előadás tartalma Mesterséges idegsejt hálózatok, mint eloszlásfüggetlen becslési rendszerek alapfogalmai Mesterséges neurális hálózatok bevezető A mesterséges neurális hálózatok története Biológiai analógia Mikroszerkezet Valós neuron és számítógépi megjelenése Valós neuron és matematikai modellje Permanens memória Rövid távú memória Tüzelés S zinapszis ok Mesters é ges neur á lis h á l ó zat topol ó gi á ja Neuronmezők A mezőn bel ü li szinapszis halmazok fajt á i A mezők ö zi szinapszis-halmazok fajt á i Aktiv á ci ó, a neuronok t ü zel é se Mesters é ges neur á lis h á l ó zat ábrázolása Topológiai diagramm I/O diagramm Jelzési diagramm Mátrixos forma Vezérlési függvény diagramm Szakirodalom

32 Szakirodalom 1 Neurális hálózatok elméletével kapcsolatos jegyzetek CANAL-formátumban, magyarul: NeuralTheoryNotes.doc NeuralTheoryNotes.doc Összefoglaló a biológiai analógiáról, angolul: Marco Balsi internetes tankönyve, chat-szobája, szoftver- és példa gyűjteménye neurális hálózatokról angolul: Nem kerekedelmi licenszű neurális szoftverek: –Forráskód csomagok telepítő nélkül C-ben: SNNS: (C forráskód, ingyenes, GUI, Tutorial HTML-ben és PDF-ben, Stuttgarti Egyetemen tanítják)http://www-ra.informatik.uni-tuebingen.de/SNNS/ repository/ai/areas/neural/systems/cascor/http://www.cs.cmu.edu/afs/cs/project/ai- repository/ai/areas/neural/systems/cascor/

33 Szakirodalom 2 Nem kerekedelmi licenszű neurális szoftverek: –Forráskód csomagok telepítő nélkül Java-ban: Java Neural Networks by Jochen Frölich: regensburg.de/~saj39122/jfroehl/diplom/e-index.html (Java Class forráskód, Internetes applet Kohonen-hálózatokról, ingyenes, nincs GUI, Tutorial HTML-ben)http://fbim.fh- regensburg.de/~saj39122/jfroehl/diplom/e-index.html bochum.de/ini/VDM/research/gsn/DemoGNG/GNG.htmlhttp://www.neuroinformatik.ruhr-uni- bochum.de/ini/VDM/research/gsn/DemoGNG/GNG.html –Biológiai modellező szoftverek: Neuron: (ingyenes, GUI, Win XP telepítő, Tutorial HTML-ben, Yale-n tanítják)http://www.neuron.yale.edu/neuron/ Genesis: (GNU licenszes, GUI, Win XP telepítő, Tutorial HTML-ben, Caltech-en tanítják, gyenge a backpropagációs része)http://www.genesis-sim.org/GENESIS/ PDP++: (C++ forráskód, GUI, Win XP telepítő, Tutorial HTML-ben)http://www.cnbc.cmu.edu/Resources/PDP++//PDP++.html

34 Szakirodalom 3 –Döntéstámogatási szoftverek: JNNS: (Az SNNS leegyszerűsített változata Java-ban, GNU licenszes, GUI, Win XP telepítő, Tutorial PDF-ben, Tübingeni Egyetemen tanítják)http://www-ra.informatik.uni-tuebingen.de/software/JavaNNS JOONE: (Java, GNU licenszes, GUI, Win XP telepítő, Tutorial PDF-ben)http://www.joone.org Kereskedelmi licenszű neurális döntéstámogató szoftverek: –NeuroSolutions: (60 napos shareware, nincs mentés, GUI, Win XP telepítő, Excel Add-in, Excel Wizard, MATLAB modul, Tutorial PDF-ben, Orvosi informatikai, és automatikus járműirányítási alkalmazások)http://www.neurosolutions.com/download.html –NeurOK: (Excel Add-in, C forráskód, XML- es felület, Win XP telepítő, Pénzügyi alkamazások)http://soft.neurok.com/dm/download.shtml –EasyNN: (30 napos shareware, GUI, Win XP telepítő, Tutorial HTML-ben, pénzügyi előrejelzési alkalmazások)http://www.easynn.com/dlennp.htm –ALNFit Pro: (30 napos shareware, GUI, Win XP telepítő, Tutorial PDF-ben, pénzügyi előrejelzési alkalmazások)http://www.dendronic.com/downloadalnfit_pro.shtml –Trajan: (30 napos shareware, GUI, Win XP telepítő, Tutorial HTML-ben, nincs még valós alkalmazása)http://www.trajan-software.demon.co.uk/Downloads.htm –AINet: (1 napos shareware, GUI, Win 95 telepítő, Tutorial PDF-ben, nincs még valós alkalmazása)http://www.ainet-sp.si/NN/En/nn.htm –NeNet: (teljesítmény limitált shareware, GUI, Win 95 telepítő, Tutorial HTML-ben, SOM hálózatokra kihegyezve)http://koti.mbnet.fi/~phodju/nenet/Nenet/Download.html Kiegészítő csomagok statisztikai szoftverekhez: –Statistica Neural Networks: https://www.statsoft.com/downloads/maintenance/download.html (nincs shareware, GUI, Win XP telepítő, Tutorial mozifájlokban) https://www.statsoft.com/downloads/maintenance/download.html

35 Szakirodalom 4 Kiegészítő csomagok MATLAB-hoz: –Matlab Neural Toolbox: (Nincs shareware)http://www.mathworks.com/products/neuralnet/ –SOM ToolBox: (Matlab 5, ingyenes, GUI, Tutorial PDF-ben)http://www.cis.hut.fi/projects/somtoolbox/download/ –FastICA: (Matlab 7, ingyenes, GUI, Tutorial PDF-ben)http://www.cis.hut.fi/projects/ica/fastica/code/dlcode.shtml –NetLab: (Matlab 5, ingyenes, GUI, Tutorial PDF-ben)http://www.ncrg.aston.ac.uk/netlab/down.php –NNSysID: (Matlab 7, ingyenes, GUI, Tutorial PDF-ben)http://www.iau.dtu.dk/research/control/nnsysid.html Pénzügyi előrejelzésben használatos Excel Add-In-ek: –NeuroShell: (nincs shareware, piacvezető)http://www.neuroshell.com/ –NeuroXL: (nincs shareware)http://www.neuroxl.com/ Több mint 50 kereskedelmi licenszű neurális szoftver összehasonlító elemzése, linkekkel: paderborn.de/~IFS/Tools/neural_network_tools.htmhttp://wwwcs.uni- paderborn.de/~IFS/Tools/neural_network_tools.htm


Letölteni ppt "Pécsi Tudományegyetem Pollack Mihály Műszaki Kar Műszaki Informatika Szak Data Mining 30. Előadás Dr. Pauler Gábor, Egyetemi Docens PTE-PMMFK Villamos."

Hasonló előadás


Google Hirdetések