Lasztovicza László laszto@mit.bme.hu http://www.mit.bme.hu/~laszto Neurális hálózatok Lasztovicza László laszto@mit.bme.hu http://www.mit.bme.hu/~laszto

Az előadás Cél a neurális hálózatok lehetőségeinek bemutatása példákon keresztül Neurális hálózatok általánosan Néhány hálózati architektúra és a használatuk

Neurális hálózatok Biológiai, fiziológiai és számításelméleti megfontolások Tanulási képesség Párhuzamos, moduláris felépítés Gyors és hatékony működés Nagy megbízhatóság Mérnöki szempontból Információfeldolgozó eszközök, amelyeket valamilyen tanulási algoritmus és nagyfokú párhuzamos működés jellemez

Néhány momentum 1943 – Mesterséges neuron, McCulloch, Pitts 1949 – Első tanulási szabály, Hebb 1958 – Perceptron, Rosenblatt 1960 – Adaline, Widrow, Hoff 1969 – Perceptrons című könyv megjelenése, Marvin L. Minsky, Seymour A. Papert 1969 – Hibavisszaterjesztéses algoritmus, Yu- Chi Ho, Arthur E. Bryson, Jr. 1986 – A neurális hálózatok „újrafelfedezése”, Rumelhart, McClelland

Alkalmazási területek Asszociatív memória Függvény-approximáció Osztályozás Optimalizálás Szabályozás, vezérlés Nemlineáris, dinamikus rendszerek modellezése (pl. ipari, gazdasági folyamatok előrejelzése)

Tanulás, tanítás Felügyelt tanítás Nem felügyelt tanítás Összetartozó be- és kimeneti minták Nem felügyelt tanítás Feladat: összefüggések, hasonlóságok keresése a bemeneti adatokban Analitikus tanítás Hálózatok kialakítása a feladatból elméleti úton elvégezhető

Paraméter módosító algoritmus Felügyelt tanítás A tanítás összetartozó be- és kimeneti példákon keresztül történik A tanítás a neurális hálózat súlyainak valamilyen algoritmus általi megfelelő beállítását jelenti d + B e m n t y x Neurális hálózat (W) Σ - ε W* Paraméter módosító algoritmus

A perceptron w0 x0=1 w1 x1 s = ΣwTx y = f(s) Σ f w2 x2 w3 x3 . wn xn

Kétrétegű perceptron hálózat x0(1)=1 x0(2)=1 y1(1) Σ / f x1 y1(2) Σ / f x2 y2(1) Σ / f x3 y2(2) Σ / f . y3(1) Σ / f xn W(1) W(2)

Perceptron hálózatok approximációs képessége Egy legalább kétrétegű, szigmoid típusú nemlinearitást tartalmazó perceptron hálózat, bármely folytonos, valós értékű, Rn egy kompakt részhalmazán értelmezett f függvényt tetszőleges pontossággal képes közelíteni, bizonyos feltételek teljesülése esetén. (Cybenko - 1989)

A neurális feldolgozás általános lépései Reprezentáció meghatározása, és az adatok megfelelő formára hozása Tanító, teszt és validációs halmazok kialakítása Architektúra, hálózati paraméterek megválasztása Tanítás, tesztelés Ha szükséges, az egész folyamat ismétlése

Függvényapproximáció Feladat: az adatok által megadott leképezés létrehozása, vagyis a folyamat függvényének közelítése Példa: szinuszfüggvény megtanulása mintákból

Dinamikus neurális hálózatok Időfüggő, nemlineáris problémák megoldása Előrejelzési, szabályozási feladatok Visszacsatolások, késleltetések Sok esetben bonyolult, lassú tanítás Stabilitás

Napfolttevékenység előrejelzése Egyetlen idősor, a napfolttevékenység évenkénti adatai, 11 éves periodicitást mutat Egyszerű perceptron hálózat 11 késleltetett bemenettel Működtetés során a hálózat kimenete lesz a bemenet (előrejelzés), így a hibák összeadódnak

Fuzzy ARTMAP

Fuzzy ARTMAP működése ARTa - Bemeneti minták (szabályok) ARTb - Várt kimeneti kategóriák (szabályok) Mapfield - ARTa és ARTb (kategóriák) közötti asszociáció megteremtése Match tracking - Ha az asszociáció nem jó, új kategória keresése kezdődik

Egy osztályozási feladat Kör a négyzetben probléma Egy adott pont benne van-e a körben, vagy sem? Bemenet: kétdimenziós vektorok, (x, y) koordináták Kimenet: benne van a körben, vagy nincs benne (0 - 1)

Nem felügyelt tanítás Nem állnak rendelkezésre összetartozó be- és kimeneti minták A cél összefüggések, hasonlóságok felderítése a bemeneti adatokban Pl. paraméterek optimális értékének meghatározása Klaszterek kialakítása, topologikus leképezés

Kohonen hálózat általános felépítése xn x2 w1 y1 y4 y3 y2 2 3 4 1 x1 wn Kohonen hálózat általános felépítése

A Kohonen hálózat működése A hálózat kimenete: Tanítás A győztes elem kiválasztása A bemenet és a súlyvektor euklideszi távolsága minimális A súlyok módosítása

Képfeldolgozási feladatok megoldási lépései Szegmentálás Lényegkiemelés, reprezentáció Előfeldolgozás Tudásbázis Felismerés, értelmezés Eredmény Kép készítése, digitalizálás Problématér Rafael C. Gonzalez, Richard E. Woods. Digital Image Processing. Addison-Wesley Publishing Company, 1992. (8.old)

Reprezentáció A képből különböző paraméterek előállítása  minden képponthoz egy ún. sajátságvektort rendelünk a képpont és környezetének értéke alapján

Felügyelt tanítás alkalmazása Neurális hálózatok bemenetei: sajátságvektorok A kimeneten 1-et várunk, ha a bemeneti sajátságvektorhoz tartozó képpont mikrokalcifikáció része, ellenkező esetben 0-t Neurális hálózat (W) B e m n t x y d Σ + - Paraméter módosító algoritmus W* ε

Fejlesztési lehetőségek Hibrid rendszerek Neurális hálózatok, szabályalapú és hagyományos rendszerek együttes használata, a különböző megközelítések előnyeinek kihasználása Moduláris felépítés Feladatok részfeladatokra osztása Hierarchikus feldolgozás A felsőbb szinteken az alsóbb szintek eredményeinek felhasználása

Egy hierarchikus neurális modell1 Hierarchikus neurális hálózat Feldolgozás irányai Neurális hálózat #3 Neurális hálózat #2 Neurális hálózat #1 Kimenet Piramis Lényegkiemelés Neurális osztályozás 1P. Sajda, C. Spence, and J. Pearson, "A Hierarchical Neural Network Architecture that Learns Target Context: Applications to Digital Mammography," pp. 149-155, Proc. 2nd IEEE Intern. Conference on Image Processing, Washington, D.C., 1995.

A rendszer blokkvázlata Hierarchikus neurális hálózat Döntési fák Súlyozás Bemenet Pozitív / Negatív Modul #1 . Egyedi mikro- kalcifikációk meghatározása Bemenet Hierarchikus neurális hálózat Döntési fák Súlyozás Modul #n

Eredmények Eredmény Eredeti kép

Eredmények Eredmény Eredeti kép

Eredmények Eredmény Eredeti kép

Eredmények Eredmény Eredeti kép

Eredmények Eredmény Eredeti kép

Köszönöm a figyelmet!