Előadást letölteni
Az előadás letöltése folymat van. Kérjük, várjon
1
Lasztovicza László laszto@mit.bme.hu http://www.mit.bme.hu/~laszto
Neurális hálózatok Lasztovicza László
2
Az előadás Cél a neurális hálózatok lehetőségeinek bemutatása példákon keresztül Neurális hálózatok általánosan Néhány hálózati architektúra és a használatuk
3
Neurális hálózatok Biológiai, fiziológiai és számításelméleti megfontolások Tanulási képesség Párhuzamos, moduláris felépítés Gyors és hatékony működés Nagy megbízhatóság Mérnöki szempontból Információfeldolgozó eszközök, amelyeket valamilyen tanulási algoritmus és nagyfokú párhuzamos működés jellemez
4
Néhány momentum 1943 – Mesterséges neuron, McCulloch, Pitts
1949 – Első tanulási szabály, Hebb 1958 – Perceptron, Rosenblatt 1960 – Adaline, Widrow, Hoff 1969 – Perceptrons című könyv megjelenése, Marvin L. Minsky, Seymour A. Papert 1969 – Hibavisszaterjesztéses algoritmus, Yu- Chi Ho, Arthur E. Bryson, Jr. 1986 – A neurális hálózatok „újrafelfedezése”, Rumelhart, McClelland
5
Alkalmazási területek
Asszociatív memória Függvény-approximáció Osztályozás Optimalizálás Szabályozás, vezérlés Nemlineáris, dinamikus rendszerek modellezése (pl. ipari, gazdasági folyamatok előrejelzése)
6
Tanulás, tanítás Felügyelt tanítás Nem felügyelt tanítás
Összetartozó be- és kimeneti minták Nem felügyelt tanítás Feladat: összefüggések, hasonlóságok keresése a bemeneti adatokban Analitikus tanítás Hálózatok kialakítása a feladatból elméleti úton elvégezhető
7
Paraméter módosító algoritmus
Felügyelt tanítás A tanítás összetartozó be- és kimeneti példákon keresztül történik A tanítás a neurális hálózat súlyainak valamilyen algoritmus általi megfelelő beállítását jelenti d + B e m n t y x Neurális hálózat (W) Σ - ε W* Paraméter módosító algoritmus
8
A perceptron w0 x0=1 w1 x1 s = ΣwTx y = f(s) Σ f w2 x2 w3 x3 . wn xn
9
Kétrétegű perceptron hálózat
x0(1)=1 x0(2)=1 y1(1) Σ / f x1 y1(2) Σ / f x2 y2(1) Σ / f x3 y2(2) Σ / f . y3(1) Σ / f xn W(1) W(2)
10
Perceptron hálózatok approximációs képessége
Egy legalább kétrétegű, szigmoid típusú nemlinearitást tartalmazó perceptron hálózat, bármely folytonos, valós értékű, Rn egy kompakt részhalmazán értelmezett f függvényt tetszőleges pontossággal képes közelíteni, bizonyos feltételek teljesülése esetén. (Cybenko )
11
A neurális feldolgozás általános lépései
Reprezentáció meghatározása, és az adatok megfelelő formára hozása Tanító, teszt és validációs halmazok kialakítása Architektúra, hálózati paraméterek megválasztása Tanítás, tesztelés Ha szükséges, az egész folyamat ismétlése
12
Függvényapproximáció
Feladat: az adatok által megadott leképezés létrehozása, vagyis a folyamat függvényének közelítése Példa: szinuszfüggvény megtanulása mintákból
13
Dinamikus neurális hálózatok
Időfüggő, nemlineáris problémák megoldása Előrejelzési, szabályozási feladatok Visszacsatolások, késleltetések Sok esetben bonyolult, lassú tanítás Stabilitás
14
Napfolttevékenység előrejelzése
Egyetlen idősor, a napfolttevékenység évenkénti adatai, 11 éves periodicitást mutat Egyszerű perceptron hálózat 11 késleltetett bemenettel Működtetés során a hálózat kimenete lesz a bemenet (előrejelzés), így a hibák összeadódnak
15
Fuzzy ARTMAP
16
Fuzzy ARTMAP működése ARTa - Bemeneti minták (szabályok)
ARTb - Várt kimeneti kategóriák (szabályok) Mapfield - ARTa és ARTb (kategóriák) közötti asszociáció megteremtése Match tracking - Ha az asszociáció nem jó, új kategória keresése kezdődik
17
Egy osztályozási feladat
Kör a négyzetben probléma Egy adott pont benne van-e a körben, vagy sem? Bemenet: kétdimenziós vektorok, (x, y) koordináták Kimenet: benne van a körben, vagy nincs benne (0 - 1)
18
Nem felügyelt tanítás Nem állnak rendelkezésre összetartozó be- és kimeneti minták A cél összefüggések, hasonlóságok felderítése a bemeneti adatokban Pl. paraméterek optimális értékének meghatározása Klaszterek kialakítása, topologikus leképezés
19
Kohonen hálózat általános felépítése
xn x2 w1 y1 y4 y3 y2 2 3 4 1 x1 wn Kohonen hálózat általános felépítése
20
A Kohonen hálózat működése
A hálózat kimenete: Tanítás A győztes elem kiválasztása A bemenet és a súlyvektor euklideszi távolsága minimális A súlyok módosítása
21
Képfeldolgozási feladatok megoldási lépései
Szegmentálás Lényegkiemelés, reprezentáció Előfeldolgozás Tudásbázis Felismerés, értelmezés Eredmény Kép készítése, digitalizálás Problématér Rafael C. Gonzalez, Richard E. Woods. Digital Image Processing. Addison-Wesley Publishing Company, (8.old)
22
Reprezentáció A képből különböző paraméterek előállítása minden képponthoz egy ún. sajátságvektort rendelünk a képpont és környezetének értéke alapján
23
Felügyelt tanítás alkalmazása
Neurális hálózatok bemenetei: sajátságvektorok A kimeneten 1-et várunk, ha a bemeneti sajátságvektorhoz tartozó képpont mikrokalcifikáció része, ellenkező esetben 0-t Neurális hálózat (W) B e m n t x y d Σ + - Paraméter módosító algoritmus W* ε
24
Fejlesztési lehetőségek
Hibrid rendszerek Neurális hálózatok, szabályalapú és hagyományos rendszerek együttes használata, a különböző megközelítések előnyeinek kihasználása Moduláris felépítés Feladatok részfeladatokra osztása Hierarchikus feldolgozás A felsőbb szinteken az alsóbb szintek eredményeinek felhasználása
25
Egy hierarchikus neurális modell1
Hierarchikus neurális hálózat Feldolgozás irányai Neurális hálózat #3 Neurális hálózat #2 Neurális hálózat #1 Kimenet Piramis Lényegkiemelés Neurális osztályozás 1P. Sajda, C. Spence, and J. Pearson, "A Hierarchical Neural Network Architecture that Learns Target Context: Applications to Digital Mammography," pp , Proc. 2nd IEEE Intern. Conference on Image Processing, Washington, D.C., 1995.
26
A rendszer blokkvázlata
Hierarchikus neurális hálózat Döntési fák Súlyozás Bemenet Pozitív / Negatív Modul #1 . Egyedi mikro- kalcifikációk meghatározása Bemenet Hierarchikus neurális hálózat Döntési fák Súlyozás Modul #n
27
Eredmények Eredmény Eredeti kép
28
Eredmények Eredmény Eredeti kép
29
Eredmények Eredmény Eredeti kép
30
Eredmények Eredmény Eredeti kép
31
Eredmények Eredmény Eredeti kép
32
Köszönöm a figyelmet!
Hasonló előadás
