IRE 7 /31/ 1 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 I ntelligens R endszerek E lmélete 7.

Az előadások a következő témára: "IRE 7 /31/ 1 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 I ntelligens R endszerek E lmélete 7."— Előadás másolata:

1 IRE 7 /31/ 1 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 I ntelligens R endszerek E lmélete 7

2 IRE 7 /31/ 2 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 A mesterséges neurális hálózatok alapfogalmai és meghatározó elemei http://nik.uni-obuda.hu/mobil

3 IRE 7 /31/ 3 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Neurális hálózatok  Az információ feldolgozás új (?) paradigmája  A biológiai inspirációjú információ feldolgozás, a „soft computing” egyik területe, ahol modellként az idegrendszer struktúráját és működését vesszük alapul.  A tudományterület a kezdeti stádiumban van, mégis számos alkalmazási területen az egyszerűsített modellekkel is jobb eredmények érhetőek el mint a „hagyományos” algoritmikus megoldásokkal.

4 IRE 7 /31/ 4 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 A neurális hálózatok általános jellemzői 1. A neurális hálózatok nagyon egyszerű processzorokból, az un. neuronokból épülnek fel. A processzorok változtatható súlytényezőjű összeköttetések hálózatán át kommunikálnak egymással. 2. A neurális hálózatokat nem programozzuk, hanem tanítjuk. 3. A tárolt információk a hálózatban elosztottan, a súlytényezők közvetítésével ábrázolódnak. 4. A neurális hálózatok hibatűrők. Az elosztott párhuzamos tudásreprezentáció miatt a súlytényezők egy részének jelentős megváltozása sem befolyásolja alapvetően a hálózat működését. 5. A hálózat működését három fő tényező határozza meg: a processzorok átviteli függvénye, a hálózat összeköttetési sémája és a tanítási módszer

5 IRE 7 /31/ 5 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Mikor célszerű neurális hálózatokat alkalmazni?  A megoldandó problémával kapcsolatban gazdag adathalmaz áll rendelkezésre  A megoldáshoz szükséges szabályok ismeretlenek  A rendelkezésre álló adathalmaz nem teljes, hibás adatokat is tartalmazhat  Sok összefüggő bemenő adat-, összefüggő kimeneti paraméter áll rendelkezésre

6 IRE 7 /31/ 6 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Az első mesterséges neurális hálózat: a Perceptron Vetített nyomtatott betűk felismerése tanítás alapján Frank Rosenblatt (1957) 20 x 20 fotóérzékelő Mc. Culloch-Pitts neuronok Előrecsatolt egyrétegű hálózat I 400 I1I1 O1O1 O 36

7 IRE 7 /31/ 7 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Alkalmazási példa 1/1. Masa Péter Cenr 199x

8 IRE 7 /31/ 8 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Alkalmazási példa 1/2. Osztályozandó minták:

9 IRE 7 /31/ 9 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Alkalmazási példa 1/3. Megkülönböztetendő minták 3 dimenzió esetén

10 IRE 7 /31/ 10 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Alkalmazási példa 1/3. Megkülönböztetendő minták:

11 IRE 7 /31/ 11 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Alkalmazási példa 1/4. A megvalósított áramkör

12 IRE 7 /31/ 12 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Alkalmazási példa 1/5. A neurális megoldás teljesítmény mutatói

13 IRE 7 /31/ 13 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Neurális hálózatok alapfogalmai Gyakori elnevezések: Neural NetworksNeurális hálózatok NN Artificial Neural NetworksMesterséges neurális hálózatok ANN Artificial Neural SystemsMesterséges neurális rendszerek ANS Connectionist ModellsKonnekcionista modellek P arallel D istributed P rocessing Páthozamos elosztott feldolgozás PDP Neural ComputersNeuronszámítógépek ANN CNN Cellular Neural Network L.O. Chua, L.Yang, T. Roska 1988 Lokális kapcsolatok Analóg áramkörök

14 IRE 7 /31/ 14 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Természetes idegi hálózatok kapcsolódása

15 IRE 7 /31/ 15 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Az ingerület keletkezése

16 IRE 7 /31/ 16 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 A természetes idegi hálózatok tanulságai A feldolgozás nem univerzális! ( A hálózat típusa határozza meg a működést!) „Brodmann” agyterületek http://spot.colorado.edu/~dubin/talks/brodmann/brodmann.html A működés párhuzamos és hierarchikus (hagymahéj model)

17 IRE 7 /31/ 17 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Az agyterületek működésének MRI + PET képe Írott szöveg olvasása Szöveg kimondása Szöveg értelmezése Mark Dubin, U. of Colorado Principles of Neural Science E. Kandel, J. Schwartz, T. Jessel

18 IRE 7 /31/ 18 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Az emlékezés kapcsolatrendszere National Geographic 2007 november

19 IRE 7 /31/ 19 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 A McCulloch és Pitts formális neuron „Először tekintették az agyat számításokat végző szervnek” I – ingerfelvevők (bemenet) w ji súlytényezők T – Árviteli (Transzfer) függvény Oj = 0 ha Sj 0 SjSj T I1I1 I2I2 I n-1 InIn OjOj IBIB j w j1 w j2 w jn W. Mc Culloch és W. Pitts (1943)

20 IRE 7 /31/ 20 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Alapfeltevések a formális neuron megfogalmazásakor  Az idegsejt működése „minden vagy semmi jellegű”  Az idegsejt ingerületbe hozásához bizonyos időn belül néhány (legalább 2(!?)) bemenetet ingerelni kell  Az idegrendszerben az egyetlen jelentős késleltetés a szinapszisoknál jön létre  Bármely gátló szinapszis működése teljesen megakadályozza az idegsejt ingerületbe kerülését  Az idegrendszer összeköttetési hálózata az időben nem változik !?

21 IRE 7 /31/ 21 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Logikai műveletek McCulloch-Pitts neuronokkal O1O1 O2O2 O 2 (t) = O 1 (t-1) O1O1 O2O2 O3O3 O 3 (t) = O 1 (t-1) O 2 (t-1) 12 1 2 3 O1O1 O2O2 O3O3 O 3 (t) = O 1 (t-1) + O 2 (t-1) 1 2 3 O1O1 O2O2 O3O3 O 3 (t) = O 1 (t-1) O 2 (t-1) 1 2 3 O1O1 O2O2 O3O3 1 2 3 De Morgan !!! serkentésgátlás

22 IRE 7 /31/ 22 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 A neurális hálózatok legfontosabb meghatározó tényezői 1. A neuronok (processzorok) (neuron, artificial neuron, node, unit, cell) 2. A hálózati topológia („mit mivel kötünk össze”, (súlytényező mátrix) 3. A tanító szabályokat alkalmazó algoritmus („súlytényezők beállítása, hangolása”)

23 IRE 7 /31/ 23 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Az alap „neuron”(processzor) felépítése SjSj T I1I1 I2I2 I n-1 InIn OjOj IBIB j w j1 w j2 w jn I – bemenet), w ji súlytényezők, T – Átviteli (Transzfer) függvény W ji ij IiIi wji i OiOi

24 IRE 7 /31/ 24 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Leggyakrabban használt átviteli függvények 1. Ugrás függvény: O j = 0 vagy -1, ha S 0 2. Korlátozott lineáris függvény O j = 0, ha S <= 0, O j = S ha 0 <= S < 1 O j = 1 ha S > 1 3. Szimoid függvény 0 1 11 - 1 1 O j = 1/(1+e -S j ) 1 O j = 1 - 1/(1+S) ha S >= 0 O j = -1 + 1/(1-S) ha S < 0 1 SS S S

25 IRE 7 /31/ 25 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Tipikus neurális hálózat összeköttetések 1. Előrecsatolt (rétegelt) neurális hálózat (topológia) bemeneti réteg „rejtett” réteg kimeneti réteg Bemenetek Kimenetek „súlytényező”

26 IRE 7 /31/ 26 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 I 1 I 2 I i I n-1 I n Az előrecsatolt hálóztok alternatív ábrázolása O1O1 O2O2 OjOj OmOm S úlymátrix w 11 w 12 w 1i w 1n w 21 w 22 w 2i w 2n w j1 w j2 w ji w jn w m1 w m2 w mi w mn S = I * W O = f (S) Mátrix műveletek ! súlytényező

27 IRE 7 /31/ 27 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Visszacsatolt neurális hálózat RétegeltTeljesen összekötött ijkijk 123123 I 1 I 2 I 3 OiOjOkOiOjOk O = I x W1+ O x W2

28 IRE 7 /31/ 28 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 A tanító adatok szerkezete Benenő adatok Elvárt kimenő adatok „célértékek” Bemenetek 1-n C 1 C m Tanító minták 1-k nm NH c1c1 cmcm Teszt adatok

29 IRE 7 /31/ 29 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Tanítási szabályok 1. Tanítás = súlytényezők (kis lépésekkel (?) való) beállítása Tanítási típusok: 1. Felügyelt (felügyeletes) tanítás 2. Felügyelet nélküli (önszerveződő) tanítás Alap tanítási szabályok: Hebb szabály (Donald O. Hebb) w ji (t+1) = w ji (t) + α * O i * O j i j O i w ji O j i j O i w ji O j C j ahol α = tanítási tényező, 0 <= α <= 1 Delta szabály (Widrow- Hoff) w ji (t+1) = w ji (t) + α * O i * (C j – O j ) ahol C j – O j = Δ j

30 IRE 7 /31/ 30 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 A felügyeletes tanítás lényege, algoritmusa Mottó : Addig változtatjuk a súlytényezőket, amíg a bemenő mintákra a hálózat a megfelelő-, előre kiszámított válaszokat nem adja. Algoritmusa: 1. Kezdeti súlytényezők beállítása 2. A tanítóminta bemeneti értéke alapján a hálózat kimeneti értékének kiszámítása. 3. A tanítóminta célértékének összehasonlítása a hálózat célértékével. 4. Szükség esetén a hálózat súlytényezőinek módosítása. 5. A tanítás folytatása mindaddig, amíg a hálózat az összes tanítómintára – egy előre rögzített hibahatárnál kisebb hibával a célértéknek megfelelő kimeneti értéket nem tudja előállítani.

31 IRE 7 /31/ 31 Óbudai Egyetem, NIK Dr. Kutor László2011. TÁMOP – 4.1.2 Kérdések - Miért nem tekintjük az idegrendszert univerzális számítógépnek? - Az idegsejtek viszonylag lassú működése ellenére miért képes nagy számítási kapacitásra az agy? - Mivel magyarázható az idegrendszer nagyfokú hibatűrése?