M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok A kognitív pszichológia a megismerés folyamatát kutatja.

Az előadások a következő témára: "M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok A kognitív pszichológia a megismerés folyamatát kutatja."— Előadás másolata:

1 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok A kognitív pszichológia a megismerés folyamatát kutatja. Mivel a gépi intelligencia csak akkor teljesítheti az elvárásokat, ha önálló tanulásra képes, a gépi intelligencia kifejlesztéséhez vezető úton nem mondhatunk le az emberi megismerési folyamat eddig megismert működésének, jellemzőinek hasznosításáról sem. A pszichológia A pszichológia az összetett viselkedési mintákat tanulmányozó tudomány. Cél: az emberi pszichikum és viselkedés megértése A fiziológiai, vagy mechanisztikus megközelítés szerint a pszichikum az agy működésének eredménye. Amennyiben ez a megközelítés ellentmondáshoz jut, a fizikumtól független szellem feltételezése jogos. Kutatott területek: érzékelés, tanulás, motiváció, emlékezet, felejtés, érzelmek, intelligencia, lelki zavarok. 1. 1. guide.discoveronline.org/discover/ guide01/1sec1a.htm 1

2 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. A pszichológiai vizsgálati módszerek időbeli fejlődése Introspekció = önmegfigyelés (gond: a megfigyelés zavarja a megfigyelt folyamatot). G.Humprey és E.G.Boring szerint az introspekció tisztán nem alkalmazható. A pszichikum csak közvetve tanulmányozható, pl. fekete doboz módszerrel: input és arra adott válasz elvezethet a belső működéshez. Következtetés a viselkedésből a gondolkodásra. Pszichoanalízis (Freud): 1820-ban Herbert felvetette a nem tudatos működések fontosságát. A gondolat kiteljesedését Freud műveiben találjuk meg. Freud tanítása szerint a libidó késztetései jelentik az emberi motivációk kiemelkedő forrásait. Hangsúlyozta a tudatalatti működések erőteljes jelenlétét a pszichikum működésében, ami mellett a tudatos működés csak egészen kis részt foglal el. (Úszó jéghegy jelkép.) 1. paradigm.soci.brocku.ca/~lward/ mead/default.html 2. 199.93.248.253/~mlevin/ newlab.dir/crazy.html 1. Geoge Herbert Mead 2. Sigmund Freud 3

3 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. A pszichológiai vizsgálati módszerek időbeli fejlődése.. Behaviorizmus (Watson): Watson és követője, Skinner azt tanította, hogy az emberek csaknem végtelenül alakíthatók, valamint hangsúlyozták az emberi viselkedés következményeinek fontosságát szemben az azt kísérő lelki működéssel. A pszichoanalízis és a behaviorizmus nézetei1945-1960-ig domináltak, a kognitív folyamatokat azonban szinte teljesen figyelmen kívül hagyták. Kognitív pszichológia (Piaget, 1980): a kognitív pszichológia a figyelmet, az észlelést, az emlékezetet, a felejtést, az alakfelismerést, a problémamegoldást, a nyelv pszichológiáját, az értelmi fejlődést és sok más problémát vizsgál. A kognitív pszichológia előretörését a számítógép megjelenése inspirálta. A számítógép néhány, az emberi agyi funkciókra emlékeztető működése megerősítette, hogy a kognitív folyamatok valóságosak, vizsgálhatóak és talán megérthetők. 1. home.worldonline.dk/ ~holgerwa/6.htm 1. John B. Watson Skinner 4

4 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Kognitív pszichológiai fogalmak A pszichológia fő célja a "szellemi folyamatok" elemzése, melyek általában kognitív (megismeréssel kapcsolatos) folyamatokat jelentenek. Ilyen működések a figyelem, percepció (érzékelés, észlelés), felismerés, asszociáció, emlékezet, képzelet, gondolkodás, megértés, felejtés. Ebből eredően a megismerés elméletei pszichológiai elméletek, a kognitív pszichológia a pszichológia része. A megismerés a tudás által meghatározott: az új ismeretek megszerzése a korábbiak alkalmazása révén. Olyan működés, amely az élőlényeket és különösképpen az embereket jellemzi. Az emberi információ-feldolgozás jellemzője, hogy az ingerfeldolgozás terjedelme és minősége az inger természetéről alkotott előzetes elképzelésektől, előfeltevésektől függ. 5

5 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Az észlelés Az észlelés a pszichológia, ill. a kognitív pszichológia egyik területe. "Az észlelés az a terület, ahol a valóság és a megismerés találkoznak." Az észlelés jellemző vonásai Minden észlelő szervezet bír olyan struktúrákkal, melyek révén képes a környezet bizonyos aspektusait megragadni, míg mások nincsenek rá jelentős hatással. Az észlelés és a megismerés a külvilággal való olyan kölcsönhatás, melynek révén az észlelő nem csak új információhoz jut, hanem meg is változik, átalakul. Az élőlények pszichikumát jelentős részben a megismerési folyamatok hozzák létre. Nem tagadható azonban öröklött összetevők léte sem. Az észlelés irányításában korábban kialakult (agyi) struktúrák (sémák) játszanak meghatározó szerepet és ezek irányítják az észlelést, melynek eredményeként módosulnak. (Vesd össze: neuronháló súlyainak alakulása a tanulás során.) 6

6 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Az észlelés jellemző vonásai.. A jelen észleleteiben szerepet játszanak, hatást gyakorolnak a közvetlen múlt és a távoli múlt emlékképei egyaránt. A megismerésben közreműködhet az emlékezés, azaz a múltbeli tapasztalatok felidézése, miként a képzelet, a gondolkodás is. Ezen működések ugyanazon alapvető kognitív struktúráknak az alkalmazásai. ( V.ö.: neuron-hálózat) "Az, hogy a hallgató mit fog fel az érvelésemből, nemcsak attól függ, amit mondok, hanem attól is, hogy mit tud (és hisz) mielőtt beül a terembe.„ Az észlelést a pszichikum irányítja. Eltérő személyek ugyanazon dolog más-más oldalát veszik észre. A sémák anticipációként (előrevetítés, előzetes elképzelés) működnek, olyan közvetítőként, melyek kihatnak a személy jövőbeni tevékenységére. A korábban megszerzett ismeret beágyazó környezetként szolgál új ismeretek számára. A sémák keletkezésükhöz képest időbeli, térbeli és esetbeli eltolódással részinformációk által felszínre kerülve előrevetítik az esetek hiányzó összetevőit, folyamatok folytatódását, megvalósítva ezáltal az emlékezetet. 1. Ulric Neisser: Megismerés és valóság Gondolat, Budapest, 1984. p206. 1. 7

7 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Az észlelési ciklus A rendelkezésre álló információ beépül a sémába módosítva azt, a séma irányítja a további információk felderítését, mindezt egy körforgásban, egyre bővítve, finomítva a világ egy részének séma általi leképezését. 1. Ulric Neisser: Megismerés és valóság Gondolat, Budapest, 1984. p206. 1. 8

8 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Sémák (Bartlett) A séma az észlelés központi kognitív struktúrája. A teljes észlelési ciklusnak az a része, amely az észlelőhöz képest belső, a tapasztalat által módosítható, és az észlelt dologra nézve valamiképpen specifikus. Az élő szervezet a külvilágból érkező ingerek révén a helyzethez leginkább kötődő, korábbi észlelések során eltárolt, felépült sémáját aktivizálja, mely felveszi az új információt és ily módon megváltozik. Irányítja a további felderítő mozgásokat és helyváltoztató tevékenységet még több információ elérése érdekében, melyek felvétele tovább alakítja. Biológiai szempontból a séma az agyi ideghálózat egy része. Fiziológiai struktúrák és folyamatok egy, az ingerek által aktivizált területe, mely állandóan változik, nem egy központ, vagy egy statikus szerkezet, hanem a bevezető szenzoros idegeket, a sématároló interneurális hálózatot és a kivezető motoros, ill efferens idegeket jelenti. 1. Ulric Neisser: Megismerés és valóság Gondolat, Budapest, 1984. p206. www.sdsc.edu/ScienceAlive/ 1. 9

9 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. A sémák kialakulását és működését az agyban meglévő, hierarchikus szerveződésű neurális hálózatnak, állandóan változásban lévő, dinamikusan fluktuáló potenciáloknak, ingeráramlatoknak tulajdoníthatjuk.Mindezt erőteljes párhuzamos működés, az egyszerre nagyon sok aktív együttműködő alrendszer és időbeli változékonyság jellemzi. Az ismeretek tárolásának és aktivizálásának számtalan formája van jelen, melyek mögötti biológiai struktúrák, bioelektromos és elektrokémiai működések megértése igen fontos, de nem könnyű. A sémák hierarchikus felépítésűek, a magasabbszintű sémák többszinten elhelyezkedő, alacsonyabbszintű sémákat foglalnak magukba, de minden szinten megfigyelhetők mellérendelt, azonos szintű kapcsolódások is. Az alacsonyabb szintű sémák a nem tudatos ingerfelvételben és efferens tevékenységekben vesznek részt, míg a magasabb rendűek a fogalmak szemléltetésére is alkalmasak, szélesebb körű, globálisabb információfeldolgozást és motiválást végzik. A séma fogalmat alkalmazó ismertebb kutatók Piaget, Woodworth, Kagan és Posner. A fogalmat új megvilágításba helyezte Rumelhart és Norton. (1975). 1. 10

10 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Keretek A séma fogalmát elemezve vissza kell utalnunk a vele rokonságban álló két jelentős elgondolásra, melyet Marvin Minsky (1974) és Erving Goffman (1974) dolgozott ki és alkalmazott, elsősorban a mesterséges intelligencia területén. Minsky arra a következtetésre jutott, hogy a valóságos világban a helyzetek megfelelő felismerését és leírását sohasem lehet elérni egyedül a pillanatnyi input minták alapján. Feltevése szerint a számítógépben minden egyes új helyzet számára egy keretnek, vagy keretek hierarchiájának kell készenlétben állnia, amelyek anticipálják (előrevetítik) a bekövetkező események jelentős részét. Ha a számítógép egy szobát vizsgál, falakat, ajtókat, ablakokat, bútorokat, stb kell elvárnia, csakis így lesz képes arra, hogy a rendelkezésére álló, egyébként kétértelmű adatokat értelmezze. Minsky feltételezi, hogy egy ilyen rendszer behelyettesíti a hiányzó értéket, ha elmarad az információ, pl. egy jobb oldali fal létezését is, ha erről semmilyen megerősítő adatot sem kapott. 1. 1. Ulric Neisser: Megismerés és valóság Gondolat, Budapest, 1984. p206. 11

11 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Keretek.. Goffman a köznapi társas élet egy ragyogó elemzésében rámutat, hogy ezek az események milyen gyakran jönnek létre konvencionálisan kialakult keretek között, amelyek megváltoztatják, vagy átalakítják a jelentésüket. Kulcspéldája a színházi előadás, amelyben a nézők tudják, hogy az általuk megfigyelt beszédet és cselekvést nem szószerint, hanem valahogy másképpen kell felfogniuk. Vagy: a túlzott alkoholfogyasztást egyes megfigyelők a betegség keretbe foglalhatják, mások szándékos közlekedési szabálysértésnek foghatják fel. A szélhámosok gondosan "keretezett" helyzeteket hoznak létre, hogy áldozataikat félrevezessék. "A mesterséges intelligencia és a kognitív pszichológia közötti (ilyen) konvergencia szívet melengető,..." Ulric Neisser 1. 1. Ulric Neisser: Megismerés és valóság Gondolat, Budapest, 1984. p206. 12

12 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Tanulás A tanulás azért igen fontos, mert az öröklődés mellett ez határozza meg elsődlegesen a viselkedést. Az öröklődés meghatározó abból a szempontból, hogy az egyed mit képes megtanulni. Az észlelés során a séma megváltozik, ami egyfajta tanulásként értelmezhető. A tanulás agyi kapcsolatok megváltozását jelenti. Elsősorban agyon kívüli dolgok leképezése az agyban. A tanulás kísérleti tanulmányozását Ebbinghaus vezette be 1885-ben. A tanulás mellett elsősorban a felejtés iránt érdeklődött. Az általa felvett felejtési görbe: 1. 1. www.york.ac.uk/depts/maths/histstat/ people/ebbinghaus.gif Diagram: www.phil.uni-sb.de/~jakobs/seminar/ vpl/block/block.htm Idő [óra] 100 % Megőrzött ismeret 1 8 24 1. 15

13 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Tanulás.. A feltételes reflex tanulását kondicionálásnak nevezzük. Kimagasló eredményeket ért el a tanulás pszichológiájának tanulmányozásában Pavlov, aki fiziológus volt. Pavlov kutyája a csengő, majd csengő+étel ingerpárost a 15. alkalomra már enyhén társította, a 40. próba körül már egyértelműen várta a csengőhangra az ételt, azaz nyáladzott: kiépült a feltételes reflex. Pavlov kimutatta, hogy a tanulás során a régebbi ismeretek időlegesen legátlódhatnak. A tanulási képesség magyarázata lehet egyes emberi viselkedési mintáknak. 1. www.sonoma.edu/psychology/ images/pavlov.gif 2. www.biozentrum.uni-wuerzburg.de/.../learning/classical.html 1. 2. 16

14 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Tanulás.. „Öregem, kondicionáltam ezt a pasit! Ahányszor lenyomom a pedált, bedob egy darab ennivalót.” F: Donald O. Hebb: a Pszichológia alapkérdései Trivium Kiadó, Bp.1975. cogprints.ecs.soton.ac.uk/ ~harnad/Archive/hebb.html 17

15 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Tanulás.. A tanulás módozata együtt változik a tapasztalással, időfüggő. „Tanulnunk kell ahhoz, hogy tanulhassunk” A csecsemő fogalomalkotása már 4-5 hónapos korban megfigyelhető. (Eldugott csörgőt elkezdi keresni.) A tanultak rögzítéséhez ismétlés kell. Helyes tanulási módszer: a tananyag elemzése, a váz, a tartalomjegyzék átlátása, kapcsolatok, lényegi pontok keresése, a leírtak átstruktúrálása, több szempont szerinti boncolása, magyarul intenzív foglalkozás a leírtakkal, beágyazás a már birtokolt ismeretekbe. Memorizálási gyakorlat: cápa - ketrec memorizálás: cápa ketrecben. Még eredményesebb: bizarr képzeleti képek alkalmazásával: a cápa megeszi a ketrecet. 18

16 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Emlékezet Az agyi változások, sémamódosulások megtartási és felidézési képessége. Nem más, mint információ anticipáció (előhívás, előrevetítés, előzetes elképzelés). Rövidtávú: Hány óra van? Öt múlt tíz perccel. Hosszútávú: Sikerült a zárthelyim? Sajnos, nem. Azonosság: egy-egy társításos tanulás. Eltérés: a megtartási idő hossza. A megtartási idő hossza függ: Ismétléstől Bevésési emóció erősségétől. J.V.McConnel: a feltételes ingerrel kondicionált laposférgeket megetette más laposférgekkel. Eredmény: azok gyorsabban kondícionálhatókká váltak ugyanazon ingerre. Feltételezés: az RNS (ribonukleinsav) mennyisége kihat a tanulási képességre, esetleg még specifikusabb következtetés is levonható. 19

17 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Felejtés A felejtés, a sémák leépülése, amely ténylegesen fellép, inkább a beágyazott séma kisebb részleteit érinti, nem pedig az egész befoglaló struktúrát. Kutatások kimutatták, hogy egy mondat, vagy történet általános jelentése sokkal tovább fennmarad, mint a szavaké, amelyekből a történet felépül. Fajtái: Inaktivitásból, használatlanságból eredő tartós megtartás-csökkenés. Közepes meredekségű. „Amit nem használnak, az elsorvad. Amit megtámogatnak, az is.” Interferenciás, más tanulással való kölcsönhatásból eredő tartós felejtés. Proaktív: az előző tanulás hatása a vizsgált tanultak megőrzésére. Enyhe meredekségű. Retroaktív: a rákövetkező tanulás hatása a vizsgált tanultak megőrzésére. Ez okozza a legmeredekebb felejtést. Elfojtásos, legátlásos időleges felejtés. (Pavlov, Freud) 1. 1. Ulric Neisser: Megismerés és valóság Gondolat, Budapest, 1984. p206. Sigmund Freud: A mindennapi élet pszichopatológiája Cserépfalvy, Budapest, 1995. p227. 21

18 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Képzelet A képzeleti képek nem mások, mint "központilag kiváltott érzékletek". Az észlelés ingerei is az agyból származnak. "Valamely nem valóságos dolog elképzeléséhez csupán arra van szükség, hogy leválasszuk a vizuális készenléteket a várt valóságos történések általános fogalmáról, és egy másfajta sémába ágyazzuk bele." Pl: "Kétszarvú bika sémájában a kettő részsémát variáljuk, lecseréljük az egy sémájára és létrejön a valóságban nem létező egyszarvú" A sémák részeinek leválasztása és kombinálása más részsémákkal eredményezi a magasabb mentális folyamatok alapját (képzelet, nyelv). Gondolkodás Verbális kapcsolattal bíró sémák láncolódása, gyakran egy kérdésből indulva és a válaszban végződve. 1. 1. Ulric Neisser: Megismerés és valóság Gondolat, Budapest, 1984. p206. 22

19 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kognitív pszichológiai alapok.. Összefoglalás Eredetileg a kognitív pszichológia a tanulás és a memória (emlékezés) mechanizmusait kutatta. Napjainkban a kognitív tudomány a mentális állapotok és az agyi funkciók kapcsolatát kutatja. Szemben az agykutatókkal, számítógépes tudósokkal és nyelvészekkel, a kognitív pszichológusok abban bíznak, hogy találnak egy olyan mentális folyamat együttest, amely megmagyarázza, miként erednek a gondolataink és érzéseink az agy fizikális működéséből. A neurális hálók felhasználhatók a kognitív pszichológusok elméleteinek tesztelésére, felhasználva az agykutatók és biológusok eredményeit. A mai modellezési technikák azonban még erőteljes egyszerűsítései a valós jelenségeknek. Jeanette Lawrence: Introduction to Neural NetworksCalifornia Scientific Software, Grass Valley, 1991. p203 23

20 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Az emberi idegrendszer és a látórendszer További, mesterséges neurális hálókra vonatkozó tanulmányaink előtt célszerű alaposabban megismerni a természet csodájaként számontartott emberi idegrendszert. Az idegrendszer az idegsejtek hálózata. Az idegsejt, vagy más néven neuron az emberi szervezet speciális sejtje. Az idegsejtek hálózata nyújtja azt az összetett működést, melyet az emberi agynak megfelelő bonyolultsági szinten mentális képességekkel, a megismerés, a tanulás, az adaptív viselkedés, az érzelmek, a beszéd és a tudat jelenségeivel jellemezhetünk. Az ember már számtalan természettől ellesett példát használt fel mesterséges eszközök létrehozására. Napjainkban a legmagasabbra tartott képességének, az intelligenciájának lemásolásához az intelligencia "hardverét" jelentő idegrendszer működésének utánzását tűzte ki célul. Ehhez elengedhetetlen a elemi összetevők, azaz a neuronok megismerése csakúgy, mint az idegi szerveződés dinamikájának megismerése. A vizsgálatok napjainkban már a molekuláris biológia szintjén zajlanak, és a kísérletekkel és vizsgálatokkal kinyert ismereteket gyakran felhasználják a mesterséges neuronok, illetve azok hálózatainak megalkotására. 1. www.brainspeaker.com/ prestrn.html 2. ww.de/krankheiten/neurologische_erkrankungen/ ms.html 1. 2. 24

21 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Idegsejtek Az emberi idegrendszerben különféle alakú idegsejtek milliárdjai találhatók. Az eltérő alakok némileg eltérő működést is takarnak, de az idegsejtek alapfelépítése lényeges azonos sajátságokat mutat. Az idegsejt, azaz neuron részei a sejttest a sejtmaggal, az inputként szolgáló sejttest- nyúlványok, vagy más szóval dendritek, valamint a sejt ingerületét más sejtek felé továbbító axon. Az axonok néhány század millimétertől méteres hosszig terjedő vezetékek, melyeket gyakran mielinhüvely burkol. Az axon legtöbbször végfácskára bomlik, melynek révén nem ritka a több tízezres kapcsolódás sem. Az ingerület a dendritektől a végfa irányába halad. 25

22 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Idegsejtek.. Az axonok, melyek az ingerületet, idegimpulzust más idegsejtek testére, dendritjére, vagy izmokhoz, mirigyekhez továbbítják, a végükön szinaptikus bunkócskát tartalmaznak. A kapcsolódás erőteljes párhuzamosságát mutatja, hogy idegsejtenkénti több tízezer axon kapcsolódása is előfordulhat, a dendriteken, vagy magán a sejttesten megtapadó bunkócskák ellephetik az idegsejtet. A működés összetettségére és megbízhatóságára utal a nagymérvű párhuzamosság, mely ugyanakkor igen komplex, nehezen megfejthető működést takar. Az idegek együtt haladó axonok sokaságából állnak. Az agy felé haladó afferens idegek mellett a mirigyek, izmok sejtjeihez vezető efferens idegek futnak. Az ideg-ideg kapcsolatokat az interneuronok bonyolítják, melyek tömegében találhatók az agyban. 26

23 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Idegsejtek.. A végbunkócskák nem érintkeznek közvetlenül a sejttesttel, vagy a dendritekkel, hanem egy szinaptikus résen keresztül kapcsolódnak. Az ingerület átadását a szinapszisban ingerületátadó vegyi anyagok végzik, melyek a különféle neurotranszmitterek. Az idegsejtek funkciójuk szerint három fő csoportba oszthatók: A szenzoros neuronok az érzékelésben játszanak szerepet, érző idegsejtként az érzékszervekből, izmokból, belső szervekből továbbítják az ingerületeket az agy felé. A motoros neuronok az idegrendszer vezérlő ingerületeit továbbítják a szervek, izmok felé, hogy kiváltsák a kívánt működéseket. Az interneuronok csak a központi idegrend- szerben - az agyban és a gerincvelőben – fordulnak elő, és neuront kapcsolnak össze neuronnal. 27

24 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Ingerületátadó anyagok Az idegsejtek között a szinapszisokban átadódó ingerületeket az ingerületátadó anyagok, a neurotranszmitter molekulák közvetítik. A neurotranszmitterek gerjesztőek, vagy gátlóak lehetnek. A molekulák hatása a korábban említett ingerületterjedési frekvenciákból is következően csak rövid idejű lehet. Ezt kétféle úton éri el az idegsejt visszavétellel: a kibocsátott neurotranszmitter-molekulát a kibocsátó axonvégződés visszaveszi, vagy lebontással: a fogadó dendrit vagy sejttest a molekulát lebontja. A működés fantasztikus összetettségének további okaként említhető a több, mint ötven féle neurotranszmitter anyag. A fontosabbak: Az acetilkolin (Ach) általában serkentő hatású. Különösen a hosszútávon is fennmaradó új emléknyomok képződésében fontos szerepet játszó hippokampuszban gyakori. Az izomrostokon végződő idegeknél szintén ez a neurotranszmitter működik. 31

25 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Ingerületátadó anyagok.. A noradrenalin (Nadr) elsősorban az agytörzsben gyakori. A Litium felgyorsítja a visszavételét, és ezáltal depressziót okoz. Szintén gyakori a gátló hatású gamma-amino-vajsav. A dopamin átvivőanyag hiánya Parkinson-kórt okoz. Az érzelmekre ható molekula a szerotonin. A központi idegrendszer legfontosabb transzmitter anyaga a serkentő hatású glutamát. Egyik fajtájának szerepe lehet az emlékezésben, tanulásban. Ez az NMDA-nak nevezett transzmitter leginkább a hippokampuszban található meg, így fontos szerepet játszhat a hosszabbtávú emléknyomok képzésében. Ezt az mutatja, hogy két különböző sejtről egymás után beérkező inger hatására lép működésbe. Az első érzékennyé teszi az NMDA-t tartalmazó sejtmembránt de csak a második aktiválja azt, minek hatására az NMDA nagyszámú kalciumiont juttat az ingerületfogadó sejtbe. A beáramló anyag hatására a sejt tartósan megváltozik, mely változás a hosszútávú emlékezetnek - long term potentiation, LTP – felel meg. Ezzel a jelenséggel magyarázhatjuk az olyan ingertársítások kialakulását, mint a Pavlov kutyájánál kialakult hang - étel asszociálás. 32

26 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Az idegrendszer részei Az idegrendszer egyetlen összefüggő hálózatként működik. Az idegsejtek elhelyezkedése, az idegrendszer tagoltsága alapján két részét különböztetjük meg: központi idegrendszer: az agy és a gerincvelő idegsejtjei, perifériás idegrendszer: az összes többi idegsejt. A minket érdeklő intelligens működésért az összehasonlíthatatlanul bonyolultabb agyi idegrendszer a felelős, bár néhány egyszerű reflexszerű idegi működést a gerincvelő idegeinél is megfigyelhetünk, pl. ilyen a térdreflex. n Az agy Az igen összetett agy bonyolult működését számtalan összehangolt alrendszer segítségével végzi. Ezek némelyike szemmel is felismerhető. Az agyat az evolúciós fejlődésnek megfelelő három hierarchikus részre tagolhatjuk: központi mag limbikus rendszer agyféltekék. Agyféltekék Limbikus rendszer Központi mag 33

27 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Az agy.. A központi mag a légzést és a testtartást felügyelő nyúltvelőből, a mozgás-koordinációért felelős kisagyból és a hipotalamuszból áll. További fontos része a többi részt összekapcsoló retikuláris (hálózatos) rendszer. A kisagy vezérli az automatikussá vált tevékenységeket, melyek azonban magasabb szintről felülbírálhatók. A hipotalamusz felelős az érzelmek és a motiváció kezeléséért. Központjai olyan alapvető életfunkciókat szabályoznak, mint a táplálkozás és a szexualitás. További fontos feladata a szervezet életfontosságú funkcióinak, mint pl. a pulzus, vérnyomás, testhőmérséklet normális szinten való tartása. Ezek a létfenntartó alapműködések az egyedfejlődés korai szakaszában is elengedhetetlenek voltak. Érdekességként megemlítjük, hogy a homoszexualitás a hipotalamusz egyik sejtcsoportjának méretével függ össze. A retikuláris rendszer az álom, az ébrenlét, a koncentrálás szintjét szabályozza. Mivel minden szenzoros idegcsoporttól érkezik ide idegrost, képes az agykéregbe kerülő ingerek megszűrésére, tudatosulásuk megakadályozására. 1. www.firstscience.com/SITE/IMAGES/ reviews/radiant/brain.jpg 1. 34

28 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Az agy.. A limbikus rendszer A limbikus rendszer a mag ösztönös, reflexszerű tevékenysége feletti elle- nőrző szerepet lát el. A halak, hüllők, azaz kezdetleges limbikus rendszerrel bíró állatok az alapvető tevékenységeket a fajra jellemző ösztönös mintákat követve, reflexszerűen hajtják végre. A magasabbrendű élőlények, emlősök, madarak esetében a fejlettebb limbikus rendszer változatosabb magatartásformákat eredményez a táplálkozás, szexualitás, csoportos tevékenységek esetében. A limbikus rendszer közreműködik az emóciók, érzelmek megnyilvánulásá- ban is. A hippokampusz, mely a limbikus rendszerben foglal helyet, a tartós emléknyomokért, a hosszútávú memóriáért felel. Sérült hippokampusz mellett csak a régebben eltárolt emlékek idézhetők fel, a fiatalabb emlékek az új emlékek képzsének készségével egyetemben elvesznek. 35

29 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Az agy.. Az agyféltekék Az agyféltekék, azokban is a külső vékony szürkeállomány az, amelyhez az intelligens viselkedést köthetjük. Ezt a működést azonban a központi maggal és a limbikus rendszerrel erős kölcsönhatásban nyújtják az agyféltekék. A szürke agykéreg hatalmas felületét erős barázdáltságának köszönheti. Vastagsága 3 milliméter és csak idegsejtek sejttesteit tartalmazza. A belső fehérállomány színét az összekötő és kapcsolatirendszer- kialakító szerepet ellátó, fehér mielinhüvellyel burkolt idegek adják. 1. 1. ehpnet1.niehs.nih.gov/docs/1999/ 107-1/forumfig-brain.JPG 36

30 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Az agy.. Az agyféltekék.. Az agykéregben különböző feladatokat ellátó területekbe csoportosultak az idegsejtek. A területek az érzőidegekhez kötődő szenzoros, vagy afferens, a beavatkozó, mozgatóidegeket tartalmazó motoros, vagy efferens és a magasszintű mentális képessé- geket végző asszociációs területekre tagol- hatók. A mentális területek közé tartozik elsősorban az emlékezés, gondolkodás, nyelvhasználat, téri műveletek, zene. A szenzoros területek és az általuk kezelt testrészek szemléltetésére szokták alkalmazni a nagykezű, szemű és nyelvű szenzoros emberkét, míg a motoros területekhez kapcsoltan a szintén nagykezű motoros emberkét rajzolják. Az agyban a területek nagysága az általuk kezelt működés kifinomultságával arányos. Az intelligencia nem az agy méretével, hanem az idegsejtek számával és a kapcsolatrendszer összetettségével arányos. 1. 1. ehpnet1.niehs.nih.gov/docs/1999/ 107-1/forumfig-brain.JPG 37

31 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n A látórendszer Az ember információinak döntő többségét a szemével szerzi. Szemünk idegrendszerhez kapcsolódó része a retina. A retina pálcikák és csapok sokaságából áll. A pálcikák sötétben való látásra alkalmasak, de színérzékelő képességük nincs. A csapok nappali látásra alkalmasak és színlátást eredményeznek. A retina közepe, a fovea receptorokban gazdag, míg a vakfolt egyáltalán nem tartalmaz receptorsejteket. Vannak mozgásra, sőt mozgásirányra érzékeny sejtek is. Ezek a retina szélén helyezkednek el. A szem modellezése a mesterséges neurális hálók kifejlesztésével párhuzamosan folyik, és már jelentős eredményekről számoltak be. gary.myers.net/elements.htm www.algonet.se/~xybernic/ ANIMATION/picts/eye.jpg 43

32 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Mesterséges neurális hálók.. A mesterséges neurális hálók (Artificial Neural Networks, ANN) a biológiai neurális hálók modellezésével létrehozott, erőteljes elosztott párhuzamos feldolgozást, kollektív számítást megvalósító rendszerek. Mivel a tudást olyan módon hordozzák és dolgozzák fel, hogy az az ember számára közvetlenül követhetetlen, a szimbolikus tudásszemléltetést alkalmazó modellektől való megkülönböztetést a szubszimbolikus elnevezéssel is hangsúlyozzák. A működésben domináló kapcsolódásokat kiemelő „konnekcionista rendszerek” elnevezés, valamint a tanulóképességre utaló „adaptív hálók” elnevezés is használatos. A mai neurális hálók még messze állnak a teljes céltól, az emberi aggyal összemérhető szintű működéstől. A jelenlegi szinten a matematikai modellek besorolhatók az iteratív numerikus algoritmusok osztályába. Megfigyelhetők azonban jelentős eltérések is: A párhuzamos feldolgozásra való alkalmasság Zajos és hibás input kezelésének képessége Nemlineáris numerikus számítási elemek alkalmazása Elméleti analízisük hiányosságai ellenére sikeresek a gyakorlati alkalmazások. 2

33 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n A klasszikus MI módszerek és a mesterséges neurális hálók összevetése A klasszikus rendszerek jellemzői: Korlátozott alkalmazhatósági terület Nehézkes az ellentmondó és az időben változó ismeretek kezelése Hiányzó, vagy alacsony szintű tanulási képesség. A neurális hálók a Carl Hewitt által körvonalazott nyílt rendszerekhez tartoznak, melyek tulajdonságai: Folytonos változás és fejlődés Decentralizált döntéshozatal Folytonos inkonzisztencia a tárolt ismeretek között Kommunikációigény a rendszerkomponensek között A zárt világ feltételezés lehetetlensége. 1. 1. Cihan H. Dagli: Artificial Neural Networks for Intelligent Manufacturing 3

34 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n A mesterséges neurális hálók fő működési jellemzői A mesterséges neurális hálók működési jellemzői alapvető eltérést mutatnak a szimbolikus tudásszemléltetési modellek jellemzőitől. A fő jellemvonások a következők: Tanulás Általánosítóképesség Zajos és hiányos adatok elfogadása Gyors működés Szövevényes viszonylatok kezelése Önszervezés Hatalmas adatmennyiség elemzése Rugalmasság. 7

35 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Példák mesterséges neurális hálók alkalmazására A New York-i Gyógyászati Központban, művégtagok mozgatásához szükséges számítások elvégzésére használtak ANN-t. A NASA neurális hálót alkalmazott robotoknál a véletlenszerűen elhelyezkedő tárgyak megfogásához szükséges mozgások vezérlésére. A General Dynamics egy vízalatti figyelőrendszerben alkalmazott ANN-t. Ez képes volt a vízi járművek beazonosítására a vízben terjedő hangjuk alapján. Még a vízfelszínen hullámokat kavaró helikopter felismerése sem okozott gondot. A pennsylvaniai egyetemen kifejlesztett katonai repülőgép-felismerő rendszer képes volt megkülönböztetni 18 hüvelykes részleteket 50 mérföld távolságról, és repülőgépeket beazonosítani a teljes minta 10%-ának birtokában. A Terry Sejnowski által kifejlesztett NetTalk rendszer írott szövegek hangos felolvasására volt képes. 300 neuront használt. 1. Jeanette Lawrence: Introduction to Neural Networks California Scientific Software, Grass Valley, 1991. p203. 1. 8

36 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n ANN integrált áramkörök A mesterséges neurális hálók algoritmusai modellezhetők Neumann-elvű, szekvenciális feldolgozást megvalósító számítógépeken is, azonban igazi erősségük abban van, hogy könnyen megvalósíthatók párhuzamos feldolgozást végző hardver formájában is. Ekkor a működési ciklusidők elérik a 2 000 Milliárd kapcsolat/másodperc értéket is, amely lehetővé teszi ezen Áramkörök alkalmazását real-time feladatok megoldására, pl. rakéták irányítására, vagy videojelek valósidejű feldolgozására. Carver Mead a Kaliforniai Technológiai Intézetben kidolgozott egy "szilícium szemet", mely az emberi szem képességének felét modellezi. Az amerikai védelmi hivatal támogatta a kifejlesztését egy analóg neurális áramkörnek, melyet automata pilótaként, hajtóművezérlőként és vegyi reaktor vezérlőjeként kívánt felhasználni. A Motorola az Applied Intelligent Systems céggel együttműködve erőteljes párhuzamos működést megvalósító látó számítógépet fejlesztett az általa gyártott alkatrészek szerelésének automatizálására. 1. Jeanette Lawrence: Introduction to Neural Networks California Scientific Software, Grass Valley, 1991. p203. 1. 10

37 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n ANN integrált áramkörök.. A Syntonic Systems karakterfelismerésre fejlesztett ki mesterséges neurális hálón alapuló chip-et. A legismertebb általános célú neurális chipet az Intel fejlesztette ki. Ez a 80170 ETANN jelű chip 1991-ben a leggyorsabb ANN chip volt. 2 milliárd kapcsolat/másodperces sebességével egy komplett hálót 1 microsecundumon belül lefuttatott. Analóg súlyokat és CMOS EEPROM technológiát használt. Mind analóg, mind digitális jelekkel képes volt kommunikálni. 3 réteget, rétegenként 64 neuront tartalmaz, és összesen 10000 kapcsolatra képes. A chip off-line, azaz külső betanítást igényelt. A Micro Devices cég chipje 8 neuront tartalmaz, mindegyik 15 inputot fogadhat. Párhuzamosan kapcsolhatók nagyobb rendszerekhez. 8 neuronnal 10 millió kapcsolat/másodperc sebességre képes. A Hitachi chipjében 576 neuron működik. Hopfield hálót modellez. A Bell laboratórium mintafelismerésre dolgozott ki egy chipet. Analóg és digitális működést ötvöz, 300 milliárd kapcsolat/másodperc sebességgel működik. 1. Jeanette Lawrence: Introduction to Neural Networks California Scientific Software, Grass Valley, 1991. p203. 1. 11

38 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Események a mesterséges neurális hálók kifejlesztésében Év KutatókFejlesztési eredményJellemző 1947McCullock & PittsMcCullock-Pitts neuronelső neuron model 1949Hebbszinaptikus tanulásbiologiai alap 1958RosenblattPerceptronlogikai küszöb 1960Widrow & HoffADALINEdelta szabály 1969Minsky & PapertPerceptronsbíráló könyv 1972Andersonlineáris asszociátorváltozó output 1972Kohonenineáris asszociátorváltozó output 1973Von der Malsburgvisual cortex modelfiziológiás elmélet bizonyítása 1976Grossbergadaptiv mintákpszichológia és matematika 1976Marr és Poggiolátásegyüttműködés 1977Amarineuron medenceversengés 1980Grossbergadaptiv rezonanciapszichológiai modell 1981McClelland és t.karakter felismerésjellemzők érzékelése 1. Jeanette Lawrence: Introduction to Neural Networks California Scientific Software, Grass Valley, 1991. p203. 1. 12

39 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Események a mesterséges neurális hálók kifejlesztésében.. Év KutatókFejlesztési eredményJellemző 1982Bienenstock és t.vizuális cortexneurofiziológia 1982Kohonenjellemzők térképeönszervezés 1982Hopfieldautoasszociációstabil állapotok 1982Feldman és t.Connectionistpárhuzamos elosztott feldolgozás 1983Fukushima Neocognitronfelismerés 1983Grossberg és t.ARTkomplex visszacsatolt modell 1984Hinton és t.Boltzman gépannealing 1985Rumelhart, Parker back propagationdelta szabály, rejtett réteg 1986Rumelhart és t.PDPneurális háló könyvek 1986Sejnowski és t.NetTalkbackprop. alkalmazás 1987KoskoBAMpárok társítása 1990Inteli80170kommersz neuron chip. 1. Jeanette Lawrence: Introduction to Neural Networks California Scientific Software, Grass Valley, 1991. p203. 1. 13

40 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Biológiai alapok Az emberi agy egy komplex biológiai neurális hálózat, mely idegsejtek, neuronok sokaságát ( ~10 12 ) tartalmazza. Jellemzője a párhuzamos működés. Az idegsejt (neuron) egy elemi információ-feldolgozó egység: Egy neuron felépítése 14

41 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Biológiai alapok.. Az idegi működés a félvezetők kapcsolási sebességéhez képest lassú (10 -2,10 -3 sec). Az erőteljes párhuzamos működés miatt mégis nagy teljesítményű. A misztikus az, hogy az a nagyszámú, erőteljes kapcsolódásban lévő elem (a neuronok) melyek látszólag nagyon egyszerű gerjesztő és tiltó jeleket küldenek egymásnak, hogyan hozzák létre ezt a bonyolult emberi gondolkodást. A párhuzamos működésű neurális hálózatok Neumann-elvű soros működésű számítógépen való modellezésének alapját az adja, hogy elvileg nincs különbség egy párhuzamos és egy soros számítógép között. Tulajdonképpen mindkettő Turing-gép. Különbségek csak a számítás hatásfokában, vagy sebességében lehetnek. 15

42 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Az emberi agy és a számítógép összevetése Számítási egységek1CPU, 10 5 kapu10 11 neuron Tárolóegységek10 10 bit RAM, 10 12 bit HDD10 11 neuron, 10 14 szinapszis Ciklusidő10 -10 mp10 -3 mp Sávszélesség10 10 bit/mp10 14 bit/mp Neuronmódosítás/mp10 6 10 14 (2002) Megjegyzendő, hogy a számítógép adatai másfél évente megduplázódnak, míg az agy esetében a változás nem észlehető. Forrás. Russell-Norvig: Mesterséges intelligencia modern megközelítésben Panem Prentice Hall, Bp. 2000 16

43 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n A mesterséges neuron Az u i neuron 17

44 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n A mesterséges neuron részei Egy mesterséges neurális háló egyszerű számítási egységekből, mesterséges neuronokból áll, melyek egymásnak küldött jelekkel kommunikálnak. A jelek nagyszámú súlyozott kapcsolaton áramlanak. u i a háló i. mesterséges neuronja o j a j. neurontól érkező jel az u i neuron bemenetére w ij a j. neurontól az i. neuronba érkező jel szorzója, a u j -u i kapcsolat súlya net i az u i neuron bemeneteinek súlyozott összege, net i =  w ij *o j (j=1..n) a i az u i neuron aktivációs potenciálja, melyet a bemenetek súlyozott összegéből az aktivációs függvény állít elő. Ez a függvény egyszerű esetben elmarad. Az a i aktivációs potenciál gerjesztő input híján időben csökken, a gerjesztett, izgatott állapotból visszatér egy inaktív szintre: a i = a i (t) Az átviteli függvény generálja az aktivációs potenciálból az o i kimenő jelet. Az átviteli függvény leggyakrabban küszöb, vagy szigmoid alakú. A függvénynek köszönhetően a neuron egy bizonyos aktivációs potenciált elérve ad csak outputot, tüzel. 18

45 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Az átviteli függvény típusai Lineáris o j = f(a i ) =  *a i ;  valós Lineáris küszöb függvény Lépcsős függvény Szigmoid függvény (a leggyakrabban alkalmazott) Egyéb, pl.: Gauss-féle (haranggörbe), tangens-hiperbolikus függvény. oioi aiai oioi aiai oioi aiai aiai oioi 19

46 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Az átviteli függvény küszöbértékének megadása A mesterséges neuron átviteli függvényének küszöbértéke is változik a betanítás folyamán. A változtathatóság egyszerűsítésére a küszöbértéket nem a neuronban adják meg, hanem egy plusz bemenet megadásával realizálják. A bemenet inputértékeként –1 értéket megadva, a bemenet súlya meg fog egyezni a szükséges küszöbértékkel. Ily módon a betanítás során végzett automatikus súlymódosítások a küszöböt is állítani fogják. Egy n bemenetes neuron tüzel, ha w i1 *x 1 +w i2 *x 2 +…+w in *x n >  Ugyanígy, az n+1 bemenetes neuron tüzel, ha w i1 *x 1 +w i2 *x 2 +…+w in *x n +  *(-1)> 0 aiai oioi  aiai oioi 0 20

47 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Hálózati topológiák A neuronokat egymáshoz kapcsolják, és a rendszer általános viselkedését ezen kapcsolatok struktúrája és erőssége (w ij ) adja meg. A neuronokat csoportokba, vagy rétegekbe rendezik el. Az egyetlen réteget alkotó, egymással kapcsolódó neuronok hálózatát gyakran tartalom által címezhető memóriának (CAM, Content Addressable Memory) nevezik. Gyakoribb a többrétegű topológia: 21

48 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Hálózati topológiák.. A neurális hálók eltérő működéséért elsősorban az eltérő topológia a felelős. Az előrecsatolt hálók működése nem időfüggő: a jelek áthaladnak a hálón a bemeneti réteg irányából a kimeneti réteg felé. A hálóban több rejtett réteg is lehet. A kimenet a bemenet, a neuronok átviteli jellemzőinek és a súlymátrixnak a függvénye. A hátracsatolt, vagy visszacsatolt hálók működése eltérő: a bemenet ráadása egy, általában konvergens folyamatot indít el, amelyben a jelek előrefelé és visszafelé is haladnak. A t. időpillanatban számított jelek megjelenhetnek a korábbi rétegek bemenetén a t+1. időpillanatban. A konvergencia végén a jelek értéke állandósul, ekkor leolvashatjuk a kimenő rétegen a kimenet értékét. A hátracsatolt hálók néhány jellemzője: Lehetnek konvergensek egy stabil állapot felé, vagy instabilak, oszcillálóak. A konvergencia, a stabil állapot elérése hosszabb időt igényelhet. Nehezebben taníthatók és bonyolultabb matematikai apparátussal írhatók le. Rendelkezhetnek belső állapottal. 22

49 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Hálózati topológiák.. A hálózati struktúra változtatható paramétereinek kihatása a működésre: A hálók bemeneti és kimeneti neuronjainak a számát a neuronhálóval megoldani kívánt feladat egyértelműen meghatározza. A belső rétegek száma és a bennük lévő neuronok száma azonban szabadabban választható meg. Túl kevés neuron kevés minta tárolását teszi lehetővé és meghiúsíthatja a betanulást. Túl sok neuron esetén a háló betanul, de a korábban nem látott inputokra a háló rosszul válaszol, adatbázisszerűen működik. Approximáló-jellegű görbe jól általánosít Interpoláló jellegű görbe erősen hullámzik, rosszul általánosít 23

50 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Hálózati topológiák.. Egy rejtett réteggel rendelkező hálók bármely folytonos függvény megtanulására képesek Két rejtett réteggel rendelkező hálók minden függvényt képesek approximálni, bár ezt az elvi lehetőséget a bemenetek számától exponenciálisan függő belső rétegbeli elemszám rontja. Érdekes kísérlet az optimális hálótopológia keresése genetikus algoritmussal a szóbajöhető hálószerkezetek terében. 25

51 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Tanulási módszerek A tanulást úgy definiáljuk, mint a hálózat memóriájának, azaz a súlymátrixnak a változását. Kategóriái: 1.Felügyelt tanulás (supervised learning) 2.Felügyelet nélküli tanulás (unsupervised learning) Felügyelt tanulás: külső tanárt, ill. globális információt igényel, és olyan technikákat jelent, mint: 1.hiba-javító tanulás (error correction) 2.megerősítő tanulás (reinforcement learning) 3.sztochasztikus tanulás (stochastic learning). 26

52 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Felügyelt tanulási módszerek hiba-javító tanulás (error correction): az output réteg egyes neuronjainál vizsgált - az elvárt és a valós értékek különbözeteként adódó - értékek alapján a súlymátrix kapcsolatait módosítja megerősítő tanulás (reinforcement learning): megfelelően végrehajtott akcióknál a súlyok megerősödnek, egyébként gyöngülnek, az akció jóságát az outputvektorból képezett skalár mutatja sztochasztikus tanulás (stochastic learning): a súlymátrix random változtatása után meghatározza a hálózat ún. energiaértékét. Ha a változás hatására az energia csökkent, akkor a változást elfogadja, egyébként pedig csak akkor, ha a változás megfelel egy előreválasztott valószínűségi eloszlásnak. Ez a véletlen elfogadása a változásnak, mely időszakosan ronthatja a rendszer működését, jóságát, lehetővé teszi, hogy kikerüljőn a lokális energiaminimum völgyekből, miközben az optimális állapotot keresi. (Vesd össze: szimulált hűtés elvű kereséssel.) 27

53 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Felügyelt tanulási módszerek.. Példák a felügyelt tanulásra: Perceptron (Minsky és Papert, 1969) Adaline Madaline (Widrow és Lehr, 1990) Back-propagation Boltzmann-gép (Ackley, 1985). 28

54 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Felügyelet nélküli tanulás, vagy önszervezés Nem igényel külső tanítót, lokális információn és belső kontrollstratégián alapszik. (Versengő háló.) Példák a felügyelet nélküli tanulásra: Hopfield háló (Hopfield, 1982 ) Kétirányú asszociatív memória = BAM (Bidirectional Associative Memory, Kosko, 1987) ) Kohonen modell (Kohonen, 1988) Szembe terjesztés (counter propagation, Hecht-Nielsen, 1987). Adaptív rezonancia elmélet (ART, Adaptive Resonancia Theory, Carpenter és Grossberg, 1988) 29

55 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Tanulási alapelvek Hebb-féle (1949): az egyidejűleg izgalomban lévő neuronok kapcsolata erősödik. Delta-szabály (Bernard Widrow és Ted Hoff, 1960): A tanítási folyamat során az output és a megkívánt output közötti eltérés esetén a súlyokat olyan irányba kell módosítani, hogy csökkenjen az eltérés.  w =  o * inputok * tanulási_együttható (  o = error az outputnál). Back-propagation, visszafelé terjesztés: a delta szabály variációja. A többrétegű előrecsatolt háló súlyait oly módon állítja be, hogy a számított kimenet és az elvárt kimenet eltérését felhasználva a kapcsolati súlyokat olyan irányba módosítja kismértékben, hogy az input következő bemutatásakor az eltérés csökkenjen. 30

56 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n A neurális háló - modellek osztályozása 32

57 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Back Propagation elvű neuronháló-alkalmazások készítésének lépései Az eredményes munkához nem szükséges a háló belső működésének megértése. A legfontosabb olyan adatok gyűjtése, melyeket az asszo- ciáció útján való tanulásban fel tud használni. Rendszerint az adatmennyiséggel párhu- zamosan nő a betanítás eredményessége. A feladat megfogalmazása A háló tesztelése Az információ kiválasztása Az adatok összegyűjtése Betanító fájlok létrehozása A háló betanítása A háló futtatása 35

58 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Előrecsatolt mesterséges neuronháló modellek 1. 1943. McCulloch - Pitts: Bináris háló 2. 1958. Rosenblatt: Perceptron 3. 1972. Anderson, ill. Kohonen: Lineáris asszociátor (egymástól függetlenül) 4. 1981. McClelland és Rumelhart: Versengés és együtt- működés 5. 1980, 1983. Fukushima: Neocognitron 6. ~1983. Kohonen és Grossberg: Szembeterjedéses háló (Counter propagation) 7. 1985-86. Rumelhart + Hinton + Williams: Back propagation Le Cun; Parker 8. 1988. Kohonen: Önszervező háló 1. 1

59 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n McCulloch - Pitts: Bináris háló A mesterséges neuron első számítási modellje (1943). Warren S. McCulloch és Walter Pitts, ``A logical calculus of the ideas immanent in nervous activity'', Bulletin of Mathematical Biophysics, 5: 115-133. Az akkori neurobiológiai eredményeken alapul, melynek előfeltevései: a neuron "minden - vagy semmi" alapon működik bizonyos adott számú szinapszisnak kell lennie gerjesztve az összegzési időben azért, hogy a neuron egyáltalán kisüljön és ez a szám független a neuron megelőző aktivitásától és állapotától az egyetlen jelentős késleltetés az idegrendszerben a szinaptikus késleltetés bármely tiltó szinapszis aktivitása egyedül elegendő a neuron gerjesztésének megakadályozásához a hálózat struktúrája időben nem változik. A cél az ideghálózat olyan matematikai modelljének létrehozása volt, amely biológiailag pontos és magasszintű kognitív képsségeket mutat. Forrás: http://hebb.cis.uoguelph.ca/~skremer/Teaching/27642/BP/BP.html 2

60 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n McCulloch - Pitts: Bináris háló.. A neuron formális matematikai modellje: ahol o j (t) az u i neuron j. bemenete, w ij a bemenet súlya, o i (t) az u i neuron kimenete a t. időciklusban, a i (t) az aktivációs potenciál az u i neuronban a t. időciklusban, H(a) pedig a  küszöbbel jellemezhető egységugrás függvény: Forrás: http://hebb.cis.uoguelph.ca/~skremer/Teaching/27642/BP/BP.html 3

61 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n McCulloch - Pitts: Bináris háló.. Jellemzői: Nem tanítható Rögzített súlyok. Bemutató Java applet: http://home.cc.umanitoba.ca/~umcorbe9/neuron.html#Inputs Logikai w1 w2  operátor AND 1 1 2 OR 1 1 1 NOT -1 0 AND, OR, NOT logikai műveletekkel bármely logikai háló felépíthető. 4

62 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Rosenblatt: Perceptron, 1957 Rosenblatt: Principles of Neurodynamics c. könyv, 1962. A Perceptron egy jellemzőfelismerő. Az input bemenetek által reprezentált mintát képes besorolni a neki betanított mintaosztályok valamelyikébe. Jellemzők: A látást, a retinát modellezte A retina-modell mátrix alakban elrendezett fényszenzorai képezték az inputot A szenzorkimeneteket mesterséges neuronok csoportjához vezették, mely csoport elemei különböző mintákat ismertek fel Az output réteg neuronja addig nem tüzel, amíg egy adott gerjesztési szint, azaz egy adott típusú inputmintázat nem jelentkezik. Ez a modell azon a tapasztalati megfigyelésen alapult, miszerint a hasonló összetettségű alakzatok közül egyesek könnyebben megtanulhatók és felidézhetők, mint mások. 5

63 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Rosenblatt: Perceptron.. Jellemzők..: Képes megtanulni egyszerű minták felismerését Kétrétegű (ahol az input réteg csak elosztó szerepű, azaz valójában a Perceptronok egy rétegben vannak), heteroasszociatív, legközelebbi szomszéd - elvű mintafelismerő Folyamatos értékű és bináris inputtal egyaránt működhet Offline módon tanul, időciklusokban működik és hibajavító módszerrel tanulja meg az (X k, Y k ), k=1..m mintapárokat. A k. mintapár input vektora analóg értékekkel, az kimeneti vektor bipoláris [-1;+1] értékekkel bír. Egy Perceptron azt dönti el, hogy egy input minta két osztály közül melyikhez tartozik. Felügyelt tanulást végez. 6

64 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Rosenblatt: Perceptron.. A Perceptron hibája.. A feladatok egy része olyan pontok szétválasztását igényli, melyeket lineáris szeparáló objektummal (egyenes, sík, hipersík) nem lehet elkülöníteni, az osztályokat nem lehet létrehozni. Ezek legnevezetesebbike a XOR logikai művelet. x1 x2 (0,1) (1,1) (1,0) (0,0) XOR x1 0 1 0 0 1 x2 11 0 11

65 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Többrétegű Perceptron (Back propagation) Cél: a lineárisan szeparálhatatlan inputok megkülönböztethetőségének elérése. Megoldás: Perceptronok kettő, vagy több rétegben Az első réteg neuronjai alkalmasak az inputminta kisebb, egyenessel elszeparálható részeinek megkülönböztetésére, a második réteg neuronja pedig alkalmasak az első réteg neuronjaitól jövő kétféle osztályba tartozó jelek megkülönböztetésére. Például a XOR függvény megoldása: x1 x2 x1 XOR x2 1. réteg 2. réteg u1u2 u3 Az u1 neuron észleli a (0,1) bemenetet, az u2 pedig az (1,0) bemenet esetén ad 1-et. Az u3 neuronnak csak egy VAGY függvényt kell realizálnia. 13

66 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Többrétegű Perceptron.. Probléma: a súlyok csak megadással állíthatók be, a háló nem képes tanulni. Oka a kredit hozzárendelési probléma: a lépcsős átviteli függvény, mely miatt a második rétegre nem jut el információ az x1, x2 bemenetek tényleges értékéről. Mivel a tanulás megfelel az aktív inputok és az aktív neuronok közötti kapcsolat erősítésének, lehetetlen a háló megfelelő részét erősíteni, mivel az aktuális inputok el vannak vágva az outputtól a közbenső réteg által. A kétállapotú neuron, lévén „tüzel”, vagy „nem tüzel” állapotban, nem ad semmi jelzést a súlyok módosításának mértékéről. A küszöbhöz közeli, a neuront éppen csak tüzelésre késztető inputok súlyait nem kellene ugyanolyan mértékben módosítani, mint azokét, amelyek hatására a neuron aktiváltsága messze esik a küszöbtől. A bűnös az ugrásfüggvény. Megoldás: alkalmazzunk a küszöb közelében átmenettel bíró átviteli függvényt, mint pl. a lineáris küszöb, vagy méginkább a szigmoid függvényt. 14

67 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Többrétegű Perceptron.. A többrétegű Perceptronban megjelenik egy, vagy több rejtett réteg, mely kapcsolatot teremt a bemeneti réteg és a kimeneti réteg között. A rejtett réteg és a kimeneti réteg minden neuronja egy-egy Perceptron, de ferdeátmenetes átviteli függvénnyel. Az input réteg neuronjainak csak bemenetijel-szétosztó szerepük van. A többrétegű Perceptron összetett minták megtanulására képes, de ehhez új tanulási szabályra van szükség: ez az általánosított delta szabály, vagy hibavisszaterjesztés (backpropagation). Kidolgozóik Rumelhart, McClelland és Williams (1986), korábbiak Parker 1982, Verbos 1974. A tématerület legfontosabb irodalma: Rumelhart-McClelland: Parallel Distributed Processing c. könyv. A tanítás alapgondolata: az elvárt és a számított kimenetek eltérését, mint a háló súlyaitól függő hibát értelmezzük és ezen, a súlyok terében értelmezett hibafüggvényen hajtunk végre egy minimális pont keresést. 15

68 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n A többrétegű Perceptron tanulási algoritmusa 1.A súlyok és a küszöbök beállítása kisértékű véletlenszámokra. 2.A bemeneti minta és az elvárt kimenet megadása. Az input: X k = x 1, x 2, …,x n, az elvárt kimenet: D k =d 1,d 2,…,d m, ahol n a bemeneti rétegbeli neuronok, m a kimeneti rétegbeli neuronok száma. Állítsuk be w 1 értékét -  értékre, és legyen x 1 mindig 1. 3.Számítsuk az aktuális bemeneti mintával a kimenetet. Mindegyik réteg számítja a saját kimenetét és továbbadja a következő rétegnek. A kimeneti rétegen megjelennek a számított értékek: o ki 4.Módosítsuk a súlyokat Induljunk a kimeneti rétegtől és haladjunk visszafelé! w ji (t+1) = w ji (t) +  ki o ki  a tanulási együttható,  ki a hiba az i. neuron kimenetén a k. minta bemutatásakor. A kimeneti réteg neuronjaira:  ki = l*o ki *(1-o ki )(d ki -o ki ) A rejtett réteg neuronjaira:, l fut az i. neuron feletti réteg neuronjaira. 21

69 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n A többrétegű Perceptron osztályozó képessége Egymásbametsző halmazok XOR függvény Rétegszám 1 2 3 22

70 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n A többrétegű Perceptron jellemzői Többrétegű Perceptron – perceptronszerű neuronokból álló rétegek Előrecsatolt működés Hiba-hátraterjesztéses, felügyelt tanulás Folyamatosan differenciálható átviteli függvény, többnyire szigmoid Három, perceptronokból álló réteg bármilyen mintaosztályozásra alkalmas A háló az input szerkezetének belső leképzését hozza létre. A betanuláshoz a mintapárok többszöri bemutatása szükséges Energiafelülettel szemléltethető A tanulás nem mindig konvergens Léteznek a tanulási problémákat megoldó továbbfejlesztései A radial basis függvényre épülő változat hiperellipszoidokat alkalmaz és garantáltan konvergens Változatos valós alkalmazásokban használták. 23

71 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Anderson, ill. Kohonen: Lineáris asszociátor, 1972 Jellemzői: a neuron kisülésekor a tüzelés frekvenciája változott az input függvényében nem egyszerű küszöb átviteli függvény tudta a XOR függvényt is tanulás a Delta - szabállyal :  wij =  ( Ti(t) - ai(t)) oj(t), ahol:  wijsúlyváltozás az ij kapcsolatnál (tanulás )  tanulási tényező Ti az output minta értéke helyes válasz esetén ez lenne (elvárt érték) ai a vizsgált i. neuron aktivációs potenciálja ojbemenet az i. neuronnál a j. neuron kimenetéről (, vagy a j. inputról) ha a minták lineárisan függetlenek, akkor többszöri bemutatással betaníthatók 24

72 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Anderson, ill. Kohonen: Lineáris asszociátor.. Kohonen által bevezetett fogalmak: Autoasszociativitás: a minta egy részének megadása elegendő a teljes minta előhívásához. Adott a betanítás:  (x i )= x i, akkor ha x input közel van x i -hez, akkor a kimenet x i lesz. Heteroasszociativitás: a minta egy részének megadása elegendő a teljes inputhoz társított output előhívásához. Adott a betanítás:  (x i )= y i, akkor ha x input közel van x i -hez, akkor a kimenet y i lesz. Interpolatív asszociativitás: Adott a betanítás:  (x i )= y i, ekkor ha x input az x i -k (i=1,2,…,n) kombinációja, akkor a kimenet y az y i -k (i=1,2,…,n) kombinációja lesz. x1 x x2 y1 y y2 25

73 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n McClelland és Rumelhart: Versengés és együttműködés 1981 A legnagyobb kimeneti értékű neuron a laterális kapcsolatok segítségével elnyomja a többi kimenetét, ő nyer. McClelland és Rumelhart a Szófelismerő modellükben a szavak hasonlóságát a neuronok közötti izgató és tiltó egymásrahatásokon keresztül mutatták be: - egyik réteg: betűk, - másik réteg: szavak. A szóban előforduló betűket reprezentáló neuronok között a betű-rétegben együttműködés, egymás hatásának erősítése van. A szavak azonos pozíciójában lévő betűk között versengés van (TAKE, MAKE). 26

74 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n McClelland és Rumelhart: Versengés és együttműködés.. Versengés: a legnagyobb kimenetű neuron a laterális kapcsolatok segítségével elnyomja a többi kimenetét, ő nyer. Együttműködés: az együttműködő neuronok erősítik egymást, hogy együtt nyerjenek. Pozíció 1 Pozíció 2 Pozíció 3 Pozíció 4 TMA E K T + + + + + Versengés az első pozícióért. A T betű neuronja és az 1. pozíciót jelentő neuron erősítik egymást 27

75 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Fukushima: Neocognitron 1983 Az eredeti modell (Cognitron, 1980) felügyelet nélküli, az újabb felügyelt tanulást valósít meg. 7, vagy 9 réteg, analóg típusú neuronok. Az eredeti modellben csak a maximális kimenetű neuronok erősíthették meg saját input kapcsolataikat. A cél: kézzel írt számok felismerése volt. Felépítés: hierarchikus szerkezet, 9 réteg, beleértve a retina réteget is. A kidolgozott háló nem volt érzékeny a karakter pozíciójára és méretére sem. A rendszer egyszerű cellákból álló rétegekből állt, ahol mindegyik réteg jellemzőfelismerő, tulajdonságfelismerő rendszerként működött. S-cella C-cella Cella-sík FC: fix kapcsolat PC: formálható kapcsolat Forrás: Satoh-Kuroiwa-Aso-Miyake: Recognition of rotated patterns using neocognitron 28

76 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Hecht Nielsen: Szembeterjedéses háló (Counter propagation) Kohonen és Grossberg modulok egyesítése, ~1983 A Kohonen és a Grossberg féle tanulási elv kombinálásával egy új típusú neurális háló keletkezett, mely 5 rétegből áll: 2., 4.: átlagtanuló Grossberg modulok, 3. Versengő Kohonen réteg 32

77 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Hecht Nielsen: Szembeterjedéses háló.. Működése: Inputjelek bemenete: 1. és 5. réteg. Az inputjelek átterjednek a 3., Kohonen réteg minden neuronjára. Az átterjedés szembe történik, innen ered az elnevezése (counterpropagation= szembeterjesztés). Valamint átterjednek a 4. és 5. réteg megfelelő neuronjára. A 3. réteg minden egyes neuronja küld jelet a 2. és 4. réteg minden egyes neuronjának. Ezek a kimeneti rétegek jelentik a Grossberg modulokat. Ide a megfelelő neuronokra közvetlenül is eljutnak az x és y jelek. A 3. Réteg neuronjai között versengés van. Az a neuron nyer (kimenete=1) amelynek a súlyai a legjobb megfelelést jelentik az x és y minták között. A többi kimenete 0. Csak a nyertes neuron tudja a súlyait beállítani, módosítani az input mintáknak megfelelően a betanítás alatt. A 3. Réteg neuronjainak súlyai úgy állnak be, hogy optimális halmazát alkossák az x és y input minták közötti viszonyoknak, hasonlóságnak. A 2. És negyedik réteg neuronjai megtanulják az x és y bemenetek értékeinek azon átlagát, amelyek akkor adódnak, amikor a 3. Réteg minden egyes neuronja nyer a mintaközelségi versenyben. Ez az átlagtanuló struktúra a Grossberg találmány. (Outstar). 33

78 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Hecht Nielsen: Szembeterjedéses háló.. Működése..: Azután, hogy a rétegek elérték az egyensúlyt az x és y inputpár kiváltja egy olyan output mintapár kibocsátását, amelyek legjobban illeszkednek a 3. réteg súlymintázatpárjával. Ha valamelyik az x és y közül 0, a kimenet egy olyan pár lesz, amely a betanítottak közül a legjobban egyezik az ismert inputtal. Ha az input részei hiányoznak, akkor a háló kitölti a hiányt a legközelebbi mintával. A szembeterjedéses háló újdonsága volt, hogy létező hálótípusokból hozott létre új működést. Ezenfelül kétféle tanuló algoritmust is tartalmazott. A tanulás kétfázisú. Előbb a Kohonen réteg súlyait állítja, majd a Grossberg rétegét. A tanulás konvergenciája elérhető. BeKiBeKi ~x x’ = teljes x~xx’ = teljes x ~yy’ = teljes yy=0y’ = teljes y, x-től eltérő 34

79 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kohonen: Önszervező háló, 1988 Jellemzői: Felügyelt tanítás nélküli, nem igényel elvárt output mintákat! Alaprendszer: egy, vagy kétdimenziós, küszöb típusú egységekből álló tömb, laterális kapcsolatokkal. Általánosító képesség, az egyedekre vonatkozó extrém információk elvesztése nélkül. Működés: a rendszer úgy módosítsa önmagát, hogy az egymáshoz közeli neuronok hasonlóan válaszoljanak. A neuronok versenyeznek egymással, a „győztesé minden” módon. A győztes itt egy fizikailag közelálló csoport. A megismert eseménytér összefüggései leképeződnek egy ugyanolyan topológiájú belső reprezentációra. 35

80 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kohonen: Önszervező háló.. Jellemzői..: Az önszervező hálók képesek felismerni az input adatokban meglévő hasonlóságokat anélkül, hogy előzetesen osztályokat jelölnénk ki. Fogalomalkotásra képesek! A Kohonen-féle háló önszervező tulajdonság-térkép, leképezés Az agyban meglévő funkcióspecifikus tagolódás kialakulását modellezi. Ezen régiókban a neuronok szerveződése, topológiája megfelel az oda ingert küldő érzékszervek topológiájának. Pl. különféle frekvenciájú hangok észlelésére a fonotopic map jött létre az agyban. Ezen területek lokalozált válasza az érzékszervektől jövő ingerekre, úgy tűnik, hogy egy speciális típusú laterális átcsatolással érhető el. (Mexikói kalap) Ezen egyrétegű háló időfüggő, időben változó laterális kapcsolatokkal bír. A felügyelet nélküli (unsupervised) tanulást a neuronok belső adaptációs szabálya biztosítja. A tanulás a szomszéd neuronoknál is végbemegy, nem csak a válaszadó neuron, hanem a környezete is megnöveli a válaszát az adott input mintára. A szenzorikus szomszédok agyi szomszédok lesznek. 36

81 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kohonen: Önszervező háló.. A Tulajdonság térképek kialakulása Az önszervezés kritikus pontja a lokális válasz létrehozása a laterális kapcsolatok által. Egy adott x input vektor esetén a nyertes neuron környezetére jutó átcsatolás erősségét és előjelét egy mexikói kalap alakkal jellemezhetjük. Matematikai alakja: Az i. neuron kimenete yi függ a bemenetétől xi és az s távolságú szomszédos neuronok előző időpontbeli kimenetétől.  a szigmoid átviteli függvény,  k pedig a [-s;s] szomszédossági tartományban fejezi ki a laterális kapcsolatok erősségét, a mexikói kalap alakot. A háló klusterekbe (1D,2D), vagy buborékokba (3D) szervezi a neuronokat: a kezdeti aktivitáseloszlás többé-kevésbé véletlenszerű, de idővel klusterekbe, buborékokba csoportosul. A számítás lépései: 1.Az aktivitás maximumának megtalálása (nyertes) 2.A környezet neuronjainak megadása (megerősítés). + + + - - -s s i k 37

82 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Kohonen: Önszervező háló.. Tanulás Inger, input hatására a laterális kapcsolatoknak köszönhetően a háló létrehozza a klustert, vagy buborékot, mely aktív. Azaz a legerősebb aktivitással bíró neuron és környező neuronjai adnak pozitív kimenetet, miközben a többiek nulla kimenetűek. Az inputból eredő aktiválás az u c neuronnál: azaz az inputok súlyozott összege. A kluster átmérője függ a pozitív és negatív súlyok arányától. A kluster méret meghatározása után lezajlik a tanulás ezekben a neuronokban: minden beleeső neuron közelebb viszi a súlyait egy bizonyos értékkel az A k inputmintához. A kívüleső neuronoknál nincs tanulás, változás. 38

83 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Hátracsatolt mesterséges neuronháló modellek A hátracsatolt (feedback) modelleknél az input réteg neuronjai felől nemcsak előre, az output réteg neuronjai felé, hanem visszafelé is áramlanak a jelek. Így egy neuron kimenete visszacsatolódik egy megelőző réteg neuronjára, ezáltal a visszacsatolt neuron bemenetének értéke függhet a korábbi kimeneti értéktől. Ezen hálók asszociatív memóriaként való működésük során az input ráadásakor egy iteratív konvergens folyamaton keresztül veszik fel a stabil állapotukat és szolgáltatják a kimenetet. Vizsgált típusok: 1. Hopfield háló 2. BAM = Bidirectional Associative Memory, kétirányú asszociatív memória 3. ART = Adaptive Resonance Theory, adaptív rezonancia elmélet alapú háló. 1

84 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Hopfield háló, 1982 Jellemzői: Egyetlen neuronréteg, mely bemenetként és kimenetként egyaránt szerepel Teljes kapcsolódás: minden neuron minden neuronnal; egyetlen laterális hálózat A neuronok kapcsolata szimmetrikus: w ij = w ji A kimenetek bemenetekre való visszacsatolása miatt időfüggő működést mutat CAM (Content Addressable Memory)-ként, tartalom által címezhető memóriaként működik: képes részinformáció alapján a teljes tárolt minta felidézésére, autoasszociatív módon A neuronok küszöbbel rendelkező bináris (0;1), vagy az egyszerűbb matematikára vezető bipoláris (-1;+1) lépcsős függvénnyel működnek. Az input is kétértékű: bináris, vagy bipoláris. John Hopfield 1. 1.http://images.google.com/imgres?imgurl=www.ai.univ-paris8.fr/CSAR/images/ 2

85 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Hopfield háló.. Jellemzői: A súlymátrix képzése nagyon egyszerű: - képezni kell egy adott inputvektor mátrixot eredményező külső szorzatát - a különféle inputvektorokkal adódó mátrixok összege lesz a súlymátrix. Működés: a megkonstruált ("betanított") mátrixnak megadva egy input vektort (mely eltérhet a konstruálásra felhasználtaktól) a háló a visszacsatolt gerjesztések alapján eljut egy stabil állapotba (energiaminimum), mely megfelel az egyik korábbi inputnak. 3D-ben az energiafelület egy völgyekkel tarkított felület lesz. Annyi lesz a völgyek száma, ahány korábbi betanító vektort használtunk. Egy soha nem látott inputminta hatására a hozzá legközelebb álló lokális energiaminimum-völgybe jut el a rendszer, mely megfelel egy olyan tanult mintázatnak, amely legközelebb áll a megadott input mintához. Ezen működési forma miatt nevezik CAM-nek. A neuronok kollektív döntést hoznak, mivel mindegyik neuron kimenete hat a többi bemenetére. N flip-flop: N állapot közül billen be valamelyikbe. 3

86 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Példa a Hopfield háló alkalmazására Karakterfelismerő Adottak a betanítóminta-karakterek: A bemutatott minta és az állapotváltozások a stabil állapotig: Bemutatott minta Felismert karakter 11

87 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n BAM = Bidirectional Associative Memory, kétirányú asszociatív memória, Bart Kosko, 1986 Jellemzői Két rétegből áll, mindkettő működhet inputként, vagy outputként A nevét onnan kapta, hogy a rétegek között kétirányú a kapcsolat, előre- és hátracsatolt vonalak is vannak. A súlymátrix konstruált: input-output párokat kell mutatni a hálónak. Ezeket társítja (association). Autoasszociatív és heteroasszociatív működésre egyaránt képes x y A Hopfield-háló általánosításának tekinthető szerkezet feltalálója Bart Kosko. 18

88 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n BAM.. A súlymátrix előállítása („betanítás”) A súlymátrix az input mintapárok mátrixot eredményező külső szorzatával adódó mátrixok összegzésével adódik: Ahol M a tárolandó minták száma, x s és y s az s. mintapár. A kapcsolatok az x rétegtől az y felé indexeltek, azaz a w 23 súly az x réteg 3. neuronjától az y réteg 2. neuronja felé mutat. Ha az y vektor helyett is az x vektort használjuk, autoasszociatív memóriát készíthetünk. 19

89 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n BAM.. A háló működése Ha a súlymátrixot megkonstruáltuk, a háló kész az információ előhívására. Az információelőhívás lépései 1.Az x 0, y 0 részleges inputok megadása a bemeneteken. 2.Az információ átterjesztése az x rétegről az y rétegre és az y réteg neuronjaira a számítás elvégzése. 3.A kiszámított y rétegbeli kimenetek visszaterjesztése az x rétegre és a számítások elvégzése az x réteg neuronjaira. 4.A 2. és a 3. lépés ismétlése, mígnem már nincs változás a rétegek kimenő értékeiben. Ekkor az előhívott x, y betanított mintapár leolvasható. Megjegyzés: a ciklus kezdhető az y rétegről való átterjesztéssel is. Egy lehetséges használat: az x 0 input az egyik korábbi x s betanítómintához hasonlít, y 0 viszonyáról a betanított y s mintákhoz nem tudunk semmit, nem is adjuk meg. Ekkor a kimenet az x 0 -hoz közelálló x s és a párja, y s lesz. 20

90 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n BAM.. A súlyokkal szorzott bemenetek összegeként előálló aktivációs potenciálból a kimenetek a következőképpen adódnak: Hasonlóan számíthatók az x réteg kimenetei. A BAM energiafüggvénye A háló tárolási kapacitása Kosko szerint a tárolható mintapárok száma az m, n neuronszámok minimuma. Tanaka és társai szerint egy m=n háló max 1.998n mintapár tárolására képes. 21

91 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Az ART= Adaptive Resonance Theory, Adaptív Rezonancia Elmélet alapú háló, Stephen Grossberg és Gail Carpenter, 1983 Jellemzői Két réteg neuront tartalmaz: 1. input/összehasonlító réteg 2. output/felismerő/tároló réteg Teljes oda-vissza kapcsolat az 1. és 2. réteg között: W 1.  2. T 2.  1. A 2. rétegben versenyzés, tiltó laterális kapcsolatok vannak+saját erősítése A neuronok valójában neuron csoportok, klusterek 23

92 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Adaptív Rezonancia Elmélet alapú háló Működése fázisok: Inicializálás Felismerés Összehasonlítás Keresés Rezonancia, bevésődés. Inicializálás Gain control1 = 1, ha input jelet adunk a bemenetre = 0, ha a felismerő, tároló 2. réteg valamelyik neuronja felismerte az inputot és aktív Gain control2 = 1, ha input jelet adunk a bemenetre 0, ha a vigilance (ismertségi) teszt sikertelen (tiltja a 2. réteg neuronjait és aktivációs szintjüket nullázza) W  és T  súlymátrix inicializálása: T  súlyai= 1, a visszacsatolás teljes értékű W  súlyai= w i = 1/(1+N) N az input neuronok száma Vigilance (ismertségi) küszöb beállítása: 0<  <1 24

93 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Adaptív Rezonancia Elmélet alapú háló.. Felismerési fázis Input minta ráadva, megpróbálja valamelyik, a 2. rétegbeli neuron által képviselt osztályba besorolni, ha a visszaterjesztés után számított ismertségi (vigilance) teszt elég nagy, egyébként új, ismeretlen mintaként kezeli. Az input neuronoknak három bemenete van: 2/3-os szabály: kimenet=1, ha kettő a háromból aktív, egyébként a kimenet= 0. A felismerési fázis a Kohonen féle háló működésére emlékeztet: osztályokba sorolás. Versengés a 2. rétegben: skalárszorzat az input vektor és a vizsgált 2. rétegbeli neuron súlyai között: az a felismerő (tároló) neuron nyer, amelyiknél a szorzat, hasonlóság a legnagyobb. A nyertes j* felismerő (tároló) neuron visszaterjeszti az 1 értékű kimenetét a T súlyain át az 1. input/összehasonlító rétegre. control visszacsatolás a 2. rétegről input 1 1 00 T tjtj tjtj tjtj tjtj 1. 2. 25

94 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Adaptív Rezonancia Elmélet alapú háló.. Összehasonlító fázis A 2. rétegbeli nyertes neurontól visszaterjesztett jelek és az input vektor összehasonlítása, eközben gain control1= 0. 2/3-os szabály: 1+1  1, egyébként  0. Ismertségi (vigilance) teszt Mennyire egyezik x és z ? Ha az ismertség elég nagy, akkor az x input a nyertes j* neuron által képviselt osztályba tartozik, egyébként, ha az ismertség nem elég nagy, belép a keresési fázisba. A  ismertségi küszöb hatása:  0.8  finom felbontás, sok osztály, minden egyed más osztályba kerül. control= 0 input visszacsatolás a 2. rétegről z i,össze- hasonlító vektor ? 26

95 M e s t e r s é g e s i n t e l i g e n c i a 9/. dr.Dudás László n Adaptív Rezonancia Elmélet alapú háló.. Keresési fázis Megpróbál egy nagyobb ismertséget adó felismerő (tároló) neuront találni, de ehhez a reset system útján letiltja a korábbi nyertes neuront. Ciklusban ismétli az input felterjesztés, nyerés, visszaterjesztés, összehasonlítás (ismertségi teszt), kis ismertség esetén a nyertes letiltása lépéseket, amíg vagy talál egy jól osztályozó neuront, vagy elfogynak a tároló neuronok. Ha elfogytak, akkor az x mintát új mintaként értékeli és egy új tárolóneuront rendel hozzá. Rezonancia, bevésődés Amennyiben az input ismertsége elegendő, a j* neuron jól osztályozta az x input mintát, a rendszer rezonál, a jelek föl-le áramlanak és a kapcsolatok megerősödnek. Grossberg szerint ily módon modellezhető a hosszútávú memória kialakulása. 27