KÖSZÖNTJÜK HALLGATÓINKAT! 2010. június 9. KÖSZÖNTJÜK HALLGATÓINKAT! Önök Dr. Botzheim János: Intelligens számítási rendszerek I. előadását hallhatják!

Intelligens számítási rendszerek I Intelligens számítási rendszerek I. Botzheim János egyetemi docens Széchenyi István Egyetem (Győr) 2010. Június 9.

Motivációk Hogyan lehetne automatikussá tenni azokat az összetett funkciókat, amelyek megvalósítására az ember könnyedén képes pl.: autóvezetés Nehezen kezelhető feladatok Számos, az ember által többé-kevésbé megoldható feladat a klasszikus matematikai módszerekkel nehezen vagy egyáltalán nem kezelhető Az emberi intelligencia elemeit modellezve a nagybonyolultságú rendszerek kezelése megvalósítható intelligens, ún. soft computing technikákkal Intelligens alapmódszerek Fuzzy rendszerek, neurális hálózatok, evolúciós algoritmusok Jellemző a biológiai és filozófiai indíttatás

Homokkupac paradoxon homokkupac – homokszem = homokkupac ... ... ...

ebből az következik, hogy homokkupac = 0 ennek oka: a homokkupacot nem definiáltuk elég pontosan gond: egy precíz matematikai definíció nincs összhangban a homokkupac hétköznapi fogalmával probléma: a precíz fogalmakat használó matematika nem alkalmas a pontatlan fogalmak formális kezelésére kérdés: ki tudjuk-e terjeszteni a matematikát úgy, hogy képes legyen pontatlan fogalmakat is kezelni?

Fuzzy halmaz, fuzzy logika Fuzzy: homályos, életlen Lotfi A. Zadeh (1965): fuzzy halmazelmélet a nyelvi fogalmakban lévő pontatlanság kifejezésére Fuzzy logika: Zadeh, 1973 Fuzzy következtetés nyelvi szabályokkal: Zadeh: 1973 Mamdani: 1975

Fuzzy halmaz Elmosódott határ: pl.: „magas emberek”: mennyire eleme egy ismert magassággal rendelkező ember ennek a halmaznak? Részleges tagság: 0 és 1 között: van aki jobban beletartozik, van aki kevésbé Milyen mértékben tartozik x a halmazba? tagsági függvény

Egy példa Pl. Egy hallgatói csoport Alaphalmaz: X 1 0 1 1 0 1 1 0.7 0 1.0 0.8 0 0.4 0.2 “Kinek van jogositványa?” X egy részhalmaza az A (crisp) halmaz A(X) = karakterisztikus függvény “Ki tud jól vezetni?” (X) = tagsági függvény

Egy másik példa példa az emberek magasságait leíró 3 fuzzy halmazra a halmazok részben átfedhetik egymást egy ember több halmazba is beletartozhat, különböző tagsági értékkel 1 m 160 170 180 190 200 x [cm] alacsony középtermetű magas

Műveletek fuzzy halmazokon Zadeh, 1965 Komplemens: Metszet: Unió:

Relációk Hagyományos (crisp) reláció: két vagy több halmaz elemei közötti kapcsolatokat írja le. Ha a halmazok bizonyos elemei között van kapcsolat, akkor a reláció értéke az adott kapcsolatra 1, különben pedig 0 Fuzzy reláció: a kapcsolatokat kevesbé élesen írja le, két vagy több elem egymással való kapcsolatát tetszőleges 0 és 1 közötti értékkel jellemezhetünk  A B  A B 0.5 0.8 1 0.9 0.6 crisp reláció fuzzy reláció

Fuzzy szabályok HA x = A AKKOR y = B ahol A a szabály antecedense, B pedig a konzekvense példa: Ha a forgalom erős északi irányban, akkor a lámpa legyen hosszabb ideig zöld Fuzzy szabálybázis reláció

Fuzzy szabálybázis HIDEG MELEG FORRÓ HŐMÉRSÉKLET

Ha a hőmérséklet HIDEG akkor a motor sebesség ALACSONY KÖZEPES MAGAS MOTOR SEBESSÉG Ha a hőmérséklet HIDEG akkor a motor sebesség ALACSONY Ha a hőmérséklet MELEG akkor a motor sebesség KÖZEPES Ha a hőmérséklet FORRÓ akkor a motor sebesség MAGAS

Következtető módszer 1. szabály 2. szabály 3. szabály Hőmérséklet = 55 Motor sebesség Motor sebesség = 43.6 1. szabály 2. szabály 3. szabály

Neurális hálózatok Az agyi neuronok működését leutánzó számítási egységek Minták formájában reprezentált tudás megtanulására képes Tudás típusai: analitikus: pl. matematikai egyenletek szabályalapú: pl. fuzzy rendszerek tapasztalati: minták, megfigyelések

Tanulás y x rendszer modell A hálózat paramétereinek (súlyok) módosítása minták alapján rendszer modell +  x y hiba

Modell-jóság és erőforrásigény Cél a lehető legjobb kompromisszum megtalálása a kezelhetőség (számítási bonyolultság, erőforrásigény ) és a jóság (modell-pontosság) között “Fuzzy macska - egér ” probléma Az „okos” macska sokáig gondolkodik, hogy hol lehet az egér, de utána gyorsan megtalálja A „buta” macska gyorsan dönt, de pontatlanul, ezért sokáig keres

Evolúciós algoritmusok A soft computing (lágy számítási) módszerek három fő területének egyike Fuzzy rendszerek Neurális hálózatok Evolúciós algoritmusok Alapelvük a megoldások egy populációján történő keresés, melyet a biológiából megismert törvényszerűségek vezérelnek A populáció egyedei a feladat egy-egy megoldását jelentik A populáció fejlődik, egyre jobb egyedeket kapunk

A kezdetek Az ötlet, hogy használjunk szimulált evolúciót mérnöki és tervezési problémák megoldására az 1950-es években megjelenik már Az 1960-as években kialakul a három fő klasszikus terület: Evolúciós programozás (Lawrence Fogel, 1962), Genetikus algoritmusok (Holland, 1975) Evolúciós Stratégiák (Rechenberg, 1965 & Schwefel, 1968) Az egyes technikák kifejlesztői megmutatták, hogy a módszerük alkalmas a következő probléma típusok megoldására Fogel előrejelzési problémákkal foglalkozott Rechenberg & Schwefel paraméter optimalizációs problémákkal Holland robusztus adaptív rendszerek fejlesztésével

Optimalizációs módszerek Determinisztikus Calculus alapú Hegymászó módszer … Sztochasztikus Véletlen keresés Szimulált lehűtés Evolúciós algoritmusok: sztochasztikus módszerek, melyek a természetes evolúció folyamatát szimulálják felhasználva a legalkalmasabb egyed túlélésének törvényét

Terminológia Gén: funkcionális entitás, mely az egyed egy speciális tulajdonságát kódolja (pl. hajszín) Allél: a gén értéke (pl. szőke) Egyed: kromoszóma, egy megoldás jelölt a problémára Genotípus: egy egyed alléljainak egy speiális kombinációja Fenotípus: az egyed külső-belső tulajdonságainak összessége Locus: egy gén pozíciója a kromoszómán belül Populáció: egyszerre együtt élő egyedek összessége

A populáció evolúciója Egyedek eloszlása a 0. generációban Egyedek eloszlása az N. generációban

kezdeti populáció létrehozása Genetikus algoritmus egyedek rangsorolása kezdeti populáció létrehozása szelekció keresztezés mutáció visszahelyettesítés

Az egyed Az egyed egy megoldás jelölt a problémára A probléma egy lehetséges megoldása valamilyen formában az egyedbe van kódolva pl. bináris, vagy valós Fitnesz érték (alkalmassági érték): az egyedeket valamilyen kritérium szerint értékeljük ki, aszerint, hogy mennyire jó megoldást adnak a feladatra Jobb egyednek nagyobb a fitnesz értéke, és nagyobb eséllyel él túl

Szelekciós módszerek többféle kiválasztási módszer terjedt el minél jobb az egyed, annál nagyobb az esély a kiválasztására Rulett kerék szelekció: az egyedek a fitnesz értékükkel arányos szeletet kapnak a gurításnál a nagyobb fitnesz értékű egyedek nagyobb eséllyel választódnak ki

Keresztezés (Crossover) Véletlenszerű keresztezési pont kiválasztása a két szülőn Utódok létrehozása az információ kicserélődésével a keresztezési pont alapján

Mutáció Gén értékének véletlenszerű megváltoztatása pm valószínűséggel (mutációs arány)

Egy példa (Goldberg) Egyszerű probléma: x2 maximumának megkeresése a {0,1,…,31} alaphalmazon Genetikus algoritmussal: Reprezentáció: bináris, pl. 01101  13 Populáció méret: 4 Keresztezés, mutáció Rulett kerék szelekció Véletlenszerű inicializálás

Egy példa: szelekció

Egy példa : keresztezés

Egy példa : mutáció

Alternatív keresztezés operátorok n-pontos: uniform:

Valós GA Keresztezés például: szülők: x1,…,xn  és y1,…,yn utód1: a másik utódra felcserélve pl.: ( = 0.5) Mutáció:

Bakteriális evolúciós algoritmusok Természetből ellesett optimalizációs technika A baktériumok evolúciós folyamatán alapul Alkalmas bonyolult optimalizációs problémák megoldására Egyed: egy megoldás a problémára Intelligens keresési stratégia eléggé jó megoldás keresésére (kvázi optimum) Gyors konvergencia (feltételesen)

Az algoritmus Kezdeti populáció véletlenszerű létrehozása n. generáció Kezdeti populáció véletlenszerű létrehozása Bakteriális mutáció végrehajtása minden egyeden Génátadás végrehajtása a populációban Ha megfelelő eredményt értünk el, akkor megállunk, különben folytatjuk a bakteriális mutációs lépéssel (n+1). generáció

Bakteriális mutáció Egy rész véletlenszerű kiválasztása i. rész n. rész Az i. részt változtatjuk az Nklón számú másolatban, de az eredeti baktériumban nem A legjobb baktérium átadja az i. részt a többi baktériumnak Ismételjük addig, amíg az összes részt ki nem választottuk

Génátadás 1. A populációt 2 részre osztjuk, jó egyedekre, és rossz egyedekre 2. Egy baktériumot véletlenszerűen kiválasztunk a jobbik alpopulációból (forrásbaktérium) egy másikat pedig a rossz egyedek közül (célbaktérium) 3. A forrásbaktérium egy része felülírja a célbaktérium egy részét Ez a ciklus ismétlődik Ninf -szer (“infekciók” száma) rossz egyedek jó egyedek …

Paraméterek Ngen: generációk száma Nind: egyedek száma Nklón: másolatok (klónok) száma a bakteriális mutációban Ninf: génátadások (infekciók) száma a génátadásnál

Különbségek a GA és BEA között A GA az emlősállatok evolúciós folyamatát utánozza, míg a BEA a baktériumok fejlődését Az információ terjesztésére a GA a keresztezés operátort használja, a BEA pedig a génátadást A bakteriális mutáció hatékonyabb a GA klasszikus mutációjánál A bakteriális evolúciós algoritmusban nincs szelekció, viszont van osztódás

Evolúciós elméletek Jean-Baptiste Lamarck A szerzett tulajdonságok öröklésének elmélete Ha egy organizmus változik az élete során, hogy ezáltal jobban adaptálódjon a környezetéhez, ezeket a változásokat továbbadja az utódainak Charles Darwin A szerzett tulajdonságok nem öröklődnek Az organizmus élete során bekövetkező változásai nincsenek hatással a faj fejlődésére James M. Baldwin Új faktor az evolúcióban A szerzett tulajdonságok indirekten öröklődhetnek

Memetikus algoritmus Az evolúciós algoritmusoknak lokális kereső operátorokkal történő olyan kombinációja, ahol a lokális keresés az evolúciós cikluson belül zajlik A memetikus algoritmusokat Moscato javasolta (~1989) A lokális keresést élethosszig tartó tanulásnak lehet tekinteni Terminológia: mém = a kulturális evolúció alapegysége („génje”) (Dawkins: Az önző gén, 1976) ”mimema”: utánzás

Miért kombináljuk őket? Evolúciós algoritmusok Nagy, durva keresési teret járnak be Nehézségek a finomhangolással Lokális kereső technikák Gyorsan optimizálnak, konvergálnak Lokális optimumokba ragadnak Hátrányok: A tanulás költséges A tanulás nem mindig jó

Bakteriális memetikus algoritmus n. generáció Kezdeti populáció véletlenszerű létrehozása Bakteriális mutáció végrehajtása minden egyeden Lokális keresés végrehajtása minden baktériumon Génátadás végrehajtása a populációban Ha megfelelő eredményt értünk el, akkor megállunk, különben folytatjuk a bakteriális mutációs lépéssel Bakteriális mutáció Gén átadás Lokális keresés (n+1). generáció

A bakteriális memetikus algoritmus alkalmazása az utazó ügynök probléma megoldására Az utazó ügynök probléma (Traveling Salesman Problem, TSP) célja a legolcsóbb út megtalálása városok egy halmazában úgy, hogy minden várost pontosan egyszer látogatunk meg és végül a kiindulási pontba térünk vissza Az irodalomban a városok közötti költségek az euklideszi távolsággal vannak megadva, a probléma szimmetrikus, a költségek konstansok Nehéz probléma Módosítások az eredeti TSP-n, hogy a való élethez közelebb kerüljön

A módosított utazó ügynök probléma Egy várost nem csak egyszer lehet meglátogatni A valóságban vannak olyan városok, melyeknek csak egy csatlakozásuk van a többihez Egy hosszabb út (több várost tartalmazó túra) olcsóbb is lehet A városok közötti költségek nem állandóak Valósághű modell Egy városban meg is lehet állni, és később folytatni a túrát, ha így jobban megéri A városok közti költségek nem csak az időtől függenek, hanem fuzzy számokkal is vannak leírva, ezáltal modellezve az út költségének pontatlanságát

Bakteriális mutáció TSP esetén Paraméterek: szegmens hossz (ebben a példában 3) klónok száma (ebben a példában 4) 1. szegmens 8 3 4 1 11 9 7 6 2 5 12 10 2. szegmens 3. szegmens 4. szegmens Véletlenszerű mutációs szegmens-sorrend kialakítása pl.: {3. szegmens, 1. szegmens, 4. szegmens, 2. szegmens} (ez azt jelenti, hogy a bakteriális mutációt először a 3. szegmensen hajtjuk végre) Létrehozzuk a klónokat és az adott szegmenset megváltoztatjuk a klónokban 8 3 4 1 11 9 6 7 2 5 12 10 8 3 4 1 11 9 7 6 2 5 12 10 1. klón: 2. klón: 3. klón: 4. klón: 6 7 2 6 2 7 2 7 6 7 2 6 a legjobb klón kiválasztása

Bakteriális mutáció TSP esetén A szegmensnek nem muszáj egymás melletti elemekből állni: 8 3 4 1 11 9 7 6 2 5 12 10 1. szegmens A módosított TSP-ben a városok száma nincs előre meghatározva, ezért különböző hosszúságú egyedek is előfordulhatnak a populációban. A módosított TSP-ben egy klón mutációja előtt véletlenszerűen döntünk a klón hosszának megváltoztatásáról.

Génátadás TSP esetén Paraméterek: szegmens hossz (ebben a példában 3) infekciók száma Forrásbaktérium: 4 5 8 10 11 2 7 6 9 3 12 1 Célbaktérium a génátadás előtt: 3 7 4 2 11 10 5 8 9 6 1 12 Célbaktérium a génátadás után: 3 4 2 11 7 6 9 10 5 8 1 12

Lokális keresés 2-opt: 3-opt: A C A C 1. 2. D B D B Lehetséges élpárak cseréje: |AB|+|CD|>|AC|+|BD| 3-opt: B A B A B A 1. 2. 3. E D E D E D F C F C F C Lehetséges élhármasok cseréje: A legjobbat kiválasztjuk.

További lehetőségek Determinisztikus egyedek a kezdeti populációban Útkonstrukciós heurisztikák Legközelebbi szomszéd Második legközelebbi szomszéd Alternáló Determinisztikus klón a bakteriális mutációban A klónokban az adott szegmens véletlenszerűen változik, de az egyik klónban determinisztikusan változtatjuk, megfordítjuk a városok sorrendjét az adott szegmensben

Szimulációs eredmény – Klasszikus TSP Referencia probléma 131 várossal (www.tsp.gatech.edu, XQF131 ) Optimális megoldás: teljes költség =564

Néhány egyéb evolúciós módszer Többkritériumú genetikus algoritmus Többpopulációs genetikus algoritmus Hangyakolóniák Vírus alapú evolúciós algoritmus „Ragadozó-zsákmány” módszer Méhkirálynő evolúciós algoritmus Mesterséges immunrendszerek Részecske-sereg optimalizáció ...

KÖSZÖNJÜK MEGTISZTELŐ FIGYELMÜKET! TÁMOP-4.2.3-08/1-2008-0011 KÖSZÖNJÜK MEGTISZTELŐ FIGYELMÜKET! A rendezvény a „SZiENCE4YOU – Tudás- és tudomány disszemináció a Széchenyi István Egyetemen” című projekt keretében valósult meg. A program szervezői, támogatói: