Készítette: Ősz Edina október 31.

Az előadások a következő témára: "Készítette: Ősz Edina október 31."— Előadás másolata:

1 Készítette: Ősz Edina 2012. október 31.
Szakértő rendszerek verifikálása, validálása Szakértő rendszer problématípusok Készítette: Ősz Edina 2012. október 31.

2 Áttekintés Tesztelés Verifikálás Validálás Problématípusok
Alaptechnikák Problématípusok és alaptechnikák kapcsolata

3 Követelmények Hiteles szakértő rendszerrel kapcsolatos minőségi követelmények: megbízhatóság védelem illetéktelen felhasználókkal szemben biztonságosság felhasználó védelme karbantarthatóság hordozhatóság

4 Hibaforrások Hiányzó követelményspecifikáció
(vagy ha nem tartják be) – rendszerhibák 97 %-a Szintaktikai és szemantikai hibák a tudásbázisban Nem megfelelően reprezentált ismeretanyag A következtetések nem illeszkednek a problémához hibás, vagy nincs megoldás

5 Verifikálás és validálás
összehasonlító ellenőrzés egy fejlesztési fázis eredményének értékelése az eredmény megfelel-e a fázis kezdetén szabott követelményeknek és szabványoknak követelményspecifikáció szintaktikai és szemantikai hibák tudásbázis konzisztenciája és teljessége

6 Verifikálás és validálás
az elkészült rendszer kiértékelési eljárása a szoftver és dokumentáció megfelel-e a minőségi jellemzőknek nincs megfelelően reprezentálva a tárgyköri ismeretanyag a következtetések nem illeszkednek a problémához

7 Tesztelés Hagyományos szoftverek Tudásalapú szoftverek
Előre meghatározható tesztesetek A rendszer videlkedésének megfigyelése révén szerezhetőek be a tesztesetek Adott bemenethez meghatározható kimenet Adott bemenethez szakértő függő (elfogadható) kimenet, bizonytalanságkezelés Objektív és teljes körű ellenőrzés A tesztsorozat lefuttatása után a rendszer érvényesnek mondható Szubjektív és nem teljes körű ellenőrzés, az esetek sikeres lefuttatása még nem jelenti a rendszer érvényességét Laboratóriumi környezetben tesztelhető Laboratóriumi környezetben nem tesztelhető

8 Tesztelés Nem lehet objektív Nem lehet teljeskörű
különböző szakemberek eltérő véleménye Nem lehet teljeskörű

9 Verifikálás Eleget tesz-e a rendszer a specifikációnak?
Nincsenek-e hibák a rendszerben? A verifikálás hasonló a hagyományos rendszerekéhez Fejlesztés verifikált eszközzel → elegendő a tudásbázist ellenőrizni

10 Verifikálás Specifikáció teljesítése
megfelelő a tudásreprezentációs módszer? megfelelő a következtetési módszer? megfelelő felhasználói felület? megfelelő magyarázatadás? …

11 Jellemző programozási hibák
Redundáns szabályok szintaktikailag Szab-a1 if páratartalom = magas and hőmérséklet = forró then zivatar = várható Szab-a2 if hőmérséklet = forró and páratartalom = magas then zivatar = várható

12 Jellemző programozási hibák
Redundáns szabályok szemantikailag Szab-a3 if páratartalom = magas and hőmérséklet = forró then zivatar = várható Szab-a4 if páratartalom = magas and hőmérséklet = forró then villámlás-dörgés-zápor = várható

13 Jellemző programozási hibák
Egymásnak ellentmondó szabályok if páratartalom magas and hőmérséklet=forró then napsütés = várható. if páratartalom magas and hőmérséklet=forró then not napsütés = várható

14 Jellemző programozási hibák
Magában foglaló szabályok Szab-c1 if páratartalom = magas and hőmérséklet = forró then zivatar = várható Szab-c2 if páratartalom = magas and hőmérséklet = forró and légnyomás = alacsony then zivatar = várható

15 Jellemző programozási hibák
Körkörös szabályok Szab-d1 if testvérek(X,Y) then szülők-azonosak(X,Y) Szab-d2 if szülők-azonosak(X,Y) then testvérek(X,Y)

16 Jellemző programozási hibák
Szükségtelen feltétel Szab-e1 if piros-foltos = igen and lázas = igen then betegsége = kanyaró Szab-e2 if piros-foltos = igen and lázas = nem then betegsége = kanyaró

17 Jellemző programozási hibák
Zsákutca szabályok a szabály nem tesz tüzelőképessé más szabályokat Hiányos vagy hiányzó szabályok Elérhetetlen szabályok

18 Jellemző programozási hibák
Bizonyossági értékek esetén változik a helyzet Szab-c1 if páratartalom = magas and hőmérséklet = forró then zivatar = várható Szab-c2 if páratartalom = magas and hőmérséklet = forró and légnyomás = alacsony then zivatar = várható

19 Jellemző programozási hibák
Bizonyossági értékek esetén változik a helyzet Szab-c1 if páratartalom = magas and hőmérséklet = forró then zivatar = várható cf 80 Szab-c2 if páratartalom = magas and hőmérséklet = forró and légnyomás = alacsony then zivatar = várható cf 90

20 Validálás Utolsó minőségellenőrzési lépés
Következtetések elfogadhatósága Eleget tesz-e a felhasználói elvérésoknak

21 Validálás Informális szakértők és felhasználók bevonása
rendszer futtatása javaslatok megvitatása modul fejlesztéséhez megfelelő rendszer validálásához nem kielégítő

22 Validálás Validálás teszteléssel előkészített tesztesetek futtatása
szakértők megkérdezése javaslatok összevetése a szakértők minősítik a rendszer javaslatait fekete doboz Turing teszt

23 Validálás Helyszíni teszt Validálás modulonként Érzékenység elemzés
valós esetek futtatása a helyszínen nem várt hibák léphetnek fel Validálás modulonként független modulokra bontható rendszer kisebb, kevésbé bonyolult rendszerszintű validálás is kell Érzékenység elemzés bemenetek kismértékű módosítása

24 Validálás kritériumai
Összehasonlítás ismert korábbi eredményekkel Összehasonlítás szakértői problémamegoldással Összehasonlítás elméleti lehetőségekkel Pontosság Teljeskörűség

25 Validálás Lehetséges hibák legális bemenet, téves következtetés
A rendszer nem szabatos. fel nem dolgozható bemenet A rendszer nem teljes körűen fogja át a problémát.

26 Szakértő rendszer problématípusok

27 Problématípusok Hayes-Rooth osztályozás, 1983: interpretáció
előrejelzés diagnózis objektumtervezés tevékenységtervezés őrzés vagy monitorozás hibaelhárítás javítás oktatás szabályozás

28 Problématípusok Probléma a Hayes-Rooth osztályozással: nem minden típus elemi hibaelhárítás = diagnózis + javítás diagnózis részosztálya az interpretációnak Ezért nem lehet ezekre alaptechnikákat javasolni Más típusú osztályozás

29 Problématípusok Harmon-féle osztályozás, 1990 procedurális problémák
diagnosztizáló problémák monitorozó vagy őrző problémák objektumtervező (design) vagy konfiguráló problémák tevékenységtervező (planning) vagy ütemező (scheduling) problémák

30 Procedurális problémák
A tárgyköri ismeretanyag leírható egyszerű eljárással Probléma leírása: egymás utáni lépések sorozatával döntési fával

31 Procedurális problémák
Jellemző megvalósítási alaptechnikák: hagyományos programozás esetleg tudásalapú technikák – amennyiben gyors fejlesztés inkrementális fejlesztés gyakran módosuló program a szakember nem ismeri a hagyományos nyelveket

32 Diagnosztizáló problémák
Következtetés megfigyelésekből okokra A lehetséges okok adottak, számuk kevés Jellemző problémakör: hibakezelés zajos adatokon problématér nagy és életlen bonyolultan kapcsolódó lépések döntési fa reprezentáció nem lehetséges

33 Diagnosztizáló problémák
A szakértő saját és más emberek megfigyeléseire is támaszkodik egy vagy több okot választ ki, és megpróbálja igazolni Példák: orvos: a beteg panaszaiból és saját megfigyeléseiből következtet autószerelő: hasonlóan

34 Diagnosztizáló problémák
Jellemző megvalósítási alaptechnikák: szabályalapú technika, célvezérelt következtetéssel hibrid keretalapú technika ha nem nagyon bonyolítja a problémát

35 Monitorozó vagy őrző problémák
Jelek folyamatos figyelése Hibás jel-minta esetén „akcióba lépés” Hasonlít a diagnosztizáló problémára de csak a saját maga által észlelt jelben bízik A környezetéből érkező összes jelet feldolgozza míg a diagnosztizáló csak a szükséges adatokat kérdezi meg a felhasználótól

36 Monitorozó vagy őrző problémák
Az észlelt jeleket elemzi, kevés transzformációval következtetést von le Jellemző megvalósítási alaptechnikák: szabályalapú technika, adatvezérelt következtetéssel hibrid keretalapú technika (amennyiben indokolt)

37 Objektumtervező problémák
Másnéven konfiguráló problémák Nincs előre megadva az összes lehetséges megoldás A megfigyelések és a felhasználói igények alapján a rendszer dolgoz ki javaslatokat

38 Objektumtervező problémák
Adott: a részegységek halmaza ezek kapcsolata a felhasználói igények tervezzünk elfogadható konfigurációt Kétféle problématípus: korlátozásokkal megszorított objektumtervező problémák nyílt vagy kreatív objektumtervező problémák

39 Objektumtervező problémák
Korlátozásokkal megszorított problémák másnéven strukturált obj. tervező problémák egyszerű objektumokra vonatkozó megszorítások bonyolult (konfliktusfeloldó) a különböző korlátozások konfliktusba kerülhetnek Nyílt objektumtervező problémák megoldásuk túl sok józan észt követel

40 Objektumtervező problémák
Jellemző megvalósítási alaptechnikák: szabályalapú technika, adatvezérelt következtetés hibrid keretalapú technika bonyolultabb esetben alkalmazható specifikus technikák alkalmazása szükséges

41 Tevékenységtervező és ütemező problémák
Tevékenységek sorozatát határozzák meg amelyek végrehajtása a célhoz vezet Események strukturált választása adott erőforrások és feladatsorrend mellett Időkezelést is biztosító strukturált konfiguráló rendszer

42 Tevékenységtervező és ütemező problémák
Példák: orvosi kezelések beosztása pl. egymás utáni kezelések közti idő korlátozott termeléstervezés gépek optimális kihasználása Jellemző bemenő adatok: igények források korlátozások

43 Tevékenységtervező és ütemező problémák
Jellemző megvalósítási alaptechnikák egyszerű esetben adatvezérelt technika hibrid keretalapú technika nagyobb rendszer kivitelezésére specifikus technikák szükségesek

44 Alapvető következtetési technikák
Induktív technikák Szabályalapú technikák célvezérelt (visszafelé haladó) adatvezérelt (előrefelé haladó) strukturált Hibrid keretalapú technikák Szimbólum-manipulációs technikák

45 Induktív technikák Egyedi esetekből jut általános következtetésre
Gépi tanulás korai eredménye: következtetés példák és ellenpéldák alapján Procedurális és egyszerű diagnosztizáló problémáknál jellemző Gond: flexibilitás hiánya – többszintű heurisztikák kezelésére nem alkalmas

46 Szabályalapú technikák
Adat- és célvezérelt stratégiák A legtöbb szabályalapú rendszer kombinálja a kettőt Hibrid rendszereknél célvezérelt stratégiát használnak

47 Szabályalapú technikák
Célvezérelt szabályalapú technika Adatvezérelt szabályalapú technika Kevés cél (megoldási javaslat), sok kiinduló adat Sok cél (lehetséges megoldás), kevés kiinduló adat. Csak annyi kiinduló adatot kér be, amennyi az igazolandó cél, megoldási javaslat alátámasztásához szükséges Beéri annyi bemenettel, amennyit a felhasználó megad, és ezekből konstruál elfogatható célt vagy megoldást. Megadja az összes lehetséges javaslatot (közelebb áll a procedurális megoldáshoz, mint az adatvezérelt következtetés) Nem állít elő minden lehetséges megoldást – általában csak egyet, esetleg többet is. Jellemző problématípus: 1.diagnosztizáló: A megoldás oldaláról, a célból indul ki, amit a kiinduló adatokkal próbál igazolni Jellemző problématípusok: 1.konfiguráló/objektumtervező: 2.monitorozó/őrző: 3.tevékenységtervező/ütemező:

48 Hibrid keretalapú technikák
Az egyszerű esetek kivételével minden típusra alkalmazható Nagyobb méretű rendszerek esetén specifikus eszközök ajánlottak

49 Problématípusok és alaptechnikák
Könnyebb Jól definiált PROBLÉMA-TÍPUSOK Procedurális és Induktív eszközök Diagnosztizáló Célvezérelt szabályalapú Monitorozó/őrző Adatvezérelt Hibrid eszközök Konfiguráló és objektumtervező (Keret-struktúrák és Szabályok) Rosszul Nehezebb Tevékenység-tervező vagy ütemező Kisméretű, egyszerű Középméretű Nagy, bonyolult A FELADAT MÉRETE ÉS BONYOLULTSÁGA Hagyományos nyelvek és CASE eszközök

50 Köszönöm a figyelmet! Sántáné-Tóth Edit: Tudásalapú technológia, szakértő rendszerek Németh Nóra és Horváth Milán hasonló munkája