Rendszermodellezés II.

Az előadások a következő témára: "Rendszermodellezés II."— Előadás másolata:

1 Rendszermodellezés II.

2 Az IR leképezési szintjei
Leképezési szintek Az adatmodell különböző absztrakciós szintjei típus jellemző, funkció Logikai szint Statikus modell Elemek, jellemzők, kapcsolatok Módszer Dinamikus modell Funkcionális elemek Fizikai szint Elhelyezési modell A logikai modell elemeinek az adathordozók tárolási lehetőségeihez illesztett szervezési és elérési módja Forma, eszköz Tárolási modell Az adathordozókon való elhelyezkedés formáját, méretét és helyét meghatározó szint

3 Adatok, adatszerkezetek
Adatfeldolgozási munka: adatgyűjtés és ellenőrzés, adatok tárolása, adatok visszanyerése. Adatszervezés fogalma: azok a tevékenységek, amelyek meghatározzák az adatok tartalmát és struktúráját és biztosítják azok megőrzését (tárolás), visszanyerését.

4 Adatszervezés Az elektronikus számítógépek adatszervezési felhasználásának kezdetén a logikai és fizikai adatszervezés nem vált külön. A korszerű adatbázis koncepció megjelenésével a logikai és fizikai adatbázis szervezés különvált: a tárolás mely a fizikai adatszervezés része, különvált a logikai szinten végrehajtható adatkeresési eljárásoktól.

5 Adatszervezés Alapja:
az adatelemek logikai egyesítésének módja és sorrendisége

6 Elemi kapcsolat típusok
Az adatok kapcsolatainak lehetséges alapformái az adatmodellben.

7 Adatmodell – Szg. Az adatmodellezés során grafikusan felvázolt adatokat és kapcsolataikat a számítógép számára a következő formában építhetjük fel: A legkisebb egység a bit, amely egy kettes számrendszerben kifejezett számjegyet jelent. A második egység a byte, amely rendszerint 8 bitből és egy ellenőrző bitből áll. A következő egység a mező, mely egy önálló adatot jellemez.

8 Adatmodell – Szg. Több mező alkot egy szegmenst, mely lehet egyszeri vagy ismétlődő. A szegmens lényegében bizonyos összetartozó mezők legmagasabb logikai szintű együttese. Több mező vagy szegmens alkot egy rekordot, melyet másképp adatmondatnak is neveznek. Az adatok legmagasabb szervezeti formája a file, másképp dossziénak is hívják.

9 Az adategységek Logikai egységek:
bit  byte  mező  szegmens  rekord  blokk  file  adatbázis Fizikai tárolási egységek (Bit, byte), blokk, állomány: adattárolás során megjelenő elemek: operációs rendszer ill, a hardverelemek által kezelt adattárolási egységek.

10 Az adatmodell leképezése
Logikai komponensek egyedtípus egyedelőfordulás terjedelem adatmodell tulajdonságtípus tulajdonság előfordulás azonosító halmazkeresési jellemző kapcsoló tulajdonságtíp. Fizikai komponensek állomány, file rekord rekordok száma adatbázis mező mező értéke, adat értelmezési tartomány elsődleges kulcs másodlagos kulcs pointer, indextábla elem

11 Az adategységek viszonya
Legkisebb gépi elem: bit Legkisebb címezhető elem: byte szervezésű rendszereknél: byte szószervezésű gépeknél: szó adatmező: az adatszervezés elemi egysége, tartalma az érték, az elemi adat szegmens: adatok közötti logikai összefüggés: csoport (pl. cím: ir.szám, helység, utca név, házszám stb.) hossza: az őt alkotó mezők hosszának összege

12 Az adategységek viszonya
adatrekord: logikailag összetartózó szegmensek (termékszám, megnevezés, egységár stb.) hossza: a szegmensek hosszának byte-ban kifejezett összege file: egységet alkotó rekordok mérete: a rekordok száma

13 Adat – és állományszervezés
Feladatok: szervezési egységek: adatelemek, adategységek és struktúrák meghatározása társzervezési mód szervezési mód tárolóhoz rendelése hozzáférési mód ahogyan a megfelelő szervezési egységekben tárolt tartalom visszanyerhető

14 Fizikai adategységek Fizikai egységek: belső ábrázolás szempontjából:
típus (integer, real stb.), hossz (fix, változó) I/O elérés szempontjából: blokk operációs rendszer ill, a hardverelemek által kezelt adattárolási egységek Blokk: egyetlen I/O művelettel mozgatunk a periféria és a központi egység között.

15 Kapcsolat a logikai és a blokk között
1 fizikai blokkban több logikai rekord: blokk blokkolási faktor: megmutatja, hogy a blokk hány logikai rekordot tartalmaz blokk hossza: az adathordozó fizikai kapacitása korlátozza

16 Kapcsolat a logikai és a blokk között
logikai rekord hosszabb: logikai rekord részekre bontása 1 logikai rekord több fizikai egységben helyezkedik el

17 Kapcsolat a logikai és a blokk között
Lehetőségek: 1 logikai rekord = 1 fizikai rekord (blokkolatlan állomány) több logikai rekord = 1 fizikai rekord (blokkolt állomány) 1 logikai rekord = több fizikai rekord (osztott rekordú állomány)

18 Állomány Az adatok legmagasabb szervezeti formája a file.
Egységet alkotó rekordok. Mérete: a rekordok száma.

19 Állományok Kategóriák: mit tartalmaz milyen céllal hozták létre
hogyan helyezik el a rekordokat a háttértárolón (fájl-szervezési mód)

20 Állományok Tartalom: programállományok: SW parancsokat, utasításokat tartalmaz adatállományokat

21 Állományok Funkcionalitás: törzsállomány
tranzakciós avagy átmeneti állományok lista avagy report file-ok történet file-ok avagy archív állományok backup file-ok avagy biztonsági másolatok

22 Állománytípusok Törzsállomány:
hosszabb időn keresztül tárolunk, használunk egyedre vonatkozó, ált. állandó attribútumok „azonnal” elérhetők

23 Állománytípusok Tranzakciós avagy átmeneti állományok:
feldolgozáskor keletkeznek ált. egy másik feldolgozás inputjaként szolgálnak megőrzésük átmeneti

24 Állománytípusok Lista avagy report file-ok:
nyomtatáshoz szükséges adatok fájlba viszik ki

25 A műveletvégzés módja kötegelt avagy batch feldolgozás: a tranzakciókat összegyűjtjük és úgy dolgozzuk fel tranzakcióorientált feldolgozás: tranzakciókat a változás pillanatában ill. azt közvetlenül dolgozza fel és közvetlenül előállítja az eredményt off line: a feldolgozás nem a tranzakció helyén on line: a felhasználói adatberendezés közvetlen kapcsolatban van a feldolgozó szgéppel valós idejű (real time) feldolgozás

26 Hogyan helyezzük el az adatokat a háttértárolókon?

27 File-szerkezetek kialakítása
felhasználói igények tárolási és elérési lehetőségek file szerkezet

28 A fájlszerkezetet meghatározó tényezők
az adatok feldolgozásával szemben támasztott igények hardver lehetőségek, elsősorban perifériális egységek képességei az adatokat kezelő, a hardver lehetőségeket kihasználó szoftver: IOCS, DBMS

29 A file szerkezetet meghatározó tényezők
a feldolgozási idő a terület növekedésével csökken hosszabb karbantartási idő - gyorsabb elérés

30 Tárolás és elérés szervezés
állományszervezés adathordozóra elérési módszerek adathordozóról

31 Tárolás és elérés szervezés
Fájlszervezési mód: az a rend, ahogyan az adatrekordokat s fizikai tárolóhelyeken elhelyezzük Fájl elérési mód (keresés) az a lehetőség, ahogyan a tárolt adatrekordokat visszanyerhetjük Kapcsolatteremtés az állományok rekordjainak egymáshoz rendelési módja

32 Szg-en tárolt rendszer karbantartása
meglevő elemek módosítása rekordok tartalmának módosítása meglevő elemek törlése állományokban levő rekord új elemek felvitele új rekordok állományokhoz illesztése

33 Szg-en tárolt rendszer karbantartása
Rekordok tartalmának módosítása az op. memóriába beírt rekord egyes mezőit felülírjuk, majd a háttértárolóra visszaírjuk Állományokban levő rekord törlése fizikai törlés logikai inaktiválás

34 Szg-en tárolt rendszer karbantartása
Új rekord állományhoz illesztése első szabad helyre fizikai sorrend rendszerint el fog térni a logikaitól az új rekordot a rendszer logikailag a megfelelő helyre teszi logikai sorrend azonos a fizikai sorrenddel megvalósítás technikailag többféleképpen az új rekord utáni rekordokata tárolón el kell csúsztatni (átírni új területre!)

35 Címzési módszerek Közvetlen elérésű adattárolók Két címzési forma:
egy meghatározott hely pontos megjelölése a tároló címe – fizikai cím logikai azonosító leképezése fizikai címre (milyen a kapcsolat a logikai rekord azonosítója (logikai azonosító) és az elhelyezés fizikai címe között) Két címzési forma: direkt címzés indirekt címzés

36 Címzési módszerek Direkt címzés
logikai azonosítóból közvetlenül  fizikai cím kölcsönös és egyértelmű megfeleltetés a logikai rekord kulcsa (logikai azonosító) és az elhelyezés fizikai címe között

37 Címzési módszerek Indirekt címzés lényege
a rendezési fogalomból különböző képletek segítségével tároló címeket gyártanak és a rekordokat ezeken a címeken helyezik el. Ennek a tárolási módszernek az a problémája, hogy a rendezési elv és a tárolóhelyek között nem lehet olyan képletet gyártani, mely biztosítja, hogy valamennyi tárolóhely betöltésre kerüljön és csak egy rekord által, hanem előfordul az, hogy más és más rendezési elvnek ugyanaz a tároló cím felel meg a képletek alapján.

38 Címzési módszerek Indirekt címzés
Ebben az esetben úgy járnak el, hogy a már betöltött tárolóhelyen szabadon hagyott rekeszekbe megjelölik azt a helyet, ahová az úgynevezett túlcsordulási területen a kérdéses rekordot elhelyezik. ily módon a fizikai cím megkeresése után a kereső programnak lehetősége van arra, hogy a címen tájékoztatást kapjon a rekord túlcsordulási területen történő elhelyezkedésére.

39 Címzési módszerek Indirekt címzés
a számítási algoritmus két logikai rekordot ugyanarra a fizikai helyre (fizikai cím) logikai azonosító  többszörös leképezés, vagy a rekordokat un. túlcsordulási területre helyezzük (Hashing algoritmus)  fizikai cím

40 Adatok visszanyerése

41 Keresési módszerek Adatvisszanyerés: Keresési módszerek:
a rekord fizikai címe ismert a fizikai cím nem ismert Keresési módszerek: címmeghatározés nélküli keresés a rekord fizikai címe szerinti keresés keresés pointerláncokon keresztül keresés indextáblákkal

42 Keresés A logikai adatszervezés:
a keresési eljárásoknál a rekordok virtuális tehát logikai elhelyezkedése alapján fogjuk végezni a keresést. a rekord tároló helye: ezt úgy kell érteni, hogy melyik az a relatív hely, amelyet a rekord a logikai file-ban elfoglal. A fentiekből következik, hogyha a tárolás alatt azt értjük, hogy hogyan építjük fel a logikai file szerkezetet.

43 Keresési mechanizmusok egy rekord megtalálására
Az állománynak a keresési algoritmus szerint kell rendezve lenni. Keresési mechanizmusok: Lineáris keresés m-utas keresés bináris keresés Peterson féle keresési algoritmus

44 Keresési mechanizmusok egy rekord megtalálására
Lineáris keresés a rekordokat egyenként beolvasva hasonlítjuk a keresési argumentummal m-utas keresés az állományt azonos számú részekre bontjuk, és mindig a blokk első rekordjához hasonlítjuk

45 Keresési mechanizmusok egy rekord megtalálására
bináris keresés a keresés kezdése az állomány közepénél Peterson féle keresési algoritmus ismerni kell a kulcsok valószínűség-eloszlását az állomány két olyan részre osztása, amelyekben a kérdéses rekord előfordulási valószínűsége azonos

46 Fájl-szerkezetet Társzervezvezési mód Kapcsolatteremtés
Fájl-szervezési mód Fájl elérési mód (keresés) Kapcsolatteremtés az állományok rekordjainak egymáshoz rendelési módja

47 Fájlszervezési mód Fájlszervezési mód:
az a rend, ahogyan az adatrekordokat a fizikai tárolóhelyeken elhelyezzük Fájlszervezési módok: soros szervezés szekvenciális sorrendjében direkt szervezés: determinisztikus kapcsolat: a logikai azonosító és az fizikai cím között random kapcsolat:: véletlen kapcsolat Stb.

48 Fájl elérési mód (keresés)
az a lehetőség, ahogyan a tárolt adatrekordokat visszanyerhetjük. Elérést meghatározó tényezők: elsődleges: a feldolgozási igény, másodlagos: tárolási lehetőség, választott szervezési mód.

49 Állománylétrehozási módszerek
Állománystruktúrák a rekordok egymáshoz való helyzete alapján szekvenciális fájlszerkezet: hierarchikus fájlszerkezet hálós fájlszerkezet asszociatív struktúrák

50 Állománylétrehozási módszerek
szekvenciális fájlszerkezet: első és az utolsó rekord kivételével mindegyik rekordnak van egy megelőző és egy követő rekordja fizikai, logikai szekvenciális fájlszervezési mód

51 Állománylétrehozási módszerek
hierarchikus fájlszerkezet rekordoknak van egy megelőzője, de több követje lehet fastruktúrák, ahol a rekordok kapcsolata, azok sorrendisége belső pointerekkel vagy indextáblákkal oldható meg hálós fájlszerkezet minden rekordnak több megelőzője és több követője is lehet a rekordok kapcsolata, azok sorrendisége belső pointerekkel vagy indextáblákkal oldható meg

52 Állománylétrehozási módszerek
asszociatív struktúrák a rekordok egymást valamilyen logikai sorrendben követik egymást indexszekvenciális állományok, B+ fák

53 A file-ok közötti kapcsolatok megteremtése

54 A file-ok közötti kapcsolatok megteremtése
rekordpárosítás azonos rendezettségű állományok között pointerek beépítése pointerlánc: egyirányú, kétirányú gyűrűs szerkezetek pointer tömbök alkalmazása indextáblák létrehozása

55 Állományon belüli pointerek alkalmazása
A láncolt listát a logikai kapcsolat ábrázolására használjuk

56 1:N fokú kapcsolat Láncszerkezet kialakítása pointerrel
Listafej Azonosító Pointer Azonosító Pointer

57 Gyűrűs szerkezet egyirányú láncolással

58 Gyűrűs szerkezet egyirányú láncolással listafejre (gyökérre mutatóan)

59 Gyűrűs szerkezet kétirányú láncolással

60 Állományon kívüli pointer hivatkozás
Láncolt lista a fizikai kapcsolat ábrázolására

61 Többlistás lánc gyors egyedi rekord keresés
gyors szekvenciális feldolgozási igényesetén javasolt

62 Cellás láncok 1-100

63 Állományszervezési mód megválasztása - működési hatékonyság
tárolóterület nagysága logikai tárigény nem azonos a fizikaival időtényező: létrehozási, lekérdezési, karbantartási, feldolgozási idők hardver-szoftver támogatás: tárolók típusa, IOCS, adatkezelési lehetőségek

64 Állományszervezési mód megválasztása -felhasználói igények
azonnali feldolgozások érvényességi kérdések eseményt követő feldolgozás, időbeliség feldolgozással szembeni elvárások szekvenciális közvetlen elérések gyakorisága elsődleges, másodlagos kulcs szerinti keresések

65 Állományszervezési mód megválasztása -kiválasztási szempontok
az adatbázis és állományainak jellemzői adattömeg azonosítók felépítése felhasználási paraméterek tranzakcióarány - a feldolgozandó rekordok száma feldolgozott rekordok aránya az összeshez képest karbantartás gyakorisága, mértéke

66 Állományszervezési mód megválasztása -fizikai adatkezelési jellemzők
központi tár mérete, címzési lehetőségek adatcsatorna, pufferelési technika, kapacitás perifériavezérlő képessége, működési módja adathordozók jellemzői: címezhetőség, műveleti sebesség, kapacitás, cserélhetőség

67 2005. október 10.

68 Az adathalmaz Egy meghatározott információ vagy információk egy halmazának előállításához szükséges összes objektum adatokkal történő leírásának összes előfordulását adathalmaznak nevezzük.

69 A fájl háttértárolón tárolt adathalmaz.

70 Fájlok feladata Az adatösszefüggések megjelenítése.
Az adatok tárolása a számítógép által feldolgozható formában. Adattárolás: a számítógép egy külső perifériáján valósul meg.

71 Fájl értelmezése Fájlfogalom: Kezdetben: Fájlok fizikai megvalósulása.
Logikai fájlmodell. Kezdetben: a fájlok feladata elsődlegesen az adatok tárolása volt.

72 Fájl értelmezése Fájlok fizikai megvalósulása:
ahogy a fájl az adathordozón "kinéz„. A fájl fizikai képét a állománynak nevezik. Fájl logikai képe (modellje): ahogy a fizikai megvalósulást a fájlt kezelő program a számítógép memóriájából "látja".

73 Fájl fizikai képe – az állomány
Az állományt az adott háttértár operációs rendszere hozza létre. Ez a fizikai kép a felhasználót és a szervezőt egyáltalán nem, a programozót is csak speciális esetekben szokta érdekelni.

74 Logikai fájlmodell A fájl logikai modelljének megalkotása:
szervező feladata. Logikai fájlmodell függ: az adathalmaz méretétől és tulajdonságaitól, a felhasználás jellemzőitől, valamint annak a perifériának a jellemzőitől, amelynek segítségével a fájl adathordozóra írását megoldja.

75 Fájlok alapfogalmai Fájl: Rekord fogalmának fizikai értelmezése:
Egy adathalmaz külső adathordozón tárolt formája. Rekord fogalmának fizikai értelmezése: Ha adathalmazunk adat n-esekből áll, egy adat n-es adathordozón tárolt formáját rekordnak nevezzük.

76 Fájl fizikai képe – az állomány
Az állományokkal való gépen belüli kommunikáció meggyorsítása érdekében a háttértárak fizikailag a rekordnál nagyobb egységet kezelnek, a blokkot. Egy blokk több rekordból áll. A blokkolási tényező határozza meg ezt a rekordszámot. Ha a blokkolási tényező 1, akkor a blokk és a rekord megegyezik. Egy blokk a számítógép elkülönített memóriájában, a bufferben vár a blokkba tartozó összes rekord feldolgozására.

77 Rekorddefiníció Rekord fogalmának fizikai értelmezése (lásd korábban)
Rekord fogalmának logikai értelmezése: rekord egy adatobjektumról megállapított összes adatból álló összetett adat, azaz egy egyedelőfordulás összes egyedtulajdonságának leírása a rekord.

78 Rekordmező Egy egyedtulajdonság-előfordulásnak a rekordon belüli leírása a (rekord)mező. Kiemelt fontosságú rekordmezők: A kulcsmező (vagy röviden kulcs) egy adott keresési szempont esetén felhasznált mező. Egy rekordkereséseben több mező is szerepelhet kulcsként. több mező esetén mindegyik mezőt kulcsnak nevezzük, de a rekordok sorrendjét meghatározó szerepük/hierarchiájuk alapján beszélünk elsődleges, másodlagos stb. kulcsról.

79 Fájlokkal kapcsolatos fogalmak
Rekord: egy adatobjektum képe a fájlban. (Rekord)mező: egy adatelem képe a fájlban. Kulcsmező: egy adott szempontú keresés során használt mező. Kulcs: kulcsmezők összessége.

80 Fájldeklaráció A fájl leírása létrehozás céljából, ahol megadandó:
a fájl mezői; a mezők típusa; a mezők mérete; a fájl rekordtípusa; a fájl kulcsmezői.

81 Fájlok osztályozása Az osztályozás történhet:
felhasználás szerint (lásd bővebben korábbi slide-okon); a rekordok felépítése szerint; a rekordok elhelyezése szerint; a rekordok hozzáférési eljárásai szerint.

82 Fájlok osztályozása Felhasználás szerint: törzsfájl; tranzakciófájl;
munkafájl; listafájl; kódtáblázatfájl.

83 Fájlok osztályozása A rekordok felépítése szerint:
állandó rekordhosszúságú fájl, változó rekordhosszúságú fájl.

84 Állandó rekordhosszúságú fájl
minden rekord azonos számú mezőt tartalmaz; egy tulajdonságtípusnak megfelelő mező hossza állandó, azaz azonos számú karaktert tartalmazhat. Általában az állandó rekordhosszúságú fájl egy rekordja nem tartalmaz ismétlődő mezőket vagy ha igen, a mező minden rekordban ugyanannyiszor ismétlődik: például ha egy év havi bevételei egy rekordban szerepelnek. Tipikusan: A törzsfájlok, munkafájlok állandó rekordhosszúságú fájlok.

85 Változó rekordhosszúságú fájl
Vagy rekordonként változó számú ismétlődő mezőket találhatunk, vagy egy vagy több olyan mezőt, amelynek mezőhossza rekordonként változhat. Tipikusan: listafájlok változó rekordhosszúságúak.

86 Fájlok osztályozása A fájlok felépítését meghatározza:
a rekordok elhelyezése és a rekordok hozzáférési eljárásai. A rekordok elhelyezése szerint: rendezetlen fájl a rekordok sorrendjét a fájlba érkezés sorrendje határozza meg. rendezett fájl. egy kulcs értékeinek növekvő vagy csökkenő sorrendje határozza meg az egymás utáni rekordokat.

87 A rekordok hozzáférési eljárásai
A tárolt adatokat általában több, különböző program használja, ezért a rekordokat úgy kell elhelyezni, szervezni a fájlon belül, hogy: mindegyik program hozzáférjen a számára szükséges rekordhoz vagy rekordokhoz. A rekordok elérése: a rekordhozzáférési eljárások biztosítják.

88 Fájlok osztályozása A rekordok hozzáférési eljárásai szerint:
szekvenciális fájl; direkt fájl; indexelt-szekvenciális fájl.