Szövegfeldolgozás II. INFOÉRA perc kell még hozzá

Az előadások a következő témára: "Szövegfeldolgozás II. INFOÉRA perc kell még hozzá"— Előadás másolata:

1 Szövegfeldolgozás II. INFOÉRA 2006 2006.11.18 30 perc kell még hozzá
Juhász István-Zsakó László: Informatikai képzések a ELTE-n

2 Szövegfeldolgozási alapfeladatok
INFOÉRA 2006 Szövegfeldolgozási alapfeladatok Tömörítés: egy szöveget vagy szövegfájlt alakítsunk át úgy, hogy kevesebb helyet foglaljon (valamint alakítsuk vissza)! Keresés: egy szövegben vagy szövegfájlban keressünk egy szöveget! Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 2

3 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Általános feladat: egy szöveget alakítsunk át olyan ábrázolásúra, hogy kevesebb helyet foglaljon! A tömörített szövegnek visszaalakíthatónak kell lenni! Módszerek: karakterek kódolása karaktersorozatok kódolása Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 3

4 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Tömörítés TAB-karakterekkel TAB karakter jelentése: az aktuális pozíciótól a következő tabulációs-pozícióig szóközöket kell írni! Tabulációs pozíció (balra igazított): fix távolságra egymástól; beállítható pozíciókban. Tömörítés: szóközök helyére TAB. Kicsomagolás: TAB helyére szóközök. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 4

5 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Tömörítés TAB-karakterekkel A bemenő elemek csoportosítása: nem szóköz karakter; szóközök TAB-pozícióig; szóközök nem szóközig. A kimenő elemek csoportosítása: TAB-karakter; Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 5

6 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Tömörítés TAB-karakterekkel Csoport: fajta – az eset sorszáma, kar – a beolvasott karakter, db – a szóközök száma, k – az előreolvasott karakter, oszlop – aktuális pozíció. Eljárás Tömörítés: Nyitás(f); Nyit(g) Ciklus amíg nem FileVége?(f) Csoportolvasás(f,fajta,kar,db) Csoportírás(g,fajta,kar,db) Ciklus vége Ír(g,k); Zár(f); Zár(g) Eljárás vége. Eljárás Nyitás(f): Nyit(f); Olvas(f,k); oszlop:= Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 6

7 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Tömörítés TAB-karakterekkel Eljárás Csoportolvasás(f,fajta,kar,db): kar:=k Ha k' ' akkor Betűolvasás(f,fajta,kar) különben Szóközolvasás(f,fajta,kar,db) Eljárás vége. Eljárás Betűolvasás(f,fajta,kar): fajta:=1; Olvas(f,k) Ha kar=Sorvég akkor oszlop:= különben oszlop:=oszlop+1 Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 7

8 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Tömörítés TAB-karakterekkel Eljárás Szóközolvasás(f,fajta,kar,db): db:=0 Ciklus amíg k=' ' és nem TAB-pozíció(oszlop) db:=db+1; Olvas(f,k) oszlop:=oszlop+1 Ciklus vége Ha TAB-pozíció(oszlop) akkor fajta:= különben fajta:=3 Elágazás vége Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 8

9 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Tömörítés TAB-karakterekkel Eljárás Csoportírás(g,fajta,kar,db): Ha fajta=1 akkor Ír(g,kar) különben ha fajta=2 akkor Ír(g,TAB) különben Ciklus i=1-től db-ig Ír(g,' ') Ciklus vége Elágazás vége Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 9

10 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés TAB-ok kicsomagolása A bemenő elemek csoportosítása: TAB karakter; egyéb karakter. A kimenő elemek csoportosítása: szóközök TAB-pozícióig; Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 10

11 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés TAB-ok kicsomagolása Eljárás TABtalanítás: Nyit(f); Nyitás(g) Ciklus amíg nem FileVége?(f) Olvas(f,kar) Csoportírás(g,kar) Ciklus vége Zár(f); Zár(g) Eljárás vége. Eljárás Nyitás(g): Nyit(g); oszlop:=1 Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 11

12 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés TAB-ok kicsomagolása Eljárás Csoportírás(g,kar): Ha kar=TAB akkor Szóközökírása(g) különben Betűírás(g,kar) Eljárás vége. Eljárás Szóközökírása(g): Ciklus Ír(g,' '); oszlop:=oszlop+1 amíg nem TAB-pozíció(oszlop) Ciklus vége Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 12

13 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés TAB-ok kicsomagolása Eljárás Betűírás(g,kar): Ír(g,kar) Ha kar=Sorvég akkor oszlop:= különben oszlop:=oszlop+1 Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 13

14 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Tömörítés futamhossz kódolással Futam jelentése: azonos karakterből álló karaktersorozat. Futam vége: előreolvasás. A tömörítés elve: a legalább 4 hosszú futamokról tároljuk a bennük szereplő karaktert, valamint a karakterek darabszámát. Kicsomagoláshoz tudnunk kell, hogy kódolt értékről van szó, azaz kell egy speciális karakter (pl. Escape). Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 14

15 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Tömörítés futamhossz kódolással Futam: kar – a futam karaktere, db – a karakterek száma. Eljárás Tömörítés: Nyitás(f); Nyit(g) Ciklus amíg nem FileVége?(f) Futamolvasás(f,kar,db) Futamírás(g,kar,db) Ciklus vége Ír(g,k); Zár(f); Zár(g) Eljárás vége. Eljárás Nyitás(f): Nyit(f); Olvas(f,k) Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 15

16 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Tömörítés futamhossz kódolással Eljárás Futamolvasás(f,kar,db): kar:=k; db:=1 Olvas(f,k) Ciklus amíg nem FileVége?(f) és k=kar és db< db:=db+1; Olvas(f,k) Ciklus vége Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 16

17 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Tömörítés futamhossz kódolással Eljárás Futamírás(g,kar,db): Ha db<4 akkor Ciklus i=1-től db-ig Ír(g,kar) Ciklus vége különben Ír(g,Esc+Karakter(db)+kar) Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 17

18 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Futamhossz kód kicsomagolása Eljárás Kifejtés: Nyit(f,g) Ciklus amíg nem FileVége?(f) Elemolvasás(f,db,kar) Csoportírás(g,db,kar) Ciklus vége Zár(f,g) Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 18

19 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Futamhossz kód kicsomagolása Eljárás Elemolvasás(f,db,kar): Olvas(f,kar) Ha kar=Esc akkor Olvas(f,kar); db:=Egész(kar); Olvas(f,kar) különben db:=1 Eljárás vége. Eljárás Csoportírás(g,db,kar) Ciklus i=1-től db-ig Ír(g,kar) Ciklus vége Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 19

20 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Tömörítés szótárral Szótár szerepe: a gyakori szavakat egy szótárban tároljuk, majd minden helyen a szótárra hivatkozunk. Kicsomagoláshoz tudnunk kell, hogy szótári hivatkozásról van szó, azaz kell egy speciális karakter (pl. Escape). A szótárban csak 256 szó lehet, azaz a szótárbeli sorszámot egyetlen karakterrel adhatjuk meg. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 20

21 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Tömörítés szótárral Eljárás Tömörítés: Nyit(f); Nyit(g) Ciklus amíg nem FileVége?(f) Szóolvasás(f,szó,elv) Keresés(szó,Szótár,van,sorszám) Ha van akkor Ír(g,Esc+Karakter(sorszám)+elv) különben Ír(g,szó+elv) Ciklus vége Zár(f); Zár(g) Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 21

22 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Tömörítés szótárral Eljárás Szóolvasás(f,szó,k): szó:=’’; k:=’’ Ciklus amíg k’ ’ és kElvJel szó:=szó+k; Olvas(f,k) Ciklus vége Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 22

23 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Szótáros kód kicsomagolása Eljárás Kifejtés: Nyit(f,g) Ciklus amíg nem FileVége?(f) Olvas(f,kar) Ha karEsc akkor Ír(g,kar) különben Olvas(f,kar) Ír(g,Szótár(egész(kar))) Ciklus vége Zár(f,g) Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 23

24 Szövegfeldolgozás: tömörítés
INFOÉRA 2006 Szövegfeldolgozás: tömörítés Huffmann kódolás Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 24

25 Szövegfeldolgozás: keresés
INFOÉRA 2006 Szövegfeldolgozás: keresés Általános feladat: egy szövegben vagy szövegfájlban keressünk egy szöveget! Elemi módszer: A keresett szöveg minden karakterét hasonlítsuk a hosszú szöveg elejétől a megfelelő számú karakterrel! Ha nem egyezik, akkor a hosszú szövegben 1 karakterrel lépjünk tovább és újra hasonlítsunk! Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 25

26 Szövegfeldolgozás: keresés
INFOÉRA 2006 Szövegfeldolgozás: keresés Elemi módszer Eljárás Keresés(s,minta,siker,i): siker:=Hamis; i:=1; h:=Hossz(s)-Hossz(minta)+1 Ciklus amíg ih és nem siker j:=1 Ciklus amíg jHossz(minta) és minta(j)=s(i+j-1) j:+1 Ciklus vége siker:=(j>Hossz(minta)) Ha nem siker akkor i:+1 Ciklus vége Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 26

27 Szövegfeldolgozás: keresés
INFOÉRA 2006 Szövegfeldolgozás: keresés Elemi módszer egyszerűbben (lásd mátrixban keresés) Eljárás Keresés(s,minta,siker,i): siker:=Hamis; i:=0; j:=1 h:=Hossz(s)-Hossz(minta) Ciklus amíg ih és jHossz(minta) Ha minta(j)=s(i+j) akkor j: különben i:+1; j:=1 Ciklus vége siker:=(ih) Eljárás vége. 1-1 2-2 3-3 2-1 3-2 4-3 3-1 4-2 5-3 4-1 5-2 6-3 Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 27

28 Szövegfeldolgozás: keresés
INFOÉRA 2006 Szövegfeldolgozás: keresés Knuth-Morris-Pratt módszer – próbáljunk a szöveg karakterein előre haladni! s: abababac  minta: ababac Eltolás 2-vel jobbra! Ha az utolsó helyen eltérés van, hogyan lehetne megúszni, hogy a korábbi karaktereket ne kelljen még egyszer hasonlítani? Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 28

29 Szövegfeldolgozás: keresés
INFOÉRA 2006 Szövegfeldolgozás: keresés s: abababac  minta: ababac Olyan eltolás kell, hogy az eddig illeszkedő betűk továbbra is illeszkedjenek! Az a-betű miatt 2 vagy 4 vagy 5, a b betű miatt 2 vagy 4 lehetne az eltolás. Azaz az adott rész elejét (prefix) olyan helyre tolhatjuk, ahol éppen megegyezik az adott rész végével (szuffix), s ebből a legnagyobbat kell venni. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 29

30 Szövegfeldolgozás: keresés
INFOÉRA 2006 Szövegfeldolgozás: keresés köv(j) – mi a következő jó mintabeli hasonlítandó, ha a minta j+1-edik tagja nem illeszkedett. Azaz legyen köv(j) a leghosszabb mintabeli kezdőszelet (prefix) és vele egyező minta(1..j) végszelete (szuffix) távolsága! s: abudabudabusz  minta: abudabusz Ha nincs ilyen kezdőszelet, akkor köv(j)=1. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 30

31 Szövegfeldolgozás: keresés
INFOÉRA 2006 Szövegfeldolgozás: keresés Következőre lépő vektor készítése Eltolás(minta,köv): i:=1; j:=0; köv[0]:=0 Ciklus amíg i≤hossz(minta) Ha minta(i)=minta(j) vagy j= akkor i:=i+1; j:=j+1; köv[i]:=j különben j:=köv[j] Ciklus vége Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 31

32 Szövegfeldolgozás: keresés
INFOÉRA 2006 Szövegfeldolgozás: keresés Knuth-Morris-Pratt Keresés(s,minta,siker,hol): i:=1; j:=1; m:=hossz(minta) Ciklus amíg i≤hossz(s) és j≤m Ha minta(j)=s(i)vagy j= akkor i:=i+1; j:=j különben j:=köv(j) Ciklus vége siker:=(j>m) Ha siker akkor hol:=i-m Eljárás vége. Zsakó László: Szövegfeldolgozás :23 Juhász István-Zsakó László: Informatikai képzések a ELTE-n 32

33 Szövegfeldolgozás előadás vége INFOÉRA 2006 2006.11.18
Juhász István-Zsakó László: Informatikai képzések a ELTE-n