Korpuszok, szegmentálás és szófaji elemzés

Az előadások a következő témára: "Korpuszok, szegmentálás és szófaji elemzés"— Előadás másolata:

1 Korpuszok, szegmentálás és szófaji elemzés
2010. szept. 14.

2 Korpusz Korpusz: Nagy méretű szöveges adatbázis
Annotáció: A szövegek szintaktikai és/vagy szemantikai információval történő kézi jelölése (és kézi ellenőrzése) Például: egy SPAM/HAM a szöveg minden szava mellé jegyezzük fel annak szófaját

3 Annotáció formái Egy fájlban a nyers szöveg és a jelölés (leggyakrabban XML) Megettem egy <NE type=„étel”>Győri kekszet</NE> tegnap … Standalone jelölés: külön fájlba kerül (hivatkozás az eredeti fájlbeli pozícióra) type begin end étel Melyiknek mi az előnye?

4 Korpusz Jellemzők: Természetes környezetben előforduló
Probléma-specifikus Reprezentatív Mintavételezésre alkalmas Gépileg feldolgozható Tehát korpusz a teljesen nyers szövegből álló adatbázis is…

5 Korpusz célja 1. Referencia halmaz 2. Tanuló halmaz
Tesztelés Összemérés 2. Tanuló halmaz lásd jövő héten „gépi tanulás”…

6 Korpusz típusok Jelölés szintje szerint: Egynyelvű korpuszok
dokumentum minden szó bizonyos információk Egynyelvű korpuszok Párhuzamos korpusz Beszédkorpusz

7 Néhány külföldi korpusz
Szöveg korpuszok British National Corpus (BNC), Wall Street Journal (WSJ), Reuters ~ 100 millió szövegszó, dokumentumok, bekezdések jelöltek + Gigaword ~ 2 milliárd szó Nyelvtani korpusz Penn TreeBank ~ 5 millió szó, szófajilag, teljes szintaxissal jelölt Feladatorientált korpuszok CoNLL, TREC, ACE, SEMEVAL ~ néhány százezer szó Párhuzamos korpuszok Hansard (angol-francia), UN (angol-spanyol-francia) mondatszinten párhuzamosított

8 Magyar korpuszok Szöveg korpusz: Szószablya ~600 millió szó
Szeged TreeBank (TEI4) 1,2 millió szó, szófajilag és szintaktikailag jelölt részei: Szépirodalom, Fogalmazások, Újságcikkek, Számítástechnikai szövegek, Jogi szövegek Tulajdonnév korpusz: SzegedNE korpusz Párhuzamos korpuszok: Multi-East (angol-KKEu), Hunglish, SzegedParalell

9 Mondat szegmentálás Mondat vége jelek: . ! ? És ezek? „” - ; …
És a szövegtagolások? <h1>Vérfürdő Sopronban</h1>Sopronban… Jóska (kiabálva): Ne tedd! Pista: ÁÁÁÁÁÁÁ

10 Mondat szegmentálás A „mondatvége jelek” állhatnak más szerepben is:
Kovács és Társa kft. aláírta tegnap… A „mondatvége jel és utána nagy betű” ~97% Tagmondatok azonosítása… Aznap, amikor megláttam, őt, akit már évekkel azelőtt egyszer láttam, éppen azon gondolkodtam, hogy mi volt a kérdés akkor…

11 Például A Mersey-parti Vörösök a hazai vezetés után jobban odatették magukat, aminek eredményeként először Craig Bellamy a 38. percben - először még csak - az oldalhálóba fejelt, a játékrész lefújása előtt nem sokkal viszont már a gólvonal mögé tette a labdát: Steven Gerrard álompasszát a walesi csatár csukafejessel küldte kapura, de Victor Valdes kapus már csak bentről tudta kiemelte a labdát (Dirk Kuyt a biztonság kedvéért azért még a hálóba bombázott).

12 Szó szegmentálás Szó határok azonosítása mindig van space?
egy szó-e? Párizs-Dakar rally kínai: Probléma-specifikus: UDP-N-acetylglucosamine-2-epimerase\/N-acetylmann Írásjelek eltávolítása … egy Győrit. -> Győrit … Társa kft. -> kft.

13 Például neeeeeeeeee mar sracok, hol a link??? leakarom tolteniiiiii :-/»

14 Nyílt tokenosztályok Nyílt osztály: nem sorolható fel
2007. február 22. kétezer-ötszáz kilóméter Felszíni jegyekkel könnyen kezelhető: telefonszám, dátum, cím, számok, mennyiségek stb. Szemantika szükséges: Tulajdonnevek (OTP Bank ZRt.)

15 Morfológia Morféma (wikipedia): „A morféma a nyelv legkisebb olyan egysége, amely önálló jelentést vagy strukturális szerepet hordoz; a szó legkisebb értelmezhető része.” Az agglutináló (ragozó) jelleg toldalékok halmozását is lehetővé teszi (a finnugor nyelvekhez, perzsa nyelvhez, baszk nyelvhez, az ókori sumérhez és a török nyelvhez hasonlóan). Szintén jellemző a többféle alakváltozat mind a szótövek, mind a toldalékok terén, a gazdag esetrendszer és az irányhármasság (honnan? hol? hová?) a helyhatározók használatában.

16 Morfológiai elemzés Szótő (lemma) meghatározás gyermekeimmel, nevess
Szófaj azonosítása Ragok, képzők… egyes/többes szám, személy, múlt idő stb MSD kódolás

17 Morfológiai elemzés Ez az elemzés nem egyértelmű!
fő - ige vagy főnév vagy melléknév? nevet - név főnév tárgyesetben vagy ige? játékos - melléknév, főnév vagy játék|os bolt? eszem – az én agyam vagy eszek? ismeretlen szavakon különösen izgalmas: Torgyán egy név vagy Torgy faluban?

18 Szófaji egyértelműsítés
A morfológiai elemző előállítja az egyes szavak összes lehetséges elemzését. Ezután az egész mondatot figyelembe véve kiválasztjuk a lehetséges elemzések közül a megfelelőt. Part of Speech Tagger (POS) – szófaji egyérteműsítő Példa XML fájl

19 Szabály alapú rendszerek
Szakértői szabályrendszer (manuális) HA … AKKOR … állapotautomata Szegmentálás, morfológiai elemzés általában szabály alapú

20 Magyar morfológiai elemző
morphdb.hu nyelvi erőforrás

21 Ismeretlen szavak Szótárban nincsenek felsorolva guessing
összetett szavak vámtarifaszám, luxusmárka, műszerfalat tulajdonnevek Torgyán, Szeged McDonald’s, Adidas

22 TBL POS tagger Transformation Based Learning (TBL)
A POS taggelés problémájára első sikeres megoldást adó algoritmus (~95%) Adott egy transzformációs szabályhalmaz Tanítás: Minden szabályra megnézzük milyen javítást hoz egy korpuszon Elért javítás mértéke szerint sorrendbe rakjuk a szabályokat Predikció: A mondat alapértelmezett jelölése Szabályokat sorrendben végrehajtjuk

23 TBL POS tagger Szabályok például:
Ha kettővel korábbi szó javasolt kódja X, a rákövetkező szó ‘is’ és a lehetséges kódok listájában szerepel Y akkor írjuk át az aktuális kódot Y-ra. A szabály jóságának vizsgálatakor figyeljük, hogy hány helyen javít és hány helyen ront!

24 AT várV egyM erődítményN.
AT várN egyM erődítményN. AT várN egyT erődítményN.

25 Valószínűségi POS taggerek

26 POS tagger kiértékelés
Az esetek hány százalékában találta el jól. Kódolás milyen mélységű? 1. Gold standard morfológiai kódok Mennyire jól tud választani? 2. Nyers szöveg Gépi morfológiai elemzés, nem 100%-os. Életszerűbb probléma.

27 Próbáld ki!