Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Korpuszok, szegmentálás és szófaji elemzés 2010. szept. 14.

Hasonló előadás


Az előadások a következő témára: "Korpuszok, szegmentálás és szófaji elemzés 2010. szept. 14."— Előadás másolata:

1 Korpuszok, szegmentálás és szófaji elemzés szept. 14.

2 Korpusz Korpusz: Nagy méretű szöveges adatbázis Annotáció: A szövegek szintaktikai és/vagy szemantikai információval történő kézi jelölése (és kézi ellenőrzése) Például: egy SPAM/HAM a szöveg minden szava mellé jegyezzük fel annak szófaját

3 Annotáció formái Egy fájlban a nyers szöveg és a jelölés (leggyakrabban XML) Megettem egy Győri kekszet tegnap … Standalone jelölés: külön fájlba kerül (hivatkozás az eredeti fájlbeli pozícióra) typebeginend étel Melyiknek mi az előnye?

4 Korpusz Jellemzők: Természetes környezetben előforduló Probléma-specifikus Reprezentatív Mintavételezésre alkalmas Gépileg feldolgozható Tehát korpusz a teljesen nyers szövegből álló adatbázis is…

5 Korpusz célja 1.Referencia halmaz Tesztelés Összemérés 2.Tanuló halmaz lásd jövő héten „gépi tanulás”…

6 Korpusz típusok Jelölés szintje szerint: –dokumentum –minden szó –bizonyos információk Egynyelvű korpuszok Párhuzamos korpusz Beszédkorpusz

7 Néhány külföldi korpusz Szöveg korpuszok British National Corpus (BNC), Wall Street Journal (WSJ), Reuters ~ 100 millió szövegszó, dokumentumok, bekezdések jelöltek + Gigaword ~ 2 milliárd szó Nyelvtani korpusz Penn TreeBank ~ 5 millió szó, szófajilag, teljes szintaxissal jelölt Feladatorientált korpuszok CoNLL, TREC, ACE, SEMEVAL ~ néhány százezer szó Párhuzamos korpuszok Hansard (angol-francia), UN (angol-spanyol-francia) mondatszinten párhuzamosított

8 Magyar korpuszok Szöveg korpusz: Szószablya ~600 millió szó Szeged TreeBank (TEI4) 1,2 millió szó, szófajilag és szintaktikailag jelölt részei: Szépirodalom, Fogalmazások, Újságcikkek, Számítástechnikai szövegek, Jogi szövegek Tulajdonnév korpusz: SzegedNE korpusz Párhuzamos korpuszok: Multi-East (angol-KKEu), Hunglish, SzegedParalell

9 Mondat szegmentálás Mondat vége jelek:. ! ? És ezek? „” - ; … És a szövegtagolások? Vérfürdő Sopronban Sopronban… Jóska (kiabálva): Ne tedd! Pista: ÁÁÁÁÁÁÁ

10 Mondat szegmentálás A „mondatvége jelek” állhatnak más szerepben is: Kovács és Társa kft. aláírta tegnap… A „mondatvége jel és utána nagy betű” ~97% Tagmondatok azonosítása… Aznap, amikor megláttam, őt, akit már évekkel azelőtt egyszer láttam, éppen azon gondolkodtam, hogy mi volt a kérdés akkor…

11 Például A Mersey-parti Vörösök a hazai vezetés után jobban odatették magukat, aminek eredményeként először Craig Bellamy a 38. percben - először még csak - az oldalhálóba fejelt, a játékrész lefújása előtt nem sokkal viszont már a gólvonal mögé tette a labdát: Steven Gerrard álompasszát a walesi csatár csukafejessel küldte kapura, de Victor Valdes kapus már csak bentről tudta kiemelte a labdát (Dirk Kuyt a biztonság kedvéért azért még a hálóba bombázott).

12 Szó szegmentálás Szó határok azonosítása mindig van space? egy szó-e? Párizs-Dakar rally kínai: Probléma-specifikus: UDP-N-acetylglucosamine-2-epimerase\/N-acetylmann Írásjelek eltávolítása … egy Győrit. -> Győrit … Társa kft. -> kft.

13 Például neeeeeeeeee mar sracok, hol a link??? leakarom tolteniiiiii :-/»

14 Nyílt tokenosztályok Nyílt osztály: nem sorolható fel február 22. kétezer-ötszáz kilóméter Felszíni jegyekkel könnyen kezelhető: telefonszám, dátum, cím, számok, mennyiségek stb. Szemantika szükséges: Tulajdonnevek (OTP Bank ZRt.)

15 Morfológia Morféma (wikipedia): „A morféma a nyelv legkisebb olyan egysége, amely önálló jelentést vagy strukturális szerepet hordoz; a szó legkisebb értelmezhető része.” Az agglutináló (ragozó) jelleg toldalékok halmozását is lehetővé teszi (a finnugor nyelvekhez, perzsa nyelvhez, baszk nyelvhez, az ókori sumérhez és a török nyelvhez hasonlóan). Szintén jellemző a többféle alakváltozat mind a szótövek, mind a toldalékok terén, a gazdag esetrendszer és az irányhármasság (honnan? hol? hová?) a helyhatározók használatában.

16 Morfológiai elemzés Szótő (lemma) meghatározás gyermekeimmel, nevess Szófaj azonosítása Ragok, képzők… egyes/többes szám, személy, múlt idő stb MSD kódolás

17 Morfológiai elemzés Ez az elemzés nem egyértelmű! fő - ige vagy főnév vagy melléknév? nevet - név főnév tárgyesetben vagy ige? játékos - melléknév, főnév vagy játék|os bolt? eszem – az én agyam vagy eszek? ismeretlen szavakon különösen izgalmas: Torgyán egy név vagy Torgy faluban?

18 Szófaji egyértelműsítés A morfológiai elemző előállítja az egyes szavak összes lehetséges elemzését. Ezután az egész mondatot figyelembe véve kiválasztjuk a lehetséges elemzések közül a megfelelőt. Part of Speech Tagger (POS) – szófaji egyérteműsítő Példa XML fájl

19 Szabály alapú rendszerek Szakértői szabályrendszer (manuális) HA … AKKOR … állapotautomata Szegmentálás, morfológiai elemzés általában szabály alapú

20 Magyar morfológiai elemző morphdb.hu nyelvi erőforrás

21 Ismeretlen szavak Szótárban nincsenek felsorolva guessing összetett szavak vámtarifaszám, luxusmárka, műszerfalat tulajdonnevek Torgyán, Szeged McDonald’s, Adidas

22 TBL POS tagger Transformation Based Learning (TBL) A POS taggelés problémájára első sikeres megoldást adó algoritmus (~95%) Adott egy transzformációs szabályhalmaz Tanítás: Minden szabályra megnézzük milyen javítást hoz egy korpuszon Elért javítás mértéke szerint sorrendbe rakjuk a szabályokat Predikció: A mondat alapértelmezett jelölése Szabályokat sorrendben végrehajtjuk

23 TBL POS tagger Szabályok például: Ha kettővel korábbi szó javasolt kódja X, a rákövetkező szó ‘is’ és a lehetséges kódok listájában szerepel Y akkor írjuk át az aktuális kódot Y-ra. A szabály jóságának vizsgálatakor figyeljük, hogy hány helyen javít és hány helyen ront!

24 A T vár V egy M erődítmény N. A T vár N egy M erődítmény N. A T vár N egy T erődítmény N.

25 Valószínűségi POS taggerek

26 POS tagger kiértékelés Az esetek hány százalékában találta el jól. Kódolás milyen mélységű? 1.Gold standard morfológiai kódok Mennyire jól tud választani? 2.Nyers szöveg Gépi morfológiai elemzés, nem 100%-os. Életszerűbb probléma.

27 Próbáld ki!


Letölteni ppt "Korpuszok, szegmentálás és szófaji elemzés 2010. szept. 14."

Hasonló előadás


Google Hirdetések