Szintaktikai elemzés 2010. február 23.

Szófaji egyértelműsítés A morfológiai elemző előállítja az egyes szavak összes lehetséges elemzését. Ezután az egész mondatot figyelembe véve kiválasztjuk a lehetséges elemzések közül a megfelelőt. Part of Speech Tagger (POS) – szófaji egyérteműsítő

Szintaktikai elemzés A mondat egységeinek azonosítása, a közöttük lévő szintaktikai kapcsolatok feltárása. Megközelítések: alany, állítmány, tárgy … konstituens fa (constituency parsing) függőségi nyelvtan (dependency parsing)

Alkalmazás Információ kinyerés, gépi fordítás Nyelvtani ellenőrzés A Kis Hal bt.-t felvásárolta a Nagy Hal kft. A Kis Hal bt. felvásárolta a Nagy Hal kft.-t. Nyelvtani ellenőrzés

Nyelvtan „Egy nyelv elemei, szerkezete, törvényszerűségei” 3 évesen tökéletes az anyanyelven Implicit! Iskolai nyelvtan?

Konstituens fa Szavak csoportjai (eredeti sorrendben) egységeket alkotnak Az egységek osztályokba sorolhatóak amelyek külső és belső szempontokból jól definiáltan viselkednek. Például főnévi csoportok: én, a város, a piros labda, a tegnapelőtt vásárolt nagy kerek piros labda

Konstituens fa S: mondat VP: igei csoport NP: főnévi csoport Egy példa a Szeged TreeBank-ből

Strukturális többértelműség VP NP Láttam a lányt távcsővel.

Strukturális többértelműség VP NP NP Láttam a lányt távcsővel.

Környezetfüggetlen nyelvtanok (CFG) Terminálisok: szavak Nemterminálisok: konstituensek Szabályok: baloldal egyetlen nemterminális

Szintaktikai elemzés Adott szabályok egy halmaza S a gyökér Minden szót fedjen le és csak azokat Top-Down vs. Bottom-Up

Bottom-Up elemzés S NP VP Det N V NP Det N a dog has a bone

PCFG Minden szabályhoz egy valószínűség (baloldalak feletti eloszlások) Treebankből becsülhető Strukturális többértelműség?

Shift Reduce elemzés Bottom – Up, backtrack nélkül Verem segítségével dolgozik, O(n) Shift: Leválasztja a mondat legbaloldalibb elemét, és a verembe teszi. Reduce: A veremben lévő elemekre próbál szabályt illeszteni.

Shift Reduce elemzés →| Step Action Stack Input 0 (start) the dog barked 1 shift the dog barked 2 reduce d dog barked 3 shift dog d barked 4 reduce n d barked 5 reduce np barked 6 shift barked np 7 reduce v np 8 reduce vp np 9 reduce s

Shift Reduce tanulás Tanító halmaz alapján: reduce szabályok generálása szabályok közötti sorrend felállítása (mohó, valószínűségi) akciók (S/R) alkalmazásának tanulása

Megkötések ’hány -t’ – fitty ’hány -rA’ – szem ‘hány -nAk’ !?

Fej azonosítása 18

Függőségi nyelvtan Irányított, bináris kapcsolat szavak közt Minden szóhoz pontosan egy bemenő él (fa) Kiindulási pont a főige Eltérés a konstituens fától: Nincsenek frázisok, nem csak az egymást követő szavak közti kapcsolatokat vizsgálja.

Függőségi nyelvtan Különösen alkalmas szabad szórendű nyelvek kezelésére!

Dependecia elemző tanulása Tranzakció-alapú Minden lépésben egy új él felvétele Osztályozási probléma: egyedek: szópárok jellemzők: szavak, POS kódok akció: új él behúzása vagy semmi Gráf-alapú Jósági függvény Legjobb gráf megtalálása

Gráf-alapú dependencia elemzés Jósági függvény Él szintű jósági értékek aggregáltja Él szintű érték: gyerek és szülő, szavak és POS kódok Paramétereinek megtanulása a tanító adatbázisból Legjobb gráf megtalálása Maximális feszítő fa Dinamikus programozás

Konstituens vs. függőségi nyelvtan Főige: robbed alany: the burglar robbed tárgya: the appartament

Konstituens vs. függőségi nyelvtan Melyiket? Alkalmazás-orientáltan… függőségi nyelvtan könnyebben gépi tanulható szemantikához közelebb áll a függőségi

Szintaktikai elemzés jóságának mérése Konstituens elemzés Minden konstituenst hasonlítunk (címkézve vagy anélkül) Egyes szavak őseinek sorozatát hasonlítjuk Dependencia elemzés minden szóra ős és/vagy reláció típusának eltalálása

Hol tart a világ? Korpuszok Elemzők Konstituens alapú korpuszok (Penn TreeBank, Szeged TreeBank) Ezek átalakítása dependenciára Magyarra is folyamatban Elemzők Nyelvtől, jelölés mélységétől függ ~75-85% (CoNLL 2007)