Szintaktikai elemzés 2010. február 23..

Az előadások a következő témára: "Szintaktikai elemzés 2010. február 23.."— Előadás másolata:

1 Szintaktikai elemzés 2010. február 23.

2 Szófaji egyértelműsítés
A morfológiai elemző előállítja az egyes szavak összes lehetséges elemzését. Ezután az egész mondatot figyelembe véve kiválasztjuk a lehetséges elemzések közül a megfelelőt. Part of Speech Tagger (POS) – szófaji egyérteműsítő

3 Szintaktikai elemzés A mondat egységeinek azonosítása, a közöttük lévő szintaktikai kapcsolatok feltárása. Megközelítések: alany, állítmány, tárgy … konstituens fa (constituency parsing) függőségi nyelvtan (dependency parsing)

4 Alkalmazás Információ kinyerés, gépi fordítás Nyelvtani ellenőrzés
A Kis Hal bt.-t felvásárolta a Nagy Hal kft. A Kis Hal bt. felvásárolta a Nagy Hal kft.-t. Nyelvtani ellenőrzés

5 Nyelvtan „Egy nyelv elemei, szerkezete, törvényszerűségei”
3 évesen tökéletes az anyanyelven Implicit! Iskolai nyelvtan?

6 Konstituens fa Szavak csoportjai (eredeti sorrendben) egységeket alkotnak Az egységek osztályokba sorolhatóak amelyek külső és belső szempontokból jól definiáltan viselkednek. Például főnévi csoportok: én, a város, a piros labda, a tegnapelőtt vásárolt nagy kerek piros labda

7 Konstituens fa S: mondat VP: igei csoport NP: főnévi csoport
Egy példa a Szeged TreeBank-ből

8 Strukturális többértelműség
VP NP Láttam a lányt távcsővel.

9 Strukturális többértelműség
VP NP NP Láttam a lányt távcsővel.

10 Környezetfüggetlen nyelvtanok (CFG)
Terminálisok: szavak Nemterminálisok: konstituensek Szabályok: baloldal egyetlen nemterminális

11 Szintaktikai elemzés Adott szabályok egy halmaza S a gyökér
Minden szót fedjen le és csak azokat Top-Down vs. Bottom-Up

12 Bottom-Up elemzés S NP VP Det N V NP Det N a dog has a bone

13 PCFG Minden szabályhoz egy valószínűség (baloldalak feletti eloszlások) Treebankből becsülhető Strukturális többértelműség?

14 Shift Reduce elemzés Bottom – Up, backtrack nélkül
Verem segítségével dolgozik, O(n) Shift: Leválasztja a mondat legbaloldalibb elemét, és a verembe teszi. Reduce: A veremben lévő elemekre próbál szabályt illeszteni.

15 Shift Reduce elemzés →| Step Action Stack Input
0 (start) the dog barked 1 shift the dog barked 2 reduce d dog barked 3 shift dog d barked 4 reduce n d barked 5 reduce np barked 6 shift barked np 7 reduce v np 8 reduce vp np 9 reduce s

16 Shift Reduce tanulás Tanító halmaz alapján:
reduce szabályok generálása szabályok közötti sorrend felállítása (mohó, valószínűségi) akciók (S/R) alkalmazásának tanulása

17 Megkötések ’hány -t’ – fitty ’hány -rA’ – szem ‘hány -nAk’ !?

18 Fej azonosítása 18

19 Függőségi nyelvtan Irányított, bináris kapcsolat szavak közt
Minden szóhoz pontosan egy bemenő él (fa) Kiindulási pont a főige Eltérés a konstituens fától: Nincsenek frázisok, nem csak az egymást követő szavak közti kapcsolatokat vizsgálja.

20 Függőségi nyelvtan Különösen alkalmas szabad szórendű nyelvek kezelésére!

21

22 Dependecia elemző tanulása
Tranzakció-alapú Minden lépésben egy új él felvétele Osztályozási probléma: egyedek: szópárok jellemzők: szavak, POS kódok akció: új él behúzása vagy semmi Gráf-alapú Jósági függvény Legjobb gráf megtalálása

23 Gráf-alapú dependencia elemzés
Jósági függvény Él szintű jósági értékek aggregáltja Él szintű érték: gyerek és szülő, szavak és POS kódok Paramétereinek megtanulása a tanító adatbázisból Legjobb gráf megtalálása Maximális feszítő fa Dinamikus programozás

24 Konstituens vs. függőségi nyelvtan
Főige: robbed alany: the burglar robbed tárgya: the appartament

25 Konstituens vs. függőségi nyelvtan
Melyiket? Alkalmazás-orientáltan… függőségi nyelvtan könnyebben gépi tanulható szemantikához közelebb áll a függőségi

26 Szintaktikai elemzés jóságának mérése
Konstituens elemzés Minden konstituenst hasonlítunk (címkézve vagy anélkül) Egyes szavak őseinek sorozatát hasonlítjuk Dependencia elemzés minden szóra ős és/vagy reláció típusának eltalálása

27 Hol tart a világ? Korpuszok Elemzők Konstituens alapú korpuszok
(Penn TreeBank, Szeged TreeBank) Ezek átalakítása dependenciára Magyarra is folyamatban Elemzők Nyelvtől, jelölés mélységétől függ ~75-85% (CoNLL 2007)