Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Szintaktikai elemzés 2010. február 23.. Szófaji egyértelműsítés A morfológiai elemző előállítja az egyes szavak összes lehetséges elemzését. Ezután az.

Hasonló előadás


Az előadások a következő témára: "Szintaktikai elemzés 2010. február 23.. Szófaji egyértelműsítés A morfológiai elemző előállítja az egyes szavak összes lehetséges elemzését. Ezután az."— Előadás másolata:

1 Szintaktikai elemzés február 23.

2 Szófaji egyértelműsítés A morfológiai elemző előállítja az egyes szavak összes lehetséges elemzését. Ezután az egész mondatot figyelembe véve kiválasztjuk a lehetséges elemzések közül a megfelelőt. Part of Speech Tagger (POS) – szófaji egyérteműsítő

3 Szintaktikai elemzés A mondat egységeinek azonosítása, a közöttük lévő szintaktikai kapcsolatok feltárása. Megközelítések: alany, állítmány, tárgy … konstituens fa (constituency parsing) függőségi nyelvtan (dependency parsing)

4 Alkalmazás Információ kinyerés, gépi fordítás A Kis Hal bt.-t felvásárolta a Nagy Hal kft. A Kis Hal bt. felvásárolta a Nagy Hal kft.-t. Nyelvtani ellenőrzés

5 Nyelvtan „Egy nyelv elemei, szerkezete, törvényszerűségei” 3 évesen tökéletes az anyanyelven Implicit! Iskolai nyelvtan?

6 Konstituens fa Szavak csoportjai (eredeti sorrendben) egységeket alkotnak Az egységek osztályokba sorolhatóak amelyek külső és belső szempontokból jól definiáltan viselkednek. Például főnévi csoportok: én, a város, a piros labda, a tegnapelőtt vásárolt nagy kerek piros labda

7 Konstituens fa S: mondat VP: igei csoport NP: főnévi csoport Egy példa a Szeged TreeBank-ből

8 Strukturális többértelműség Láttam a lányt távcsővel. S VP NP

9 Strukturális többértelműség Láttam a lányt távcsővel. S VP NP

10 Környezetfüggetlen nyelvtanok (CFG) Terminálisok: szavak Nemterminálisok: konstituensek Szabályok: baloldal egyetlen nemterminális

11 Szintaktikai elemzés Adott szabályok egy halmaza S a gyökér Minden szót fedjen le és csak azokat Top-Down vs. Bottom-Up

12 Bottom-Up elemzés adoghasabone S DetNV N NP VP

13 PCFG Minden szabályhoz egy valószínűség (baloldalak feletti eloszlások) Treebankből becsülhető Strukturális többértelműség?

14 Shift Reduce elemzés Bottom – Up, backtrack nélkül Verem segítségével dolgozik, O(n) Shift: Leválasztja a mondat legbaloldalibb elemét, és a verembe teszi. Reduce: A veremben lévő elemekre próbál szabályt illeszteni.

15 Shift Reduce elemzés →| StepActionStackInput 0(start)the dog barked 1shiftthedog barked 2reduceddog barked 3shiftdog dbarked 4reducen dbarked 5reducenpbarked 6shiftbarked np 7reducev np 8reducevp np 9reduce s

16 Shift Reduce tanulás Tanító halmaz alapján: reduce szabályok generálása szabályok közötti sorrend felállítása (mohó, valószínűségi) akciók (S/R) alkalmazásának tanulása

17 Megkötések ’hány -t’ – fitty ’hány -rA’ – szem ‘hány -nAk’ !?

18 Fej azonosítása

19 Függőségi nyelvtan Irányított, bináris kapcsolat szavak közt Minden szóhoz pontosan egy bemenő él (fa) Kiindulási pont a főige Eltérés a konstituens fától: Nincsenek frázisok, nem csak az egymást követő szavak közti kapcsolatokat vizsgálja.

20 Függőségi nyelvtan Különösen alkalmas szabad szórendű nyelvek kezelésére!

21

22 Dependecia elemző tanulása Tranzakció-alapú –Minden lépésben egy új él felvétele –Osztályozási probléma: egyedek: szópárok jellemzők: szavak, POS kódok akció: új él behúzása vagy semmi Gráf-alapú –Jósági függvény –Legjobb gráf megtalálása

23 Gráf-alapú dependencia elemzés Jósági függvény –Él szintű jósági értékek aggregáltja –Él szintű érték: gyerek és szülő, szavak és POS kódok –Paramétereinek megtanulása a tanító adatbázisból Legjobb gráf megtalálása –Maximális feszítő fa –Dinamikus programozás

24 Konstituens vs. függőségi nyelvtan Főige: robbed alany: the burglar robbed tárgya: the appartament

25 Konstituens vs. függőségi nyelvtan Melyiket? Alkalmazás-orientáltan… függőségi nyelvtan könnyebben gépi tanulható szemantikához közelebb áll a függőségi

26 Szintaktikai elemzés jóságának mérése Konstituens elemzés –Minden konstituenst hasonlítunk (címkézve vagy anélkül) –Egyes szavak őseinek sorozatát hasonlítjuk Dependencia elemzés –minden szóra –ős és/vagy reláció típusának eltalálása

27 Hol tart a világ? Korpuszok –Konstituens alapú korpuszok (Penn TreeBank, Szeged TreeBank) –Ezek átalakítása dependenciára –Magyarra is folyamatban Elemzők –Nyelvtől, jelölés mélységétől függ –~75-85% (CoNLL 2007)


Letölteni ppt "Szintaktikai elemzés 2010. február 23.. Szófaji egyértelműsítés A morfológiai elemző előállítja az egyes szavak összes lehetséges elemzését. Ezután az."

Hasonló előadás


Google Hirdetések