Nyelvtechnológiai problémák 2009. március 10. Farkas Richárd PhD hallgató.

Presentation on theme: "Nyelvtechnológiai problémák 2009. március 10. Farkas Richárd PhD hallgató."— Presentation transcript:

1 Nyelvtechnológiai problémák 2009. március 10. Farkas Richárd PhD hallgató

2 Áttekintés Információ visszakeresés Dokumentum klasszifikáció Információ kinyerés Gépi fordítás Kivonatolás Kérdés megválaszolás Dialógus rendszerek

3 A számítógép képes lehet-e az emberi nyelv megértésére? Villanyirógép Számítógép vs. emberi agy

4 Információ visszakeresés (Information Retrieval) Feladat: Adott dokumentumok egy halmaza, a cél a felhasználó által megfogalmazott lekérdezésnek leginkább megfelelő dokumentumok megtalálása.

5 Vektor Tér Modell (VTM) Minden dokumentumot egy vektorral írunk le, ahol a vektor elemei az egyes term-ek előfordulási gyakoriságát jelzik Azokat a term-eket vizsgáljuk amelyek legalább egyszer előfordulnak legalább egy dokumentumban bag-of-words

6 Vektor Tér Modell Lekérdezés: „Brutus” AND „Caesar”

7 Információ visszakeresés problémái Adatbáziskezelés –Yahoo ~25 milliárd oldalt indexel (deep web?) –Google 4PB RAMot használt –Indexelés, Folyamatos frissítés –Többtagú és logikai kifejezések Egyéb problémák –Rangsorolás (PageRank) –Szótövesítés –Összefoglaló elkészítése (kivonatolás?)

8 Dokumentum klasszifikáció Feladat: Adott dokumentumok egy felcímkézett halmaza, a cél olyan modell megalkotása ami új, korábban nem látott dokumentumokat automatikusan felcímkéz.

9 Dokumentum klasszifikációs alkalmazások Spam detektálás e-mail irányítás hírfigyelés (üzleti, sport stb) Vélemény detektálás Szerző azonosítás Dolgozat javítás

10 Dokumentum klasszifikációs megoldások TFIDF-VTM Minél többször fordul elő a term a dokumentumban annál reprezentatívabb (tf) Minél több dokumentumban fordul elő a term annál kevésbé segít az egyes dokumentum-osztályok szétválasztásában (inverse df)

11 Dokumentum klasszifikáció problémái Dimenzió csökkentés Szűrések, egyesítések –Bizonyos típusú szavak (pl. igék) –Tulajdonnevek (SZEMÉLYNÉV a „Kovács” helyett) –Elírások kezelése Egyéb jellemzők kiaknázása –Dokumentumon belüli pozíció –Dokumentum jellemzők (pl. hossza)

12

13 Információ kinyerés (Information Extraction) Feladat: A feladat szempontjából fontos információ automatikus kigyűjtése a szöveg mélyelemzésével. Az információ kinyerés inputja egy szöveg (strukturálatlan adat), az outputja pedig strukturált információ.

14 Információ kinyerés példa

15 IE vs IR Az output gépileg is feldolgozható Jóval nehezebb feladat (domain-függő)

16 IE alkalmazások Automatikus adatbázis és tudásbázis generálás (field search, range based queries) Sajtófigyelő szolgáltatás (pl. egy cég ügyleteinek nyomon követése) Orvosi zárójelentésekből betegséghez kapcsolódó statisztikák gyűjtése Szabadalmak figyelése (pl. fehérje interakciók)

17 Gondolatébresztő alkalmazások Álláshirdetések összegyűjtése cégek honlapjairól (flipdog.com) Személyek adatainak (végzettségek, munkahelyek stb.) gyűjtése a Web-ről (zoominfo.com) Citeseer.org Automatikus címlista gyűjtés e-mailekből (Carnegie Mellon University) E-mailekből naptár bejegyzések generálása (Fair Isaac Corporation)

18 Információ típusok szereplőkszemélyek, szervezetek 90% tulajdonságoktípus, méret, ár 80% relációkpozíció egy cégnél, rokoni kapcsolatok 60-70% eseményekterrorista támadás, cégvásárlás 50-60%

19

20 Információ kinyerés főbb problémái Szemantikai elemzés „Ford” autó vagy cég vagy „Henry Ford” Említés feloldás, normalizálás „a 3.-os Kovács István” … „Pistike” Predikátum-argumentum szerkezetek „A Nagyhal kft. megvásárolta a Kishal Bt-t” „A Nagyhal kft.-t megvásárolta a Kishal Bt.” Domain adaptáció a modell ami kigyűjti a cégek igazgatóit nem fogja az országok fővárosait megtalálni

21 Gépi fordítás Feladat: Teljes, természetes nyelvű szövegek automatikus fordítása forrásnyelvről célnyelvre. Például angolról magyarra. www.babelfish.com www.google.com/translate www.webforditas.hu

22

23 Problémák a Gépi fordításban Szintaktikai többértelműség Szemantikai többértelműség Többszavas kifejezések knightly gymnastics Idiómák as happy as dog with two tails Összetett szavak cross dad, snow vomit Stílus, Szakterületek winchester Szabad szórend Hogyan mérhetjük egy gépi fordítás jóságát? pl. BLUE-score

24 Szabályalapú rendszerek

25 Statisztikai fordítás Párhuzamos korpuszok Ha átlagosan egy szónak 3 fordítási lehetősége van és 10 szóból áll egy mondat akkor 3 10 lehetőségünk van *szórend *hiányzó/bejövő szavak Fordítási modell: bag-of-words fordítás Nyelvi modell: értelmes mondatok argmax P(m|a)=argmax P(m)*P(a|m)

26 Kivonatolás (Summarisation) Feladat: Rövid, de pontos reprezentálása a dokumentum tartalmának. hírek, tudományos publikációk mobil, PDA

27 Kivonatolási megközelítések Mondat kivonatolás –Legfontosabb mondatok –kohézió, következetesség, teljesség Absztrakt kivonatolás Főcím generálás Kivonatolás dokumentum halmazokból

28 Kérdés megválaszolás Feladat: Egy természetes nyelven megfogalmazott kérdésre a dokumentumhalmazban megtalálható válasz megtalálása. pl. Melyik a leghosszabb folyó Európában? Következő generációs kereső rendszerek? www.ask.com

29 Q&A részproblémái Kérdés típus azonosítás A kérés fókuszának behatárolása Válasz típusának meghatározása Irreleváns dokumentumok kiszűrése Lehetséges válaszok megtalálása Normalizáció

30 Dialógus rendszerek Feladat: Ember-gép interakció megvalósítása természetes nyelvi beszélgetéssel. Döntés-támogató, navigációs rendszerek Adatbázis lekérdezések Ügyfélszolgálatok e-learning www.nemtom.hu

31 Trendek Megközelítések: –’90 szabályalapú rendszerek –2000- gépi tanulási megközelítések Ipari alkalmazások: –Információ visszakeresés –Dokumentum klaszterezés –Információ kinyerés –Gépi fordítás

32 Folytatás… !? „Nyelvtechnológiai problémák” speckoll. Diplomamunka/TDK rfarkas@inf.u-szeged.hu