Nyelvi interfészek. IBM Watson https://www.youtube.com/watch?v=seNkjYyG3gI 8:20 ill. 3:00.

Az előadások a következő témára: "Nyelvi interfészek. IBM Watson https://www.youtube.com/watch?v=seNkjYyG3gI 8:20 ill. 3:00."— Előadás másolata:

1 Nyelvi interfészek

2 IBM Watson https://www.youtube.com/watch?v=seNkjYyG3gI 8:20 ill. 3:00

3 Beszédtechnológia

4 Dialógus rendszerek Tutoring Adatbázisban keresés Döntéstámogató rendszerek Navigációs rendszerek Ügyfélszolgálatok (irányítás) Vizsgáztatás

5

6 Elvi működés Szöveg Szemantikai reprezentáció MestInt Szemantikai reprezentáció (válasz) Szöveg

7 Jelenleg működő rendszerek Lehetséges kérdések halmaza rögzített ügyfélszolgálatok, tutoring szűk domainen működik! bejövő kérdéshez leghasonlóbb mintakérdés kiválasztása (egyébként „nem értem mire gondolsz”) és az előre megadott válasz (szöveges vagy navigáció) megadása

8 Jelenleg működő beszélgető ágensek néhány beépített (gyakori) kérdésre válasz próbálják a kérdező szerepét átvenni (ált. eldöntendő kérdések) a válaszok egyszerű elemzésével (bag- of-words) tudnak „reagálni” céljuk általában: beszélgetési/kérdés/válasz sablonok gyűjtése későbbi (gépi) tanuláshoz

9 Turing tesztKínai szoba

10 Kérdés megválaszolás Question answering (Q&A) Input: egy természetes nyelvi kérdés Output: választ tartalmazó dokumentumok halmaza (ugyanaz, mint IR) Vagy releváns bekezdés… (kivonat?) Vagy a válasz… Következő generációs kereső rendszerek? – Ki használ speciális karaktereket? – Ki gépel be kérdést?

11 Kérdések típusai Tények (nevek, dátumok, helyek stb.) Listák Definíciók Eldöntendő Hogyan? Miért?

12 Architektúra kulcsszó alapú rendszer (kérdés szavai) Azokat a mondatokat vizsgálja ahol megjelennek ezek a szavak A mondatok rangsorolás (pozíció, sorrend, relevancia) A kérdés átformálása működik ha elég nagy az adathalmaz: Hol született Petőfi? „Petőfi * született”

13 Egy Q&A rendszer felépítése ( Moldovan – TREC 2004) 1.Kérdés feldolgozás 2.Keresőszavak előállítása 3.Dokumentum szűrés és rangsorolás 4.Válasz feldolgozása

14 Kérdés feldolgozás Kérdés típus azonosítás – ML: bag-of-words, tulajdonnevek stb. Válasz típusának meghatározása (kérdéstípuson belül) A kérés fókuszának behatárolása Melyik a leghosszabb folyó Európában? általában szabály alapú rendszerrel

15 Keresőkifejezések előállítása Heurisztikák: – nem gyakori szavak – tulajdonnevek – jelzős főnévi szerkezetek – igék – a kérdés fókusza Szinonimák

16 Dokumentumok szűrése A kulcsszavaknak egymáshoz közel kell elhelyezkedniük (pl. egymást követő bekezdésekben) Túl gyakori/túl ritka kulcsszavak Rangsorolás: – dokumentum forrása (Wiki, hivatalos) – kérdés szavainak száma – nem illesztett kulcsszavak

17 Válasz mondat kiválasztása Válasz lokalizálása a dokumentumban (bekezdés/mondat) Nyelvi elemzés Ellenőrzés, hogy a válasz típusának megfelel-e a találat Legjobb válaszok listája(?)

18 Számítógépes nyelvészeti alkalmazások Gépi fordítás Dokumentum osztályozás/klaszterezés Információ kinyerés Kivonatolás

19 Gépi fordítás Teljes szövegek automatikus fordítása forrás nyelvről célnyelvre. Computer Aided Translation (CAT) Miért van rá szükség? – Az EU évente 1 milliárd €-t költ fordításra – Interneten elérhető információkhoz való hozzáférés (Google Translation)

20 Nyelvek közti különbségek Lexikai különbségek – red vs. vörös, piros

21 Dokumentum szintű osztályozás/klaszterezés

22 Dokumentum klasszifikáció Feladat: Dokumentumok automatikus előre definiált osztályokba sorolása. Dokumentum: szöveg + kép + struktúra (multimodalitás) Hogyan definiáljuk előre a kategóriákat?

23 Alkalmazási területek 1961 óta! Rendszerezés (hirdető újság, konferencia) SPAM szűrés / hír szűrés CRM irányítás dolgozat javítás Témaazonosítás

24 Dokumentum-klaszterezés és címkézés Linguistics Machine Learning Probability therory

25

26 Információ kinyerés

27

28 IE vs IR

29 Entitások személyek, szervezetek, helyszínek United States Department of Homeland Security szemantikai osztály: Ford normalizálás: Manchester United és vörös ördögök

30 Információkinyerés Entitások közti relációk Események

31 Véleménydetekció vélemény termékekről, ötletekről, témákról különböző aspektusok mentén

32 Kivonatolás

33 Kivonat: rövid, de pontos reprezentánsa a dokumentum tartalmának Rövid? kevesebb, mint az eredeti fele tartalom: legfontosabb tartalomnak át kell jönnie „Olvastam a Háború és Békét… Oroszországról szól…” Woody Alen

34 A kivonatolás alkalmazásai újságcikkek TV műsor/mozi előzetes tudományos publikációk önéletrajzok sport közvetítések egyetemi jegyzetek

35 Kulcsszókinyerés Frázisok halmaza, ami tömören reprezentálja egy dokumentum tartalmát.

36

37