Készítette: Terdik Sándor PTM IV. Ismeretszerzés természetes nyelvű dokumentumokból.

Az előadások a következő témára: "Készítette: Terdik Sándor PTM IV. Ismeretszerzés természetes nyelvű dokumentumokból."— Előadás másolata:

1 Készítette: Terdik Sándor PTM IV. Ismeretszerzés természetes nyelvű dokumentumokból

2  Általánosan a nyelvtechnológiáról  Írott szöveg értelmezése  Beszéd számítógépes feldolgozása  Nyelvtechnológiai sikerek  Nyelvtechnológia az információkeresésben  Gépi fordítás  Előretekintés

3 Nyelvtechnológia fogalma Nyelvtechnológia fogalma Ember és számítógép közti különbség a nyelvvel kapcsolatos bánásmódban. Ember és számítógép közti különbség a nyelvvel kapcsolatos bánásmódban. Miért akarjuk gépünket megtanítani a nyelvre? Miért akarjuk gépünket megtanítani a nyelvre? Természetes nyelv ember-gép kapcsolat kutatása Természetes nyelv ember-gép kapcsolat kutatása

4 Előzetes nyelvi tudás Előzetes nyelvi tudás Nyelvtechnológia alapdilemmája ( szabályalapú és statisztikai irányzat) Nyelvtechnológia alapdilemmája ( szabályalapú és statisztikai irányzat) o A LEHET és VAN kérdése, performancia o Korpusz, korpusznyelvészet, nyelvstatisztika fogalma Szabályszerűségek a természetes nyelvekben Szabályszerűségek a természetes nyelvekben Réteges szerkezetű nyelv Réteges szerkezetű nyelv

5 Nyelvtechnológia alapvető leírási szintjei: Nyelvtechnológia alapvető leírási szintjei: o Számítógépes morfológia Egyértelműsítés művelete Egyértelműsítés művelete Szófaji címkézés fogalma Szófaji címkézés fogalma o Számítógépes szintaxis Főnévi csoport Főnévi csoport Nyelvtan fogalma Nyelvtan fogalma Nyelv számítógépes modellezésének minősége Nyelv számítógépes modellezésének minősége o A fedés és pontosság fogalma Jelentés egyértelműsítés Jelentés egyértelműsítés o Információkeresés vs. Szövegkeresés o Tárgyterület specializáció o Szóhálók alkalmazása

6 Gépi beszéd, gépi beszédértés megvalósítása Gépi beszéd, gépi beszédértés megvalósítása Hanglejtés szerepe, számítógépes fonológia és fonetika Hanglejtés szerepe, számítógépes fonológia és fonetika Beszédfelismerést zavaró tényezők Beszédfelismerést zavaró tényezők BeszédszintézisBeszédfelismerés Szöveg Beszéd

7 Szegmentálás problémája Szegmentálás problémája Beszédfelismerő rendszerek szegmentálását egyszerűsítő módszer, hogy szűkítik a szóba jöhető beszédminták körét: Beszédfelismerő rendszerek szegmentálását egyszerűsítő módszer, hogy szűkítik a szóba jöhető beszédminták körét: o Problémák: Beszéd folytonossága Izolált szavas rendszerek Beszéd folytonossága Izolált szavas rendszerek Beszélők sokfélesége Beszélő függő rendszer Beszélők sokfélesége Beszélő függő rendszer Nagy szókincs Nagy szókincs Beszélő független rendszer Beszélő független rendszer

8 Helyesírás ellenőrző programok: Helyesírás ellenőrző programok: o Szóellenőrző helyesírás ellenőrző program Morfológia elemző használata Morfológia elemző használata o Szóhatáron túli nyelvhelyességet ellenőrző program Elválasztó programok Elválasztó programok Szinonimaszótár Szinonimaszótár o Szótövesítés (lemmatizálás)

9 A megfelelő tartalmú dokumentumok megtalálása a cél nem pedig a begépelt szavakat szó szerint tartalmazó dokumentumok keresése A megfelelő tartalmú dokumentumok megtalálása a cél nem pedig a begépelt szavakat szó szerint tartalmazó dokumentumok keresése Szóalakot intelligens módon egymáshoz rendelő keresőrendszer Szóalakot intelligens módon egymáshoz rendelő keresőrendszer

10 Számítógépes szótárak Számítógépes szótárak o Szótövesítés o Több szótáradatbázis használata Gyorsfordító Gyorsfordító Összetette fordítástámogató programok Összetette fordítástámogató programok o Terminológiakezelő rendszer o Terminológia adatbázis o Fordítómemória o Fordítások bevitele a fordítómemóriába o Szövegszinkronizáló programok

11 „Valódi” információkeresés megvalósítása „Valódi” információkeresés megvalósítása A fejlődéshez szükséges nyelvtechnológiai fejlődések: A fejlődéshez szükséges nyelvtechnológiai fejlődések: o Nyelv szerkezetének fejlettebb modellekkel történő leírása o Ontológiák o Nyelvtani elemzés és a jelentés ábrázolása közti kapcsolat meghatározása Nyelvpárokhoz megjelenő gyorsfordítók Nyelvpárokhoz megjelenő gyorsfordítók Bonyolultabb fordítómemória kezelés Bonyolultabb fordítómemória kezelés

12