Természetes nyelvek feldolgozása Natural language processing(NLP)

Az előadások a következő témára: "Természetes nyelvek feldolgozása Natural language processing(NLP)"— Előadás másolata:

1 Természetes nyelvek feldolgozása Natural language processing(NLP)
A természetes nyelvek feldolgozása, megértése az MI fontos kutatási területe az ember-gép kommunikáció emberközelibbé tétele érdekében Nehézségek: a nyelv szavainak, nyelvtani szabályainak alapos ismerete e tudás integrálása a világról szóló más tudással a partner saját céljainak, miénktől eltérő hiedelmeinek figyelembevétele

2 A nyelvek csoportosítása:
Szabályos nyelvek, pl egy programozási nyelv Szövegösszefüggés-nélküli (context free) nyelvek. Chomsky : „Colorless green ideas sleep furiously”. Általános v. természetes nyelvek A természetes nyelvek végtelenek, az összes megengedett mondatot nem tudjuk felírni, de kell egy leírás a mondatok általános struktúrájáról, ami alapján eldönthetjük, hogy egy adott mondat megengedett-e a vizsgált nyelvben vagy sem. Ha van is ilyen eljárásunk, nem biztos, hogy azzal közelebb jutunk a nyelv megértéséhez. Egy intelligens programnak legalább olyan szinten meg kell értenie egy mondatot, hogy értelmesen válaszolni tudjon rá.

3 A nyelvi elemzés szintjei:
szintaktikai: jelzi, hogy a mondat a nyelv része szemantikai: a mondat szintaktikájának megfelelően kombinálva az egyes szavak jelentését az egész mondat nyer egyfajta jelentést pragmatikai: a szövegkörnyezetbe helyezve a mondatot, megtudjuk, hogy értelmezésünk helyes volt-e, vagy attól eltérő jelentésről van szó (pl. „olajra lépett” egy háztartási baleset leírásában illetve a bűnügyi krónikában.) intencionális szint: a beszélő szándékát, elképzeléseit, hitét, célját sem hagyhatjuk figyelmen kívül az árnyalt jelentés megértéséhez

4 Alkalmazások 1.Természetes nyelvű interfész (NLI)
adatbázishozzáférés megkönnyítésére: a felhasználó természetes nyelven feltett kérdését az NLI lekérdező nyelvű kérdéssé alakítja, melyre választ kapunk az adatbázisból, természetes nyelven az NLI jóvoltából. Például: LUNAR(1973):Mi az átlagos modális plagioklász koncentráció a rubídiumot tartalmazó holdminták esetén? típusú kérdésekre képes volt választ adni. Problémák: a kérdések megfelelő megfogalmazásán múlik a siker a párbeszéd kontextusát követnie kellene a programnak („mikor indul az utolsó gép Londonba?…..pontos válasz……….És az azelőtti?… nincs válasz”)

5 2. Gépi fordítás Jelentős siker az erősen specifikus nyelvi feladatok esetén, például a montreáli egyetemen kifejlesztett TAUM-METEO rendszer, mely időjárásjelentést fordít angolról franciára. Bonyolultabb szöveg esetén is gazdaságos géppel egy nyers fordítást készíttetni, amit majd anyanyelvi lektor korrigál (olcsóbb, mint egy kétnyelvű fordítót megfizetni). Másik lehetőség az eredeti szöveg előeditálása, egyszerűsítése, a nyelvi eszközök redukálása révén, úgy, hogy a gépi fordítás után már ne legyen szükség utólagos korrekcióra. Például nemzetközi piacokra termelő cégek termékeihez adott ismertetők (a Xerox gépkönyveit végre megérthették azok is, akik eredetiben olvasták). MÓDSZEREK Szimbolikus módszer a szókészletre, nyelvtanra vonatkozó lehető legtöbb információ bevitelével Statisztikai módszer: párhuzamos szövegek valószínűségi-statisztikai elemzése alapján keres párokat, szavak helyett kifejezésekre koncentrálva (Giza++ programcsomag)

6 3. Szövegértelmezés a szükséges információk kiemelése, besorolása, megszűrése adott szövegekből információ-visszakeresés szövegkategorizálás adatok kinyerése szövegekből

7 A Loebner-verseny Loebner a Turing-teszt gyakorlati megvalósítójának tűzött ki díjat ( dollár), azaz az emberrel azonos szintű, attól megkülönböztethetetlen válaszokat adó gép számára. Limitált teszt: dollár. Bronzérem: az évi verseny győztesének 2000 dollár. Előzmény: Joseph Weizenbaum Eliza nevű programja 1966-ból, mely az ember által begépelt mondatokat manipulálva látszólag intelligens válaszokat adott. A Loebner díj egyik nyertese Ella, akivel társaloghatunk a honlapon a Talk to Ella menüpontot kérve (már egy Single session talk is nagy élmény!) Magyar társalgórobotok: Frenezis Beatrix Lafoxka

8 A NetNLP program használata
Általános szabályok : 1. 1 Ha a mondat állítás, ponttal kell lezárni. 1. 2 Ha a mondat kérdés, kérdőjellel kell lezárni. 1. 3 Speciális állítások a parancsok (lásd parancsok). Állításokra vonatkozó szabályok: 2. 1 Individual IS Class. 2. 2 Class IS Class. 2. 3 Individual's Slot IS Filler. 2. 4 Class's Slot IS Filler. Kérdésekre vonatkozó szabályok: 2. 5 IS Individual Class? 2. 6 IS Class Class? 2. 7 IS Individual's Slot Filler? 2. 8 IS Class's Slot Filler? 2. 9 WHAT IS Individual's Slot? 2.10 WHAT IS Class's Slot? Egyéb szabályok: 3. 1 Individual -> Objektum 3. 2 Class -> A Objektum 3. 3 Class -> AN Objektum 3. 4 Slot -> Objektum 3. 5 Filler -> Objektum

9 Használható parancsok:
QUIT. EXIT. CLOSE. - kilépés NEW. - hálózat törlése OPEN. - hálózat feltöltése fájlból SAVE. - hálózat mentése fájlba NETWORK INFORMATION. NETINFO. - hálózatinformáció CLEAR DESKTOP. - a felület tartalmának törlése SAVE HISTORY. - a history mentése szöveges fájlba SAVE COMMANDS. - a parancslista mentése szöveges fájlba HELP. - súgó ABOUT. - névjegy

10 Lehetséges példamondatok
Peter is a boy. A boy is a young.man. Raul is a boy. A young_man is a human_being. Sarah is a girl. A girl is a young_woman. A young woman is a human_being. Sara's hair is brown. Raul's mouth is red. Peter's mouth is pink. Raul's hair is black. Black is a colour. Pink is a colour. Red is a colour. A colour is a feature. A boy's head is big. A human being's life is long. Lehetséges kérdések Is Peter a young man? Is Raul’s head big? What is Peter life?…etc