Szegmentálás A számítógépes nyelvfeldolgozás alapjai A számítógépes nyelvfeldolgozás alapjai – február 21.

Szegmentálás a beadott adathalmaz pusztán karakterek egymásutánisága a karaktersorozatot nyelvi információt hordozó, a későbbi feldolgozás számára releváns egységekre bontjuk – szegmentálás/tokenizálás bemenő folyó szöveg bekezdésekre és mondatokra tagolása és a mondatok egyes szavakra bontása

Alapszabályok írásjelek és szóközök elhelyezkedése mondat: az a szövegegység, amely nagybetűvel kezdődik és ponttal, kérdőjellel vagy felkiáltójellel zárul szövegszó: a szövegnek az a részlete, amely két szóköz között helyezkedik el, leszámítva az írásjeleket

Mondathatárok A gyerekek sokszor nemcsak finnyásak, általában egyáltalán nem szeretnek enni, vagy ki ne hallott volna sovány kisfia, enni elfelejtő kislánya miatt aggódó anyáról? A magyarázat egyszerű.: "A gyereknél nem az az ösztön a legerősebb, ami az állat kölykénél, hogy enni kell. Ez azért van így, mert mindenki prioritásokban gondolkodik. Vegyünk egy gyereket, a prioritása a játék, nincs türelme enni, csak akkor ha muszáj. A gyerek mindig játszana, ezért alakul ki az ételek közötti válogatás, mert nem érdekli, az evés egy kínzó program, a szervezet szerint nem muszáj enni. Ha valamit nem muszáj, akkor válogatunk, kiválasztjuk a legjobbat. Persze vannak kivételek" - mondja erről Matthaeidesz.

Problémás esetek - 1 “Mondottam, ember: küzdj és bízva bízzál!” Nem sejtette, mi vár még rá... A sofőr közvetített A román ügyészség szerint Vantu a csőd előtt jelentős összegeket vont ki az FNI-ből, majd eladta a céget. Nem tipikus írásjelek vagy nincs írásjel

Problémás esetek - 2 iPhone-t kért karácsonyra. 2 iPhone-t kért karácsonyra. Nem nagybetűs mondatkezdet

Problémás esetek - 3 bizonyos hogy a költő vagy épít magának valamit amiben kedve telik vagy bátran elmehet szivarvégszedőnek (Kassák Lajos) Nincs írásjel a szövegben

Problémás esetek - 4 Gaabor1984: imádlak cuki04: lepedöm sincs meg semmim Széphajú: egyetem) evi2992: szia pircsi:) Bess21: evi:)) bass, koncentrálok Cape-re:D jah, most:D PantheraLeo: na jöjjön valaki, rombolni akarok Cape Breton: hát tényleg kösz annak, aki tapsolt Gaabor1984: ingyen Írásjelek más – nem tagolási – funkcióban (emotikonok)

Mondatot határoló elemek. ! ? : … „” Sortörés HTML-tagek (bekezdésvég, címeket, fejléceket záró tagek stb.)

Problémás esetek - 5 Az évi XXXIII. törvény 1. §-ára hivatkozott az ügyvéd. A 2008-ban alapított cégek között a kft. és bt. volt a két legnépszerűbb cégforma án született. Mondat közepén mondatzáró írásjel

Problémás esetek - 5 A Yahoo! a Yahoo! Inc. amerikai cég védjegye, amellyel egy internetes portált és katalógust üzemeltet. Mondat közepén mondatzáró írásjel, nagybetűs folytatás

Mikor nem mondathatároló? Kisbetűs folytatás Rövidítések listája Reguláris kifejezések A jelentkezési határidő szeptember 12. Mondathatár vagy dátum része?

Szószegmentálás két szóköz közti egység, kivéve az írásjelek 尊敬的各位同仁 nem minden nyelvben van szóköz… mondat/bekezdés első, illetve utolsó szava: nincs szóköz… mondathatárt, illetve bekezdéshatárt is elfogadjuk mint szóhatárt jelölő elemet

Írásjel része-e a szónak? Jellemzően nem Ellenpéldák: –kft. –tulajdonnév-felismerés –névelemek

Névelemek Named entities világ valamely objektumára egyedi módon utalnak tulajdonnevek (személynevek, földrajzi nevek, címek, márkanevek stb.) azonosítók ( címek, weblapok, rendszámok, telefonszámok, dátumok) egyéb entitások (fehérjenevek, génnevek, vegyületek, képletek…)

Névelemek és írásjelek citochrom-c, 1-hidroxi-1-metil- 1,2,3,4-tetrahidronaftalin Stratford-upon-Avon, Saintes- Maries-de-la-Mer McDonald’s, Yahoo! DE: Manchester-Barcelona Manchester (angol)-Barcelona (spanyol)

Többszavas kifejezések több elemből álló egységek tagjaik gyakran szerepelnek együtt formájuk bizonyos mértékig rögzített sajátos viselkedést mutatnak szintaktikai és/vagy szemantikai szempontból

Példák Idiómák: Veri az ördög a feleségét. Félig kompozicionális szerkezetek A cég bérbe vette a raktárt. Összetett szavak fekete doboz Egy jelentéses egység – hány szövegszó?

Többtagú tulajdonnevek Magyar Nemzeti Bank A A N vagy N? Két egymást követő azonos típusú tulajdonnév: Gyurcsány Orbán gazdaságpolitikájáról mondott véleményt. Statisztikai megoldások: mennyire gyakori együtt és külön-külön

Többtagú számok (részben) számmal írt számok 3 millió, betűvel írt számok ötéves, negyvenöt éves, öt hónapos - Helyesírás és jelentéses egységek?

Mikor vonjunk össze? Kerek perec megmondta, hogy mennyiért vállalja el a munkát. Morfológiai/szintaktikai elemzés után: A N V… - „kerek perec” mint alany Tokenizálás során: ADV V… - „kerek perec” mint határozó

Szegmentáló eszközök HunToken –Hun* egyik modulja –Mondatokra és tokenekre bontás – magyarlanc –mondatokra, illetve szavakra szegmentáló modul –