Rangsorolás tanulása ápr. 13..

Slides:



Advertisements
Hasonló előadás
Rangsorolás tanulása ápr. 24..
Advertisements

A FELNŐTTKÉPZÉSI A FELNŐTTKÉPZÉSI INTÉZMÉNYEK HATÉKONYSÁGÁNAK VIZSGÁLATA Felnőttképzők Szövetsége Borsi Árpád Budapest, december 10.
1/12 © Gács Iván A levegőtisztaság-védelem céljai és eszközei Levegőszennyezés matematikai modellezése Energia és környezet.
A KAMAFIP szoftver alkalmazása Dr. Kárpáti László, CSc., MBA California Consulting Bt
A három lépcsőfok… 29% - A megoldás 52 heti stratégia sikeres üzleti kapcsolatépítéshez (Avidor András - Michelle R. Donovan - Ivan R. Misner) Az emberek.
KÉPZŐ- ÉS IPARMŰVÉSZET ISMERETEK ÁGAZATI SZAKMAI ÉRETTSÉGI VIZSGA (középszintű) május-június.
„A helyi innovációk keletkezése, terjedése és rendszerformáló hatása az oktatási ágazatban” (K ) Az „Innova” kutatás „A helyi innovációk keletkezése,
A szakiskolák aktuális problémái
Gazdasági informatika - bevezető
Valószínűségi kísérletek
Megjegyzések Dinya László vitaindító tanulmányához
Muraközy Balázs: Mely vállalatok válnak gazellává?
Adatbázis normalizálás
Alhálózat számítás Osztályok Kezdő Kezdete Vége Alapértelmezett CIDR bitek alhálózati maszk megfelelője A /8 B
A titkosítás története
Adatok importálása, rendezése és szűrése
Befektetések II. Dr. Ormos Mihály, Befektetések.
Ács Szabina Kommunikáció és Médiatudomány
Levegőszennyezés matematikai modellezése
Energia(termelés) és környezet BMEGEENAEK7 és BMEGEENAKM1
Korrelációszámítás.
Struktúra predikció ápr. 6.
13. Gyakorlat Dr. Pauler Gábor, Egyetemi Docens
Kockázat és megbízhatóság
Kvantitatív módszerek
Környezeti teljesítményértékelés
Hipotézisvizsgálat.
A földrajzi kísérletek szervezése és végrehajtása
PHP-SQL adatbáziskezelő parancsai
A naptevékenységi ciklus vizsgálata a zöld koronavonal alapján
Gazdaságstatisztika Korreláció- és regressziószámítás II.
Bevezetés Az ivóvizek minősége törvényileg szabályozott
Összefüggés vizsgálatok
Varianciaanalízis- ANOVA (Analyze Of VAriance)
Kvantitatív módszerek
Árverseny, Árvezérlés, Kartell
Kvantitatív módszerek
Business Mathematics
A VERESEGYHÁZI KATOLIKUS GIMNÁZIUM felvételi tájékoztatója a 2018/2019-as tanévre „Ahol ugyanis ketten vagy hárman összegyűlnek az én nevemben, ott vagyok.
Algoritmusok és Adatszerkezetek I.
Regressziós modellek Regressziószámítás.
Algoritmusok és Adatszerkezetek I.
Kovács Gergely Péter Bevezetés
KÉPZÉSSEL A MUNKAERŐ-HIÁNY ELLEN?
„Mindegy, hogy képességeid mekkorák, fő, hogy a tőled telhető legjobbat formáld belőlük és általuk.” (Weöres Sándor)
Kovács Ibolya szociálpolitikus Foglalkoztatási és Szociális Hivatal
Tilk Bence Konzulens: Dr. Horváth Gábor
Adatbányászati szemelvények MapReduce környezetben
Az ICAAP felülvizsgálati folyamat bemutatása
Informatikai gyakorlatok 11. évfolyam
Élj ökosan – generációkon át II.
TÁMOP A pályaorientáció rendszerének tartalmi és módszertani fejlesztése – Regionális workshop Zétényi Ákos.
Megfigyelés és kísérlet
Alkalmazott statisztikai alapok
3(+1) osztályozó a Bayes világból
További rendező és kereső algoritmusok
A szállítási probléma.
I. HELYZETFELMÉRÉSI SZINT FOLYAMATA 3. FEJLESZTÉSI FÁZIS 10. előadás
Dr. Varga Beatrix egyetemi docens
Matematika 11.évf. 1-2.alkalom
Online pénztárgépadatok felhasználása a kiskereskedelmi statisztikában
Paraméteres próbák Adatelemzés.
Mesterséges neuronhálók és alkalmazásaik
[Év beszúrása]. évi iskolaév Intézmény Tanár Osztály
[Év beszúrása]. évi iskolaév Intézmény Tanár Osztály
Bevezetés Tematika Számonkérés Irodalom
Mesterséges intelligencia
A POWERPOINT 2007 újdonságai
Hagyományos megjelenítés
Kovács Ibolya szociálpolitikus Foglalkoztatási és Szociális Hivatal
Előadás másolata:

Rangsorolás tanulása ápr. 13.

Állásra jelentkezők rangsorolása

Rangsorolási feladat Adott elemek egy halmaza o1…n és egy q lekérdezés Az {oi,q} párokat (gazdag) jellemzőtérrel írjuk le Rangsoroljuk o1…n elemeket q-szerinti relavancia szempontjából! A kimenet az o1…n elemek egy rendezett listája

Rangsorolás tanulása Tanító adatbázis: Modell:

Rangsorolás vs. regresszió Egyszerű megoldás: helyezést, mint valós értéket regresszáljuk Célfüggvény más! Konkrét értékek nem érdekesek, csak a rendezés Az egyes lekérdezések közti normalizáció problémás: pl. f(q1,o1,18) = f(q2, o2,72) = 1

(Leg)releváns(abb) elemek kiválasztása Sokszor a gyakorlatban csak néhány releváns elem ismert a lekérdezéshez (nem teljes rangsor). Releváns/nem-releváns bináris osztályozás? Egy halmazból mindig a legrelevánsabbakat kell kiválasztani! (globális osztályozó predikálhat mindent nem-relevánsnak) Rangsorolásnál az adott O belüli (relatív) rangsor a kérdés és nem egy abszolút rangsor.

Kiértékelési metrikák Kendall tau: Releváns elem választásnál: reciprok rangsor = 1/rank, ahol rank az első releváns elem helyezése MRR: reciprok rangsor átlagolva több q,O pár felett rel(k): a k.-nak visszaadott elem releváns-e P(k)= precízió@k MAP: AveP átlagolva több q,O pár felett

Megközelítések Pontszerű (pointwise) megközelítés Regressziós (teljes rangsorolás) vagy osztályozási (releváns elemek) problémaként kezeljük Pár-alapú (pairwise) megközelítés Az egyes O-kon belül párokat formálunk, arra az osztályozási feladatra vezetjük vissza, hogy oi elem relevánsabb-e, mint oj. Rangsorolásnál mindenki mindenkivel versenyez. Lista-alapú (listwise) megközelítés A rangsorolást közvetlenül tanuljuk. Egy q,O pár egy egyed

Pár-alapú rangsorolók

SVMrank

SVMrank

SVMrank Tfh. f(x) lineáris, ekkor: … http://www.cs.cornell.edu/people/tj/svm_light/svm_rank.html

Lista-alapú rangsorolók

ListMLE – Plackett Luce Modell π egy rangsorolása O elemeinek π-1(i) a rangsor i. pozíciójában álló elem s egy pontszám az egyes értékekhez P egy eloszlás s szerint csökkenő(növekvő) sorrendnek a legnagyobb(legkissebb) a valószínűsége

ListMLE Legyen Keressük azt az paramétervektort ami maximalizálja a tanító adatbázis megfigyelésének valószínűségét (MLE) a Plackett-Luce modell alapján:

ha sorrend helyett releváns találatok ListMLE ha sorrend helyett releváns találatok Jelölje Yi az i. lekérdezéshez releváns találatok halmazát ?

Megjegyzések A pontszerű megközelítésnél számottevően jobbak a pár- ill. lista-alapú módszerek A gyakorlatban a pár- és lista-alapú módszerek versenyképesek Tanító példák száma: Pár-alapúnál |Q\|O|2 Lista-alapúnál |Q| tanító példa

Összegzés Rangsorolási feladat Pontszerű (pointwise) megközelítés Teljes rangsor Releváns elemek Pontszerű (pointwise) megközelítés Regresszió Releváns/nem releváns osztályozás Pár-alapú (pairwise) megközelítés SVMrank Lista-alapú (listwise) megközelítés ListMLE