Rangsorolás tanulása ápr. 24..

Az előadások a következő témára: "Rangsorolás tanulása ápr. 24.."— Előadás másolata:

1 Rangsorolás tanulása ápr. 24.

2

3

4 Állásra jelentkezők rangsorolása

5

6 Rangsorolási feladat Adott elemek egy halmaza o1…n és egy q lekérdezés
Az {oi,q} párokat (gazdag) jellemzőtérrel írjuk le Rangsoroljuk o1…n elemeket q-szerinti relavancia szempontjából! A kimenet az o1…n elemek egy rendezett listája

7 Rangsorolás tanulása Tanító adatbázis: Modell:

8 Rangsorolás vs. regresszió
Egyszerű megoldás: helyezést, mint valós értéket regresszáljuk Célfüggvény más! Konkrét értékek nem érdekesek, csak a rendezés Az egyes lekérdezések közti normalizáció problémás: pl. f(q1,o1,18) = f(q2, o2,72) = 1

9 Rangsorolás vs. osztályozás
Sokszor a gyakorlatban csak néhány releváns elem ismert a lekérdezéshez (nem teljes rangsor). Releváns/nem-releváns bináris osztályozás? Egy halmazból mindig a legrelevánsabbakat kell kiválasztani! (globális osztályozó predikálhat mindent nem-relevánsnak) Rangsorolásnál az adott O belüli (relatív) rangsor a kérdés és nem egy abszolút rangsor.

10 Kiértékelési metrikák
Kendall tau: Releváns elem választásnál: reciprok rangsor = 1/rank, ahol rank az első releváns elem helyezése MRR: reciprok rangsor átlagolva több q,O pár felett rel(k): a k.-nak visszaadott elem releváns-e P(k)= MAP: AveP átlagolva több q,O pár felett

11 Megközelítések Pontszerű (pointwise) megközelítés
Regressziós (teljes rangsorolás) vagy osztályozási (releváns elemek) problémaként kezeljük Pár-alapú (pairwise) megközelítés Az egyes O-kon belül párokat formálunk, arra az osztályozási feladatra vezetjük vissza, hogy oi elem relevánsabb-e, mint oj. Rangsorolásnál mindenki mindenkivel versenyez. Lista-alapú (listwise) megközelítés A rangsorolást közvetlenül tanuljuk. Egy q,O pár egy egyed

12 SVMrank

13 SVMrank

14 SVMrank Tfh. f(x) lineáris, ekkor: …

15 ListMLE – Plackett Luce Modell π egy rangsorolása O elemeinek
π-1(i) a rangsor i. pozíciójában álló elem s egy pontszám az egyes értékekhez P egy eloszlás s szerint csökkenő(növekvő) sorrendnek a legnagyobb(legkissebb) a valószínűsége

16 ListMLE Legyen Keressük azt az paramétervektort ami maximalizálja a tanító adatbázis megfigyelésének valószínűségét (MLE) a Plackett-Luce modell alapján:

17 sorrend helyett releváns találatok
ListMLE sorrend helyett releváns találatok Jelölje Yi az i. lekérdezéshez releváns találatok halmazát ?

18 Megjegyzések A pontszerű megközelítésnél számottevően jobbak a pár- ill. lista-alapú módszerek A gyakorlatban a pár- és lista-alapú módszerek versenyképesek Tanító példák száma: Pár-alapúnál |Q\|O|2 Lista-alapúnáé |Q\ tanító példa

19 Összegzés Rangsorolási feladat Pontszerű (pointwise) megközelítés
Teljes rangsor Releváns elemek Pontszerű (pointwise) megközelítés Regresszió Releváns/nem releváns osztályozás Pár-alapú (pairwise) megközelítés SVMrank Lista-alapú (listwise) megközelítés ListMLE