Adatbányászati modellek aggregálása

Az előadások a következő témára: "Adatbányászati modellek aggregálása"— Előadás másolata:

1 Adatbányászati modellek aggregálása
Dr. Pitlik László – Szűcs Imre – Pető István – Andrei Pisartsov – Orosz Erika SZIE GTK GMI - SZIE GTK GSZDI V. Alkalmazott Informatika Konferencia Kaposvár, Kaposvári Egyetem Május 26.

2 Tartalom Bevezetés Felhasznált adatok
Probléma felvetése: Inkonzisztencia Módszerek Modell aggregálás Eredmények Konklúzió V. Akalmazott Informatika Konferencia

3 Bevezetés I Adatbányászati modellek Kockázatelemzés
Credit Scoring Basel II CRM (Ügyfélkapcsolat menedzsment) Termékvásárlási / válaszadási modellek Lemorzsolódás Szegmentáció Vásárlói kosár elemzés Ügyfélérték számítás V. Akalmazott Informatika Konferencia

4 Bevezetés II Modellek felhasználása Inkonzisztencia Preferencia
Számszerű érték Inkonzisztencia Különböző modellek eltérő eredményt adnak ugyanarra a kérdésre Makro modellek vs Belső modellek V. Akalmazott Informatika Konferencia

5 Tartalom Bevezetés Felhasznált adatok
Probléma felvetése: Inkonzisztencia Módszerek Modell aggregálás Eredmények Konklúzió V. Akalmazott Informatika Konferencia

6 Felhasznált adatok I V. Akalmazott Informatika Konferencia

7 Felhasznált adatok II V. Akalmazott Informatika Konferencia

8 Tartalom Bevezetés Felhasznált adatok
Probléma felvetése: Inkonzisztencia Módszerek Modell aggregálás Eredmények Konklúzió V. Akalmazott Informatika Konferencia

9 Inkonzisztencia I Adott esemény bekövetkeztére vonatkozó eltérő eredményű becslések  Inkonzisztens jövőkép! Közös ügyfélkör 8500 objektum 46,38% „jó” ügyfél V. Akalmazott Informatika Konferencia

10 Inkonzisztencia II Következmények Döntéshozatal támogatása?
Várható veszteség számítása (Basel II) EL = PD * EAD * LGD Kampány hatékonyság tervezés Lemorzsolódás következtében elmaradt nyereség Ügyfélérték V. Akalmazott Informatika Konferencia

11 Tartalom Bevezetés Felhasznált adatok
Probléma felvetése: Inkonzisztencia Módszerek Modell aggregálás Eredmények Konklúzió V. Akalmazott Informatika Konferencia

12 Módszerek I Közös modell fejlesztése
Modell fejlesztése minden lehetséges termékkombinációra Modell aggregálás Szakértői módszer Mesterséges neurális hálózat Component-based Object Comparison for Objectivity (COCO) V. Akalmazott Informatika Konferencia

13 Módszerek II Közös modell Modellek termék kombinációnként
Hiányzó értékek Inaktív ~ Termékkel nem rendelkező Modellek termék kombinációnként Túl sok modell Automatizált modellfejlesztés? Modellek menedzselése? V. Akalmazott Informatika Konferencia

14 Módszerek III Modell aggregálás Közepesen sok modell
Aggregálási módszer? V. Akalmazott Informatika Konferencia

15 Tartalom Bevezetés Felhasznált adatok
Probléma felvetése: Inkonzisztencia Módszerek Modell aggregálás Eredmények Konklúzió V. Akalmazott Informatika Konferencia

16 Modell aggregálás – Szakértői módszer
Hibával fordított arányban súlyozott átlag p = (ASE_1 * p2 + ASE_2 * p1) / (ASE_1 + ASE_2) Klaszterezés p1-p2 K-középpontú 18 szegmens Szegmensenként számítjuk a súlyozást V. Akalmazott Informatika Konferencia

17 Modell aggregálás – MNH I
Az alkalmazott neurális hálózat: Multilayer Perceptron Aktivációs függvény: tangens hiperbolikus Kombinációs függvény: lineáris Rétegek száma: 1-2 Tanulási – tesztelési minta megoszlása: 70% - 30% Leállítási kritérium: Early stopping Memory Based Reasoning: Alapmodellek hibájának becslésére Hasonlóság = Euklidészi távolság 50 legközelebbi szomszéd V. Akalmazott Informatika Konferencia

18 Modell aggregálás – MNH II
Becsült hibák használatának vizsgálata (2 rejtett réteg, 5-4 neuronnal) Rétegek és neuronok számának vizsgálata Megfelelő struktúra mellett a becsült hibák használata felesleges! V. Akalmazott Informatika Konferencia

19 Modell aggregálás – COCO I
Dr. Pitlik László – SZIE GTK GMI Ügyfelek csoportosítása: p1, p2  szegmensek Alapadat mátrix (szegmens szint) Input: átlag_p1, átlag_p2 Cél: átlag termékvásárlás Szegmensenkénti becslés Modell kiterjesztése ügyfelekre V. Akalmazott Informatika Konferencia

20 Modell aggregálás – COCO II
COCO és MNH összehasonlítása Adatbázis: COCO alapadat mátrix 75 objektum (tréning ügyfél szegmensek) Modell eredményének kiterjesztése a teszt szegmensekbe tartozó ügyfelekre COCO MNH 5 - 4 ASE 0,1841 0,1873 0,1844 0,1840 V. Akalmazott Informatika Konferencia

21 Tartalom Bevezetés Felhasznált adatok
Probléma felvetése: Inkonzisztencia Módszerek Modell aggregálás Eredmények Konklúzió V. Akalmazott Informatika Konferencia

22 Eredmények I Inkonzisztencia feloldása az egyetlen mutatószám által
Aggregált modellek pontosabbak, mint az alapmodellek a közös ügyfélkörön Nem érjük el az alapmodellek fejlesztési állományon produkált pontosságát  Fontosak a precíz alapmodellek V. Akalmazott Informatika Konferencia

23 Fejlesztési idők aránya Termékfelvétel várható értéke
Eredmények II Modellek Rekordok száma Tanuló halmaz (%) Teszt halmaz (%) Fejlesztési idők aránya Termékfelvétel várható értéke Besorolási hiba (p=0.5) ASE (teszt) Alapmodell_1 120000 70 30 2 0,4269 26,73 0,1941 Alapmodell_2 21500 0,3741 25,25 0,1951 MNH 8500 3 0,4637 24,91 0,176 COCO 138 (8478) 54 46 1 0,4712 25,39 0,1841 Szakértői módszer 100 0,4007 27,55 0,1909 V. Akalmazott Informatika Konferencia

24 Konklúzió Inkonzisztencia feloldása
Döntéshozatal Aggregált modellek pontosabbak, mint az alapmodellek a közös ügyfélkörön Várható veszteség Kampány eredményesség Ügyfélérték Fel kell ismerni és tudatosan kezelni kell az előrejelzésekben rejlő inkonzisztenciát! V. Akalmazott Informatika Konferencia

25 Köszönöm a figyelmet! Szűcs Imre icsusz@gmail.com
V. Akalmazott Informatika Konferencia