Project 5: Video background replacement

Az előadások a következő témára: "Project 5: Video background replacement"— Előadás másolata:

1 Project 5: Video background replacement
SZTE Számítógépes látás Csapattagok: Grigore András Zsolt, Jaksa Zsombor, Rózsa Tibor, Szelei Lajos

2 Feladat meghatározása
A projekt célja egy olyan rendszer megalkotása, mely képes videóbeszélgetés közben a beszélő mögötti hátteret bármilyen másikra kicserélni valós időben. A megoldással lehetőségünk nyílik video stream valós időben történő manipulálására.

3 Szakirodalom A szakirodalom felkutatása során megismert módszerek egyik fele a háttér cseréjének megvalósításával foglalkozik, másik fele az előtérben levő objektumok követésére és körvonalaik detektálására összpontosít.

4 Szakirodalom I.[1] /1 1. Előre rögzített háttér
2. A hátterek közti különbséget kivonással határozza meg 3. A pixelek szomszédságának vizsgálata alapján szegmentál (2 pass process) 4. A legvalószínűbb pixelekből az előzőek alapján maszkot készít mely tovább pontosítható

5 Szakirodalom I.[1] /2 Hátrány Előny
Nem statikus háttér esetén drasztikusan nő a számítási igény és a pontatlanság Előny Viszonylag pontos objektumhatárokat ad Gyors és előre meghatározott modellekkel az eredmény pontosítható

6 Szakirodalom II.[3] /1 1. Az előzőhöz hasonlóan egy referencia kép és/vagy előre meghatározott színmodellek segítségével detektál 2.1 RGB -> HSV 2.2 Az elmozdulás és a Gauss Mixture Modell segítségével osztályozza a pontokat 2.3 Expectation-Maximisation módszer a valószínűségek maximalizálásával pontosít 3. Maszkot készít majd előre meghatározott szín modellek elemzésével követi pl.: a kéz mozgását

7 Szakirodalom II.[3] /2 Hátrány Előny
Számítási igény magas és megfelelő színmodellek nélkül pontatlan is Előny A képek HSV-térbe konvertálása pontosabb eredményt biztosít (pl.:árnyék) A Gauss Mixture Modellek alkalmazása a kifinomult klaszterezés révén megfefelő osztályozást ad mely EM-el pontosítható

8 Szakirodalom 3. Megvizsgálva egyéb szakirodalmakat
Előre rögzített háttér vagy kismértékben változó háttér Konvertálás más, fényintenzitást egy komponensként tároló térbe Egyszerű Gauss Modell vagy Gauss Mixture Modell(nagyobb háttérváltozások esetében) EM Egyéb szűrők Vágás a maszk mentén A futásidő csökkentésére esetleg optical flow algoritmus mellyel megjósoljuk a pont várható helyét és csak néhány képkockánként nézünk teljes eltérést

9 Használt módszer Az előzőekben leírt módszerek közül válogatva kell megtalálnunk a számunkra megfelelő minőség/számítási igény arányok közül a legmegfelelőbbet. Ennek megállapítására egy előre felvett videón és egy tesztkörnyezetként funkcionáló Matlab® kódon keresztül a különböző módszerek gyorsaságát vizsgáljuk

10 Használt módszer 2. Az eddigiek alapján a kódunk a következő:
Referencia háttérkép várhatóan kevés háttér mozgással (talán elegendő egyszerű Gauss eloszlás vagy képek kivonása) HSV modellbe konvertálás (gyors és könnyen használható, vannak egyéb jól használható színmodellek pl.: LUV ezek használatát sem zárjuk ki de eddig a HSV tűnik a legjobbnak) Választható képek közti kivágás(gyors és pontos), egyszerű Gauss modell(gyorsabb de pontatlan) vagy Gauss Mixture Modell EM (Expectation-Maximisation) Esetleg egyéb ki/be kapcsolható a szűrők pl.: gesztusok felismerése vagy az elkészült maszk pontatlanságainak javítása Maszk készítése kapcsolódó pontok vizsgálatával

11 Források [1] R.J. Qian and M.I. Sezan, "Video Background Replacement without a Blue Screen". Proc. of IEEE International Conference on Image Processing. Kobe, Japan, Sept [2] D.J. Chaplin, "Chroma Key Method and Apparatus". U.S. Patent , 1995. [3] Y. Raja, S.J. Mckenna, and S. Gong, "Segmentation and Tracking Using Colour Mixture Models". Proc. of Asian Conference on Computer Vision. Hongkong, Jan [4] Baoxin Li and M. Ibrahim, Sezan "Adaptive Video Background Replacement" Sharp Laboratories of America 5750 N.W. Pacific Rim Blvd. Camas, Washington 98607, USA [5]Darrin Cardani "Adventures in HSV Space„ [6] Linkek: Gauss Mixture Modellekről Normál eloszlásról Optical Flow meghatározás