Project 5: Video background replacement SZTE Számítógépes látás Csapattagok: Grigore András Zsolt, Jaksa Zsombor, Rózsa Tibor, Szelei Lajos

Feladat meghatározása A projekt célja egy olyan rendszer megalkotása, mely képes videóbeszélgetés közben a beszélő mögötti hátteret bármilyen másikra kicserélni valós időben. A megoldással lehetőségünk nyílik video stream valós időben történő manipulálására.

Szakirodalom A szakirodalom felkutatása során megismert módszerek egyik fele a háttér cseréjének megvalósításával foglalkozik, másik fele az előtérben levő objektumok követésére és körvonalaik detektálására összpontosít.

Szakirodalom I.[1] /1 1. Előre rögzített háttér 2. A hátterek közti különbséget kivonással határozza meg 3. A pixelek szomszédságának vizsgálata alapján szegmentál (2 pass process) 4. A legvalószínűbb pixelekből az előzőek alapján maszkot készít mely tovább pontosítható

Szakirodalom I.[1] /2 Hátrány Előny Nem statikus háttér esetén drasztikusan nő a számítási igény és a pontatlanság Előny Viszonylag pontos objektumhatárokat ad Gyors és előre meghatározott modellekkel az eredmény pontosítható

Szakirodalom II.[3] /1 1. Az előzőhöz hasonlóan egy referencia kép és/vagy előre meghatározott színmodellek segítségével detektál 2.1 RGB -> HSV 2.2 Az elmozdulás és a Gauss Mixture Modell segítségével osztályozza a pontokat 2.3 Expectation-Maximisation módszer a valószínűségek maximalizálásával pontosít 3. Maszkot készít majd előre meghatározott szín modellek elemzésével követi pl.: a kéz mozgását

Szakirodalom II.[3] /2 Hátrány Előny Számítási igény magas és megfelelő színmodellek nélkül pontatlan is Előny A képek HSV-térbe konvertálása pontosabb eredményt biztosít (pl.:árnyék) A Gauss Mixture Modellek alkalmazása a kifinomult klaszterezés révén megfefelő osztályozást ad mely EM-el pontosítható

Szakirodalom 3. Megvizsgálva egyéb szakirodalmakat Előre rögzített háttér vagy kismértékben változó háttér Konvertálás más, fényintenzitást egy komponensként tároló térbe Egyszerű Gauss Modell vagy Gauss Mixture Modell(nagyobb háttérváltozások esetében) EM Egyéb szűrők Vágás a maszk mentén A futásidő csökkentésére esetleg optical flow algoritmus mellyel megjósoljuk a pont várható helyét és csak néhány képkockánként nézünk teljes eltérést

Használt módszer Az előzőekben leírt módszerek közül válogatva kell megtalálnunk a számunkra megfelelő minőség/számítási igény arányok közül a legmegfelelőbbet. Ennek megállapítására egy előre felvett videón és egy tesztkörnyezetként funkcionáló Matlab® kódon keresztül a különböző módszerek gyorsaságát vizsgáljuk

Használt módszer 2. Az eddigiek alapján a kódunk a következő: Referencia háttérkép várhatóan kevés háttér mozgással (talán elegendő egyszerű Gauss eloszlás vagy képek kivonása) HSV modellbe konvertálás (gyors és könnyen használható, vannak egyéb jól használható színmodellek pl.: LUV ezek használatát sem zárjuk ki de eddig a HSV tűnik a legjobbnak) Választható képek közti kivágás(gyors és pontos), egyszerű Gauss modell(gyorsabb de pontatlan) vagy Gauss Mixture Modell EM (Expectation-Maximisation) Esetleg egyéb ki/be kapcsolható a szűrők pl.: gesztusok felismerése vagy az elkészült maszk pontatlanságainak javítása Maszk készítése kapcsolódó pontok vizsgálatával

Források [1] R.J. Qian and M.I. Sezan, "Video Background Replacement without a Blue Screen". Proc. of IEEE International Conference on Image Processing. Kobe, Japan, Sept. 1999. [2] D.J. Chaplin, "Chroma Key Method and Apparatus". U.S. Patent 5249039, 1995. [3] Y. Raja, S.J. Mckenna, and S. Gong, "Segmentation and Tracking Using Colour Mixture Models". Proc. of Asian Conference on Computer Vision. Hongkong, Jan. 1998. [4] Baoxin Li and M. Ibrahim, Sezan "Adaptive Video Background Replacement" Sharp Laboratories of America 5750 N.W. Pacific Rim Blvd. Camas, Washington 98607, USA [5]Darrin Cardani "Adventures in HSV Space„ [6] Linkek: http://www.autonlab.org/tutorials/gmm.html Gauss Mixture Modellekről http://en.wikipedia.org/wiki/Standard_deviation Normál eloszlásról http://en.wikipedia.org/wiki/Optical_flow Optical Flow meghatározás