Az előadás letöltése folymat van. Kérjük, várjon

Az előadás letöltése folymat van. Kérjük, várjon

Project 5: Video background replacement SZTE Számítógépes látás Csapattagok: Grigore András Zsolt, Jaksa Zsombor, Rózsa Tibor, Szelei Lajos.

Hasonló előadás


Az előadások a következő témára: "Project 5: Video background replacement SZTE Számítógépes látás Csapattagok: Grigore András Zsolt, Jaksa Zsombor, Rózsa Tibor, Szelei Lajos."— Előadás másolata:

1 Project 5: Video background replacement SZTE Számítógépes látás Csapattagok: Grigore András Zsolt, Jaksa Zsombor, Rózsa Tibor, Szelei Lajos

2 Feladat meghatározása  A projekt célja egy olyan rendszer megalkotása, mely képes videóbeszélgetés közben a beszélő mögötti hátteret bármilyen másikra kicserélni valós időben.  A megoldással lehetőségünk nyílik video stream valós időben történő manipulálására.

3 Szakirodalom  A szakirodalom felkutatása során megismert módszerek egyik fele a háttér cseréjének megvalósításával foglalkozik, másik fele az előtérben levő objektumok követésére és körvonalaik detektálására összpontosít.

4 Szakirodalom I. [1] /1  1. Előre rögzített háttér  2. A hátterek közti különbséget kivonással határozza meg  3. A pixelek szomszédságának vizsgálata alapján szegmentál (2 pass process)  4. A legvalószínűbb pixelekből az előzőek alapján maszkot készít mely tovább pontosítható

5 Szakirodalom I. [1] /2  Hátrány  Nem statikus háttér esetén drasztikusan nő a számítási igény és a pontatlanság  Előny  Viszonylag pontos objektumhatárokat ad  Gyors és előre meghatározott modellekkel az eredmény pontosítható

6 Szakirodalom II. [3] /13  1. Az előzőhöz hasonlóan egy referencia kép és/vagy előre meghatározott színmodellek segítségével detektál  2.1 RGB -> HSV  2.2 Az elmozdulás és a Gauss Mixture Modell segítségével osztályozza a pontokat  2.3 Expectation-Maximisation módszer a valószínűségek maximalizálásával pontosít  3. Maszkot készít majd előre meghatározott szín modellek elemzésével követi pl.: a kéz mozgását

7 Szakirodalom II. [3] /23  Hátrány  Számítási igény magas és megfelelő színmodellek nélkül pontatlan is  Előny  A képek HSV-térbe konvertálása pontosabb eredményt biztosít (pl.:árnyék)  A Gauss Mixture Modellek alkalmazása a kifinomult klaszterezés révén megfefelő osztályozást ad mely EM-el pontosítható

8 Szakirodalom 3.  Megvizsgálva egyéb szakirodalmakat  Előre rögzített háttér vagy kismértékben változó háttér  Konvertálás más, fényintenzitást egy komponensként tároló térbe  Egyszerű Gauss Modell vagy Gauss Mixture Modell(nagyobb háttérváltozások esetében)  EM  Egyéb szűrők  Vágás a maszk mentén  A futásidő csökkentésére esetleg optical flow algoritmus mellyel megjósoljuk a pont várható helyét és csak néhány képkockánként nézünk teljes eltérést

9 Használt módszer  Az előzőekben leírt módszerek közül válogatva kell megtalálnunk a számunkra megfelelő minőség/számítási igény arányok közül a legmegfelelőbbet.  Ennek megállapítására egy előre felvett videón és egy tesztkörnyezetként funkcionáló Matlab ® kódon keresztül a különböző módszerek gyorsaságát vizsgáljuk

10 Használt módszer 2.  Az eddigiek alapján a kódunk a következő:  Referencia háttérkép várhatóan kevés háttér mozgással (talán elegendő egyszerű Gauss eloszlás vagy képek kivonása)  HSV modellbe konvertálás (gyors és könnyen használható, vannak egyéb jól használható színmodellek pl.: LUV ezek használatát sem zárjuk ki de eddig a HSV tűnik a legjobbnak)  Választható képek közti kivágás(gyors és pontos), egyszerű Gauss modell(gyorsabb de pontatlan) vagy Gauss Mixture Modell  EM (Expectation-Maximisation)  Esetleg egyéb ki/be kapcsolható a szűrők pl.: gesztusok felismerése vagy az elkészült maszk pontatlanságainak javítása  Maszk készítése kapcsolódó pontok vizsgálatával

11 Források  [1] R.J. Qian and M.I. Sezan, "Video Background Replacement without a Blue Screen". Proc. of IEEE International Conference on Image Processing. Kobe, Japan, Sept  [2] D.J. Chaplin, "Chroma Key Method and Apparatus". U.S. Patent ,  [3] Y. Raja, S.J. Mckenna, and S. Gong, "Segmentation and Tracking Using Colour Mixture Models". Proc. of Asian Conference on Computer Vision. Hongkong, Jan  [4] Baoxin Li and M. Ibrahim, Sezan "Adaptive Video Background Replacement" Sharp Laboratories of America 5750 N.W. Pacific Rim Blvd. Camas, Washington 98607, USA  [5]Darrin Cardani "Adventures in HSV Space„  [6] Linkek: Gauss Mixture Modellekről Normál eloszlásról Optical Flow meghatározás


Letölteni ppt "Project 5: Video background replacement SZTE Számítógépes látás Csapattagok: Grigore András Zsolt, Jaksa Zsombor, Rózsa Tibor, Szelei Lajos."

Hasonló előadás


Google Hirdetések