Orvosi alkalmazások grafikus megjelenítése Megyesi Zoltán Dr. Tornai Róbert

9. Gyires Béla Informatikai Nap Áttekintés Együttműködés a Komputergrafika és a Nukleáris Medicina tanszékek között Az orvosi képalkotás teljes folyamatát lefedő szoftverfejlesztés Partnerkapcsolat a MEDISO Kft.-vel A fejlesztőcsoport vezetője Dr. Emri Miklós 2007. november 23. 9. Gyires Béla Informatikai Nap

A képalkotás fizikai háttere 2007. november 23. 9. Gyires Béla Informatikai Nap

Az orvosi képalkotás folyamata Adatgyűjtés Képrekonstrukció a gyűjtött adatokból A rekonstruált képek feldolgozása Vizualizáció 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap Adatgyűjtés - MiniPET Ethernet technológia Minden detektor külön IP-címmel rendelkezik A gyűjtött adatokat UDP protokollon keresztül küldjük a serveralkalmazásnak Az adatgyűjtés vezérlése TCP protokollon Real-time koincidencia válogatás (időablak 5-6 ns) LOR (Line of Response) file: adott koincidenciavonalban a mért események száma 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap Adatgyűjtés 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap Képrekonstrukció Analitikus módszer Iteratív módszer Egy túlhatározott egyenletrendszer megoldása statisztikus közelítéssel(maximum likelihood becslés alkalmazása a paraméter legvalószínűbb értékére). Iteratív módszert használunk a közelítéshez. SM * LOR = IMG SM: A detektorrendszer geometriáját, ill. a voxelek egymáshoz viszonyított kapcsolatát írja le SM[i,j]: Mekkora a valószínűsége, hogy a rekonstruálható térfogat i-edik voxele valamilyen mértékben hozzájárul a j-edik LOR-hoz 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap Képrekonstrukció MLEM, OSEM algoritmusok (OSEM: MLEM+Lor subset, gyorsabban konvergál) SM tárolása kritikus Memória, háttértár, cluster, valósidejű előállítás SM generálása: CPU/GPU technológiák Monte-Carlo szimuláció 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap System matrix Valós példa MiniPET: (detektorok * kristályok * detkoinc) / 2 = LOR 1.6 millió LOR Voxelszám 128^3 LOR * Voxelszám = SM shortban iterációnként 6.1 TB Memóriába nem fér, háttértár lassú Realtime SM számítás CPU cluster, vagy GPU 2007. november 23. 9. Gyires Béla Informatikai Nap

Architektúra, teljesítmény 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap Képfeldolgozás Multimodális orvosi képfeldolgozás Funkcionális (PET) és anatómiai (CT) fúziója 2D Slice, 3D Volume, 4D Gated Volume-ok memóriában szegmentált területen GPU memóriában 2D vagy 3D texturában Regisztráció, ROI/VOI, Transzformációk 2007. november 23. 9. Gyires Béla Informatikai Nap

Eszközkészletünk egy része: 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap Vizualizáció Célja az orvosok támogatása a képek értelmezésében (szakorvosi igények) OpenGL környezet Különféle vizualizációs módok CG, GLSL shaderek Filterezés, palettakezelés Eredmény: 6 FPS -> 90 FPS 2007. november 23. 9. Gyires Béla Informatikai Nap

Legújabb fejlesztéseink 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap 2017.04.04. BrainCAD A BrainCAD jelenleg az agy megjelenítésében csak az ortogonális metszeteket használja 2007. november 23. 9. Gyires Béla Informatikai Nap

Új megjelenítési módok 2017.04.04. Új megjelenítési módok Egy új, Oblique-nak nevezett metszet típuson dolgozunk a BrainCAD szoftverhez, ami a volume-ok meglévő Coronal, Axial és Sagittal megjelenítését egészíti majd ki Négydimenziós megjelenítés a térbeli képek sorozatához (például szívfelvételek) Sávkiemelt kép készítése egy adott intenzitásérték környezetében 2007. november 23. 9. Gyires Béla Informatikai Nap

Tetszőleges irányú metszetek 2017.04.04. Tetszőleges irányú metszetek A modern grafikus kártyák 3D és multitextúrázás funkcióira nagymértékben építünk 2007. november 23. 9. Gyires Béla Informatikai Nap

Diffusion Tensor Imaging A vizsgálat tárgya Az emberi agy fehérállománya Cél Az agy belső struktúrájának a vizualizációja (C++, OpenGL) Módszer Fiber tracking, amit White Matter Tractography-nak is hívnak (WMT) Feladat Elkészíteni a megjelenítendő adatokat a diffuzióval súlyozott MRI adatokból 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap Alapvető fogalmak Tract: olyan szálak együttese, amelyek azonos kiindulási és végződési ponttal rendelkeznek White Matter Tractography (WMT): a fehérállomány szálainak iránybecslésén alapul felhasználva a víz diffúziós tulajdonságát Anizotropikus diffúzió: az iránnyal változó diffúziós tulajdonság Diffúziós tenzor: egy másodrendű szimmetrikus tenzor, ami leírja az anizotropikus diffúziót 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap Diffúziós tenzor N irányban végrehajtott diffúzióval súlyozott mérésekből a következő mátrix egyenletet írhatjuk fel: ahol B az összes kódoló gradiens hatását tartalmazza, és A tartalmazza a megfelelő logaritmikus jelarányokat 2007. november 23. 9. Gyires Béla Informatikai Nap

Az alkalmazott algoritmus Az algoritmus bemenete diffúzióval súlyozott képsorozat (25) egy alapkép 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap A kiértékelés Az egyes voxelekhez tartozó összes adatot egyszerre el lehet érni iterátorok használatával A voxelek adatait összegyűjtjük Amennyiben ez lehetséges, a gradienseket (B) kiszámoljuk, egyébként alapértékeket használunk Az A vektor komponenseit meghatározzuk A túlhatározott egyenletrendszert a legkisebb négyzetek módszerével oldjuk meg (ehhez a matematikai eszközöket a GSL függvényei biztosítják) A voxelenként kapott 6 értéket állományokba írjuk 2007. november 23. 9. Gyires Béla Informatikai Nap

Az alkalmazott algoritmus Az algoritmus kimenete 6 állomány, amely tartalmazza a megfelelő tenzor elemeket az egyes voxelekhez Dzz Dxx Dyy Dxy Dxz Dyz 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap Diffúziós ellipszoid A diffúziós tenzor ortogonális vektorrendszert (x’, y’ és z’) határoz meg az egyes voxelek sajátvektorai alapján. A diffúziót egy ellipszoiddal ábrázolhatjuk, a főtengelyek hosszát a tenzor sajátértékeinek gyökei határozzák meg, az irányait pedig a tenzor sajátvektorai. 2007. november 23. 9. Gyires Béla Informatikai Nap

Az előfeldolgozás eredménye 3 sajátérték  3 állomány λ1 λ2 λ3 3 sajátvektor  9 állomány E1x E1y E1z E2x E3y E3z E2z E2y E3x 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap 2017.04.04. A DTI kiterjesztése Összehasonlítási és kiindulási alapként a csapat implementálta a standard Fiber imaging algoritmusokat (pl.: Diffusion Tensor Imaging) Jelenleg a DTI javításán dolgozunk, különös tekintettel a szálak elágazásának és összefésülésének problémájára 2007. november 23. 9. Gyires Béla Informatikai Nap

Ellipszoidos megjelenítés 2017.04.04. Ellipszoidos megjelenítés A DTI eredményének egy lehetséges vizualizációs módja 2007. november 23. 9. Gyires Béla Informatikai Nap

Statikus szálmegjelenítés 2017.04.04. Statikus szálmegjelenítés Ennek a módszernek a részecskerendszeres animált fejlesztése indult el egy szakdolgozat keretén belül ebben a félévben. forrás: wikipedia.org 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap 2017.04.04. Kombinált módszer Azt tervezzük, hogy az elkészült ellipszoid és részecske rendszert tetszőleges állású vágósíkok segítségével kombináltan tudjuk megjeleníteni 2007. november 23. 9. Gyires Béla Informatikai Nap

9. Gyires Béla Informatikai Nap 2017.04.04. 3D irányítás 3D mouse - Connexion SpaceTraveler 6 szabadsági fokkal rendelkezik A meglévő egerünket egészíti ki 2007. november 23. 9. Gyires Béla Informatikai Nap

Köszönjük a kitüntető figyelmüket! 2017.04.04. http://petdisk.atomki.hu/m3i Köszönjük a kitüntető figyelmüket! 2007. november 23. 9. Gyires Béla Informatikai Nap