Orvosi alkalmazások grafikus megjelenítése

Az előadások a következő témára: "Orvosi alkalmazások grafikus megjelenítése"— Előadás másolata:

1 Orvosi alkalmazások grafikus megjelenítése
Megyesi Zoltán Dr. Tornai Róbert

2 9. Gyires Béla Informatikai Nap
Áttekintés Együttműködés a Komputergrafika és a Nukleáris Medicina tanszékek között Az orvosi képalkotás teljes folyamatát lefedő szoftverfejlesztés Partnerkapcsolat a MEDISO Kft.-vel A fejlesztőcsoport vezetője Dr. Emri Miklós 2007. november 23. 9. Gyires Béla Informatikai Nap

3 A képalkotás fizikai háttere
2007. november 23. 9. Gyires Béla Informatikai Nap

4 Az orvosi képalkotás folyamata
Adatgyűjtés Képrekonstrukció a gyűjtött adatokból A rekonstruált képek feldolgozása Vizualizáció 2007. november 23. 9. Gyires Béla Informatikai Nap

5 9. Gyires Béla Informatikai Nap
Adatgyűjtés - MiniPET Ethernet technológia Minden detektor külön IP-címmel rendelkezik A gyűjtött adatokat UDP protokollon keresztül küldjük a serveralkalmazásnak Az adatgyűjtés vezérlése TCP protokollon Real-time koincidencia válogatás (időablak 5-6 ns) LOR (Line of Response) file: adott koincidenciavonalban a mért események száma 2007. november 23. 9. Gyires Béla Informatikai Nap

6 9. Gyires Béla Informatikai Nap
Adatgyűjtés 2007. november 23. 9. Gyires Béla Informatikai Nap

7 9. Gyires Béla Informatikai Nap
Képrekonstrukció Analitikus módszer Iteratív módszer Egy túlhatározott egyenletrendszer megoldása statisztikus közelítéssel(maximum likelihood becslés alkalmazása a paraméter legvalószínűbb értékére). Iteratív módszert használunk a közelítéshez. SM * LOR = IMG SM: A detektorrendszer geometriáját, ill. a voxelek egymáshoz viszonyított kapcsolatát írja le SM[i,j]: Mekkora a valószínűsége, hogy a rekonstruálható térfogat i-edik voxele valamilyen mértékben hozzájárul a j-edik LOR-hoz 2007. november 23. 9. Gyires Béla Informatikai Nap

8 9. Gyires Béla Informatikai Nap
Képrekonstrukció MLEM, OSEM algoritmusok (OSEM: MLEM+Lor subset, gyorsabban konvergál) SM tárolása kritikus Memória, háttértár, cluster, valósidejű előállítás SM generálása: CPU/GPU technológiák Monte-Carlo szimuláció 2007. november 23. 9. Gyires Béla Informatikai Nap

9 9. Gyires Béla Informatikai Nap
System matrix Valós példa MiniPET: (detektorok * kristályok * detkoinc) / 2 = LOR 1.6 millió LOR Voxelszám 128^3 LOR * Voxelszám = SM shortban iterációnként 6.1 TB Memóriába nem fér, háttértár lassú Realtime SM számítás CPU cluster, vagy GPU 2007. november 23. 9. Gyires Béla Informatikai Nap

10 Architektúra, teljesítmény
2007. november 23. 9. Gyires Béla Informatikai Nap

11 9. Gyires Béla Informatikai Nap
Képfeldolgozás Multimodális orvosi képfeldolgozás Funkcionális (PET) és anatómiai (CT) fúziója 2D Slice, 3D Volume, 4D Gated Volume-ok memóriában szegmentált területen GPU memóriában 2D vagy 3D texturában Regisztráció, ROI/VOI, Transzformációk 2007. november 23. 9. Gyires Béla Informatikai Nap

12 Eszközkészletünk egy része:
2007. november 23. 9. Gyires Béla Informatikai Nap

13 9. Gyires Béla Informatikai Nap
Vizualizáció Célja az orvosok támogatása a képek értelmezésében (szakorvosi igények) OpenGL környezet Különféle vizualizációs módok CG, GLSL shaderek Filterezés, palettakezelés Eredmény: 6 FPS -> 90 FPS 2007. november 23. 9. Gyires Béla Informatikai Nap

14 Legújabb fejlesztéseink
2007. november 23. 9. Gyires Béla Informatikai Nap

15 9. Gyires Béla Informatikai Nap
BrainCAD A BrainCAD jelenleg az agy megjelenítésében csak az ortogonális metszeteket használja 2007. november 23. 9. Gyires Béla Informatikai Nap

16 Új megjelenítési módok
Új megjelenítési módok Egy új, Oblique-nak nevezett metszet típuson dolgozunk a BrainCAD szoftverhez, ami a volume-ok meglévő Coronal, Axial és Sagittal megjelenítését egészíti majd ki Négydimenziós megjelenítés a térbeli képek sorozatához (például szívfelvételek) Sávkiemelt kép készítése egy adott intenzitásérték környezetében 2007. november 23. 9. Gyires Béla Informatikai Nap

17 Tetszőleges irányú metszetek
Tetszőleges irányú metszetek A modern grafikus kártyák 3D és multitextúrázás funkcióira nagymértékben építünk 2007. november 23. 9. Gyires Béla Informatikai Nap

18 Diffusion Tensor Imaging
A vizsgálat tárgya Az emberi agy fehérállománya Cél Az agy belső struktúrájának a vizualizációja (C++, OpenGL) Módszer Fiber tracking, amit White Matter Tractography-nak is hívnak (WMT) Feladat Elkészíteni a megjelenítendő adatokat a diffuzióval súlyozott MRI adatokból 2007. november 23. 9. Gyires Béla Informatikai Nap

19 9. Gyires Béla Informatikai Nap
Alapvető fogalmak Tract: olyan szálak együttese, amelyek azonos kiindulási és végződési ponttal rendelkeznek White Matter Tractography (WMT): a fehérállomány szálainak iránybecslésén alapul felhasználva a víz diffúziós tulajdonságát Anizotropikus diffúzió: az iránnyal változó diffúziós tulajdonság Diffúziós tenzor: egy másodrendű szimmetrikus tenzor, ami leírja az anizotropikus diffúziót 2007. november 23. 9. Gyires Béla Informatikai Nap

20 9. Gyires Béla Informatikai Nap
Diffúziós tenzor N irányban végrehajtott diffúzióval súlyozott mérésekből a következő mátrix egyenletet írhatjuk fel: ahol B az összes kódoló gradiens hatását tartalmazza, és A tartalmazza a megfelelő logaritmikus jelarányokat 2007. november 23. 9. Gyires Béla Informatikai Nap

21 Az alkalmazott algoritmus
Az algoritmus bemenete diffúzióval súlyozott képsorozat (25) egy alapkép 2007. november 23. 9. Gyires Béla Informatikai Nap

22 9. Gyires Béla Informatikai Nap
A kiértékelés Az egyes voxelekhez tartozó összes adatot egyszerre el lehet érni iterátorok használatával A voxelek adatait összegyűjtjük Amennyiben ez lehetséges, a gradienseket (B) kiszámoljuk, egyébként alapértékeket használunk Az A vektor komponenseit meghatározzuk A túlhatározott egyenletrendszert a legkisebb négyzetek módszerével oldjuk meg (ehhez a matematikai eszközöket a GSL függvényei biztosítják) A voxelenként kapott 6 értéket állományokba írjuk 2007. november 23. 9. Gyires Béla Informatikai Nap

23 Az alkalmazott algoritmus
Az algoritmus kimenete 6 állomány, amely tartalmazza a megfelelő tenzor elemeket az egyes voxelekhez Dzz Dxx Dyy Dxy Dxz Dyz 2007. november 23. 9. Gyires Béla Informatikai Nap

24 9. Gyires Béla Informatikai Nap
Diffúziós ellipszoid A diffúziós tenzor ortogonális vektorrendszert (x’, y’ és z’) határoz meg az egyes voxelek sajátvektorai alapján. A diffúziót egy ellipszoiddal ábrázolhatjuk, a főtengelyek hosszát a tenzor sajátértékeinek gyökei határozzák meg, az irányait pedig a tenzor sajátvektorai. 2007. november 23. 9. Gyires Béla Informatikai Nap

25 Az előfeldolgozás eredménye
3 sajátérték  3 állomány λ1 λ2 λ3 3 sajátvektor  9 állomány E1x E1y E1z E2x E3y E3z E2z E2y E3x 2007. november 23. 9. Gyires Béla Informatikai Nap

26 9. Gyires Béla Informatikai Nap
A DTI kiterjesztése Összehasonlítási és kiindulási alapként a csapat implementálta a standard Fiber imaging algoritmusokat (pl.: Diffusion Tensor Imaging) Jelenleg a DTI javításán dolgozunk, különös tekintettel a szálak elágazásának és összefésülésének problémájára 2007. november 23. 9. Gyires Béla Informatikai Nap

27 Ellipszoidos megjelenítés
Ellipszoidos megjelenítés A DTI eredményének egy lehetséges vizualizációs módja 2007. november 23. 9. Gyires Béla Informatikai Nap

28 Statikus szálmegjelenítés
Statikus szálmegjelenítés Ennek a módszernek a részecskerendszeres animált fejlesztése indult el egy szakdolgozat keretén belül ebben a félévben. forrás: wikipedia.org 2007. november 23. 9. Gyires Béla Informatikai Nap

29 9. Gyires Béla Informatikai Nap
Kombinált módszer Azt tervezzük, hogy az elkészült ellipszoid és részecske rendszert tetszőleges állású vágósíkok segítségével kombináltan tudjuk megjeleníteni 2007. november 23. 9. Gyires Béla Informatikai Nap

30 9. Gyires Béla Informatikai Nap
3D irányítás 3D mouse - Connexion SpaceTraveler 6 szabadsági fokkal rendelkezik A meglévő egerünket egészíti ki 2007. november 23. 9. Gyires Béla Informatikai Nap

31 Köszönjük a kitüntető figyelmüket!
Köszönjük a kitüntető figyelmüket! 2007. november 23. 9. Gyires Béla Informatikai Nap