CC.st.gr III. Dr. ing. Șerban Ionel [631979]

UNIVERSITATEA TRANSILVANIA DIN BRAȘOV
Facultatea de Design de Produs și Mediu

PROIECT DE DIPLOMĂ

Absolvent: [anonimizat] :
CC.st.gr III. Dr. ing. Șerban Ionel

Brașov
2017

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 2
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student: [anonimizat].st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
UNIVERSITATEA TRANSILVANIA DIN BRAȘOV
Facultatea de Design de Produs ș i Mediu
Departamentul Design de Produs, Mecatronică ș i Mediu

Aplicații ale realității augmentate în
ingineria biomedicală

PROIECT DE DIPLOMĂ

Ghigeanu Bogdan
Inginerie medicală

Brașov
2017

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 3
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student: [anonimizat].st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan

CUPRINS

1. Introducere ………………………….. ………………………….. ………………………….. …………… 12
2. Scu rt istoric ………………………….. ………………………….. ………………………….. ………….. 15
3. Stadiul actual ………………………….. ………………………….. ………………………….. ………… 18
3.1 Echipamente de realitate virtuală ………………………….. ………………………….. ……. 18
3.1.1 HTC Vive ………………………….. ………………………….. ………………………….. …. 20
3.1.2 Oculus Rift ………………………….. ………………………….. ………………………….. .. 21
3.1.3 Goog le Daydream ………………………….. ………………………….. ………………….. 23
3.2 Software -uri de realitate virtuală și augmentată ………………………….. …………….. 24
3.2.1 EON reality ………………………….. ………………………….. ………………………….. . 25
3.2.2 Virtalis ………………………….. ………………………….. ………………………….. ……… 26
3.2.3 Worldviz ………………………….. ………………………….. ………………………….. …… 26
3.3 Aplicații cu scop didactic care utilizează realitatea virtuală ………………………… 27
3.4 Medii virtuale pentru reabilitare ………………………….. ………………………….. ……… 31
3.4.1 VRACK ………………………….. ………………………….. ………………………….. ……. 31
3.4.2 Achiziția de date și interfața grafică ………………………….. ………………………. 33
3.4.3 Mediul virtual ………………………….. ………………………….. ………………………… 33
3.4.4 Concluzii ………………………….. ………………………….. ………………………….. ….. 35
3.5 Stadiul actual în sala operatorie ………………………….. ………………………….. ……… 36
4. Considerații teoretice ………………………….. ………………………….. …………………………. 39
4.1 Conceptul de realitate augmentată ………………………….. ………………………….. ….. 39
4.2 Interacțiunea cu mediul înconjurător ………………………….. ………………………….. . 40
4.3 Computer Vision – Based AR ………………………….. ………………………….. ………… 41
4.3.1 Alegerea obiectelor din mediul fizic ………………………….. ……………………… 42
4.3.2 Introducere în librăria VuforiaTM ………………………….. ………………………….. 45
4.3.3 Configurare VuforiaTM pentru recunoașterea obiectelor ……………………….. 46
4.3.4 Unity 3D ………………………….. ………………………….. ………………………….. …… 49
5. Descriere experiment ………………………….. ………………………….. …………………………. 50
5.1 Descrierea componentelor fizice ………………………….. ………………………….. …….. 50
5.1.1 Huawei Nexus 6P ………………………….. ………………………….. …………………… 50

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 4
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
5.1.2 Oche lari VR Gaming Trust GXT720 ………………………….. …………………….. 51
5.1.3 Manechin de tip bust ………………………….. ………………………….. ………………. 52
5.1.4 Markeri de tip contur ………………………….. ………………………….. ………………. 52
5.2 Descrierea software a aplicației ………………………….. ………………………….. ……… 53
6. Concluzii ………………………….. ………………………….. ………………………….. ……………… 74
7. Bibliografie ………………………….. ………………………….. ………………………….. ………….. 75

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 5
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
REZUMAT

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 6
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
SUMMARY

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 7
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
ABREVIAR ȘI TERMENI SPECIFICI

VR = Realitate Virtuală ; (provine din expresia de origine engleză „Virtual Reality”)
AR = Realitate Augmentată ; (provine din expresia de origine engleză „Augmented
Reality”)
CT = Computer Tomograf ;
RMN = Rezonanță Magnetică Nucleară ;
PET = Tomografie cu emisie pozitronică ; (provine din expresia de origine engleză
„Positron Emission Tomography ”)
2D = Spațiu bidimensional ;
3D = Spațiu tridimensional ;
Lobectomie = Procedură de îndepărtare chirurgicală a unui lob pulmonar ;
Headset = Suport de prindere a ochelarilor de realitate virtuală, montat pe capul
utilizatorului ;
Gamepad = Un tip de controller destinat jocurilor video, proiectat pentru a fi folosit de
către mâna utilizatorul ui;
Hz = Hertz ; (unitate de măsură pentru frecvență în Sistemul Internațional)
IT = Tehnologia I nforma ției; (provine din expresia de origine engleză „Information
Technology ”)
USB = Interfață serială rapidă, bi direcțională și ușor de folosit ; (provine din expresia de
origine engleză „ Universal Serial Bus ”)
DVI = Interfa ță vizual ă digital ă; (provine din expresia de origine engleză „ Digital Visual
Interface ”)
Touch Controller = Un tip de controller destinat realității virtuale , proiectat pentru a fi
folosit d e către mâna utilizatorului ;
IMUs = Unitate de măsură a inerției ; (provine din expresia de origine engleză „ Inertial
Measurement Units ”)
VRACK = Sistem mecatronic de reabilitare pentru persoanele care au nevoie de
utilizarea unei b iciclete de recuperare medicală ; (provine din expresia de origine engleză „ Virtual
Reality Augmented Cycling kit ”)
RPM = Rotații pe minut ;
LCD = Afișaj cu cristale lichide ; (provine din expresia de origine engleză „ Liquid Crystal
Display ”)
GPS = Sistem de Poziționare Globală ; (provine din expresia de origine engleză „ Global
Positioning System ”)
VST = Metodă de percepere a imaginilor din lumea înconjurătoare, într -un mod indirect,
prin intermediul unui monitor sau display ; (provine din expresia de origine engleză „ Video See
– Through ”)
Tracking = Acțiunea de a ține sub urmărire un anumit obiect ;
Marker = Obiectul aflat sub urmărire printr -o acțiune de tip Tracking ;
QR = Cod de tip matrice cu formă bidimensională ; (provine din expresia de origine engleză
„Quick Response ”)

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 8
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Randare = Procesul de prelucrare a informa țiilor digitale introduse într-un mediu grafic de
modelare 3D ; (provine de la termenul de origine engleză „ Render ”)
Imagine s tereoscopică = Prezentarea unei imagini din două unghiuri, puțin diferite, pentru
ca apoi creier ul să contopească aceste imagini într -o singură imagine tridimensională ;
Rating = Gradul de ev aluare calitativ al unui aspect;
SDK = Set de unelte folosite de un programator pentru a scrie programe pentru un anumit
sistem de operare sau platform ă hardware ; (provine din expresia de origine engleză „ Software
Development Kit ”)
PPI = Unitate de m ăsură a densit ății pixelilor unui display . (provine din expresia de origine
engleză „ Pixels per inch ”)

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 9
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
LIST Ă DE FIGURI

Fig. 2.1. Imagini ale echipamentelor patentate de Morton Heiling: a) Telesphere Mask;
b) Sensorama Simulator ………………………….. ………………………….. ………………………….. ……….. 15
Fig. 2.2. Vizualizarea scenelor str adale în realitatea virtuală ………………………….. …… 16
Fig. 2.3. Copil cu deficiențe de autis m folosind echipamentul de VR ……………………. 17
Fig. 3.1. Utilizatorul unui headset VR ………………………….. ………………………….. ……… 18
Fig. 3.2. Utilizatorul unui headset VR utiliz at împreună cu un smartphone ……………. 19
Fig. 3.3. Utilizatorul unui headset VR, utilizat î mpreună cu o conexiune la PC ……… 19
Fig. 3.4. H TC vive – vedere exterioară ………………………….. ………………………….. …….. 20
Fig. 3.5. Accesoriu HTC vive – „The Vive Deluxe Audio Strap” …………………………. 21
Fig. 3.6. Oculus Rift ………………………….. ………………………….. ………………………….. ….. 21
Fig. 3.7. Oculus Senzor ………………………….. ………………………….. ………………………….. 22
Fig. 3.8. Controller Oculus cu Touch ………………………….. ………………………….. ……….. 22
Fig. 3.9. Headset Google Daydream ………………………….. ………………………….. ………… 23
Fig. 3. 10. Headset Google Daydre am ………………………….. ………………………….. ………. 23
Fig. 3.11. Încăpere 3D realiz ată cu software -ul WorldViz ………………………….. ………. 24
Fig. 3.12. Vizualizare a softwar e-ului EON reality (EyeSim) ………………………….. ….. 25
Fig. 3.13. Vizualizare a software -ului EON reality ( Virtual Anatomy Simulation) …. 25
Fig. 3.14. Utilizator al software -ului Visionary Re nder ………………………….. ………….. 26
Fig. 3.15. Utilizato r al software -ului Worldviz ………………………….. ………………………. 27
Fig. 3.16. Echipamentul de realitate virtuală LapSim® ………………………….. ……………. 28
Fig. 3.17. Imagini preluate în timpul evaluării intervenției de lobectomie ……………… 29
Fig. 3.18. Modul de vizualizare al unui model 3D cu a jutorul Headset -ului Oculus … 30
Fig. 3.19. Recuperare c u ajutorul sistemului VRACK ………………………….. …………….. 31
Fig. 3.20. Componența sistemului VRACK ………………………….. ………………………….. 32
Fig. 3.21. Componența interfeței grafice: Semnale preluate de la modulul tip ghidon
(A); pedalier (B); Viteza și numărul RPM (C); Ritmul cardiac (D); Zona de reseta re a
măsurătorilor ( E); Datele înregistrate (F) ………………………….. ………………………….. ……………. 33
Fig. 3.22. Imagine preluată în timpul parcu rgerii unui traseu în VRACK ………………. 34
Fig. 3.23. Mișcările realizate de ciclist: A. în reali tate; B. în mediul virtual. ………….. 35
Fig. 3.24. Sistem de afișaj prezent în blocul operator ………………………….. ……………… 36

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 10
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 3.25. Versiuni diferite ale imaginilor suprapuse: în stânga este versiunea cu
opacitate mare; în dreapta este versiunea semi -transparentă ………………………….. ………………. 37
Fig. 3.26. Folosirea realității augmentate în sala operatorie: 1. Afișaj electronic; 2. Tijă
laparoscopică; 3. Vizualizarea 3D augmentată; 4. Ca mere de înregistrare video. ……………… 37
Fig. 4.1. Exem plu de realitate augmentată ………………………….. ………………………….. … 39
Fig. 4.2. F uncționarea tehnologiei VST ………………………….. ………………………….. ……. 40
Fig. 4.3. 1. Marker de tip contur; 2. Marker 2D de tip imagine ………………………….. … 42
Fig. 4.4. Cod QR ………………………….. ………………………….. ………………………….. ………. 43
Fig. 4.5 . Algoritmul de funcționare ………………………….. ………………………….. ………….. 43
Fig. 4.6. Reprezentarea punctelor de in teres în cadrul unui marker ………………………. 44
Fig. 4.7. Reprezentarea punc telor de interes în cadrul unui marker complex ………….. 44
Fig. 4.8. Arhitectura Vufor ia ………………………….. ………………………….. …………………… 45
Fig. 4.9. „Target Manager” în Vuforia ………………………….. ………………………….. ……… 46
Fig. 4.1 0. „Add New Target” în Vuforia ………………………….. ………………………….. ….. 46
Fig. 4.11. Încărcarea imagi nii în baza de date Vuforia ………………………….. ……………. 47
Fig. 4.12. Tipuri de markeri r ecomandați de către Vuforia ………………………….. ……… 48
Fig. 4.13. Exportarea marker -ilor introduși în biblioteca Vuforia …………………………. 48
Fig. 4.14. Pla tforme compatibi le cu Unity ………………………….. ………………………….. … 49
Fig. 5.1. Huawei Nexus 6P ………………………….. ………………………….. …………………….. 50
Fig. 5.2. Ochelari VR G aming Trust GXT720 ………………………….. ……………………….. 51
Fig. 5.3. Manechin ………………………….. ………………………….. ………………………….. ……. 52
Fig. 5.4. Markeri de tip contur ………………………….. ………………………….. ………………… 52
Fig. 5.5. Crearea licenței pentru aplicația de realitate augmentată ………………………… 53
Fig. 5.6. Codul ce va fi ulterior integrat în Unity 3D ………………………….. ………………. 54
Fig. 5.7. Statisticile referitoare la utilizarea markerilor ………………………….. …………… 54
Fig. 5.8. Crearea unei baze de date a marker -ilor ………………………….. …………………… 55
Fig. 5.9. Markerii aplicați pe manechinul de tip bust ………………………….. ……………… 55
Fig. 5.10. Markerii după prelucrarea în Adobe Photoshop CC ………………………….. …. 56
Fig. 5.11. Setările pentru introducerea markerilor ………………………….. ………………….. 56
Fig. 5.12. Punctajul obținut de cei doi markeri ………………………….. ………………………. 57
Fig. 5.13. Punctele de interes al markerului din partea frontală ………………………….. .. 57
Fig. 5.14. Punctele de interes al marker -ului din partea dorsală ………………………….. .. 58
Fig. 5.15. Descărcarea pachetului Unity care conține cei doi markeri …………………… 58

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 11
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 5.16. Crearea unui proiect nou în Unity 3D ………………………….. …………………….. 59
Fig. 5.17. Importarea pachetului Vuforia în Unity 3D ………………………….. …………….. 59
Fig. 5.18. Conținutul proiectului Unity 3D ………………………….. ………………………….. .. 60
Fig. 5.19. Ștergerea camerei de înregistrare preinstalată în Unity 3D ……………………. 60
Fig. 5.20. Calea de acces spre “ARCamera” ………………………….. ………………………….. 60
Fig. 5.21. Introducerea “ARCamera” în “Hierarchy Panel” ………………………….. …….. 61
Fig. 5.22. Setările necesare “ARCamera” ………………………….. ………………………….. …. 61
Fig. 5.23. Setările suplimentare necesare “ARCamera” ………………………….. ………….. 62
Fig. 5.24. Testarea funcționării “ARCamera” ………………………….. ………………………… 62
Fig. 5.25. Implementarea marker -ului spate în Unity 3D ………………………….. ………… 63
Fig. 5.26. Implementarea marker -ului față în Unity 3D ………………………….. ………….. 63
Fig. 5.27. Finalizarea i mplementării marker -ilor în Unity 3D ………………………….. ….. 64
Fig. 5.28. Centrare „ARCamera” asupra marker -ilor ………………………….. ……………… 64
Fig. 5.29. Finalizarea i mplementarii marker -ilor în Unity 3D ………………………….. ….. 64
Fig. 5.30. Procesul de identificare al marker -ilor în Unity 3D ………………………….. …. 65
Fig. 5.31. Inimă 3D utilizată în cadrul acestui proiect ………………………….. …………….. 66
Fig. 5.32. Coloană vertebrală 3D utilizată în cadrul acestui proiect ………………………. 66
Fig. 5.33. Importarea modelelor 3D în Unity ………………………….. …………………………. 67
Fig. 5.34. Sincronizarea modelului 3D cu marker -ul său ………………………….. ………… 67
Fig. 5.35. Setările de poziționare ale modelului 3D al inimii ………………………….. …… 67
Fig. 5.36. Setările de poziționare ale modelului 3D al coloanei vertebrale …………….. 68
Fig. 5.37. Teste ale funcționalității marker -ilor și obiectelor 3D ………………………….. . 68
Fig. 5.38. Preview al aplicației finale ………………………….. ………………………….. ……….. 69
Fig. 5.39. Setările pentru adaptarea cu headset -ul VR ………………………….. …………….. 69
Fig. 5.40. Setările smartphone -ului pentru transferul de fișiere ………………………….. … 70
Fig. 5.41. Setările Unity pentru exportare A ndroid ………………………….. ………………… 70
Fig. 5.42. Mesaj de eroare la prima exportare Android ………………………….. …………… 71
Fig. 5.43. Crearea identității aplicației finale ………………………….. …………………………. 71
Fig. 5.44. Rularea aplicației finale pe smartphone ………………………….. ………………….. 72
Fig. 5.45. Introducerea unui nou script în Vuforia ………………………….. ………………….. 72

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 12
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
1. INTRODUCERE

Așa cum putem observa , evoluția tehnologiei și modul în care aceas ta se dezvoltă este
un fapt din ce în c e mai discutat de către omenire , dar și de către marile companii care doresc
să implementeze dispozitive de ultimă generație în viețile noastre .
Privind în trecut, există niște perioade marcante în ceea ce privește inventarea unor
dispozitive care au îmbunătățit modul de interacționare dintre oameni. Astfel, în anul 1835,
Samuel Morse a inventat telegraful, precedat apoi de către Alexander Graham c are a depus un
brevet de invenție al telefonului î n anul 1876 și nu în ultimul rând, în anul 1994, Internetul a
putut fi folosit de către publicul larg. [1]
Toate aceste tehnologii au avut în comun faptul că au reușit să stabilească o conexiune
și o comun icare facilă între oamenii aflați la distanță și totodată, au permis ca accesul la
informație să fie realizat din în ce mai rapid, mai ușor și gratuit. Probabil unul dintre cele mai
importante benef icii produse de evoluția tehnologiei este reprezentat de t ransmiterea apr oape
instantanee a datelor , documen telor și al diverselor tipuri de fișiere.
Din perspectiva unui inginer medical, este important să se urmărească evoluția
tehnologiei pentru a se putea realiza implementarea acesteia în domeniul medical și de a veni
în sprijinul pacienților prin îmbunătățirea aparaturii de care aceștia au nevoie.
În ceea ce privește lumea medicală și serviciile de care beneficiază pacienții, ultimii 20
ani au reprezentat o schimbare majoră prin intermediul introducerii teh nologiei în acest
segment. Astfel, probleme existente în imagistica medicală, precum dificultatea segmentării
imaginilor, densitatea redusă a pi xelilor pe imaginile rezultate î n urma investigațiilor, lipsa
unor software -uri și a unor baze de date ce permit stocarea informațiilor referitoare la pacien ți,
dar și lipsa inteligen ței artificiale au disp ărut. În zilele noastre, în segmentul medical se remarc ă
roboții de înaltă precizie, imagini 3D de rezolu ție înaltă, imagini de înaltă calitate prelevate în
timpu l investiga țiilor medicale și nu î n ultimul r ând, introducerea realit ății virtuale în lumea
medical ă.
Realitatea virtual ă (provine din expresia de origine englez ă, Virtual Reality sau VR) are
o istorie destul de redus ă. Punctul de început a fost reprezentat în jurul anilor 1960, prin
dezvoltarea unui echipament numit Sensorama Simulator. Acest echipament plasa utilizatorul
în mijlocul unui c âmp vizual și auditiv care avea rolul de a provoca utilizatorului senza ția de a
fi integrat în scenele prezentate în acest c âmp vizual. Succesul acestui echipament a fost întâlnit
doar î n aplicații cu scop de divertisment. În jurul anilor 70, au ap ărut primele c ăști cu ecran
integrat folosite în simulatoarele de avia ție. Acest procedeu a fost prelu at de c ătre sistemul
militar, ace știa adapt ând te hnologia pentru antrenamentele personalul ui militar, î n speci al
pentru pilo ții de avioane. [2]
În anii ce au urmat, echipamentele de realitate virtual ă au evoluat, prin apari ția și a unor
echipamente ce mon itorizau și mișcarea m âinilor (m ânuși prev ăzute cu senzori), fiind folosite
cu prec ădere în industria jocurilor.
În ceea ce prive ște zona medical ă, în anul 1989, s -a folosit echipamentul de realitate
virtual ă pentru a simula o opera ție de transplant de tendon. În anul 1991, s -a realizat o simulare
a unei opera ții abdominale, iar num ărul unor astfel de simul ări a crescut din ce în ce mai mult.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 13
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Datorit ă remarc ării numeroaselor beneficii pe care realitatea virtual ă le-a oferit , au începu t să
fie dezvoltate tot mai multe sisteme de acest tip. Sisteme cu afi șaj de înaltă rezolu ție, sisteme
de urm ărire și navigare au venit în sprijinul celor care urmau s ă devin ă medici, permit ându-le
să participe la tot mai multe simul ări de opera ții și tran splanturi.
Realitatea virtual ă reprezint ă interfa ța om -calculator, ce permite o vizualizare
interactiv ă și controlul unor scene 3D, scene care se misc ă cu o vitez ă suficient de mare pentru
a simula o experien ță senzorial ă similar ă experien țelor tr ăite real . Tehnologia permite
transformarea imaginilor obținute cu ajutorul echipamentelor medicale în modele 3D, ulterior
fiind manipulate de c ătre medici în diverse aplica ții medicale. În medicina VR, observatorul
poate explora corpul unui pacient dintr -o multitudine de vederi, modelele anatomice create pot
fi dinamice, av ând diferite comportamente î n func ție de ac țiunile privitorului. Aplica țiile pot fi
extinse pe o gam ă foarte larg ă, fie c ă este vorba de operarea cu molecule și celule p ână la
manipularea diferitelor organe ale sistemului uman.
Cele mai multe aplica ții ale realit ății virtuale în medicin ă se regă sesc în cadrul
studen ților ce se preg ătesc s ă devin ă viitori medici, respectiv al atlaselor medicale ce folosesc
tehnologia VR pentru a veni în spri jinul celor care vor s ă aprofundeze anatomia corpului uman.
Ideea realiz ării acestui proiect, de a crea o aplica ție de realit ate augmentat ă utilizată
împreună cu ochelari de realitate virtuală , ce ar putea fi implementat ă în cadrul sălii operatori e
în viitorul apropiat , provine în urma stagiului de practic ă, realizat prin intermediul unei burse
Erasmus+, la o clinic ă de medicin ă nuclear ă din Pisa, Italia. În urma discu țiilor cu doctorii și
tehnicienii clinicii din Pisa, cadrele medicale și-au expus punctul de vedere și anume faptul c ă
modul de a opera cu ajutorul ochelari lor de realitate virtual ă ar aduce o serie de beneficii at ât
pentru ei c ât și pentru precizia și calitatea opera ției. Integrarea imaginilor prelevate de
echipamentele medi cale, precum RMN -ul sau PET -ul, direct în cadrul ochelarilor VR ar
permite medicilor s ă observe direct pe suprafa ța pielii pacientului exact zonele afectate de
diverse maladii sau exact segmentele / organele anatomice afectate ș i care trebuie supuse
divers elor interven ții. Astfel, se reduce timpul pierdut , în care medicul își mut ă privirea de la
corpul pacientului la calculatorul pe care sunt afi șate imaginile și totodat ă având imaginile,
rezultate în urma investiga țiilor, expuse direct pe pacient conduce c ătre o precizie crescut ă a
inciziilor efectuate.
Decizia realiz ării acestui proiect a fost determinat ă de provocarea lansat ă de către
medicii d e la clinica din Pisa, care au afirmat c ă acest urm ător pas în medicin ă ar reprezenta un
uriaș pas în ceea ce pri vește modul în care medicii viitorului vor opera pacien ții. Un lucru
important de luat în calcul, este reprez entat de faptul c ă, din surse neoficiale, ar exista companii
care lucreaz ă deja la implementarea acestui mod de utilizare al realit ății augmentate . Până în
momentul actual, nicio opera ție nu a folosit echipamentele de realitate virtuală pe un pacient
real. Reticen ța manifestat ă până în momentul actual pentru operarea pacien ților care au nevoie
de interven ții, este justificat ă de către motive le de sig uranță, pentru c ă funcționarea unui astfel
de sistem trebuie s ă fie irepro șabilă, în momentul c ând pe masa de opera ție nu se afl ă un
manechin, ci un pacient real.
Câteva lucruri esenț iale care trebuie luate în calcul sunt reprezentate de diferen țele
dintre o situa ție real ă a unei opera ții și o opera ție simulat ă. O opera ție simulat ă nu ține cont de

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 14
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
prezen ța factorului uman, cum ar fi modificarea pozi ției corpului pacientului supus interven ției,
datorit ă unor socuri resim țite, dar și de faptul c ă doctorul în timpul opera ției își schimb ă
frecvent pozi ția față de pacient, datorit ă schimb ărilor de instrumentar ce se realizeaz ă sau din
alte motive.
Scopul acestui proiect îl constituie realizarea unei aplicații care să concretizeze o
suprapunere dintre mediul real și cel virtual prin intermediul ochelarilor de realitate virtuală,
cu aplicabilitate în bioingineria medicală – zona chirurgicală și zona didactică.
Obiectivele principale ale proiectului sunt:
 Realizarea unui studiu critic al literaturii de specialitate;
 Conceperea unei aplicații care să realizeze suprapunerea dinamică a unui obiect
virtual într -un mediu real;
 Adaptarea aplicației pentru utilizarea headset -ului VR, în vederea asigurării
mobilității utilizatorului.
Astfel, pentru reuș ita acestui proiect se va încerca s ă se țină cont de majoritatea
factori lor care intervin î n cadrul unei opera ții, urm ărindu -se cum ar trebui s ă fie executat un
echipament de realitate augmentat ă care poat e fi integrat cu deplin succes , în viitorul apropiat,
în sala operatorie, în cadrul opera țiilor cu pacienț i reali.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 15
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
2. SCURT ISTORIC

Unul dintre oamenii care a avut o contribuție importantă în ceea ce privește
implementarea realității virtuale a fost Morton Heiling, de profesie cameraman și producător
de filme. În jurul anilor 1950, el a previzionat viitorul cinematografiei printr -o idee futuristă și
anume , de introducere a publicului într -o lume virtuală care activează toate simțurile umane.
„Morton’s Telesphere Mask” a fost denumit echipamentul patentat în anul 1960, iar
scopul acestui echipament a fost de a reda sunet și televiziune stereoscopică. Viziunea lu i
Morton Heiling a fost, pe langă faptul de a vizualiza imaginea și a auzi sunetul unui film, ca
utilizatorii să experimenteze senzații mai complexe, precum mirosul, prezența vibrațiilor sau a
unui curent de aer. [3]
După îndelungi cercetări, în anul 1962 , Heiling a construit și a patentat „Sensorama
machine”. Acest echipament reprezenta un fel de consolă de dimensiuni notabile, dotată cu un
ecran 3D cu o deschidere largă a câmpului vizual, multiple boxe, un scaun dotat cu senzori de
vibrație și un sistem de emanare a unor miresme. Astfel, utilizatorii echipamentului
„Sensorama” erau translatați în diferite medii, precum cel al unei călătorii cu motocicleta de -a
lungul străzilor unui oraș.
Fig. 2.1. Imagini ale echipamentelor patentate de Morton Heiling: a ) Telesphere Mask;
b) Sensorama Simulator. [3]
Heiling a încercat comerci alizarea acestui echipament în cadrul lumii cinematografice,
dar, din nefericire, la acea perioadă, nimeni nu a prezentat vreun interes față de prototipul
produs de el. În anii ce -au urmat industria cinematografică a ajuns să implementeze ideile
acestuia, astfel au fost introduse experiențele cinematografice 4D și 5D.
Echipamentele de realitate virtuală au fost utilizate și în multiple studii de cercetare în
domeniul medical . Unul dintre ele, realizat în anul 1988, face referire la studiul
comportamentului unor copii cu autism , în momentul când sunt puși față în față cu realitatea
virtuală, prin observarea gradului de acceptare a echipamentului și totodată , modul în care
aceștia reacționează la confruntarea cu diferite situații.
Proiectul a reprezentat o col aborare între Universitatea de I nformatică din statul
Carolina de Nord și două familii din comunitatea pentru tratamentul și educarea copiilor ce
sufereau de autism. [4]

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 16
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Pe parcursul testelor, copii au fost rugați s ă monitorizeze mișcările mașinilor sau să
urmărească derularea diferitelor imagini create special pentru aceștia.
Fig. 2.2. Vizualizarea scenelor stradale în realitatea virtuală [4]
Limbajul folosit pe parcursu l testelor a fost unul cât mai simplificat, folosindu -se
cuvinte de bază, precum: mașină, albastru, roșu și așa mai departe. Una din îngrijorările majore
ale cercetătorilor a fost gradul de acceptare al copiilor față de un echipament cu o formă ciudată,
cu dimensiuni și o greutate notabilă.
Astfel, cu o săptămână înainte de testele propriu -zise, copiii au luat parte la diverse
activități care implică purtarea unei căști, precum echitația.
Mai mult, pentru a evita procesul d e marginalizare, frații și surorile copiilor au fost
implicați și ei în cadrul testelor, pentru a face mai ușoară sarcina de acceptare a căștii VR de
către cei ce sufereau de autism.
Scopul primordial în cadrul primelor ședințe a fost acceptarea echipamen tului de către
copii și concentrarea atenției asupra imaginilor prezenta te în mediul virtual. Cercetătorii ,
inițial , au rugat fiecare copil să identifice momentul de apariție al mașinilor și să menționeze
tipul de culoare al vehiculului .
La prima încercar e, copiii au acceptat purtarea echipamentului și totodată s -au lăsat
introduși în cadrul scenelor. Unul din tre participanți a urmărit vizual mașinile și a identificat
culorile într -un mod corect. La un moment dat, acesta a zis “ga” ( s-a făcut referire la cuvântul
de origine engleză “gone” care în traducere înseamnă „plecat ”) atunci câ nd mașina a dispărut
după colț.
Un alt participant la test a fost mult mai preocupat de în țelegerea modului de
proveniență a imaginilor. Astfel , de multiple ori, el a ridicat casca pentru a privi scenele pe
ecranul din fața acestuia, iar apoi privea pe partea frontală a căștii pentru găsirea modului în
care imaginile sunt proiectate în interiorul căștii. Astfel, pentru eliminarea distragerii atenției,
a fost îndepărtat ecranul pe care cercetătorii vedeau exact câmpul vizual privit de către
participanții la test.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 17
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 2.3. Copil cu deficiențe de autism folosind echipamentul de VR [4]
Treptat, numărul, culorile și viteza de deplasare a mașinilor a fost modificată, iar copiii
au fost plasați în 3 scene diferite pentru a determina dacă aceștia generalizează răspunsurile.
Odată cu creșterea dificultății experimentului, au fost introduse mai multe sarciuni pentru a
măsura nivelul de atenție dovedit de copii , la schimbările din mediul virtual. Acestor a li s -a
cerut să se deplaseze î n spațiul virtual și totodată să localizeze mai multe indicatoare cu mesajul
„STOP ”, apropriindu -se de ele.
Rezultatele experimentelor sunt următoarele:
 Participanții cu deficiențe de autism au acceptat cas ca de realitate virtuală ;
 Participanții cu deficiențe de autism au realizat mișcări ale corpului în cadrul
scenelor virtuale;
 Participanții cu deficiențe de autism au răspuns similar la trei scene diferite, ceea
ce conduce la realizarea unor studii mai amă nunțite pentru a observa dacă
aceștia au tendința de generalizare , în diferite împrejurări;
 Participanții cu deficiențe de autism au urmărit obiectele aflate în mișcare în
cadrul scenelor, cu ambii ochi, prin rotația capului și a întregului corp;
 Unii dintre participanții cu deficiențe de autism au localizat indicatoarele și
s-au îndreptat înspre ele;
 Ceilalți participanți au identificat indicatoarele, dar fără a se îndrepta înspre ele.
Oportunitatea introducerii acestui tip de tehnologie în rândul copiilor a reprezentat un
pas important în explorarea potențialului pe care realitatea virtuală îl oferă , prin în țelegerea
proceselor de percepție a persoanelor afectate de autism. Realitatea virtuală reprezintă o unealtă
puternică în ceea ce privește în țelegerea autismului, fiind un pas important spre ceea ce
reprezintă ameliorarea acestui tip de afecțiune.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 18
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
3. STADIUL ACTUAL
În ultimii ani, lumea realit ății virtuale și augmentate a luat o amp loare tot mai mare, iar
majoritatea companiilor ce activeaz ă în domeniul tehnologiei de ultim ă generație , au dezvoltat
și au lansat propriile platforme de realitate virtual ă. Conceptul de VR este unul fascinant prin
simplul fapt c ă „teleporteaz ă” utilizato rul într-o alt ă lume , cu ajutorul puterii tehnologice.
Astfel , folosind doar un headset VR și un sistem de monitorizare a l mișcărilor, se obține o
senzație atât de real ă și intens ă în spațiul virtual .
3.1 Echipamente de realitate virtual ă

Printre marii produc ători care se ocup ă în permanen ță de dezvoltatea co nceptului de
realitate virtual ă se remarc ă, Oculus, cu principalul lor produs , Rift, HTC și Valve , care
împreun ă au dezvoltat Vive, Sony , care a lansat Playstation VR sau Samsung care aduce
îmbun ătățiri permanente produsului lor numit Gear VR. [5]
Fig. 3.1. Utilizatorul unui headset VR [6]
Echipamentele VR de ultim ă genera ție se împart în două categorii principale: cele
adresate utiliz ării împreun ă cu dispozitivul mobil (smartphone) și cele adresate utiliz ării cu
ajutorul unei conexiuni la un calculator.
Prima categorie, referitoare la headset -urile VR utilizate împreună cu un smartphone,
sunt alcătuite dintr -o carcasă de plastic, ce conține două lentile integrate. În interiorul carcasei,
este un loc special destinat plasării dispozitivului mobil. Rolul lentilelor este acela de a crea
efectul 3D prin rularea diferitelor scene, în format stereoscopic, pe ecranul smartphone -ului.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 19
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 3.2. Utilizatorul unui headset VR utilizat împreun ă cu un smartphon e [7]
Aceste echipamente sunt accesibile publicului larg, costul unui astfel de produs fiind
undeva sub 450 RON ($100). Acest cost redus se datoreaz ă faptului c ă, întreaga procesare a
realit ății virtuale este realizat ă de către smartphone , fără a fi necesar ă vreo conexiune prin
cablu.
Din cauza faptului c ă, smartphone -urile nu sunt dezvoltate special pentru VR, ele nu
pot oferi cea mai bun ă calitate a imaginii și sunt net inferioare , din punct de vedere al puterii
de procesare și a calit ății, echipamentel or care sunt asociate cu un computer sau cu o consol ă
de jocuri special g ândită pentru VR.
Cea de -a doua categorie, face referi re la headset -uri precum Oculus Rift sau HTC Vive,
care sunt conectate la un calculator sau la o consol ă de jocuri pr in intermediul unor cabluri.
Aceste cabluri îngreuneaz ă experien ța realit ății virtuale , din punct de vedere al mobilit ății.
Avantajul acestor tipuri de headset -uri este calitatea excep țional ă pe care utilizatorul o resimte.
Fig. 3.3. Utilizatorul unui hea dset VR, utilizat împreună cu o conexiune la PC [8]

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 20
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Utilizarea unui display dedicat , în interiorul carcasei, a unor senzori de mi șcare
ampla sați tot în interior , împreun ă cu un sistem extern de monitorizare, îmbun ătățesc într-un
mod evident at ât calitatea imaginilor c ât și sincronizare a mișcărilor.
Datorit ă calității oferite și a unei experien țe excep ționale de realitate virtual ă, pre țul
minim pl ătit pentru un astfel de echipament este unul pe m ăsură și anume , peste 1800 RON
($400) la care se adaug ă prețul accesoriilor (telecomand ă de control, gamepad) care este undeva
în jur de 350 -500 RON ($80 – $110).
Mai mult de at ât, pentru o rulare corect ă a imaginilor 3D, aceste echipamente au ni ște
cerin țe minime , ale calculatoarelor asociate , destul de preten țioase .
3.1.1 HTC Vive

Echipamentul de realitate virtual ă HTC Vive a fost realizat de c ătre compania HTC în
colaborare cu produc ătorul renumit de jocuri , Valve. Dispozitivul dispune de 32 senzori care
oferă o posibilitate de monitorizare 360 de grade a mi șcărilor pozi ției capului.
Frecven ța cadrelor este impresionant ă și anume de 90 Hz (90 cadre pe secund ă), iar
rezolu ția display -ului integrat este de 2160×1200 de pixeli, ceea ce ofer ă o calitate excelent ă a
imaginilor, f ără întârzieri nedorite. De asemenea, HTC Vive vine incorporat și cu o camer ă
video de înaltă rezoluție , astfel încât pot fi transpuse, cu u șurință, elemente din lumea real ă în
cea virtual ă. [9]
Fig. 3.4. HTC vive – vedere exterioar ă [10]
Costul ridicat al acestui echipament, este justificat de grija pentru detalii. Astfel, pentru
un confort sporit exist ă niște perne de suport pentru nas care pot fi interschimbabile în func ție
de fiecare utilizator, iar mai mult de at ât, chiar și persoanele purt ătoare de ochelari pot utiliza
echipamentul cu u șurință.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 21
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Pentru o experien ță complet ă de realitate virtual ă, produc ătorul recomand ă folosirea
unui s istem audio integrat denumit „Vive Deluxe Audio Strap”. Acest accesoriu se conecteaz ă
cu ușurință la ochelarii de realitate virtual ă, este ajustabil în fun cție de fiecare utilizator oferind
o experien ță 3D însoțită de un sunet clar, de înaltă calitate.
Fig. 3.5. Accesoriu HTC vive – „The Vive Deluxe Audio Strap” [11]

În concluzie, acest dispozitiv s -a bucurat de un real succes fiind declarat cel mai bun
echipament de realitate virtual ă al anului 2016 de c ătre cei de la Wareable Tech Awards, un
wesbite recunoscut interna țional în ceea ce prive ște domeniul IT și tehnologiile de ultim
moment. Pre țul de baz ă pentru HTC Vive este de aproximativ 4000 RON ($899).
3.1.2 Oculus Rift
Oculus Rift se situează printre primele echipamente de realitate virtual ă care a u dat
startul unei noi ere. Dezvoltat de c ătre Palmer Luckey, sponsorizat de c ătre platforma
Kickstars ter, Rift este un dispozitiv ce necesit ă o conexiune USB și una DVI. Produc ătorul
afirm ă că „Rift este ceva ce nu ai întâlnit p ână acum. ” [12]
Fig. 3.6. Oculus Rift [12]

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 22
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
„Fie c ă vrei s ă experimentezi jocul preferat, s ă urmărești un film, să te teleportezi către
o altă destina ție din co lțul cel ălalt al planetei sau doar s ă petreci timpul cu prietenii în mediul
VR, te vei simti ca si cum ai fi acolo.”
Rezolu ția display -ului integrat este de 2160×1200 pixeli, cu o frecven ță a cadrelor de
90 Hz și dispune de o deschidere a c âmpului vizual la un unghi de 110 grade. Oculus dispune
de un senzor de monitorizare a mi șcărilor capului utilizatorului, f ăcând ca experien ța 3D s ă fie
una complet ă.
Fig. 3.7. Oculus Senzor [13]

Din punct de vedere al mi șcărilor și al g esturilor m âinilor, produc ătorul a g ândit un
controller ergonomic și foarte util. Astfel, în timpul experien ței virtuale, po ți manipula și
controla cu u șurință diferite obiecte , ca și cum s-ar afla direct în mâinile tale.
Fig. 3.8. Controller Oculus cu Touch [12]

Din punct de vedere al cerin țelor calculatorului la care este conectat echipamentul VR,
produc ătorul recomand ă o plac ă video de bun ă calitate, NVIDIA GTX 1060, un procesor
minim Intel i5 -4590 și o memorie minim ă de 8GB RAM . Prețul unui pachet Oculus ce include
Headset -ul și Touch Controller -ul, ajunge aproximativ la 2700 RON ($599).

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 23
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
3.1.3 Google Daydream
Google a lansat recent propriul s ău headset de realitate virtual ă, care poate fi utilizat
împreun ă cu un smartphone. Ma i mult de cât atât, conduc ătorul departamentulului Google VR,
Clay Bavor a afirmat c ă o întreag ă echip ă a pus bazele „Google Play of VR”, un magazin de
aplica ții special concepute pentru realitate virtual ă. Astfel , aplica ții precum YouTube, Street
View, Pla y Movies, Google Photos vor avea aplica ții special concepute pentru a putea fi
folosite împreun ă cu headset -urile de realitate virtual ă. [14]
Fig. 3.9. Headset Google Daydream [15]
Google Daydream este g ândit pentru a func ționa cu smartphone -uri ce folosesc sistemul
de operare Android, ce au un ecran , de preferat , Full HD 1920×1080 pixeli, un procesor de
ultim ă genera ție capabil s ă redea cel pu țin 60 de cadre pe secund ă.
Din punct de vedere al design -ului, cei de la Google își doresc s ă iasă din r ândul
competi ției, prin folosirea unei carc ase de metal și platic dur , ce va fi învelită într -un material
textil, moale și de bun ă calitate.
Fig. 3.10. Headset Google Daydream [16]

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 24
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Google Daydream vine însoțit de un controller dotat cu mai mul ți senzori (se nzori pe 9
axe IMUs) pentru a putea fi folosit în cadrul jocurilor sau a navig ării prin meniul telefonului
fără ca utilizatorul s ă fie nevoi t să își dea headset -ul jos de pe cap . Pre țul pentru un astfel de
dispozitiv este unul redus, de doar 350 RON ($79).
3.2 Software -uri de realitate virtual ă și augmentat ă

Următorul pas , în urma alegerii headset -ului de realitate virtual ă potrivit pentru fiecare
utilizator în parte , este reprezentat de alegerea unui software de VR /AR. Astfel, pentru a
concepe modele pentru o lume virtual ă, exist ă două componente principale: partea de modelare
3D software și partea de a ad ăuga anima ții acestor modele create anterior.
Startul este realizat printr -un software de modelare 3D , unde utilizatorul își poate crea
caractere s au încăperi 3D dup ă bunul plac, urm ând etapa de a trece aceste elemente create
anterior la stadiul de animare și de manipulare în mediul virtual.
Fig. 3.11. Încăpere 3D realizat ă cu software -ul WorldViz [17]

Pentru cineva care are un prim contact cu acest e tipuri de software -uri, poate fi pu țin
ciudat, deoarece principalul termen rostit este „joc”, iar majoritatea produc ătorilor de software –
uri despre acest lucru vorbesc, faptul c ă îți poți crea propriul t ău joc. Leg ătura este destul de
simpl ă și anume, orice joc creat este un mediu complet virtual în care utilizatorul are rolul de
a controla un anumit element sau caracter, asem ănător conceptului de realitate virtual ă.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 25
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
3.2.1 EON reality
EON reality este o platform ă care utilizeaz ă realitatea vir tuală, cea augmentat ă și
mediile 3D pentru a crea experien țe memorabile în variate domenii, precum: educa ție, energie,
industrie, medicin ă, sport, turism, etc. [18]
În ceea ce prive ște segmentul medical, EON ofer ă două aplica ții: EyeSim – Training
medical pentru optometri ști și Virtual Anatomy Simulation. Aplica ția EyeSim este destinat ă
studen ților care urmeaz ă cariera de optometrist, oferindu -le acestora o vizualizare a structurilor
complexe și func țiilor sistemului vizual al omului.
Fig. 3.12. Vizualiza re a software -ului EON reality (EyeSim) [19]
Acest simulator este o surs ă inovativ ă de învătare, studen ții put ând acapara informa ții
fără a fi necesar un contact direct cu un pacient sau un cadavru experimental. Structurile și
funcțiile oftalmologice sunt realizate într-un mod realist, iar utilizarea mediului virtual pentru
a întelege anatomia sistemului vizual fac ca disec ția să fie o metod ă ce va ramane în istorie.
Ce-a dea doua aplica ție, Virtual Anatomy Simulation, este destina tă tuturor studen ților
care vor s ă înteleag ă corpul uman în întreaga sa complexitate. Beneficiul acestui simulator este
faptul c ă nu va mai fi necesar contactul cu un cadavru experimental, iar mai mult de cât atât,
aceștia pot diseca și manipula complet toa te structurile anatomice într-un mediu virtual.
Fig. 3.13. Vizualizare a software -ului EON reality (Virtual Anatomy Simulation) [20]

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 26
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
3.2.2 Virtalis
Virtalis se recomand ă ca fiind o companie de realitate virtual ă care cuprinde tehnici
avansate de vizualiz are. Sistemele oferite de Virtalis ajut ă la o bun ă înțelegere a informa țiilor
și datelor , prin interac țiunea 3D, oferind fiec ărui proiect o nou ă dimensiune de explorare. [21]
Visionary Render S oftware, dezvoltat de aceast ă companie, ofer ă utilizatorilor accesul
către o experien ță interactiv ă într-un spa țiu virtual, în care ace știa își pot controla cu u șurință
multitudinea obiectelor din preajma lor.
Fig. 3.14. Utilizator al software -ului Visionary Render [22]
Acest soft ware poate fi utilizat at ât de un singur de utilizator , de grupuri reduse sau
chiar și de persoane aflate la distan ță care se întâlnesc în acela și mediu virtual. Acest mediu
virtual poate fi utilizat ca o sal ă de conferin țe unde se pun la punct d etalii despre un anumit
produs sau se verific ă procesul de mentenan ță.
3.2.3 Worldviz
Așa cum afirm ă și motto -ul lor „Unde virtualul devine realitate” (din expresia de origine
englez ă „Where virtual becomes reality”), scopul companiei este de a crea experien țe virtuale
cât mai interactive. Unul din multitudinea domeniilor în care activeaz ă aceast ă companie, este
cel medical. [23]
Unele dintre aplica țiile pe care Worldviz le ofer ă în segmentul medical sunt
simulatoarele chirurgicale, training -urile medicale interactive da r și recuperare a medical ă.
Aceștia se afl ă într-o str ânsă colaborare cu medici și un vast personal medical pentru
dezvoltarea diverselor proiecte în domeniu.
Pentru consiliere în domeniul mediilor virtuale, Worldviz dispune de o echip ă întreag ă
compus ă din ingineri, programatori și graficieni 3D care pot realiza proiecte individuale , cu un
grad complex de dificultate, conform cu cerin țele și specifica țiile pe care clien ții le furnizeaz ă.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 27
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
De exemplu, personalul companiei se poate ocupa de antrenarea propriei echipe în
proceduri de mentenan ță sau vizualizarea unui proiect al unei construc ții, ori implicarea
realit ății virtuale într-un proiect de cercetare. [24]
Fig. 3.15. Utilizator al softw are-ului Worldviz [25]

Worldviz are o vechime considerabil ă în acest segment, promi țând servicii și solu ții
pentru orice provocare în domeniul realit ății virtuale, prin parcurgerea a trei pa și simpli:
concept, design și implementare.
3.3 Aplica ții cu sco p didactic care utilizeaz ă realitatea virtual ă

În ultimii ani au existat și vor exista aplicații ale realității virtuale referitoare la educația
și practica medicală. Sistemul educațional din Danemarca, folosește un echipament VR pentru
a stabili gradul de pregătire al studenților de la medicină. Astfel, a fost dezvoltat un echipament
de tip simulator al unei operații video -asistate toracice. Datorită faptului că dezvoltarea
celulelor canceroase este una din cele mai întâlnite maladii ale lobilor plămânil or, scopul
principal al acestui echipament VR este de a veni în sprijinul viitorilor medici care se vor
confrunta cu intervenții de tip ul lobectomiei pulmonare. [26]
Acest tip de pregătire este unul eficient, accelerându -se procesul de învățare, iar
întreaga procedură a unei intervenții se memorează mult mai eficient datorită implicării directe
al studentului. Astfel, cercetătorii afirmă faptul că abilitățile chirurgicale se dobândesc mult
mai ușor și rapid datorită acestui tip de echipament. Beneficiul pr incipal este mediul în care se
desfășoară tot procesul, fiind unul lipsit de riscuri. În al doilea rând, faptul că prin repetarea
periodică a unui anumit tip de intervenție, conduce la reducerea timpului procedurii , când este
cazul unui pacient real. Odată ce studentul evoluează din punct de vedere al pregătirii

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 28
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
profesionale, simulatorul se poate adapta cerințelor, prin creșterea nivelului de compexitate și
totodată prin apariția spontană a diverselor provocări menite să îmbunătățească nivelul
concentrării în condiții de presiune accentuată.
De asemenea , flexibilitatea de care dă dovadă echipamentul VR permite introducerea
diverselor modele anatomice, specifice diverselor intervenții chirurgicale, astfel studentul își
poate dezvolta abilitățile și poate acu mula o vastă experiență înainte de a face pasul spre un
pacient.
Prima versiune a acestui echipament a fost prezentată , în anul 2014, la Conferința
Europeană dedicată intervențiilor toracice. În urma părerilor obținute la această întâlnire, au
fost realiza te retuș ări în ceea ce privește modelele anatomice, instrumentarul dar și criteriile de
evaluare. Procedura ce trebuie urmată de fiecare participant este urm ătoarea: prima parte este
cea de prezentare a instrucțiunilor , a pașilor procedurali pentru simular ea lobectomiei
pulmonare și de acomodare cu simulatorul timp de 15 minute.
Participanții au dreptul de a cere instructorului detalii referitoare la manipularea
echipamentului, precum interschimbarea instrumentelor de lucru. Urmează partea propriu -zisă
a intervenției simulate, participanții având dreptul la două încercări, cu o pauză de 5 minute
între acestea. Instructorul se află permanent în prezența studentului, însă f ără a interveni.
Simulatorul înregistrează automat toate operațiile efectuate și își ca lculează parametrii care
indică nivelul de pregătire.
Fig. 3.16. Echipamentul de realitate virtuală LapSim® [26]

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 29
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Simulatorul este prevăzut cu diferiți parametrii pentru testarea performanțelor
participantului pe du rata intervenției chirurgicale. Acești parametrii î i includ atât pe cei
standard, cum ar fi durata totală a procedurii sau nivelul de sângerare, cât și pe cei specifici
fiecărei proceduri, în acest caz parametrii specifici lobectomiei pulmonare.
Fig. 3.17. Imagini preluate în timpul evaluării intervenției de lobectomie [26]
Parametrii folosiți de către sistemul danez, în evaluarea abilităților participanților, în
ceea ce privește intervenția de lobectomie pulmonară sunt: [26]
1. Timpul total al procedurii ;
2. Lungimea căii instrumentului stâng ;
3. Lungimea căii instrumentului drept ;
4. Unghiul instrumentului drept ;
5. Unghiul instrumentului st âng;
6. Num ărul de schimbări ale instrumentelor ;
7. Pierderea sângelui (măsurată în m l);
8. Mărimea cicatricelor vaselor al e lobului mijlociu ;
9. Mărimea cicatricelor vaselor al e lobului superior ;
10. Mărimea cicatricelor bronhiei către lobul mijlociu ;
11. Mărimea cicatricelor bronhiei către lobul superior ;
12. Mărimea cicatricelor ale lobului mijlociu ;
13. Mărimea cicatricelor ale lobului superior ;
14. Numărul vaselor sanguine divizate ;
15. Numărul de capsări pe suprafața lobilor ;
16. Numărul structurilor capsate fără a îndepărta banda galbenă ;
17. Numărul de distrugeri a le bronhiei înainte de capsare;
18. Numărul reîncărcărilor incorecte ale capsatorului folosit pentru bronhie;
19. Numărul reîncărcărilor incorecte ale capsatorului folosit pentru vasele sanguine.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 30
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
În funcție de parametrii stabiliți mai sus, se realizează trierea participanților, rezultatele
acestora determinând dacă au trecut sau au eșuat testul. În majoritatea cazurilor, cei mai mulți
dintre participanț i nu reușesc să treacă testul de prima dată, deoarec e gradul d e acomodare cu
simulatorul este încă destul de redus.
Echipamentul generează instantaneu rezultatele parametrilor, eliminându -se
subiectivismul ce poate fi generat de un supervizor uman. Fiecare intervenție al fiecărui
participant este stocată în baza de date, pentru a se observa evoluția în timp a îndemânării
studenților.
Tradiționalele metode de învățare s -au dovedit ineficiente de -a lungul ani lor, de aceea
noile standarde recomandă includerea unei perioade de învățare pe un echipament de VR,
pentru a demonstra faptul că studenții îndeplinesc cerințele de bază și se pot descurca, fară
îndrumare, în cadrul unei intervenții pe un pacient real.
O altă aplicație, ce vine în sprijinul sistemului ed ucațional, este vizualizar ea 3D
detaliată a structurii organelor anatomice, pentru o întelegere mai bună a alcătuirii acestora . Cu
ajutorul unei perechi de ochelari de realitate virtuală, de tip Oculus , s-a realizat vizuali zarea a
unuia dintre cel mai impo rtant organ al sistemului uman și anume , inima. Modelul 3D a fost
creat în urma reconstrucției imaginilor prelevate de echipamentul RMN. [27]
Fig. 3.18. Modul de vizualizare a l unui model 3D cu ajutorul Headset -ului Oculus [27]

Software -ul care a permis r ealizarea vizualizării modelului 3D este Mimics , unde au
fost realizate prelucrări asupra miocardului și apoi a fost convertit într -un fișier stereolitografic
(.stl).
Echipamentul permite observatorului să dețină controlul asupra modelului miocardic,
analizându -se defectele prezente pe suprafața acestuia.
În concluzie, se poate observa faptul că , sistemul educa țional din toat ă lumea încearcă
să implementeze noile tehnologii, ce vin în sprijinul celor ce se pregătesc să devină viitori

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 31
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
medici . Uneltele ajutătoare sunt reprezentate de atlasele accesate pe computer ce utilizează
modele anatomice 3D sau de intervențiil e simulate , accent ul fiind pus pe norme le de securitate
și protejare al pacientului.
3.4 Medii virtuale pentru reabilitare
În ultima perioadă, recuperarea post -operatorie a trecut la următorul nivel, prin
utilizarea unor medii virtuale. Rolul principal al acestor medii virtuale destinate reabilitării este
de a transpune pacientul într -un anumit scenariu, în care, el va trebui să execute anumite
mișcări. Astfel, fiecărei persoane care are nevoie de o perioadă de recuperare, i se induce
senzația că poate realiza aceleași miscări precum un o m normal. În funcție de nevoile
recupera torii, au fost dezvoltate multiple medii virtuale destinate acestui scop. [28]
Pentru realizarea cu succes al acestor tipuri de scenarii virtuale, trebuie s ă existe o
strânsă colaborare între medici și ingineri. Medicii stabilesc exact tipul de mi șcare de care
pacientul va avea nevoie, iar inginerii practic construiesc într-un software de modelare 3D un
spațiu virtual în care pacientul va executa acele tipuri de mi șcări, fiind într-un proces de
monitorizare continuu.
3.4.1 VRACK
VRACK (Virtual Reality Augmented Cycling kit) este un mediu virtual interactiv,
reprezentând un sistem mecatronic de reabilitare pentru persoanele care au nevoie de utilizarea
unei biciclete de recuperare medicală. [28]
Fig. 3.19. Recuperare cu aj utorul si stemului VRACK [28]
Ciclismul este utilizat în recuperarea indivizilor , atât cu probleme cronice , cât și cei
care au suferit intervenții operatorii.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 32
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Este destinat recuperării ambelor membre inferioare, în special , în situaț ia când unul
dintre ele este mai slab dezvoltat și cu o coordonare defectuoasă. VRACK, ca și componente
hardware, are implementați niște senzori pe o bicicletă de recuperare medicală, pentru a
monitoriza parametrii fiziologici și biomecanici ai utilizatorulu i, în timp ce aceștia sunt
transpuși într -un simulator de realitate virtuală care le oferă un feedback vizual, auditiv și tactil.
Fig. 3.20. Componența sistemului VRACK [28]

Acest sistem este unul modular și adaptabil, fiind atașat cu ușurință unor bicic lete
recuperatorii regăsite în comerț, fiind conectat la un calculator pentru procesul de achiziție de
date. Kit -ul complet al acestui sistem conține:
 Un ghidon care incorporează senzori de presiune (2);
 Pedale care înregistrează mișcările cinematice, for țele exercitate și oferă
utilizatorului un feedback pe bază de vibrații (4);
 Sistem de monitorizare a ritmului cardiac (3);
 Software -uri special concepute pentru reabilitare (1,5).
Terapia prin pedalare este frecvent înt âlnită în cazul persoanelor care au suferit
accidente vasculare cerebrale, multiple scleroze, disfuncționălități la nivel pulmonar, precum
și în urma unor intervenții operatorii în zona bazinului sau genunchiului. Unele dintre
beneficiile bine cunoscute ale mersului pe bicicletă sunt creșter ea rezistenței musculare,
îmbunătățirea respiratorie și reprezintă o bună alternativă a l mersului pe jos.
Inovația adusă de acest sistem creează o experiență extrem de reală resimțită de
utilizator. Software -ul este dezvoltat astfel încât să recunoască s uprafața de teren din mediul
virtual pe care pacientul o parcurge, având loc astfel o modificare a rezistenței la pedalare.
Astfel, se poate simula mersul pe o suprafață plană acoperit ă de asfalt, pământ sau chiar urcare
pe o suprafață înclinată. Monitoriz area ritmului cardiac este deosebit de importantă pentru a se
observa gradul de oboseală al individului și totodată de a reduce din dificultatea traseului dacă
necesitatea o impune.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 33
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
3.4.2 Achiziția de date și interfața grafică
Informațiile preluate de la senzorii montați pe bicicleta recuperatorie sunt introduse și
interpretate cu ajutorul programului LabVIEW. Astfel, în funcție de nevoile și de capacitățile
pacientului, mediul virtual se adaptează. Orice modul poate fi dezactivat într -o anumită fază,
în funcție de zona de interes. [28]
De exemplu, dacă se dorește doar studiul comportamentului membrelor superioare, se
va monitoriza doar activitatea resimțită de modulul ghidon, în timp ce modulul pedalier va fi
setat să ruleze cu o viteză fixă. O altă varia ntă o reprezintă păstrarea în funcțiune doar a
monitorizării membrelor inferioare, focusul fiind păstrat doar pe studiul simetriei forței aplicate
de către pacient.
Fig. 3.21. Componența interfeței grafice: Semnale preluate de la modulul tip ghidon (A);
pedalier (B); Viteza și numărul RPM (C); Ritmul cardiac (D); Zona de resetare a
măsurătorilor (E); Datele înregistrate (F) [28]

Interfața grafică este ușor de utilizat, intuitivă și bine organizată. Modulul pe bază de
vibrații poate fi schimbat printr -o simplă apăsare a unui buton, între modul automat și cel
manual. De asemenea, intensitatea vibrațiilor poate fi reglată individual pentru fiecare picior ,
pentru a testa și mai precis răspunsul simțurilor pacientului, reușindu -se astfel o mai bună
detectare a părților afectate.
3.4.3 Mediul virtual
Mediul virtual este folosit cu precădere pentru integrarea utilizatorului în scenariul
dorit. Senzorii utilizați de bicicleta recuperatorie oferă un feedback realistic utilizatorului care
își urmărește parcursul traseului pe monitor.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 34
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
În partea dreapta – sus a ecranului, este afișată o hartă a traseului pe care utilizatorul o
are de parcurs, iar dedesubt sunt afișate bătăile inimii în timp real. Așa cum se poate observa
în imaginea de mai jos, mediul virtual este destul de simplist , fiind alcătuit dintr -un drum
acoperit cu o suprafață nisipoasă, mărginit de o suprafață cu gazon.
Fig. 3.22. Imagine preluată în timpul parcurgerii unui traseu în VRACK [28]

Datele colectate de u nitatea de comandă și control a bicicletei recuperatorii sunt trimise
către simula torul de realitate virtuală pentru a realiza sincronizarea între pacient și ciclistul
virtual. Ritmul cardiac controlează viteza de deplasare, în timp ce, forța aplicată modulului de
tip ghidon și cel pedalier controlează echilibrul ciclistului.
Cercetăt orii care s -au ocupat de acest studiu, afirmă că se poate constata cu ușurință o
problemă a sistemului locomotor în momentul în care există o inclinație a ciclistului pe partea
afectată. Această inclinație este produsă din cauza zonelor afectate care nu po t exercita asupra
modulului pedalier o forță egală cu cele sănătoase. În momentul când persistă acest
dezechilibru și utilizatorul pătrunde pe zona acoperită cu gazon, senzorii de vibrații se vor
activa și vor acționa.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 35
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 3.23. Mișcările realizate de ci clist: A. în realitate; B. în mediul virtual. [28]

Datorită faptului că pacienții nu prezintă aceleași afecțiuni, harta este pe deplin
customizabilă, putându -se modifica lărgimea drumului, frecvența ob stacolelor întâlnite, etc.

3.4.4 Concluzii

VRACK es te un sistem mecatronic de reabilitare, ce a fost proiectat pentru a veni în
sprijinul pacienților cu o asimetrie în sistemul locomotor și totodată de a măsura atenția și
răspunsul persoanei la anumite modificări ale mediului virtual.
Supervizorul pacientu lui, pe durata perioadei de executare a exercițiilor, poate realiza
ajustările necesare, pentru a observa cum răspunde corpul pacientului la modificarea spontană
a diferiților parametrii. [28]
Modulele care alcătuiesc sistemul VRACK oferă posibilitatea de a crea propriul
echipament de exersare la domiciliul pacientului. În funcție de prescripțiile medicului, se pot
utiliza doar anumite module , pentru monitorizarea anumitor parametrii specifici.
Sistemul VRACK include acapararea a unui număr mare de semnale de la 15 senzori
diferiți. Acest număr de semnale necesită un sistem de achiziție hardware de mare putere și un
sistem software care are integrat un sistem potrivit de filtrare a semnalului.
Eficiența sistemului VRACK este relevantă în momentul în care ut ilizatorii remarcă
modificări ale mișcărilor, trecându -se de la o asimetrie locomotorie la mișcări sincronizate.
Astfel, este îmbunătățită condiția fizică a pacientului, acesta redevine o persoană complet
normală.
Cel mai important aspect de menționat este faptul că, după cateva luni de recuperare,
poate fi realizată trecerea de la antrenamentul prin intermediul unei biciclete recuperatorii în
mediul virtual, la antrenamentul cu o bicicletă normală în mediul real.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 36
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
3.5 Stadiul actual în sala operatorie
Stadiul actual în sala operatorie este reprezentat majoritar prin imaginile de o rezoluție
înaltă, de reconstrucția unor modele sau imagini 3D , în urma prelevării imaginilor 2D de către
echipamente precum CT sau RMN , respectiv prezența unui echipament dota t cu un display
pentru afișajul elementelor de realitate augmentată. [29]
În ultima perioadă, tehnologia numită „realitate augmentată” a luat amploare în țările
asiatice, precum China și Japonia, venind în sprijinul medicilor care pot urmări în timp real
date prelevate înainte de procedura de operație, pe un monitor atașat echipamentului din sala
operatorie. Aplicabilitatea acestor tipuri de afișaje se dovede ște a fi un bun sprijin pentru medici
și totodată s -a constatat o îmbunătățire a siguran ței, acurat eței și a eficien ței opera țiilor.
Componentele actuale ale unui sistem prezent în sala operatorie sunt prezentate în
figura de m ai jos:
Fig. 3.24. Sistem de afi șaj prezent în blocul operator [29]

Principalul element al blocului operator este reprezentat de display -ul LCD al cărui scop
este de a afișa imaginile prelevate înainte de procedura operatorie și totodată , afișarea
imaginilor înregistra te în timp real , în timpul intervenției chirurgicale .
Prelevarea imaginilor se realizeaz ă cu ajutorul echipamentelor de CT sau RMN, în
funcție de zona de interes a pacientului. Aceast ă metod ă este foarte eficient ă în cazul unei
rupturi osoase, pe c ând, în cazul vizualiz ării unor organe viscerale , metoda are un grad de
complexitate mai ridicat. [30]

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 37
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 3.25. Versiuni diferite ale imaginilor suprapuse: în stânga este versiunea cu opacitate
mare; în dreapta este versiunea semi -transparent ă [30]

Pentru a se asigura o bun ă acurate țe sistemului de urm ărire a organelor ce prezint ă
interes, trebui e utilizat un sistem de tip mini -gps care seteaz ă anumi ți markeri în zona marginal ă
a suprafe ței. Astfel, imaginile care urmeaz ă a fi suprapuse vor fi prelucrate înainte de
interven ția chirurgical ă propriu -zisă și vor fi aliniate conform cu setul de markeri stabili ți
anterior.
Modul actual de operare în majoritatea blocurilor operatorii este prezentat în figura
următoare:
Fig. 3.26. Folosirea realit ății augmentate în sala operatorie: 1. Afi șaj electronic; 2. Tij ă
laparoscopic ă; 3. Vizualizarea 3D a ugmentat ă; 4. Camere de înregistrare video. [30]

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 38
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Un dezavantaj al selec ției unor organe precum ficatul sau pl ămânii, este constituit de
unele deforma ții ale suprafe ței acestora ce pot aparea în urma disec ției sau chiar de unele
hemoragii interne care sunt declan șate. Astfel, sistemul de urm ărire poate fi derutat de unele
modific ări, rezult ând astfel o vizualizare eronat ă a imaginilor suprapuse.
În viitorul apropiat, imaginile, precum și informa țiile referitoare la organele afectate
sau eventualele boli ale unui pacient vor fi afi șate în timp real, sub forma unor proiec ții
adaptabile dup ă anumite cerin țe și nevoi.
Din cauza lipsei mobilit ății, este destul de dificil de implementat echipamentul de
realitate augmentat ă în interven țiile chirurgicale de zi cu zi. Medicul trebuie s ă realizeze prea
multe mi șcări ale corpului, în special , a pozi ției capului între display -ul AR și corpul
pacientului aflat pe masa operatorie.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 39
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
4. CONSIDERA ȚII TEORETICE
Pe baza stadiului actual în sala de opera ție, acest proiect este orientat spre realizarea
unei aplica ții augmentate compatibile cu un headset de realitate virtual ă, pentru a simula modul
cum medicii viitorului vor realiza interven țiile chirurghicale.
Modul de îmbinare a mediului real cu elemente virtu ale (precum organe anatomice,
structuri osoase , etc. ) se va concretiza printr-o aplica ție augmentat ă dedicat ă sistemului de
operare Android, ulterior fiind adaptat ă pentru ochelarii de realitate virtual ă. Astfel se creeaz ă
un echipament mobil, ce poate fi implementat în viitorul apropiat, în cadrul sălii operatorii , fără
ca medicul s ă fie nevoit s ă facă un schimb de priviri constant între un display și corpul
pacientului.
4.1 Conceptul de realitate augmentat ă
Realitatea augmentat ă oferă o nou ă posibilitate de interac ționare a omului cu lumea
înconjuratoare. Acest concept modific ă modul în care noi privim realitatea, prin introducerea
unor informa ții digitale în câmpul nostru vizual. Combinarea elementelor virtuale și reale poate
crea o realitat e total customizabil ă în func ție de preferin țele fiec ărui utilizator. Exist ă
posibil ități nelimitate în ceea ce prive ște crearea propriei realit ăți, trebuie doar s ă existe
imagina ție.
Fig. 4.1. Exemplu de realitate augmentat ă [31]

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 40
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
În zilele noastre, dezvo ltarea unei aplica ții de realitate augmentat ă a devenit destul de
ușor de realizat, datorit ă smartphone -urilor care con țin integrate toate elementele realiz ării
acesteia.
Termenul „augmentat” se refer ă în general la aspectul de a influen ța unul dintre senzorii
sistemului uman, cum ar fi sistemul vizual sau auditiv, prin adi ția unor informa ții. Ace ste
informa ții sunt de natur ă digital ă și vor fi produse de un calculator sau de un smartphone.
Tehnologia curent ă, prin intermediul unui display, suprapune in forma ție brută, preluat ă cu
ajutorul unei camere video, cu informa ție de tip digital. [31]
Display -urile de dimensiuni mari, precum cele întâlnite la televizoare sunt ideale pentru
perceperea unui material virtual. Din nefericire, principalul dezavantaj es te reprezentat de
faptul c ă nu sunt capabile să înregistr eze imagini din realitatea înconjur ătoare și să efectueze
augmentarea lor.
Tehnologia folosit ă de afi șajele capabile de a reda realitate augmentat ă, se nume ște
Video See – Through (VST). Utilizatorul poate percepe imagini din lumea înconj urătoare, într-
un mod indirect, prin intermediul unui monitor sau display. Astfel, o camer ă video înregistreaz ă
imagini în timp real, precedate apoi de mixarea cu un con ținut virtual, urm ând ca în final s ă se
obțină imaginea final ă. [32]
Exemplificarea procesului are loc în figura de mai jos:
Fig. 4.2. Func ționarea tehnologiei VST [32]

Aplica ția AR are nevoie de mai multe elemente cheie pentru a func ționa într-un mod
corespunz ător: trebuie realizat un proces de re cunoa ștere al obiectelor în spa țiu și totodat ă
urmărirea acestora în momentul c ând se afl ă în mi șcare. Practic, prin cunoa șterea acestor
elemente, se poate efectua alinierea mediului virtual cu cel real în cadrul aceluiași spațiu.
De exemplu, în timpul unu i meci de fotbal, are loc afi șarea virtual ă a scorului jocului.
Acest tip de afi șaj este o aplica ție a realit ății augmentate.
4.2 Interac țiunea cu mediul înconjur ător
Realizarea unei aplica ții de realitate augmentat ă, de un real succes, are la baz ă realizarea
unei interac țiuni c ât mai precise între cele dou ă medii: real și virtual. Interac țiunea AR ofer ă o

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 41
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
experien ță unică utilizatorului de a manipula obiecte digitale și obiecte fizice. Astfel,
manipularea unor obiecte virtuale aflate în mediul înconjurător al subiectului, a devenit
posibil ă, prin intermediul unor tehnici oferite publicului larg în ultima perioad ă.
O prim ă metod ă pentru crearea unei aplica ții de realitate augmentat ă este bazat ă în
principal pe utilizarea GPS -ului din cadrul smartpho ne-ului. Senzorii de localizare prin satelit,
respectiv senzorii de orientare sunt punctul de plecare. Prin îmbinarea celor dou ă tipuri de
senzori se ob ține, cu o precizie destul de mare , poziția utilizatorului aplicației în timp real. De
asemenea, girosco pul și accelerometrul, cu care sunt dotate majoritatea telefoanelor de ultim ă
genera ție ofer ă o îmbun ătățire vizibil ă în ceea ce prive ște sistemul de localizare. [32]
Aplica ția folose ște coordonate GPS pentru introducerea obiectelor virtuale în cadrul
realit ății. În momentul c ând utilizatorul se afl ă în apropierea unor coordonate GPS, care au fost
folosite pentru a înregistra un obiect, acesta va putea viziona pe ecranul smartphone -ului acel
obiect virtual. Uneori pozi ția raportat ă de modulu l GPS poate fi eronat ă sau poate avea o
anumit ă întârziere. De aceea, în momentul unor mi șcări cu o vitez ă semnificativ ă, elementele
virtuale pot fi afi șate într-o pozi ție eronat ă.
O alt ă metod ă pentru crearea unei aplica ții AR este reprezentat ă de folosirea unui sis tem
bazat pe imagini. M odulul GPS a fost înlocuit cu o bibliotec ă de imagini, pe care aplica ția le
înregistreaz ă. Aceast ă tehnologie opereaz ă cu procesare de imagini, folosirea unor algoritmi de
recunoa ștere vizual ă, astfel încât, în momentul c ând utilizat orul folose ște camera smartphone –
ului, poate vizualiza obi ectele virtuale.
Avantajul principal al acestei tehnici este reprezentat de pozi ția obiectelor virtuale care
pot fi suprapuse într-un mod mai precis fa ță de utilizarea modului GPS. Camera poate
recunoa ște diferite tipuri de con ținut 2D, cum ar fi : pictograme sau markeri întâlniți într-o
varietate de forme. Dezavatanjul major îl reprezint ă procesarea în software -ul telefonului, care
poate îngreuna pu țin act ivitatea dac ă smartphone -ul utilizat nu este dotat cu un procesor și un
chipset grafic de ultim ă genera ție.
Pentru dezvoltarea unei astfel de aplica ții pe sistemul de operare Android, exist ă
anumite cerin țe recomandate pentru o func ționare decent ă, precum :
 O camer ă cu o rezolu ție bună;
 Existen ța unui modul GPS incorporat;
 Existen ța unui giroscop / accelerometru;
 Un procesor capabil s ă randeze imaginile.
4.3 Computer Vision – Based AR
Computer Vision – Based AR este metoda prezentat ă anterior, care folose ște un sistem
bazat pe o bibliotec ă de imagini. Computer Vision – Based AR nu necesit ă folosirea unor
senzori externi, precum cei GPS, baz ându-se în principal pe capacitatea de înregistrare a
camerei integrate a smartphone -ului. Camera poate suporta tracking (urm ărirea imaginilor
presetate și înregistrate în libr ăria de imagini), care prin diferi ți algoritmi va analiza toate
imaginile înregistrate în timp real, iar la recunoa șterea unei pictograme din bibliotec ă, va
acționa conform activităț ii introdu se de utilizator. [32]

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 42
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Prin intermediul Computer Vision – Based AR se va ob ține o suprapunere mult mai
precis ă între mediul virtual și cel fizic, fa ță de utilizarea metodei care folose ște un modul GPS.
Exist ă o mare probabilitate, ca fiecare persoan ă să fi văzut deja acest tip de Computer Vision –
Based AR , în diferite filme , dar fară să conștientizeze . Aceast ă tehnic ă este folosit ă cu
precădere pentru a crea diverse efecte cinematice sau pentru a suprapune un con ținut virtual
peste o scen ă înregistrat ă dintr -un film (un fundal modificat sau o explozie mult exagerat ă și
așa mai departe). Industria cinematografic ă se folose ște de aceste trucuri, însă spre deosebire
de realitatea augmentat ă, procesarea de imagini nu se face în timp real, ci prin intermediu l unor
stații de lucru special dedicate integr ării con ținului virtual.
4.3.1 Alegerea obiectelor din mediul fizic
Pentru o implementare cu succes a unei aplica ții de realitate augmentat ă, utilizatorul
trebuie s ă înțeleag ă modul în care camera lucreaz ă pentru detectarea obiectelor din mediul fizic.
Exist ă două mari categorii de markeri care pot fi folosi ți: markeri de tip contur și markeri 2D
de tip imagine . În figura urm ătoare sunt ilustrate cele dou ă tipuri:
Fig. 4.3. 1. Marker de tip contur; 2. Marker 2D de tip imagine [32]

Algoritmii de detec ție a marker -ilor sunt alc ătuiți în principal din algoritmi de
identificare a formelor geometrice complexe și algoritmi de transform ări matematice, care
însumate reprezint ă un num ăr mare de opera ții realizate în timpul fiec ărui cadru al înregistr ării.
Pentru o rulare c ât mai fluid ă a aplica ției, este recomandat ca markerii s ă fie reprezenta ți
de obiecte simple, care pot fi detecta te cu ușurință, fără a neces ita un num ăr mare de algoritmi.
Markerii de tip contur su nt o alegere potrivit ă, fiind asem ănători cu codurile QR, care
necesit ă un num ăr redus de algoritmi pentru analiza și recuno așterea de către software.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 43
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 4.4. Cod QR [33]
Modul în care algoritmii lucreaz ă pentru detectarea marker -ilor, introdu și în bibliotec ă,
este prezentat în figura urm ătoare:
Fig. 4.5. Algoritmul de func ționare [32]
După ce imaginea înregistrat ă este convertit ă într-o imagine cu niveluri de gri,
segmentarea imaginilor este aplicat ă, iar imaginea cu niveluri de gri este convertit ă într-o
imagine ce con ține numai tonuri de alb și negru pur. Urm ătorul pas este reprezentat de
încadrarea rectangular ă care presupune identificarea marginilor în imaginea simplificat ă,
urmat ă apoi de un proces de detec ție a contururilor închise și poten țiale forme geometrice ale
unui paralelogram.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 44
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Următorul pas reprezint ă asigurarea software -ului c ă acel contur detectat este chiar un
paralelogram (are exact 4 col țuri și câte dou ă linii paralele). Odat ă ce forma geometric ă este
confirmat ă, con ținutul marker -ului este analizat. O textur ă, în format binar, este extras ă din
interiorul marker -ului pentru a se realiza identificarea final ă. Ultimul pas este reprezentat de
poziționarea sistemului de coordonate.
Software -ul de identificare al marker -ilor poate identifica și imagini care folosesc zeci
sau chiar sute de puncte de interes. Punctele de interes sunt acele detalii care sunt extrase dintr –
o imagine și sunt folosite de algoritmii de de tecție. Acestea treb uie s ă fie bine conturate, clare
(precum marginile sau col țurile unui obiect) și sunt ilustrate de c ătre software prin intermediul
culorii galben. A șa cum se poate observa în figura de mai jos, un cerc sau o linie nu sunt ni ște
exemple bune de utilizat deo arece nu prezint ă puncte de interes.
Fig. 4.6. Reprezentarea punctelor de interes în cadrul unui marker [32]
O imagine mult mai sugestiv ă unde pot fi reg ăsite o multitudine de puncte de interes,
poate fi reprezentat ă de o imagine stradal ă în care sunt reg ăsite multe zone cu un contrast ridicat
și pe care software -ul le poate recunoa ște imediat:
Fig. 4.7. Reprezentarea punctelor de interes în cadrul unui marker complex [32]
Un aspect important de re ținut este faptul c ă unele puncte de interes dintr -o picto gram ă
nu pot fi identificate din cauza inexisten ței unui contrast prea mare între culori sau a unor

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 45
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
margini care nu sunt foarte bine conturate (un exemplu reprezentativ de evitat, este reprezentat
de pictograma unui cer)
4.3.2 Introducere în libr ăria Vufo riaTM

Vuforia reprezint ă o bibliotec ă de imagini pentru realitatea augmentat ă și este
dezvoltat ă de către Qualcomm® Inc . Aceast ă bibliotec ă este gratuit ă atât pentru proiectele non –
comerciale c ât și pentru proiectele comerciale.
Vuforia suport ă markerii aminti ți anterior iar un avantaj al acestei extensii este c ă poate
identifica mai multe imagini în acela și timp. Este disponibil ă atât pentru platforma Android c ât
și iOS, iar performan țele sunt îmbun ătățite cu regularitate pe dispozitivele mobil e echipate cu
un procesor Qualcomm . [34]
O privire de ansamblu asupra arhitecturii acestei biblioteci Vuforia este pr ezentat ă în
imaginea urm ătoare:
Fig. 4.8. Arhitectura Vuforia [32]

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 46
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Aceast ă organigram ă este destinat ă pentru a oferi un punct de vedere g eneral asupra
funcționării acestei biblioteci Vuforia. Mai multe detalii și totodat ă o documenta ție complet ă
asupra func ționării, poate fi g ăsită pe site -ul lor oficial.
În general, Vuforia const ă în realizarea a trei pa și esen țiali în developarea unei aplica ții
augmentate:
 Crearea unor imagini țintă sau markeri;
 Integrarea bibiotecii de imagini / markeri în aplica ția utilizatorului ;
 Manipularea acestora dup ă bunul plac al utilizatorului.
4.3.3 Configurare VuforiaTM pentru recunoașterea obiecte lor
Prim ul pas pentru a folosi toate op țiunile pe care Vuforia le ofer ă utilizatorilor, este de
a crea un cont pe website -ul acestora. Dup ă finalizarea procesului de înregistrare, utilizatorul
poate accesa „Target Manager”, sec țiunea destinat ă de a crea propriile imagini țintă. „Target
Manager ” este organizat ca o baz ă de date, a șadar, utilizatorul își poate ordona imaginile țintă
și markerii în funcție de proiectele în cadrul cărora le va folosi. [32]
Fig. 4.9. „Target Manager ” în Vuforia [32]
Utilizatorul își poate crea prima imagine țintă prin accesarea „ Add New T arget” . Va
apărea o fereastră cu mai multe op țiuni, a șa cum este ilustrat în figura urm ătoare:
Fig. 4.10. „Add New Target ” în Vuforia [32]

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 47
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fiecare imagine țintă va avea propriul ei nume, astfel încât, ulterior, în cadrul
suprapunerii de imagini, utilizatorul s ă își aleag ă cu rapiditate exact markerul pe care și-l
dorește în cadrul proiectului.
De asemenea, Vuforia permite crearea unor diferi ți tipuri de markeri, at ât 2D, respectiv
3D (folosi ți cu precădere în cadrul dezvolt ării jocurilor 3D). Op țiunea „Single Image” indic ă
crearea unui marker de tip plan, 2D , precum folosirea unei ilustra ții printate, o copert ă a unei
cărți, etc. Celelalte 3 op țiuni „Cube”, „Cuboid” și „Cylinder” ofer ă posibilitate a de a defini
multiple fe țe ale unui obiect 3D prin utilizarea a mai multor imagini țintă, opțiune dedicat ă
realiz ării unor aplica ții cu un grad de complexitate mai ridicat.
Pentru aplica țiile de realitate augmentat ă, în principal, este utilizat ă doar op țiunea
„Single Image” . „Target Dimension” define ște o sca ră relativ ă pentru marker -ul utilizatorului.
Este important de luat în considerare ca dimensiunea introdus ă să fie aproximativ egal ă cu
dimensiunea la care va fi printat marker -ul.
În final, ultimul pas este reprezentat de încărcarea imaginii dorite, care va fi folosit ă pe
post de imagine țintă sau marker:
Fig. 4.11. Încărcarea imaginii în baza de date Vuforia [32]
Num ărul de stele (rating -ul) va indica utilizatorului calitatea imaginii. Astfel , un num ăr
redus de stele va rezulta printr -o urm ărire defectu oasă a imaginii țintă în cadrul aplica ției. Este
recomandat ca num ărul de stele s ă fie cel pu țin 4/5.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 48
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan

În imaginea urm ătoare sunt c âteva exemple pe care Vuforia le recomand ă spre a fi
utilizate . Toate acestea au un contrast bun, margini bine definite și au obtinut un num ăr maxim
de rating. (5/5)
Fig. 4.12. Tipuri de markeri recomanda ți de c ătre Vuforia [35]
După efectuarea tuturor opera țiilor de încărcare a imaginilor țintă în biblioteca Vuforia,
exist ă un ultim pas care trebuie realizat pentru a putea folosi ace ști markeri și anume exportarea
acestora.
Fig. 4.13. Exportarea marker -ilor introdu și în biblioteca Vuforia [32]
Exist ă două opțiuni de exportare:
 SDK (Folosirea împreun ă cu diver se programe compatibile cu Android: Eclipse,
Ant, Xcode, etc.)
 Unity Editor (Folosir ea împreun ă cu software -ul Unity, un program dedicat
dezvolt ării jocurilor 2D sau 3D. Majoritatea jocurilor care s -au bucurat de un
real succes pe platformele iOS / Android au fost dezvoltate cu ajutorul acestui
software)

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 49
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
4.3.4 Unity 3D
Unity 3D este un software complex a șa cum afirm ă dezvoltatorii acestuia prin sloganul
„Tot ce ai nevoie pentru a reu și în domeniul jocurilor și a realit ății virtual e / augmentat e”
(tradus di n englez ă „Everything you need to succeed in games and VR/AR”) [36]
Unity este o platform ă care îți permite s ă îți dezvol ți propriul joc, s ă rămâi conectat cu
audien ța căreia te adresezi și în final s ă te bucuri de succesul sperat. Este dedicat cre ării
jocurilor în format 2D sau 3D.
Unity afirm ă că integreaz ă o multitudine de sisteme care ajută la sc ăderea timpului
procesului de dezvoltare, te ajut ă să îți optimizezi jocul și nu în ultimul r ând, să îl poți extinde
pentru o multitudine de platforme precum: iOS, Android, Windows, Linux, Playstation 4, Gear
VR, Oculus Rift, Microsoft Hololens și așa mai departe.
Fig. 4.14. Platforme compatibile cu Unity [37]

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 50
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
5. DESCRIERE EXPERIM ENT

Pentru realizarea aplica ției augmentate, din cadrul acestui proiect, cu aplicabilitate în
ingineria biomedical ă, am pornit de la urm ătoarele elemente fizice:
 Un smartphone Huawei Nexus 6P;
 Ochelari VR Gaming Trust GXT720 pentru smartphone 3.5"/6'' ;
 Un manechin de tip bust;
 Markeri de tip contur.

5.1 Descrierea componentelor fizice
5.1.1 Huawei Nexus 6P
Huawei Nexus 6P este un smartphone lansat în anul 2015, luna septembrie. În
momentul lans ării, acest telefon a dispus de o multitudine de tehnologii inovative care asigur ă
o performan ță, rezisten ță și claritate de lung ă durat ă. [38]

Fig. 5.1. Huawei Nexus 6P [39]
Dotat cu un procesor Octa -Core Snapdragon 810 de 2 GHz și o baterie de 3450 mAh,
Nexus 6P ofer ă utilizatorilor performan țe deosebite chiar și în condi ții extreme de utilizare.
Ecranul este unul WQHD AMOLED de 5,7 inch, iar densitatea pixelilor este de 518 ppi , ce
confer ă o claritate a imaginii impresionant ă.
Camera foto principal ă este de 12,3 MP, dotat ă cu laser autofocus și dual -LED flash,
iar aceasta permite înregistrarea video într-un format 2160p la un num ăr de 30 cadre pe
secund ă.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 51
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Datorit ă colaborării dintre Huawei și Google, Nexus 6P dispune de cele mai noi sisteme
de operare oferite de Android, astfel încât telefonul s ă fie optimizat permanent pentru cele mai
dificile sarcini pe care utilizatorul i le atribuie.
5.1.2 Ochelari VR Gaming Trust GXT720
Ochelarii VR Gaming Trust GXT720 sunt o alegere excelent ă pentru cei care își doresc
să își dezvolte propriile aplica ții de realitate virtual ă sau realitate augmentat ă.
Fig. 5.2. Ochelari VR Gaming Trust GXT720 [40]
Motivul principal al alegerii acestei perechi de ochelari de realitate virtual ă este faptul
că fața headset -ului VR care acoper ă camera telefonului poate fi înlăturată, astfel încât i se
permite telefonului s ă înregistreze imagini în timp real. În cazul conceperii unei aplica ții de
realitate augmentat ă, dacă ochelarii VR nu permit deta șarea acestei fe țe care obtureaz ă camera,
este nevoie de ata șarea unei camere video suplimentare care să înregistreze imaginile din
mediul înconjur ător, ceea ce ar face procesul de randare s ă devin ă destul de lent, afect ând
performan țele cu care va rula aplica ția final ă.
Specifica țiile importante ale acestui headset sunt urm ătoarele: [40]
 Explorarea mediului virtual 3D p rin intermediul unui smartphone;
 Este compatibil cu dispozitive al c ăror ecran nu depa șeste 6 inchi;
 Fața exterioar ă este deta șabilă, pentru explorarea cu u șurință a aplica țiilor
augmentate ;
 Poate fi ajustabil în func ție de utilizator (modificarea distan ței pupilare, a
distan ței de focusare) ;
 Loca ții speciale de introducere a cablurilor de conexiune pentru smartphone
(USB, audio, încărcare).

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 52
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
5.1.3 Manechin de tip bust
Pentru testarea și implementarea final ă a aplica ției din cadrul acestui proiect, am folosit,
un manechin de tip bust, realizat din material plastic, care imit ă structura în relief a alc ătuirii
corpului uman.
Fig. 5.3. Manechin
Manechinul respect ă dimensiunile unei persoane de statur ă medie și cu o talie atletic ă.
Aces ta este întâlnit cu prec ădere în majoritatea magazinelor cu articole de îmbrăcăminte.
5.1.4 Markeri de tip contur

Pornind de la indica țiile pe care Vuforia le ofer ă referitor la structura și organizarea
marker -ilor, am folosit markerii ilustra ți în figura urm ătoare:
Fig. 5.4. Markeri de tip contur

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 53
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Pentru o manipulare facil ă a acestora, markerii au fost printa ți pe h ârtie de tip
autocolant, astfel încât pot fi lipi ți și dezlip iți cu u șurință în vederea eventualelor modific ări.
Markerii au fost concepu ți pentru a avea o structur ă complet aleatorie , evitându -se existen ța
asem ănărilor, care pot cauza urm ărirea defectuoas ă a acestora de c ătre software -ul Vuforia.
5.2 Descrierea software a aplica ției
În primul r ând, pentru a porni procesul de dezvoltare al aplica ției, este necesar ca
utilizatorul s ă instaleze pe calculator , software -ul Unity 3D, care poate fi desc ărcat cu u șurință
prin accesarea urm ătorului link: https://store.unity.com/ . În cadrul acestui proiect, am
beneficiat de versiunea „Personal”, care este gratuit ă. După realizarea acestei opera ții,
utilizatorul își va crea un cont în cadrul bibliotecii de markeri Vuforia, prin accesarea sec țiunii
Vuforia Developer Portal. ( https://developer.vuforia.com/user/login )
După momentul cre ării și log ării pe contul de pe Vuforia Developer, se acceseaz ă
„License Manager” și se creeaz ă o licen ță unică pentru aplica ția personal ă. În figura urm ătoare,
sunt ilustrate setările care trebuie realizate:
Fig. 5.5. Crearea licen ței pentru aplica ția de realitate augmentat ă
În varianta gratuit ă a bibliotecii Vuforia, utilizatorul beneficiaz ă de 1000 de
recunoa șteri ale marker -ilor, lunare, și un num ăr limitat de markeri, 100. Dup ă înregistrarea
aplica ției, Vuforia creeaz ă o licen ță individual ă pentru fiecare aplica ție. Aceast ă licen ță va fi
înregistrat ă, ulterior, în Unity 3D.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 54
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 5.6. Codul ce va fi ulterior integrat în Unity 3D

O facilitate pe care Vuforia o ofer ă utilizatorilor s ăi, o reprezint ă un set de statistici,
care face referire la modul de utilizare a aplica ției. Astfel, poate fi u șor contorizat, num ărul de
markeri recunoscu ți, pentru a fi sigur utilizatorul , că nu dep ăsește limita impus ă, evit ându-se
astfel eventuale situa ții nepl ăcute.
Fig. 5.7. Statisticile referitoare la utilizarea markerilor
Următoarea etap ă o reprezint ă introducerea marker -ilor care vor fi folosi ți în cadrul
aplica ției. Se acceseaz ă meniul “Develop > > Target Manager >> Add Databa se” pentru a se
crea un dosar de stocare al marker -ilor pentru aceast ă aplica ție. În situa ția în care utilizatorul
lucreaz ă la dezvoltarea mai multor aplica ții simul tan, prin intermediul acestei organiz ări
structurale, nu vor exista situa ții de confuzie între elementele componente.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 55
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 5.8. Crearea unei baze de date a marker -ilor
Odat ă creat ă baza de date, pot fi ad ăugați markerii care vor rula în cadrul aplica ției. În
cadrul acestui proiect, voi folosi doi markeri: unul de dimensiuni reduse și unul de dimensiune
mai mare. Markerii printa ți pe h ârtie autocolant ă au fost aplica ți pe manechin, iar rezultatul a
fost urm ătorul:
Fig. 5.9. Markerii aplica ți pe manechinul de tip bust
Pentru încărcarea markerilor în baza de date recent creat ă, trebuie decupat ă doar
secțiunea în care va ap ărea efectiv conținutul ce trebuie urm ărit de software. Pentru realizarea
acestei opera țiuni, am utilizat programul Adobe Photoshop CC, prin intermediul c ăruia am
selectat doar zona de interes și totodat ă am ajustat culorile, luminozitatea și contrastul pentru a
primi un rating maxim (5*) de c ătre Vuforia.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 56
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Varianta final ă a celor doi markeri preg ătiți pentru a fi încărcați în baza de date este
ilustrat ă în figura urm ătoare:
Fig. 5.10. Markerii dup ă prelucrarea în Adobe Photoshop CC
Markerii vor fi încărcați individual în cadrul Vuforia Developer prin accesarea
butonului „Add Target” din baza de date creat ă anterior și denumit ă „AR-app-manechin” .
Fig. 5.11. Setările pentru introducerea markerilor

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 57
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Din op țiunile afi șate, se va alege tipul markerului ca fiind „Single Image”, se va
introduce la Width o dimensiune asem ănătoare cu dimensiunea con ținutului de realitate
augmentat ă din cadrul Unity 3D ( în cazul acestui proiect, am ales o dimensiune de 500px) și
în ultimul r ând se vor denumi cei doi markeri pentru a fi recunoscu ți cu u șurință în etapele
ulterioare.
După finalizarea acestui proces, Vuforia Developer ofer ă către utilizator un feedback
referitor la c ât de eficien ți și cât de bine realiza ți sunt marke rii. În cadrul acestui proiect, am
obținut un punctaj maxim (5*), ceea ce înseamn ă că software -ul de recunoa ștere al acestora nu
ar trebui s ă întâmpine nicio problem ă.
Fig. 5.12. Punctajul ob ținut de cei doi markeri
Pentru a observa modul cum func ționeaz ă acest software de recunoa ștere al marker –
ilor, utilizatorul poate observa exact punctele de interes care au fost generate automat. Astfel,
dacă exist ă zone de dimensiuni considerabile, unde se remarcă absența punctelor de interes,
utilizatorul trebuie s ă ajusteze markerii pentru a benefia de cea mai bun ă experien ță de realitate
augmentat ă. În cadrul acestui proiect, software -ul de recunoa ștere a identificat urm ătoarele
puncte de interes:
Fig. 5.13. Punctele de interes al markerului din partea frontal ă

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 58
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 5.14. Punctele de interes al marker -ului din partea dorsal ă
Ultimul pas ce trebuie realizat în Vuforia Developer este desc ărcarea celor doi markeri,
într-un format care va fi recunoscut de c ătre Unity 3D. Aceast ă opera țiune se realizeaz ă prin
apăsarea butonului „Download Database (All)” din baza de date „AR -app-manechin”. Se
selecteaz ă Unity Editor ca platform ă de dezvoltare a aplica ției, iar apoi se salveaz ă fișierul cu
extensia .unitypackage în calculatorul personal:
Fig. 5.15. Desc ărcarea pachetului Unity care con ține cei doi markeri

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 59
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
După finalizarea procesului de desc ărcare a pachetului ce con ține markerii, pasul
următor este reprezentat de implementarea aplica ției în Unity 3D. Se acce sează programul
Unity 3D deja instalat pe calculatorul personal, se creeaz ă un nou proiect prin accesarea
butonului “New”, se completeaz ă câmpurile necesare și în final se apas ă pe “Create project” .
Fig. 5.16. Crearea unui proiect nou în Unity 3D
După deschid erea ferestrei Unity care con ține proiectul creat anterior, pasul urm ător
este reprezentat de importarea pachetului Vuforia, ca o extensie pentru Unity 3D. Desc ărcarea
pachetului Vuforia se face prin accesarea urm ătorului link din cadrul site -ului lor ofic ial:
https://developer.vuforia.com/downloads/sdk și se alege op țiunea “Download for Unity ”.
Odat ă descărcat în calculatorul personal acest pachet, se acceseaz ă în Unity meniul “Assets >>
Import Package >> Custom Package” și se alege fi șierul anterior. Con ținutul pachetului
importat va ap ărea cu scopul ca utilizatorul s ă observe exact elementele care vor fi integrate în
program. Fere astra este ilustrat ă în figura de mai jos:
Fig. 5.17. Importarea pachetului Vuforia în Unity 3D

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 60
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Asem ănător procedurii anterioare, se va importa în Unity și pachetul care con ține cei
doi markeri utiliza ți în aplica ție. Dup ă realizarea opera țiilor anterioare, con ținutul proiectului
nou creat în Unity 3D trebuie să arate astfel:
Fig. 5.18. Conținutul proiectului Unity 3D
Următorul pas este reprezentat de ad ăugarea unei camere inteligente de înregistrare
dezvoltat ă de către Vuforia, care are integrat script -ul de recunoa ștere a marker -ilor. Aceasta
este denumit ă “ARCamera”. Pentru a ad ăuga “ARCamera” este necesar s ă ștergem din partea
stânga sus, unde se afl ă “Hierarchy Panel”, “Main Camera” cu care vine preinstalat Unity.
Fig. 5.19. Ștergerea camerei de înregistrare preinstalat ă în Unity 3D
“ARCamera” se afl ă în folderul “Prefabs ”, care la r ândul s ău este con ținut în folderul
Vuforia din cadrul Assets. Figura urm ătoare ilustreaz ă calea de acces spre “ARCamera” :
Fig. 5.20. Calea de acces spre “ARCamera”
Prin intermediul func ției “Drag&Drop” se ține ap ăsat continuu pe “ARCamera” și se
mută în “Hierarchy Panel” , în locul unde se afla “Main Camera”.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 61
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 5.21. Introducerea “ARCamera” în “Hierarchy Panel”
În momentul de fa ță, “ARCamera” nu func ționeaz ă deoarece nu este introdus ă acea
licen ță generat ă anterior de Vuforia. Printr -un singur click pe “ARCamera” în partea dreapt ă a
ferestrei Unity, va ap ărea o fereastr ă care con ține set ările camerei. Se modific ă “World Center
Mode” prin selectarea op țiunii “DEVICE_TRACKING”, iar apoi se apas ă pe “Open Vuforia
configuration” pentru set ările ulterioare:
Fig. 5.22. Setările necesare “ARCamera”

În cadrul “Vuforia Configuration” trebuie realizate urm ătoarele modific ări:
 Introducerea licen ței generate anterior de Vuforia (codul prezentat anterio r);
 Setarea “Max Simultaneous Tracked Images” cu cifra “2” ;
 Setarea “Max Simultaneous Tracked Objects” cu cifra “2” ;
 Activarea op țiunii “Load AR -app-manechin Database” și a op țiunii “Activate”
ulterior afi șată.
În figura urm ătoare sunt ilustrate toate set ările care trebuie realizate pentru buna
funcționare a “ARCamera”:

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 62
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 5.23. Setările suplimentare necesare “ARCamera”
Pentru testarea func ționării “ARCamera” se apas ă butonul “Play” din partea de sus a
ecranului. Dac ă totul este setat ca în figurile anterioare, rezultatul ar trebui s ă fie urm ătorul:
Fig. 5.24. Testarea func ționării “ARCamera”

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 63
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
După testarea și func ționarea cu succes a “ARCamera”, urmeaz ă implementarea
marker -ilor în cadrul scenei. “ImageTarget” este situat în acelea și folder ca și “ARCamera”,
iar principiul de ad ăugare în “Hierarchy Panel” este acela și, prin “Drag & Drop”. Este
recomandat ca numele predefinit “ImageTarget” s ă fie înlocuit cu denumirea marker -ului, în
cazul nostru, redenumirea fiind “Marker -Spate”.
Astfel, vom începe implementarea marker -ului de pe partea dorsal ă a manechinului ,
datorit ă faptului c ă el are dimensiunea cea mai mare. Set ările necesare care trebuie realizate de
către utilizator, sunt ilustrate în figura urm ătoare:
Fig. 5.25. Implementarea marker -ului spate în Unity 3D
Pentru implementarea marker -ului din partea frontal ă a manechinului, se realizeaz ă
aceea și procedur ă. Setările necesare sunt ilustra te în figura urm ătoare:
Fig. 5.26. Implementarea marker -ului fa ță în Unity 3D

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 64
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
După finalizarea opera țiunii de implementare a celor doi markeri, proiectul ar trebui s ă
arate astfel:
Fig. 5.27. Finalizarea i mplement ării marker -ilor în Unity 3D
După cum putem observa, de și am implementat cei doi markeri, în partea st ângă unde
sunt capturile de la “ARCamera” , fundalul este complet negru. Acest fapt se întampl ă deoarece
camera nu este centrat ă asupra punctului nostru de interes. Pentru o centrare bun ă a camerei
asupra markerilor , am realizat urm ătoarele set ări ale “ARCamera”:
Fig. 5.28. Centrare „ARCamera” as upra marker -ilor
Ulterior acestei set ări de centrare, avem urmatorul rezultat al proiectului:
Fig. 5.29. Finalizarea i mplementarii marker -ilor în Unity 3D

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 65
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Următorul pas pe care utilizatorul trebuie s ă îl parcurg ă, îl reprezint ă testarea marker –
ilor pentru a vedea dac ă sunt recunoscu ți de c ătre „ARCamera” și cât de mare este gradul de
acurate țe în ceea ce prive ște identificarea acestora. Acest lucru este u șor de realizat: se apas ă
pe butonul „Play” pentru a începe rularea aplica ției, iar mai apoi prin ap ăsarea pe butonul
„Console” se poate observa modul în care reac ționeaz ă aplica ția la afi șarea celor doi markeri.
Figura urm ătoare exemplific ă modul cum se poate realiza aceast ă testare:
Fig. 5.30. Procesul de identificare al marker -ilor î n Unity 3D
În cadrul proiectului, markerii sunt recunoscu ți cu o rapiditate destul de mare, ceea ce
înseamn ă că nu ar trebui s ă fie întâmpinate probleme în implementarea final ă. Urm ătorul pa s
îl reprezint ă alegerea modelelor 3D ce vor fi utilizat e în cadrul proiectului.
Decizia de a implementa modele 3D a fost inspirat ă de sistemul folosit de clinica de
medicin ă nuclear ă de la Pisa. Astfel, în urma investiga țiilor efectuate pe un pacient, rezult ă o
reconstruc ție a imaginilor, care se materializeaz ă într-un model anatomic 3D în care sunt
înfățișate maladiile prin intermediul diverselor culori. Astfel, doctorul poate observa cu
ușurință zonele afectate.
Din cauza lipsei unor modele anatomice preluate de la pacienti reali, am folosit în cadrul
proiectul ui modele anatomice 3D, care sunt disponibile în variant ă gratuit ă pe Internet. Pentru
partea frontal ă a manechinului, am folosit o inim ă în format 3D, iar pentru partea dorsal ă a
manechinului, am folosit o coloan ă vertebral ă, tot în format 3D.
Modelul 3D al inimii poate fi desc ărcat și folosit în proiecte personale, prin accesarea
următorului link: https://free3d.com/3d -model/human -heart -2-79840.html
În ceea ce prive ște aspectul, mod elul 3D este ilustrat în figura urm ătoare:

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 66
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 5.31. Inim ă 3D utilizat ă în cadrul acestui proiect
Modelul 3D al coloanei vertebrale poate fi desc ărcat și folosit în proiecte personale,
prin accesarea urm ătorului link: http://www.cadnav.com/3d -models/model -23880.html
În ceea ce prive ște aspectul, m odelul 3D este ilustrat î n figura urm ătoare:
Fig. 5.32. Coloan ă vertebral ă 3D utilizat ă în cadrul acestui proiect

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 67
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Pentru importarea modelelor 3D în cadrul Unity 3D, este recomandat ca formatul
modelelor s ă aibă extensia .3DS. Cele dou ă modele folosite în cadrul acestui proiect au deja
acest tip de format și sunt u șor de importat. În situa ția în care un model 3D nu are extensia
.3DS, este recomandat s ă se fac ă o conversie a acestuia.
Pentru importarea primului model se va muta cursorul mouse -ului în zona în care sunt
fișierele programului și se va face click -dreapta, apoi select ându-se „Import New Asset…”. Se
va alege fi șierul cu extens ia .3DS a modelului 3D, iar acesta va fi importat î n Unity.
Fig. 5.33. Importarea modelelor 3D în Unity
După finalizarea import ării modelului 3D al inimii, pentru a se realiza sincronizarea cu
marker -ul lui, trebuie s ă fie importat în cadrul proiectului ca un „Child” pentru marker. Acest
lucru se efect uează astfel: se ține ap ăsat pe modelul 3D și prin intermediul „Drag & Drop” se
mută fix deasupra zonei unde este afi șat „Marker -Fata”. Dac ă totul a decurs cum trebuie, în
“Hierarchy Panel” lucrurile vor fi ordonate astfel:
Fig. 5.34. Sincronizare a model ului 3D cu marker -ul său
În cazul modelului 3D al inimii, în ceea ce prive ște pozi ționarea , pentru o centrare
apropiat ă de realitate , am realizat următoarele setări :
Fig. 5.35. Setările de pozi ționare ale modelului 3D al inimii

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 68
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Pentru importarea modelului 3D al coloanei vertebrale se repet ă aceea și pași prezenta ți
anterior, singurele diferen țe vor fi reprezentate de set ările de p oziționare ale noului model 3D.
Rezultatul , după modific ările necesare , este urm ătorul:
Fig. 5.36. Setările de pozi ționare ale modelului 3D al coloanei vertebrale
Următorul pas în ceea ce prive ște implementarea aplica ției, o reprezint ă testarea și
efectuarea ajust ărilor necesare. Este recomandat ca , din acest punct, testarea s ă se realizeze
direct pe modelul final care va fi implementa t, în cazul acestui proiect, pe manechinul care are
deja lipi ți markerii. Diferen ța între testarea marker -ilor printa ți pe o coal ă de hârtie și cei
aplica ți direct pe m anechin, apare datorit ă diferen ței de suprafa ță. În cazul foii A4 avem o
suprafa ță 2D luminat ă uniform, pe c ând, în cazul manechinului apar diverse umbre din cauza
formei 3D a acestuia. În cadrul testelor, rezultatele au fost mul țumitoare. În figura de mai jos,
sunt ilustrate c âteva capturi de ecran din timpul testelor:
Fig. 5.37. Teste ale func ționalit ății marker -ilor și obiectelor 3D

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 69
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
În momentul de fa ță, aplica ția este pregatit ă de a fi exportat ă pentru smartphone. Însă,
aplica ția creat ă va rula pe toat ă suprafa ța ecranului, nefiind compatibil ă cu ochelarii de realitate
virtual ă. În figura de mai jos este ilustrat ă aplica ția exportat ă pe smartphone la stadiul acesta:
Fig. 5.38. Preview al aplica ției finale
Scopul proiectului este de a utiliza aplica ția creat ă împreun ă cu un headset VR. De
aceea, mai trebuie realizate un set de configur ări pentru a transforma modul normal de
vizualizare într-un mod de vizualizare stereoscopic.
Pentru a realiza aceast ă transformare, în „Hierarchy Panel” se ac cesează „ARC amera
>> Open Vuforia configuration >> Eyewear Type” și se selecteaz ă „Video See -Through”.
După această selec ție, în func ție de tipul de headset VR de care dispune utilizatorul, acesta își
poate crea propriile set ări sau poate alege unul din cele 5 tipuri de set ări predefinite. (Generic
Cardboard Vuforia, VR ONE, VR Goggles, C1 -Glass, Cardboard v1).
În cadrul proiectului, am ales varianta de a utiliza set ările predefinite „Generic
Cardboard”, datorit ă specifica țiilor comune cu headset -ul VR folosit.
Fig. 5.39. Setările pentru adaptarea cu headset -ul VR

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 70
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Odat ă ce set ările acestea au fost realizate, iar ulterior a fost realizat ă și o testare în cadrul
Unity 3D, aplica ția de realitate augmentat ă este complet pregatit ă de a fi exportat ă către
Android.
Primul p as al export ării, îl constituie conectarea smartphone -ului prin intermediul
cablului de date la calculator. Un aspect foarte important, este modificarea conexiunii USB din
cadrul smartphone -ului astfel încât să permit ă transferul de fi șiere. (Se alege op țiunea
„Transfera ți fișiere”)
Fig. 5.40. Setările smartphone -ului pentru transferul de fi șiere
Ulterior, se acceseaz ă în Unity „File >> Build Settings”. Se alege platforma de
exportare Android, iar apoi se face click pe „Build & Run”.
Fig. 5.41. Setările Unity pentru exportare Android

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 71
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Va ap ărea o fereastr ă unde utilizatorul va trebui s ă introduc ă numele final aplica ției,
care va ap ărea pe ecranul smartphone -ului. În cadrul proiectului, am ales denumirea „AR
Biomedical App”.
Din cauza faptului c ă utilizat orul este la prima exportare, va ap ărea urm ătorul mesaj de
eroare. Utilizatorul trebuie s ă introduc ă în „Player Settings” datele sale de identificare, pentru
a se crea o proprie identitate aplica ției rezultate.
Fig. 5.42. Mesaj de eroare la prima exportare Android
Rezolvarea acestui mesaj de eroare se face cu rapiditate, prin completarea urm ătoarelor
câmpuri, ilustrate în figura de mai jos:
Fig. 5.43. Crearea identit ății aplica ției finale
După introducerea datelor necesare, aplica ția va fi exportat ă direct pe smartphone, cu
extensia .apk (extensie specific ă aplica țiilor care ruleaz ă pe Android) și va începe automat
rularea acesteia.
Ultimul pas îl reprezint ă introducerea telefonului în cadrul ochelarilor de realitate
virtual ă și apoi utilizatorul be neficiaz ă de o experien ță complet nou ă de realitate augmentat ă.
Dacă totul a decurs foarte bine, acesta ar trebui s ă fie rezultatul final ce va ap ărea pe
ecranul smatphone -ului:

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 72
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
Fig. 5.44. Rularea aplica ției finale pe smartphone
În cadrul discu țiilor de pe forumul Vuforia Developer s -a anun țat faptul c ă, dup ă ultimul
update lansat (vuforia -unity -6-2-10.unitypackage) exist ă posibilitatea ca unele smartphone -uri
să aibă anumite probleme referitoare la autofocus -ul în timpul aplica ției. Această problemă
presupune faptul c ă unele smartphone -uri vor avea dificult ăți de identificare a marker -ilor din
cauza lipsei autofocus -ului.
Dacă utilizatorul întâmpin ă o astfel de problem ă, exist ă totuși o rezolvare. Utilizatorii
care se confrunt ă cu aceast ă problem ă, vor trebui s ă creeze un nou script pentru „ARCamera”,
care se realizeaz ă prin accesarea set ărilor „ARCamera >> Add Component >> New Script”.
Fig. 5.45. Introducerea unui nou script în Vuforia
În func ție de programele instalate pe calculatorul utilizatorului, s e va deschide o
fereastr ă de editare text, unde se va introduce textul scriptului pentru rezolvarea problemei
autofocus -ului. Liniile de comand ă care trebuie copiate în fereastra de editare text sunt
următoarele:

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 73
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
using UnityEngine;
using System.Collections;
using Vuforia;

public class CameraFocusController : MonoBehaviour {

private bool mVuforiaStarted = false;

void Start ()
{
VuforiaARController vuforia = VuforiaARController .Instance;

if (vuforia != null)
vuforia.RegisterVuforiaStartedCallback(StartAfterVuforia);
}

private void StartAfterVuforia()
{
mVuforiaStarted = true;
SetAutofocus();
}

void OnApplicationPause( bool pause)
{
if (!pause)
{
// App resumed
if (mVuforiaStarted)
{
// App resumed and vuforia already started
// but lets start it again…
SetAutofocus(); // This is done because some androi d devices lose the auto
focus after resume
}
}
}

private void SetAutofocus()
{
if
(CameraDevice .Instance.SetFocusMode( CameraDevice .FocusMode .FOCUS_MODE_CONTINUOUSAUTO))
{
Debug.Log("Autofocus set" );
}
else
{
// never actually seen a device that doesn't support this, but just in case
Debug.Log("this device doesn't support auto focus" );
}
}
}
Cu ajutorul acestui script , problema autofocus -ului va fi rezolvat ă, iar utilizator ul va
observa o îmbun ătățire major ă în ceea ce prive ște viteza de identificare a marker -ilor. În
momentul actual, aplica ția este complet ă.

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 74
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
6. CONCLUZII

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 75
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
7. BIBLIOGRAFIE

[1.] TAYLOR, Jim. The Evo lution of Technology [online]. 25 Mai 2011 [citat în 16
Februarie 2017]. Disponi bil pe World Wide Web http://www.huffingtonpost.com/dr -jim-
taylor/the -evolution -of-technolo_b_318843.html
[2.] ROBB, Richard. Virtual Reality in Medicine: A Personal Perspective [online]. Vol.
5, No. 4 , 2002 , p. 317 -326 [citat în 16 Februarie 2017]. Disponibil pe World Wide We b
https://link.springer.com/article/10.1007/BF03182346
[3.] STEINICKE, Frank. The Science and Fiction of the Ultimate Display [online].
Capitolul 2 , p. 25-27, 23 Octombrie 2016 [citat în 16 Februarie 2017]. Disponibil pe World
Wide Web https://link.springer.com/chapter/10.1007%2F978 -3-319-43078 -2_2
[4.] Dorothy STRICKLAND , Lee M. MARCUS , Gary B. MESIBOV , Kerry
HOGAN . Brief Report: Two Case Studies Using Virtual Reality as a Learning Tool for Autistic
Children [online]. Vol. 6, No. 26, 1994 [citat în 1 9 Februarie 2017]. Disponibil pe World Wide
Web https://link.springer.com/article/10.1007/BF02172354
[5.] GREENWALD , Will. The Best VR (Virtual Reality) Headsets of 2017 [online].
18 Mai 2017 [citat în 22 Mai 2017]. Disponibil pe World Wide Web
http://www.pcmag.com/article/342537/the -best-virtual -reality -vr-headsets
[6.] SHILOV, Anton. Oculus VR Reveals Retail Price of Its Virtual Reality Headset:
$599 [online]. 7 Ianuarie 2016 [citat în 22 Mai 2017]. Disponibil pe World Wide Web
http://www.anandtech.com/show/9921/oculus -vr-reveals -retail -price -of-its-virtual -reality –
headset -599
[7.] Nuvika Inc. Nuvika VR Glasses with Bluetooth Remote Control [online]. 2015
[citat în 22 Mai 2017]. Disponibil pe World Wide Web http://nuvikainc.com/vr -combo –
headset -and-bluetooth -controller/
[8.] ZAYNE, Seah. Which PlayStation Should You Get: PS4 (2013) vs PS4 (2016) vs
PS4 Pro [online]. 7 Decembrie 2016 [citat în 22 Mai 2017]. Disponibil pe World Wide Web
http://vr -zone.com/articles/playstation -get-ps4-2013 -vs-ps4-2016 -vs-ps4-pro/118436.html
[9.] LAMKIN, Paul. Best VR headsets 2017: HTC Vive, Oculus, PlayStation VR
compared [online]. 24 Mai 2017 [citat în 26 Mai 2017]. Disponibil pe World Wide Web
https://www.wareable.com/vr/best -vr-headsets -2017
[10.] LANG, Ben. The ‘Big Three’ at GDC 2016 – What to Expect from Oculus, Sony,
and HTC/Valve [online]. 13 Martie 2016 [citat în 26 Mai 2017]. Disponibil pe World Wide
Web http:/ /www.roadtovr.com/gdc -2016 -vr-what -to-expect -from -oculus -sony -and-htc-valve –
virtual -reality/3/
[11.] FENLON, Wes. HTC's Deluxe Audio Strap is a huge improvement over the Vive's
elastic straps [online]. 1 Martie 2017 [citat în 26 Mai 2017]. Disponibil pe World Wide Web
http://www.pcgamer.com/htcs -deluxe -audio -strap -is-a-huge -improvement -over-the-vives –
elastic -straps/
[12.] Oculus Rift. Overview Rift [online]. 2017 [citat în 26 Mai 2017]. Disponibil pe
World Wide Web https://www.oculus.com/rift/

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 76
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
[13.] LORETINA, Chris. Third Oculus Sensor Gives You Room -Scale VR, And It's
Avail able For Preorder Now At $79 [online]. 1 Noiembrie 2016 [citat în 26 Mai 2017].
Disponibil pe World Wide Web http://www.techtimes.com/articles/184439/20161101/third –
oculus -sensor -gives -you-room -scale -vr-and-its-available -for-preorder -now-at-79.html
[14.] FRIED, Ina. Clay Bavor says Google’s vision for virtual reality is way more than
a Daydream [online]. 10 Noiembrie 2016 [citat în 26 Mai 2017]. Disponibil pe World Wide
Web https://www.recode.net/2016/11/10/13553198/clay -bavor -goog le-vr-virtual -reality –
daydream -code -mobile
[15.] KONDRAT , Tomek. Google Daydream Will Get A Big Update And Its own VR
Web Browser [online]. 19 Mai 2017 [citat în 26 Mai 2017]. Disponibil pe World Wide Web
https://www.xda -developers.com/google -daydream -will-get-a-big-update -and-its-own-vr-
web-browser/
[16.] KING, Laiza. Is Google Daydream the New ‘Blue Ocean’ for Business? [online].
11 August 2016 [citat în 26 Mai 2017]. Disponibil pe World Wide Web
http://www.huffingtonpost.com/laiza -king-/alternative -title-is-goog_b_12849950.html
[17.] Worldvi z. Rapid Application Development (RAD) [online]. 2017 [citat în 31 Mai
2017]. Disponibil pe World Wide Web http://www.worldviz.com/virtual -reality -software –
features/
[18.] Eon Rea lity. About EON [online]. 2017 [citat în 31 Mai 2017]. Disponibil pe
World Wide Web https://www.eonreality.com/systems/
[19.] Eon Reality. EyeSim Ophthalmology [online]. 2017 [citat în 31 Mai 2017].
Disponibil pe World Wide Web https://www.eonreality.com/portfolio -items/eyesim –
ophthalmology/
[20.] Eon Reality. Virtual Anatomy Simulation [online]. 2017 [citat în 31 Mai 2017].
Disponibil pe World Wide Web https://www.eonreality.com/portfolio -items/virtual -anatomy –
simulation/
[21.] Virtalis. About Virtalis [online]. 2017 [citat în 31 Mai 2017]. Disponibil pe World
Wide Web https://www.virtalis.com/about -us/about -virtalis/
[22.] Virtalis. Visionary Render software [online]. 2017 [citat în 31 Mai 2017].
Disp onibil pe World Wide Web https://www.virtalis.com/visionary -render/
[23.] Worldviz. Landing page [online]. 2017 [citat în 31 Mai 2017]. Disponibil pe
World Wide Web http://www.worldviz.com/
[24.] Worldviz. Healthcare Industry [online]. 2017 [citat în 31 Mai 2017]. Disponibil
pe World Wide Web http://www.worldviz.com/virtual -reality -industries -healthcare/
[25.] Worldviz. VizMove Projection VR Operating Room Design Review [online].
Screenshot Video, 1:04, 21 Septembrie 2013 [citat în 31 Mai 2017]. Disponibil pe World Wide
Web https://www.youtube.com/watch?v=0wNFA6RIvu0
[26.] Katrine JENSEN, Flemming BJERRUM , Henrik JESSEN . Using virtual reality
simulation to assess competence in video -assisted thoracoscopic surgery (VATS) lobectomy
[online]. Vol. 31, 21 Septembrie 2016 [citat în 5 Iunie 2017]. Disponibil pe World Wide Web
https://link.springer.com/article/10.1007/s00464 -016-5254 -6

UNIVERSITATEA TRANSILVANIA BRAȘOV PROIECT DE DIPLOMĂ Pag. 77
Facultatea Design de Produs și Mediu
Programul de studii: INGINERIE MEDICALĂ

Coordonator: Student:
CC.st.gr III. Dr. ing. Șerban Ionel Ghigeanu Bogdan
[27.] Matthew BRAMLET , Kuocheng WANG , Alexander CLEMONS . Virtual reality
visualization of patient specific heart model [online]. 27 Ianuarie 2016 [citat în 5 Iunie 2017].
Disponibil pe World Wide Web https://link.springer.com/article/10.1186/1532 -429X -18-S1-
T13
[28.] Richard G RANKY , Mark L SIVAK , Jeffrey A LEWIS . Modular mechatronic
system for stationary bicycles interfaced with virtual environment for rehabilitation [online].
5 Iunie 2014 [citat în 7 Iunie 2017]. Disponibil pe World Wide Web
https://link.springer.com/article/10.1186/1743 -0003 -11-93
[29.] Tomoyoshi OKAMOTO , Shinji ONDA , Michinori MATSUMOTO . Utility of
augmented reality system in hepatobiliary surgery [online]. 8 Martie 2012 [citat în 9 Iunie
2017]. Disponibil pe World Wide Web https://link.springer.com/article/10.1007%2Fs00534 –
012-0504 -z
[30.] Tomoyoshi OKAMOTO , Shinji ONDA , Katsuhiko YANAGA . Clinical
application of navigation surgery using augmented reality in the abdominal field [online].
6 Iunie 2014 [citat în 9 Iunie 2017]. Disponibil pe World Wide Web
https://link.springer.com/article/10.1007%2Fs00595 -014-0946 -9
[31.] GEROIMENKO , Vladimir . Augmented Reality Art [online]. 2014 [citat în 1 2
Iunie 2017]. Disponibil pe World Wide Web https://link.springer.com/book/10.1007%2F978 –
3-319-06203 -7
[32.] Jens GRUBERT , Dr. Raphael GRASSET . Augmented Reality for Android
Application Development [online]. 2013 [citat în 1 2 Iunie 2017]. Disponibil pe World Wide
Web https://www.packtpub.com/application -development/augmented -reality -android –
application -development
[33.] GOGON , Ost. Latest Technology Compare 2016 [online]. 2016 [citat în 12 Iunie
2017]. Disponibil pe World Wide Web http://4o stechno.blogspot.ro/2013/05/some -secret –
codes -blackberry -device.html
[34.] Vuforia. Vuforia Features [online]. 2017 [citat în 12 Iunie 2017]. Disponibil pe
World Wide Web https://vuforia.com/Features
[35.] Vuforia Developer Library. VuMark [online]. 2017 [citat în 12 Iunie 2017].
Disponibil pe World Wide Web https://library.vuforia.com/articles/Training/VuMark
[36.] Unity. Landing page [online]. 2017 [citat în 14 Iunie 2017]. Disponibil pe World
Wide Web https://unity3d.com/
[37.] Unity. Multiplatform [online]. 2017 [citat în 14 Iunie 2017]. Disponibil pe World
Wide Web https://unity3d.com/unity/multiplatform
[38.] GSMARENA. Huawei Nexus 6P [online]. 2015 [citat în 15 Iunie 2017].
Disponibil pe World Wide Web http://www.gsmarena.com/huawei_nexus_6p -7588.php
[39.] NOFUENTE, Kyle. You Can Now Purchase The Nexus 6P Tax -Free From The
Huawei Website [online]. 8 Decembrie 2015 [citat în 15 Iunie 2017]. Disponibil pe World
Wide Web http://www.techtimes.com/articles/114244/20151208/you -can-now-purchase -the-
nexus -6p-tax-free-from -the-huawei -website.html
[40.] Trust. GXT 720 VR Glasses [online]. 2016 [citat în 15 Iunie 2017]. Disponibil pe
World Wide Web http://www.trust.com/en/product/21322 -gxt-720-virtual -reality -glasses