CC.st.gr III. Dr. ing. Șerban Ionel [310205]
UNIVERSITATEA TRANSILVANIA DIN BRAȘOV
Facultatea de Design de Produs și Mediu
PROIECT DE DIPLOMĂ
Absolvent: [anonimizat]:
CC.st.gr III. Dr. ing. Șerban Ionel
Brașov
2017
[anonimizat]
2017
CUPRINS
1. Introducere 12
2. Scurt istoric 15
3. Stadiul actual 18
3.1 Echipamente de realitate virtuală 18
3.1.1 HTC Vive 20
3.1.2 Oculus Rift 21
3.1.3 Google Daydream 23
3.2 Software-uri de realitate virtuală și augmentată 24
3.2.1 EON reality 25
3.2.2 Virtalis 26
3.2.3 Worldviz 26
3.3 Aplicații cu scop didactic care utilizează realitatea virtuală 27
3.4 Medii virtuale pentru reabilitare 31
3.4.1 VRACK 31
3.4.2 Achiziția de date și interfața grafică 33
3.4.3 Mediul virtual 33
3.4.4 Concluzii 35
3.5 Stadiul actual în sala operatorie 36
4. Considerații teoretice 39
4.1 Conceptul de realitate augmentată 39
4.2 Interacțiunea cu mediul înconjurător 40
4.3 [anonimizat] 41
4.3.1 Alegerea obiectelor din mediul fizic 42
4.3.2 Introducere în librăria VuforiaTM 45
4.3.3 Configurare VuforiaTM pentru recunoașterea obiectelor 46
4.3.4 Unity 3D 49
5. Descriere experiment 50
5.1 Descrierea componentelor fizice 50
5.1.1 Huawei Nexus 6P 50
5.1.2 Ochelari VR Gaming Trust GXT720 51
5.1.3 Manechin de tip bust 52
5.1.4 Markeri de tip contur 52
5.2 Descrierea software a aplicației 53
6. Concluzii 74
7. Bibliografie 75
[anonimizat] „Aplicații ale realității augmentate în ingineria biomedicală”, are ca scop realizarea unei aplicații care să concretizeze o [anonimizat], [anonimizat].
Metoda de îmbinare a [anonimizat], [anonimizat] 3D [anonimizat], se va crea suprapunerea dinamică a [anonimizat].
Pentru partea de testare a aplicației create, a fost utilizat un headset VR Gaming Trust GXT720 în interiorul căruia a fost integrat un smartphone Huawei Nexus 6P. [anonimizat] .3DS, ce au trebuit suprapuse și sincronizate cu un manechin de tip bust căruia i-au fost aplicați diferiți markeri de recunoaștere.
Realizarea aplicației de realitate augmentată a [anonimizat] a modelelor anatomice 3D, prin explorarea diferitelor unghiuri și vederi ale conținutului virtual.
În prima parte a [anonimizat]-urile disponibile pentru conceperea unor astfel de aplicații. [anonimizat], modul în care orice persoană poate crea o astfel de aplicație. În partea de final, sunt prezentate concluziile și aspectele importante înregistrate în timpul procesului de implementare a produsului finit.
ABSTRACT
The aim of this project, entitled Applications of Augmented Reality in Biomedical Engineering, is to create an application that materializes the superposition of real environment and virtual one, through virtual reality glasses, suitable for biomedical engineering – especially in surgical and didactic areas.
The real and the virtual element are joint by Unity 3D and Vuforia softwares, which along with the videocamera of the smartphone, create the dinamic superposition of a virtual object in the real environment.
In order to test the newly created application, I used a VR Gaming Trust GXT720 headset, inside of which I integrated a Huawei Nexus 6P smartphone. Because of the suitability of the application in the surgical and didactic fields, I used two anatomical models in .3DS format. These two anatomical models had to be overlapped and synchronized with a bust type mannequin, to which different recognition markers were applied.
The creation of an augmented reality application has been accomplished with success, users of this application being able to experiment a new way of visualising 3D anatomical models, by exploring different angles and landscapes of the virtual content.
The first part of this project briefly overviews the evolution of the concepts of virtual and augmented reality. It is followed by the current state of devices and softwares that allow the creation of similar applications. The next chapter contains theoretical elements, followed by a guide which explains step by step how can somebody create this application. The last chapter includes conclusions and the important considerations registered during the implementation of the finished product.
ABREVIAR ȘI TERMENI SPECIFICI
VR = Realitate Virtuală; (provine din expresia de origine engleză „Virtual Reality”)
AR = Realitate Augmentată; (provine din expresia de origine engleză „Augmented Reality”)
CT = Computer Tomograf;
RMN = Rezonanță Magnetică Nucleară;
PET = Tomografie cu emisie pozitronică; (provine din expresia de origine engleză „Positron Emission Tomography”)
2D = Spațiu bidimensional;
3D = Spațiu tridimensional;
Lobectomie = Procedură de îndepărtare chirurgicală a unui lob pulmonar;
Headset = Suport de prindere a ochelarilor de realitate virtuală, montat pe capul utilizatorului;
Gamepad = Un tip de controller destinat jocurilor video, proiectat pentru a fi folosit de către mâna utilizatorului;
Hz = Hertz; (unitate de măsură pentru frecvență în Sistemul Internațional)
IT = Tehnologia Informației; (provine din expresia de origine engleză „Information Technology”)
USB = Interfață serială rapidă, bidirecțională și ușor de folosit; (provine din expresia de origine engleză „Universal Serial Bus”)
DVI = Interfață vizuală digitală; (provine din expresia de origine engleză „Digital Visual Interface”)
Touch Controller = Un tip de controller destinat realității virtuale, proiectat pentru a fi folosit de către mâna utilizatorului;
IMUs = Unitate de măsură a inerției; (provine din expresia de origine engleză „Inertial Measurement Units”)
VRACK = Sistem mecatronic de reabilitare pentru persoanele care au nevoie de utilizarea unei biciclete de recuperare medicală; (provine din expresia de origine engleză „Virtual Reality Augmented Cycling kit”)
RPM = Rotații pe minut;
LCD = Afișaj cu cristale lichide; (provine din expresia de origine engleză „Liquid Crystal Display”)
GPS = Sistem de Poziționare Globală; (provine din expresia de origine engleză „Global Positioning System”)
VST = Metodă de percepere a imaginilor din lumea înconjurătoare, într-un mod indirect, prin intermediul unui monitor sau display; (provine din expresia de origine engleză „Video See – Through”)
Tracking = Acțiunea de a ține sub urmărire un anumit obiect;
Marker = Obiectul aflat sub urmărire printr-o acțiune de tip Tracking;
QR = Cod de tip matrice cu formă bidimensională; (provine din expresia de origine engleză „Quick Response”)
Randare = Procesul de prelucrare a informațiilor digitale introduse într-un mediu grafic de modelare 3D; (provine de la termenul de origine engleză „Render”)
Imagine stereoscopică = Prezentarea unei imagini din două unghiuri, puțin diferite, pentru ca apoi creierul să contopească aceste imagini într-o singură imagine tridimensională;
Rating = Gradul de evaluare calitativ al unui aspect;
SDK = Set de unelte folosite de un programator pentru a scrie programe pentru un anumit sistem de operare sau platformă hardware; (provine din expresia de origine engleză „Software Development Kit”)
PPI = Unitate de măsură a densității pixelilor unui display. (provine din expresia de origine engleză „Pixels per inch”)
LISTĂ DE FIGURI
Fig. 2.1. Imagini ale echipamentelor patentate de Morton Heiling: a) Telesphere Mask; b) Sensorama Simulator 15
Fig. 2.2. Vizualizarea scenelor stradale în realitatea virtuală 16
Fig. 2.3. Copil cu deficiențe de autism folosind echipamentul de VR 17
Fig. 3.1. Utilizatorul unui headset VR 18
Fig. 3.2. Utilizatorul unui headset VR utilizat împreună cu un smartphone 19
Fig. 3.3. Utilizatorul unui headset VR, utilizat împreună cu o conexiune la PC 19
Fig. 3.4. HTC vive – vedere exterioară 20
Fig. 3.5. Accesoriu HTC vive – „The Vive Deluxe Audio Strap” 21
Fig. 3.6. Oculus Rift 21
Fig. 3.7. Oculus Senzor 22
Fig. 3.8. Controller Oculus cu Touch 22
Fig. 3.9. Headset Google Daydream 23
Fig. 3.10. Headset Google Daydream 23
Fig. 3.11. Încăpere 3D realizată cu software-ul WorldViz 24
Fig. 3.12. Vizualizare a software-ului EON reality (EyeSim) 25
Fig. 3.13. Vizualizare a software-ului EON reality (Virtual Anatomy Simulation) 25
Fig. 3.14. Utilizator al software-ului Visionary Render 26
Fig. 3.15. Utilizator al software-ului Worldviz 27
Fig. 3.16. Echipamentul de realitate virtuală LapSim® 28
Fig. 3.17. Imagini preluate în timpul evaluării intervenției de lobectomie 29
Fig. 3.18. Modul de vizualizare al unui model 3D cu ajutorul Headset-ului Oculus 30
Fig. 3.19. Recuperare cu ajutorul sistemului VRACK 31
Fig. 3.20. Componența sistemului VRACK 32
Fig. 3.21. Componența interfeței grafice: Semnale preluate de la modulul tip ghidon (A); pedalier (B); Viteza și numărul RPM (C); Ritmul cardiac (D); Zona de resetare a măsurătorilor (E); Datele înregistrate (F) 33
Fig. 3.22. Imagine preluată în timpul parcurgerii unui traseu în VRACK 34
Fig. 3.23. Mișcările realizate de ciclist: A. în realitate; B. în mediul virtual. 35
Fig. 3.24. Sistem de afișaj prezent în blocul operator 36
Fig. 3.25. Versiuni diferite ale imaginilor suprapuse: în stânga este versiunea cu opacitate mare; în dreapta este versiunea semi-transparentă 37
Fig. 3.26. Folosirea realității augmentate în sala operatorie: 1. Afișaj electronic; 2. Tijă laparoscopică; 3. Vizualizarea 3D augmentată; 4. Camere de înregistrare video. 37
Fig. 4.1. Exemplu de realitate augmentată 39
Fig. 4.2. Funcționarea tehnologiei VST 40
Fig. 4.3. 1. Marker de tip contur; 2. Marker 2D de tip imagine 42
Fig. 4.4. Cod QR 43
Fig. 4.5. Algoritmul de funcționare 43
Fig. 4.6. Reprezentarea punctelor de interes în cadrul unui marker 44
Fig. 4.7. Reprezentarea punctelor de interes în cadrul unui marker complex 44
Fig. 4.8. Arhitectura Vuforia 45
Fig. 4.9. „Target Manager” în Vuforia 46
Fig. 4.10. „Add New Target” în Vuforia 46
Fig. 4.11. Încărcarea imaginii în baza de date Vuforia 47
Fig. 4.12. Tipuri de markeri recomandați de către Vuforia 48
Fig. 4.13. Exportarea marker-ilor introduși în biblioteca Vuforia 48
Fig. 4.14. Platforme compatibile cu Unity 49
Fig. 5.1. Huawei Nexus 6P 50
Fig. 5.2. Ochelari VR Gaming Trust GXT720 51
Fig. 5.3. Manechin 52
Fig. 5.4. Markeri de tip contur 52
Fig. 5.5. Crearea licenței pentru aplicația de realitate augmentată 53
Fig. 5.6. Codul ce va fi ulterior integrat în Unity 3D 54
Fig. 5.7. Statisticile referitoare la utilizarea markerilor 54
Fig. 5.8. Crearea unei baze de date a marker-ilor 55
Fig. 5.9. Markerii aplicați pe manechinul de tip bust 55
Fig. 5.10. Markerii după prelucrarea în Adobe Photoshop CC 56
Fig. 5.11. Setările pentru introducerea markerilor 56
Fig. 5.12. Punctajul obținut de cei doi markeri 57
Fig. 5.13. Punctele de interes al markerului din partea frontală 57
Fig. 5.14. Punctele de interes al marker-ului din partea dorsală 58
Fig. 5.15. Descărcarea pachetului Unity care conține cei doi markeri 58
Fig. 5.16. Crearea unui proiect nou în Unity 3D 59
Fig. 5.17. Importarea pachetului Vuforia în Unity 3D 59
Fig. 5.18. Conținutul proiectului Unity 3D 60
Fig. 5.19. Ștergerea camerei de înregistrare preinstalată în Unity 3D 60
Fig. 5.20. Calea de acces spre “ARCamera” 60
Fig. 5.21. Introducerea “ARCamera” în “Hierarchy Panel” 61
Fig. 5.22. Setările necesare “ARCamera” 61
Fig. 5.23. Setările suplimentare necesare “ARCamera” 62
Fig. 5.24. Testarea funcționării “ARCamera” 62
Fig. 5.25. Implementarea marker-ului spate în Unity 3D 63
Fig. 5.26. Implementarea marker-ului față în Unity 3D 63
Fig. 5.27. Finalizarea implementării marker-ilor în Unity 3D 64
Fig. 5.28. Centrare „ARCamera” asupra marker-ilor 64
Fig. 5.29. Finalizarea implementarii marker-ilor în Unity 3D 64
Fig. 5.30. Procesul de identificare al marker-ilor în Unity 3D 65
Fig. 5.31. Inimă 3D utilizată în cadrul acestui proiect 66
Fig. 5.32. Coloană vertebrală 3D utilizată în cadrul acestui proiect 66
Fig. 5.33. Importarea modelelor 3D în Unity 67
Fig. 5.34. Sincronizarea modelului 3D cu marker-ul său 67
Fig. 5.35. Setările de poziționare ale modelului 3D al inimii 67
Fig. 5.36. Setările de poziționare ale modelului 3D al coloanei vertebrale 68
Fig. 5.37. Teste ale funcționalității marker-ilor și obiectelor 3D 68
Fig. 5.38. Preview al aplicației finale 69
Fig. 5.39. Setările pentru adaptarea cu headset-ul VR 69
Fig. 5.40. Setările smartphone-ului pentru transferul de fișiere 70
Fig. 5.41. Setările Unity pentru exportare Android 70
Fig. 5.42. Mesaj de eroare la prima exportare Android 71
Fig. 5.43. Crearea identității aplicației finale 71
Fig. 5.44. Rularea aplicației finale pe smartphone 72
Fig. 5.45. Introducerea unui nou script în Vuforia 72
1. Introducere
Așa cum putem observa, evoluția tehnologiei și modul în care aceasta se dezvoltă este un fapt din ce în ce mai discutat de către omenire, dar și de către marile companii care doresc să implementeze dispozitive de ultimă generație în viețile noastre.
Privind în trecut, există niște perioade marcante în ceea ce privește inventarea unor dispozitive care au îmbunătățit modul de interacționare dintre oameni. Astfel, în anul 1835, Samuel Morse a inventat telegraful, precedat apoi de către Alexander Graham care a depus un brevet de invenție al telefonului în anul 1876 și nu în ultimul rând, în anul 1994, Internetul a putut fi folosit de către publicul larg. [1]
Toate aceste tehnologii au avut în comun faptul că au reușit să stabilească o conexiune și o comunicare facilă între oamenii aflați la distanță și totodată, au permis ca accesul la informație să fie realizat din în ce mai rapid, mai ușor și gratuit. Probabil unul dintre cele mai importante beneficii produse de evoluția tehnologiei este reprezentat de transmiterea aproape instantanee a datelor, documentelor și al diverselor tipuri de fișiere.
Din perspectiva unui inginer medical, este important să se urmărească evoluția tehnologiei pentru a se putea realiza implementarea acesteia în domeniul medical și de a veni în sprijinul pacienților prin îmbunătățirea aparaturii de care aceștia au nevoie.
În ceea ce privește lumea medicală și serviciile de care beneficiază pacienții, ultimii 20 ani au reprezentat o schimbare majoră prin intermediul introducerii tehnologiei în acest segment. Astfel, probleme existente în imagistica medicală, precum dificultatea segmentării imaginilor, densitatea redusă a pixelilor pe imaginile rezultate în urma investigațiilor, lipsa unor software-uri și a unor baze de date ce permit stocarea informațiilor referitoare la pacienți, dar și lipsa inteligenței artificiale au dispărut. În zilele noastre, în segmentul medical se remarcă roboții de înaltă precizie, imagini 3D de rezoluție înaltă, imagini de înaltă calitate prelevate în timpul investigațiilor medicale și nu în ultimul rând, introducerea realității virtuale în lumea medicală.
Realitatea virtuală (provine din expresia de origine engleză, Virtual Reality sau VR) are o istorie destul de redusă. Punctul de început a fost reprezentat în jurul anilor 1960, prin dezvoltarea unui echipament numit Sensorama Simulator. Acest echipament plasa utilizatorul în mijlocul unui câmp vizual și auditiv care avea rolul de a provoca utilizatorului senzația de a fi integrat în scenele prezentate în acest câmp vizual. Succesul acestui echipament a fost întâlnit doar în aplicații cu scop de divertisment. În jurul anilor 70, au apărut primele căști cu ecran integrat folosite în simulatoarele de aviație. Acest procedeu a fost preluat de către sistemul militar, aceștia adaptând tehnologia pentru antrenamentele personalului militar, în special pentru piloții de avioane. [2]
În anii ce au urmat, echipamentele de realitate virtuală au evoluat, prin apariția și a unor echipamente ce monitorizau și mișcarea mâinilor (mânuși prevăzute cu senzori), fiind folosite cu precădere în industria jocurilor.
În ceea ce privește zona medicală, în anul 1989, s-a folosit echipamentul de realitate virtuală pentru a simula o operație de transplant de tendon. În anul 1991, s-a realizat o simulare a unei operații abdominale, iar numărul unor astfel de simulări a crescut din ce în ce mai mult. Datorită remarcării numeroaselor beneficii pe care realitatea virtuală le-a oferit, au început să fie dezvoltate tot mai multe sisteme de acest tip. Sisteme cu afișaj de înaltă rezoluție, sisteme de urmărire și navigare au venit în sprijinul celor care urmau să devină medici, permitându-le să participe la tot mai multe simulări de operații și transplanturi.
Realitatea virtuală reprezintă interfața om-calculator, ce permite o vizualizare interactivă și controlul unor scene 3D, scene care se miscă cu o viteză suficient de mare pentru a simula o experiență senzorială similară experiențelor trăite real. Tehnologia permite transformarea imaginilor obținute cu ajutorul echipamentelor medicale în modele 3D, ulterior fiind manipulate de către medici în diverse aplicații medicale. În medicina VR, observatorul poate explora corpul unui pacient dintr-o multitudine de vederi, modelele anatomice create pot fi dinamice, având diferite comportamente în funcție de acțiunile privitorului. Aplicațiile pot fi extinse pe o gamă foarte largă, fie că este vorba de operarea cu molecule și celule până la manipularea diferitelor organe ale sistemului uman.
Cele mai multe aplicații ale realității virtuale în medicină se regăsesc în cadrul studenților ce se pregătesc să devină viitori medici, respectiv al atlaselor medicale ce folosesc tehnologia VR pentru a veni în sprijinul celor care vor să aprofundeze anatomia corpului uman.
Ideea realizării acestui proiect, de a crea o aplicație de realitate augmentată utilizată împreună cu ochelari de realitate virtuală, ce ar putea fi implementată în cadrul sălii operatorie în viitorul apropiat, provine în urma stagiului de practică, realizat prin intermediul unei burse Erasmus+, la o clinică de medicină nucleară din Pisa, Italia. În urma discuțiilor cu doctorii și tehnicienii clinicii din Pisa, cadrele medicale și-au expus punctul de vedere și anume faptul că modul de a opera cu ajutorul ochelarilor de realitate virtuală ar aduce o serie de beneficii atât pentru ei cât și pentru precizia și calitatea operației. Integrarea imaginilor prelevate de echipamentele medicale, precum RMN-ul sau PET-ul, direct în cadrul ochelarilor VR ar permite medicilor să observe direct pe suprafața pielii pacientului exact zonele afectate de diverse maladii sau exact segmentele / organele anatomice afectate și care trebuie supuse diverselor intervenții. Astfel, se reduce timpul pierdut, în care medicul își mută privirea de la corpul pacientului la calculatorul pe care sunt afișate imaginile și totodată având imaginile, rezultate în urma investigațiilor, expuse direct pe pacient conduce către o precizie crescută a inciziilor efectuate.
Decizia realizării acestui proiect a fost determinată de provocarea lansată de către medicii de la clinica din Pisa, care au afirmat că acest următor pas în medicină ar reprezenta un uriaș pas în ceea ce privește modul în care medicii viitorului vor opera pacienții. Un lucru important de luat în calcul, este reprezentat de faptul că, din surse neoficiale, ar exista companii care lucrează deja la implementarea acestui mod de utilizare al realității augmentate. Până în momentul actual, nicio operație nu a folosit echipamentele de realitate virtuală pe un pacient real. Reticența manifestată până în momentul actual pentru operarea pacienților care au nevoie de intervenții, este justificată de către motivele de siguranță, pentru că funcționarea unui astfel de sistem trebuie să fie ireproșabilă, în momentul când pe masa de operație nu se află un manechin, ci un pacient real.
Câteva lucruri esențiale care trebuie luate în calcul sunt reprezentate de diferențele dintre o situație reală a unei operații și o operație simulată. O operație simulată nu ține cont de prezența factorului uman, cum ar fi modificarea poziției corpului pacientului supus intervenției, datorită unor socuri resimțite, dar și de faptul că doctorul în timpul operației își schimbă frecvent poziția față de pacient, datorită schimbărilor de instrumentar ce se realizează sau din alte motive.
Scopul acestui proiect îl constituie realizarea unei aplicații care să concretizeze o suprapunere dintre mediul real și cel virtual prin intermediul ochelarilor de realitate virtuală, cu aplicabilitate în bioingineria medicală – zona chirurgicală și zona didactică.
Obiectivele principale ale proiectului sunt:
Realizarea unui studiu critic al literaturii de specialitate;
Conceperea unei aplicații care să realizeze suprapunerea dinamică a unui obiect virtual într-un mediu real;
Adaptarea aplicației pentru utilizarea headset-ului VR, în vederea asigurării mobilității utilizatorului.
Astfel, pentru reușita acestui proiect se va încerca să se țină cont de majoritatea factorilor care intervin în cadrul unei operații, urmărindu-se cum ar trebui să fie executat un echipament de realitate augmentată care poate fi integrat cu deplin succes, în viitorul apropiat, în sala operatorie, în cadrul operațiilor cu pacienți reali.
2. Scurt istoric
Unul dintre oamenii care a avut o contribuție importantă în ceea ce privește implementarea realității virtuale a fost Morton Heiling, de profesie cameraman și producător de filme. În jurul anilor 1950, el a previzionat viitorul cinematografiei printr-o idee futuristă și anume, de introducere a publicului într-o lume virtuală care activează toate simțurile umane.
„Morton’s Telesphere Mask” a fost denumit echipamentul patentat în anul 1960, iar scopul acestui echipament a fost de a reda sunet și televiziune stereoscopică. Viziunea lui Morton Heiling a fost, pe langă faptul de a vizualiza imaginea și a auzi sunetul unui film, ca utilizatorii să experimenteze senzații mai complexe, precum mirosul, prezența vibrațiilor sau a unui curent de aer. [3]
După îndelungi cercetări, în anul 1962, Heiling a construit și a patentat „Sensorama machine”. Acest echipament reprezenta un fel de consolă de dimensiuni notabile, dotată cu un ecran 3D cu o deschidere largă a câmpului vizual, multiple boxe, un scaun dotat cu senzori de vibrație și un sistem de emanare a unor miresme. Astfel, utilizatorii echipamentului „Sensorama” erau translatați în diferite medii, precum cel al unei călătorii cu motocicleta de-a lungul străzilor unui oraș.
Fig. 2.1. Imagini ale echipamentelor patentate de Morton Heiling: a) Telesphere Mask; b) Sensorama Simulator. [3]
Heiling a încercat comercializarea acestui echipament în cadrul lumii cinematografice, dar, din nefericire, la acea perioadă, nimeni nu a prezentat vreun interes față de prototipul produs de el. În anii ce-au urmat industria cinematografică a ajuns să implementeze ideile acestuia, astfel au fost introduse experiențele cinematografice 4D și 5D.
Echipamentele de realitate virtuală au fost utilizate și în multiple studii de cercetare în domeniul medical. Unul dintre ele, realizat în anul 1988, face referire la studiul comportamentului unor copii cu autism, în momentul când sunt puși față în față cu realitatea virtuală, prin observarea gradului de acceptare a echipamentului și totodată, modul în care aceștia reacționează la confruntarea cu diferite situații.
Proiectul a reprezentat o colaborare între Universitatea de Informatică din statul Carolina de Nord și două familii din comunitatea pentru tratamentul și educarea copiilor ce sufereau de autism. [4]
Pe parcursul testelor, copii au fost rugați să monitorizeze mișcările mașinilor sau să urmărească derularea diferitelor imagini create special pentru aceștia.
Fig. 2.2. Vizualizarea scenelor stradale în realitatea virtuală [4]
Limbajul folosit pe parcursul testelor a fost unul cât mai simplificat, folosindu-se cuvinte de bază, precum: mașină, albastru, roșu și așa mai departe. Una din îngrijorările majore ale cercetătorilor a fost gradul de acceptare al copiilor față de un echipament cu o formă ciudată, cu dimensiuni și o greutate notabilă.
Astfel, cu o săptămână înainte de testele propriu-zise, copiii au luat parte la diverse activități care implică purtarea unei căști, precum echitația.
Mai mult, pentru a evita procesul de marginalizare, frații și surorile copiilor au fost implicați și ei în cadrul testelor, pentru a face mai ușoară sarcina de acceptare a căștii VR de către cei ce sufereau de autism.
Scopul primordial în cadrul primelor ședințe a fost acceptarea echipamentului de către copii și concentrarea atenției asupra imaginilor prezentate în mediul virtual. Cercetătorii, inițial, au rugat fiecare copil să identifice momentul de apariție al mașinilor și să menționeze tipul de culoare al vehiculului.
La prima încercare, copiii au acceptat purtarea echipamentului și totodată s-au lăsat introduși în cadrul scenelor. Unul dintre participanți a urmărit vizual mașinile și a identificat culorile într-un mod corect. La un moment dat, acesta a zis “ga” (s-a făcut referire la cuvântul de origine engleză “gone” care în traducere înseamnă „plecat”) atunci când mașina a dispărut după colț.
Un alt participant la test a fost mult mai preocupat de înțelegerea modului de proveniență a imaginilor. Astfel, de multiple ori, el a ridicat casca pentru a privi scenele pe ecranul din fața acestuia, iar apoi privea pe partea frontală a căștii pentru găsirea modului în care imaginile sunt proiectate în interiorul căștii. Astfel, pentru eliminarea distragerii atenției, a fost îndepărtat ecranul pe care cercetătorii vedeau exact câmpul vizual privit de către participanții la test.
Fig. 2.3. Copil cu deficiențe de autism folosind echipamentul de VR [4]
Treptat, numărul, culorile și viteza de deplasare a mașinilor a fost modificată, iar copiii au fost plasați în 3 scene diferite pentru a determina dacă aceștia generalizează răspunsurile. Odată cu creșterea dificultății experimentului, au fost introduse mai multe sarciuni pentru a măsura nivelul de atenție dovedit de copii, la schimbările din mediul virtual. Acestora li s-a cerut să se deplaseze în spațiul virtual și totodată să localizeze mai multe indicatoare cu mesajul „STOP”, apropriindu-se de ele.
Rezultatele experimentelor sunt următoarele:
Participanții cu deficiențe de autism au acceptat casca de realitate virtuală;
Participanții cu deficiențe de autism au realizat mișcări ale corpului în cadrul scenelor virtuale;
Participanții cu deficiențe de autism au răspuns similar la trei scene diferite, ceea ce conduce la realizarea unor studii mai amănunțite pentru a observa dacă aceștia au tendința de generalizare, în diferite împrejurări;
Participanții cu deficiențe de autism au urmărit obiectele aflate în mișcare în cadrul scenelor, cu ambii ochi, prin rotația capului și a întregului corp;
Unii dintre participanții cu deficiențe de autism au localizat indicatoarele și s-au îndreptat înspre ele;
Ceilalți participanți au identificat indicatoarele, dar fără a se îndrepta înspre ele.
Oportunitatea introducerii acestui tip de tehnologie în rândul copiilor a reprezentat un pas important în explorarea potențialului pe care realitatea virtuală îl oferă, prin înțelegerea proceselor de percepție a persoanelor afectate de autism. Realitatea virtuală reprezintă o unealtă puternică în ceea ce privește înțelegerea autismului, fiind un pas important spre ceea ce reprezintă ameliorarea acestui tip de afecțiune.
3. Stadiul actual
În ultimii ani, lumea realității virtuale și augmentate a luat o amploare tot mai mare, iar majoritatea companiilor ce activează în domeniul tehnologiei de ultimă generație, au dezvoltat și au lansat propriile platforme de realitate virtuală. Conceptul de VR este unul fascinant prin simplul fapt că „teleportează” utilizatorul într-o altă lume, cu ajutorul puterii tehnologice. Astfel, folosind doar un headset VR și un sistem de monitorizare al mișcărilor, se obține o senzație atât de reală și intensă în spațiul virtual.
3.1 Echipamente de realitate virtuală
Printre marii producători care se ocupă în permanență de dezvoltatea conceptului de realitate virtuală se remarcă, Oculus, cu principalul lor produs, Rift, HTC și Valve, care împreună au dezvoltat Vive, Sony, care a lansat Playstation VR sau Samsung care aduce îmbunătățiri permanente produsului lor numit Gear VR. [5]
Fig. 3.1. Utilizatorul unui headset VR [6]
Echipamentele VR de ultimă generație se împart în două categorii principale: cele adresate utilizării împreună cu dispozitivul mobil (smartphone) și cele adresate utilizării cu ajutorul unei conexiuni la un calculator.
Prima categorie, referitoare la headset-urile VR utilizate împreună cu un smartphone, sunt alcătuite dintr-o carcasă de plastic, ce conține două lentile integrate. În interiorul carcasei, este un loc special destinat plasării dispozitivului mobil. Rolul lentilelor este acela de a crea efectul 3D prin rularea diferitelor scene, în format stereoscopic, pe ecranul smartphone-ului.
Fig. 3.2. Utilizatorul unui headset VR utilizat împreună cu un smartphone [7]
Aceste echipamente sunt accesibile publicului larg, costul unui astfel de produs fiind undeva sub 450 RON ($100). Acest cost redus se datorează faptului că, întreaga procesare a realității virtuale este realizată de către smartphone, fără a fi necesară vreo conexiune prin cablu.
Din cauza faptului că, smartphone-urile nu sunt dezvoltate special pentru VR, ele nu pot oferi cea mai bună calitate a imaginii și sunt net inferioare, din punct de vedere al puterii de procesare și a calității, echipamentelor care sunt asociate cu un computer sau cu o consolă de jocuri special gândită pentru VR.
Cea de-a doua categorie, face referire la headset-uri precum Oculus Rift sau HTC Vive, care sunt conectate la un calculator sau la o consolă de jocuri prin intermediul unor cabluri. Aceste cabluri îngreunează experiența realității virtuale, din punct de vedere al mobilității. Avantajul acestor tipuri de headset-uri este calitatea excepțională pe care utilizatorul o resimte.
Fig. 3.3. Utilizatorul unui headset VR, utilizat împreună cu o conexiune la PC [8]
Utilizarea unui display dedicat, în interiorul carcasei, a unor senzori de mișcare amplasați tot în interior, împreună cu un sistem extern de monitorizare, îmbunătățesc într-un mod evident atât calitatea imaginilor cât și sincronizarea mișcărilor.
Datorită calității oferite și a unei experiențe excepționale de realitate virtuală, prețul minim plătit pentru un astfel de echipament este unul pe măsură și anume, peste 1800 RON ($400) la care se adaugă prețul accesoriilor (telecomandă de control, gamepad) care este undeva în jur de 350-500 RON ($80 – $110).
Mai mult de atât, pentru o rulare corectă a imaginilor 3D, aceste echipamente au niște cerințe minime, ale calculatoarelor asociate, destul de pretențioase.
3.1.1 HTC Vive
Echipamentul de realitate virtuală HTC Vive a fost realizat de către compania HTC în colaborare cu producătorul renumit de jocuri, Valve. Dispozitivul dispune de 32 senzori care oferă o posibilitate de monitorizare 360 de grade a mișcărilor poziției capului.
Frecvența cadrelor este impresionantă și anume de 90 Hz (90 cadre pe secundă), iar rezoluția display-ului integrat este de 2160×1200 de pixeli, ceea ce oferă o calitate excelentă a imaginilor, fără întârzieri nedorite. De asemenea, HTC Vive vine incorporat și cu o cameră video de înaltă rezoluție, astfel încât pot fi transpuse, cu ușurință, elemente din lumea reală în cea virtuală. [9]
Fig. 3.4. HTC vive – vedere exterioară [10]
Costul ridicat al acestui echipament, este justificat de grija pentru detalii. Astfel, pentru un confort sporit există niște perne de suport pentru nas care pot fi interschimbabile în funcție de fiecare utilizator, iar mai mult de atât, chiar și persoanele purtătoare de ochelari pot utiliza echipamentul cu ușurință.
Pentru o experiență completă de realitate virtuală, producătorul recomandă folosirea unui sistem audio integrat denumit „Vive Deluxe Audio Strap”. Acest accesoriu se conectează cu ușurință la ochelarii de realitate virtuală, este ajustabil în funcție de fiecare utilizator oferind o experiență 3D însoțită de un sunet clar, de înaltă calitate.
Fig. 3.5. Accesoriu HTC vive – „The Vive Deluxe Audio Strap” [11]
În concluzie, acest dispozitiv s-a bucurat de un real succes fiind declarat cel mai bun echipament de realitate virtuală al anului 2016 de către cei de la Wareable Tech Awards, un wesbite recunoscut internațional în ceea ce privește domeniul IT și tehnologiile de ultim moment. Prețul de bază pentru HTC Vive este de aproximativ 4000 RON ($899).
3.1.2 Oculus Rift
Oculus Rift se situează printre primele echipamente de realitate virtuală care au dat startul unei noi ere. Dezvoltat de către Palmer Luckey, sponsorizat de către platforma Kickstarster, Rift este un dispozitiv ce necesită o conexiune USB și una DVI. Producătorul afirmă că „Rift este ceva ce nu ai întâlnit până acum.” [12]
Fig. 3.6. Oculus Rift [12]
„Fie că vrei să experimentezi jocul preferat, să urmărești un film, să te teleportezi către o altă destinație din colțul celălalt al planetei sau doar să petreci timpul cu prietenii în mediul VR, te vei simti ca si cum ai fi acolo.”
Rezoluția display-ului integrat este de 2160×1200 pixeli, cu o frecvență a cadrelor de 90 Hz și dispune de o deschidere a câmpului vizual la un unghi de 110 grade. Oculus dispune de un senzor de monitorizare a mișcărilor capului utilizatorului, făcând ca experiența 3D să fie una completă.
Fig. 3.7. Oculus Senzor [13]
Din punct de vedere al mișcărilor și al gesturilor mâinilor, producătorul a gândit un controller ergonomic și foarte util. Astfel, în timpul experienței virtuale, poți manipula și controla cu ușurință diferite obiecte, ca și cum s-ar afla direct în mâinile tale.
Fig. 3.8. Controller Oculus cu Touch [12]
Din punct de vedere al cerințelor calculatorului la care este conectat echipamentul VR, producătorul recomandă o placă video de bună calitate, NVIDIA GTX 1060, un procesor minim Intel i5-4590 și o memorie minimă de 8GB RAM. Prețul unui pachet Oculus ce include Headset-ul și Touch Controller-ul, ajunge aproximativ la 2700 RON ($599).
3.1.3 Google Daydream
Google a lansat recent propriul său headset de realitate virtuală, care poate fi utilizat împreună cu un smartphone. Mai mult decât atât, conducătorul departamentulului Google VR, Clay Bavor a afirmat că o întreagă echipă a pus bazele „Google Play of VR”, un magazin de aplicații special concepute pentru realitate virtuală. Astfel, aplicații precum YouTube, Street View, Play Movies, Google Photos vor avea aplicații special concepute pentru a putea fi folosite împreună cu headset-urile de realitate virtuală. [14]
Fig. 3.9. Headset Google Daydream [15]
Google Daydream este gândit pentru a funcționa cu smartphone-uri ce folosesc sistemul de operare Android, ce au un ecran, de preferat, Full HD 1920×1080 pixeli, un procesor de ultimă generație capabil să redea cel puțin 60 de cadre pe secundă.
Din punct de vedere al design-ului, cei de la Google își doresc să iasă din rândul competiției, prin folosirea unei carcase de metal și platic dur, ce va fi învelită într-un material textil, moale și de bună calitate.
Fig. 3.10. Headset Google Daydream [16]
Google Daydream vine însoțit de un controller dotat cu mai mulți senzori (senzori pe 9 axe IMUs) pentru a putea fi folosit în cadrul jocurilor sau a navigării prin meniul telefonului fără ca utilizatorul să fie nevoit să își dea headset-ul jos de pe cap. Prețul pentru un astfel de dispozitiv este unul redus, de doar 350 RON ($79).
3.2 Software-uri de realitate virtuală și augmentată
Următorul pas, în urma alegerii headset-ului de realitate virtuală potrivit pentru fiecare utilizator în parte, este reprezentat de alegerea unui software de VR/AR. Astfel, pentru a concepe modele pentru o lume virtuală, există două componente principale: partea de modelare 3D software și partea de a adăuga animații acestor modele create anterior.
Startul este realizat printr-un software de modelare 3D, unde utilizatorul își poate crea caractere sau încăperi 3D după bunul plac, urmând etapa de a trece aceste elemente create anterior la stadiul de animare și de manipulare în mediul virtual.
Fig. 3.11. Încăpere 3D realizată cu software-ul WorldViz [17]
Pentru cineva care are un prim contact cu aceste tipuri de software-uri, poate fi puțin ciudat, deoarece principalul termen rostit este „joc”, iar majoritatea producătorilor de software-uri despre acest lucru vorbesc, faptul că îți poți crea propriul tău joc. Legătura este destul de simplă și anume, orice joc creat este un mediu complet virtual în care utilizatorul are rolul de a controla un anumit element sau caracter, asemănător conceptului de realitate virtuală.
3.2.1 EON reality
EON reality este o platformă care utilizează realitatea virtuală, cea augmentată și mediile 3D pentru a crea experiențe memorabile în variate domenii, precum: educație, energie, industrie, medicină, sport, turism, etc. [18]
În ceea ce privește segmentul medical, EON oferă două aplicații: EyeSim – Training medical pentru optometriști și Virtual Anatomy Simulation. Aplicația EyeSim este destinată studenților care urmează cariera de optometrist, oferindu-le acestora o vizualizare a structurilor complexe și funcțiilor sistemului vizual al omului.
Fig. 3.12. Vizualizare a software-ului EON reality (EyeSim) [19]
Acest simulator este o sursă inovativă de învătare, studenții putând acapara informații fără a fi necesar un contact direct cu un pacient sau un cadavru experimental. Structurile și funcțiile oftalmologice sunt realizate într-un mod realist, iar utilizarea mediului virtual pentru a întelege anatomia sistemului vizual fac ca disecția să fie o metodă ce va ramane în istorie.
Ce-a dea doua aplicație, Virtual Anatomy Simulation, este destinată tuturor studenților care vor să înteleagă corpul uman în întreaga sa complexitate. Beneficiul acestui simulator este faptul că nu va mai fi necesar contactul cu un cadavru experimental, iar mai mult decât atât, aceștia pot diseca și manipula complet toate structurile anatomice într-un mediu virtual.
Fig. 3.13. Vizualizare a software-ului EON reality (Virtual Anatomy Simulation) [20]
3.2.2 Virtalis
Virtalis se recomandă ca fiind o companie de realitate virtuală care cuprinde tehnici avansate de vizualizare. Sistemele oferite de Virtalis ajută la o bună înțelegere a informațiilor și datelor, prin interacțiunea 3D, oferind fiecărui proiect o nouă dimensiune de explorare. [21]
Visionary Render Software, dezvoltat de această companie, oferă utilizatorilor accesul către o experiență interactivă într-un spațiu virtual, în care aceștia își pot controla cu ușurință multitudinea obiectelor din preajma lor.
Fig. 3.14. Utilizator al software-ului Visionary Render [22]
Acest software poate fi utilizat atât de un singur de utilizator, de grupuri reduse sau chiar și de persoane aflate la distanță care se întâlnesc în același mediu virtual. Acest mediu virtual poate fi utilizat ca o sală de conferințe unde se pun la punct detalii despre un anumit produs sau se verifică procesul de mentenanță.
3.2.3 Worldviz
Așa cum afirmă și motto-ul lor „Unde virtualul devine realitate” (din expresia de origine engleză „Where virtual becomes reality”), scopul companiei este de a crea experiențe virtuale cât mai interactive. Unul din multitudinea domeniilor în care activează această companie, este cel medical. [23]
Unele dintre aplicațiile pe care Worldviz le oferă în segmentul medical sunt simulatoarele chirurgicale, training-urile medicale interactive dar și recuperarea medicală. Aceștia se află într-o strânsă colaborare cu medici și un vast personal medical pentru dezvoltarea diverselor proiecte în domeniu.
Pentru consiliere în domeniul mediilor virtuale, Worldviz dispune de o echipă întreagă compusă din ingineri, programatori și graficieni 3D care pot realiza proiecte individuale, cu un grad complex de dificultate, conform cu cerințele și specificațiile pe care clienții le furnizează.
De exemplu, personalul companiei se poate ocupa de antrenarea propriei echipe în proceduri de mentenanță sau vizualizarea unui proiect al unei construcții, ori implicarea realității virtuale într-un proiect de cercetare. [24]
Fig. 3.15. Utilizator al software-ului Worldviz [25]
Worldviz are o vechime considerabilă în acest segment, promițând servicii și soluții pentru orice provocare în domeniul realității virtuale, prin parcurgerea a trei pași simpli: concept, design și implementare.
3.3 Aplicații cu scop didactic care utilizează realitatea virtuală
În ultimii ani au existat și vor exista aplicații ale realității virtuale referitoare la educația și practica medicală. Sistemul educațional din Danemarca, folosește un echipament VR pentru a stabili gradul de pregătire al studenților de la medicină. Astfel, a fost dezvoltat un echipament de tip simulator al unei operații video-asistate toracice. Datorită faptului că dezvoltarea celulelor canceroase este una din cele mai întâlnite maladii ale lobilor plămânilor, scopul principal al acestui echipament VR este de a veni în sprijinul viitorilor medici care se vor confrunta cu intervenții de tipul lobectomiei pulmonare. [26]
Acest tip de pregătire este unul eficient, accelerându-se procesul de învățare, iar întreaga procedură a unei intervenții se memorează mult mai eficient datorită implicării directe al studentului. Astfel, cercetătorii afirmă faptul că abilitățile chirurgicale se dobândesc mult mai ușor și rapid datorită acestui tip de echipament. Beneficiul principal este mediul în care se desfășoară tot procesul, fiind unul lipsit de riscuri. În al doilea rând, faptul că prin repetarea periodică a unui anumit tip de intervenție, conduce la reducerea timpului procedurii, când este cazul unui pacient real. Odată ce studentul evoluează din punct de vedere al pregătirii profesionale, simulatorul se poate adapta cerințelor, prin creșterea nivelului de compexitate și totodată prin apariția spontană a diverselor provocări menite să îmbunătățească nivelul concentrării în condiții de presiune accentuată.
De asemenea, flexibilitatea de care dă dovadă echipamentul VR permite introducerea diverselor modele anatomice, specifice diverselor intervenții chirurgicale, astfel studentul își poate dezvolta abilitățile și poate acumula o vastă experiență înainte de a face pasul spre un pacient.
Prima versiune a acestui echipament a fost prezentată, în anul 2014, la Conferința Europeană dedicată intervențiilor toracice. În urma părerilor obținute la această întâlnire, au fost realizate retușări în ceea ce privește modelele anatomice, instrumentarul dar și criteriile de evaluare. Procedura ce trebuie urmată de fiecare participant este următoarea: prima parte este cea de prezentare a instrucțiunilor, a pașilor procedurali pentru simularea lobectomiei pulmonare și de acomodare cu simulatorul timp de 15 minute.
Participanții au dreptul de a cere instructorului detalii referitoare la manipularea echipamentului, precum interschimbarea instrumentelor de lucru. Urmează partea propriu-zisă a intervenției simulate, participanții având dreptul la două încercări, cu o pauză de 5 minute între acestea. Instructorul se află permanent în prezența studentului, însă fără a interveni. Simulatorul înregistrează automat toate operațiile efectuate și își calculează parametrii care indică nivelul de pregătire.
Fig. 3.16. Echipamentul de realitate virtuală LapSim® [26]
Simulatorul este prevăzut cu diferiți parametrii pentru testarea performanțelor participantului pe durata intervenției chirurgicale. Acești parametrii îi includ atât pe cei standard, cum ar fi durata totală a procedurii sau nivelul de sângerare, cât și pe cei specifici fiecărei proceduri, în acest caz parametrii specifici lobectomiei pulmonare.
Fig. 3.17. Imagini preluate în timpul evaluării intervenției de lobectomie [26]
Parametrii folosiți de către sistemul danez, în evaluarea abilităților participanților, în ceea ce privește intervenția de lobectomie pulmonară sunt: [26]
Timpul total al procedurii;
Lungimea căii instrumentului stâng;
Lungimea căii instrumentului drept;
Unghiul instrumentului drept;
Unghiul instrumentului stâng;
Numărul de schimbări ale instrumentelor;
Pierderea sângelui (măsurată în ml);
Mărimea cicatricelor vaselor ale lobului mijlociu;
Mărimea cicatricelor vaselor ale lobului superior;
Mărimea cicatricelor bronhiei către lobul mijlociu;
Mărimea cicatricelor bronhiei către lobul superior;
Mărimea cicatricelor ale lobului mijlociu;
Mărimea cicatricelor ale lobului superior;
Numărul vaselor sanguine divizate;
Numărul de capsări pe suprafața lobilor;
Numărul structurilor capsate fără a îndepărta banda galbenă;
Numărul de distrugeri ale bronhiei înainte de capsare;
Numărul reîncărcărilor incorecte ale capsatorului folosit pentru bronhie;
Numărul reîncărcărilor incorecte ale capsatorului folosit pentru vasele sanguine.
În funcție de parametrii stabiliți mai sus, se realizează trierea participanților, rezultatele acestora determinând dacă au trecut sau au eșuat testul. În majoritatea cazurilor, cei mai mulți dintre participanți nu reușesc să treacă testul de prima dată, deoarece gradul de acomodare cu simulatorul este încă destul de redus.
Echipamentul generează instantaneu rezultatele parametrilor, eliminându-se subiectivismul ce poate fi generat de un supervizor uman. Fiecare intervenție al fiecărui participant este stocată în baza de date, pentru a se observa evoluția în timp a îndemânării studenților.
Tradiționalele metode de învățare s-au dovedit ineficiente de-a lungul anilor, de aceea noile standarde recomandă includerea unei perioade de învățare pe un echipament de VR, pentru a demonstra faptul că studenții îndeplinesc cerințele de bază și se pot descurca, fară îndrumare, în cadrul unei intervenții pe un pacient real.
O altă aplicație, ce vine în sprijinul sistemului educațional, este vizualizarea 3D detaliată a structurii organelor anatomice, pentru o întelegere mai bună a alcătuirii acestora. Cu ajutorul unei perechi de ochelari de realitate virtuală, de tip Oculus, s-a realizat vizualizarea a unuia dintre cel mai important organ al sistemului uman și anume, inima. Modelul 3D a fost creat în urma reconstrucției imaginilor prelevate de echipamentul RMN. [27]
Fig. 3.18. Modul de vizualizare al unui model 3D cu ajutorul Headset-ului Oculus [27]
Software-ul care a permis realizarea vizualizării modelului 3D este Mimics, unde au fost realizate prelucrări asupra miocardului și apoi a fost convertit într-un fișier stereolitografic (.stl).
Echipamentul permite observatorului să dețină controlul asupra modelului miocardic, analizându-se defectele prezente pe suprafața acestuia.
În concluzie, se poate observa faptul că, sistemul educațional din toată lumea încearcă să implementeze noile tehnologii, ce vin în sprijinul celor ce se pregătesc să devină viitori medici. Uneltele ajutătoare sunt reprezentate de atlasele accesate pe computer ce utilizează modele anatomice 3D sau de intervențiile simulate, accentul fiind pus pe normele de securitate și protejare al pacientului.
3.4 Medii virtuale pentru reabilitare
În ultima perioadă, recuperarea post-operatorie a trecut la următorul nivel, prin utilizarea unor medii virtuale. Rolul principal al acestor medii virtuale destinate reabilitării este de a transpune pacientul într-un anumit scenariu, în care, el va trebui să execute anumite mișcări. Astfel, fiecărei persoane care are nevoie de o perioadă de recuperare, i se induce senzația că poate realiza aceleași miscări precum un om normal. În funcție de nevoile recuperatorii, au fost dezvoltate multiple medii virtuale destinate acestui scop. [28]
Pentru realizarea cu succes al acestor tipuri de scenarii virtuale, trebuie să existe o strânsă colaborare între medici și ingineri. Medicii stabilesc exact tipul de mișcare de care pacientul va avea nevoie, iar inginerii practic construiesc într-un software de modelare 3D un spațiu virtual în care pacientul va executa acele tipuri de mișcări, fiind într-un proces de monitorizare continuu.
3.4.1 VRACK
VRACK (Virtual Reality Augmented Cycling kit) este un mediu virtual interactiv, reprezentând un sistem mecatronic de reabilitare pentru persoanele care au nevoie de utilizarea unei biciclete de recuperare medicală. [28]
Fig. 3.19. Recuperare cu ajutorul sistemului VRACK [28]
Ciclismul este utilizat în recuperarea indivizilor, atât cu probleme cronice, cât și cei care au suferit intervenții operatorii.
Este destinat recuperării ambelor membre inferioare, în special, în situația când unul dintre ele este mai slab dezvoltat și cu o coordonare defectuoasă. VRACK, ca și componente hardware, are implementați niște senzori pe o bicicletă de recuperare medicală, pentru a monitoriza parametrii fiziologici și biomecanici ai utilizatorului, în timp ce aceștia sunt transpuși într-un simulator de realitate virtuală care le oferă un feedback vizual, auditiv și tactil.
Fig. 3.20. Componența sistemului VRACK [28]
Acest sistem este unul modular și adaptabil, fiind atașat cu ușurință unor biciclete recuperatorii regăsite în comerț, fiind conectat la un calculator pentru procesul de achiziție de date. Kit-ul complet al acestui sistem conține:
Un ghidon care incorporează senzori de presiune (2);
Pedale care înregistrează mișcările cinematice, forțele exercitate și oferă utilizatorului un feedback pe bază de vibrații (4);
Sistem de monitorizare a ritmului cardiac (3);
Software-uri special concepute pentru reabilitare (1,5).
Terapia prin pedalare este frecvent întâlnită în cazul persoanelor care au suferit accidente vasculare cerebrale, multiple scleroze, disfuncționălități la nivel pulmonar, precum și în urma unor intervenții operatorii în zona bazinului sau genunchiului. Unele dintre beneficiile bine cunoscute ale mersului pe bicicletă sunt creșterea rezistenței musculare, îmbunătățirea respiratorie și reprezintă o bună alternativă al mersului pe jos.
Inovația adusă de acest sistem creează o experiență extrem de reală resimțită de utilizator. Software-ul este dezvoltat astfel încât să recunoască suprafața de teren din mediul virtual pe care pacientul o parcurge, având loc astfel o modificare a rezistenței la pedalare. Astfel, se poate simula mersul pe o suprafață plană acoperită de asfalt, pământ sau chiar urcare pe o suprafață înclinată. Monitorizarea ritmului cardiac este deosebit de importantă pentru a se observa gradul de oboseală al individului și totodată de a reduce din dificultatea traseului dacă necesitatea o impune.
3.4.2 Achiziția de date și interfața grafică
Informațiile preluate de la senzorii montați pe bicicleta recuperatorie sunt introduse și interpretate cu ajutorul programului LabVIEW. Astfel, în funcție de nevoile și de capacitățile pacientului, mediul virtual se adaptează. Orice modul poate fi dezactivat într-o anumită fază, în funcție de zona de interes. [28]
De exemplu, dacă se dorește doar studiul comportamentului membrelor superioare, se va monitoriza doar activitatea resimțită de modulul ghidon, în timp ce modulul pedalier va fi setat să ruleze cu o viteză fixă. O altă variantă o reprezintă păstrarea în funcțiune doar a monitorizării membrelor inferioare, focusul fiind păstrat doar pe studiul simetriei forței aplicate de către pacient.
Fig. 3.21. Componența interfeței grafice: Semnale preluate de la modulul tip ghidon (A); pedalier (B); Viteza și numărul RPM (C); Ritmul cardiac (D); Zona de resetare a măsurătorilor (E); Datele înregistrate (F) [28]
Interfața grafică este ușor de utilizat, intuitivă și bine organizată. Modulul pe bază de vibrații poate fi schimbat printr-o simplă apăsare a unui buton, între modul automat și cel manual. De asemenea, intensitatea vibrațiilor poate fi reglată individual pentru fiecare picior, pentru a testa și mai precis răspunsul simțurilor pacientului, reușindu-se astfel o mai bună detectare a părților afectate.
3.4.3 Mediul virtual
Mediul virtual este folosit cu precădere pentru integrarea utilizatorului în scenariul dorit. Senzorii utilizați de bicicleta recuperatorie oferă un feedback realistic utilizatorului care își urmărește parcursul traseului pe monitor.
În partea dreapta – sus a ecranului, este afișată o hartă a traseului pe care utilizatorul o are de parcurs, iar dedesubt sunt afișate bătăile inimii în timp real. Așa cum se poate observa în imaginea de mai jos, mediul virtual este destul de simplist, fiind alcătuit dintr-un drum acoperit cu o suprafață nisipoasă, mărginit de o suprafață cu gazon.
Fig. 3.22. Imagine preluată în timpul parcurgerii unui traseu în VRACK [28]
Datele colectate de unitatea de comandă și control a bicicletei recuperatorii sunt trimise către simulatorul de realitate virtuală pentru a realiza sincronizarea între pacient și ciclistul virtual. Ritmul cardiac controlează viteza de deplasare, în timp ce, forța aplicată modulului de tip ghidon și cel pedalier controlează echilibrul ciclistului.
Cercetătorii care s-au ocupat de acest studiu, afirmă că se poate constata cu ușurință o problemă a sistemului locomotor în momentul în care există o inclinație a ciclistului pe partea afectată. Această inclinație este produsă din cauza zonelor afectate care nu pot exercita asupra modulului pedalier o forță egală cu cele sănătoase. În momentul când persistă acest dezechilibru și utilizatorul pătrunde pe zona acoperită cu gazon, senzorii de vibrații se vor activa și vor acționa.
Fig. 3.23. Mișcările realizate de ciclist: A. în realitate; B. în mediul virtual. [28]
Datorită faptului că pacienții nu prezintă aceleași afecțiuni, harta este pe deplin customizabilă, putându-se modifica lărgimea drumului, frecvența obstacolelor întâlnite, etc.
3.4.4 Concluzii
VRACK este un sistem mecatronic de reabilitare, ce a fost proiectat pentru a veni în sprijinul pacienților cu o asimetrie în sistemul locomotor și totodată de a măsura atenția și răspunsul persoanei la anumite modificări ale mediului virtual.
Supervizorul pacientului, pe durata perioadei de executare a exercițiilor, poate realiza ajustările necesare, pentru a observa cum răspunde corpul pacientului la modificarea spontană a diferiților parametrii. [28]
Modulele care alcătuiesc sistemul VRACK oferă posibilitatea de a crea propriul echipament de exersare la domiciliul pacientului. În funcție de prescripțiile medicului, se pot utiliza doar anumite module, pentru monitorizarea anumitor parametrii specifici.
Sistemul VRACK include acapararea a unui număr mare de semnale de la 15 senzori diferiți. Acest număr de semnale necesită un sistem de achiziție hardware de mare putere și un sistem software care are integrat un sistem potrivit de filtrare a semnalului.
Eficiența sistemului VRACK este relevantă în momentul în care utilizatorii remarcă modificări ale mișcărilor, trecându-se de la o asimetrie locomotorie la mișcări sincronizate. Astfel, este îmbunătățită condiția fizică a pacientului, acesta redevine o persoană complet normală.
Cel mai important aspect de menționat este faptul că, după cateva luni de recuperare, poate fi realizată trecerea de la antrenamentul prin intermediul unei biciclete recuperatorii în mediul virtual, la antrenamentul cu o bicicletă normală în mediul real.
3.5 Stadiul actual în sala operatorie
Stadiul actual în sala operatorie este reprezentat majoritar prin imaginile de o rezoluție înaltă, de reconstrucția unor modele sau imagini 3D, în urma prelevării imaginilor 2D de către echipamente precum CT sau RMN, respectiv prezența unui echipament dotat cu un display pentru afișajul elementelor de realitate augmentată. [29]
În ultima perioadă, tehnologia numită „realitate augmentată” a luat amploare în țările asiatice, precum China și Japonia, venind în sprijinul medicilor care pot urmări în timp real date prelevate înainte de procedura de operație, pe un monitor atașat echipamentului din sala operatorie. Aplicabilitatea acestor tipuri de afișaje se dovedește a fi un bun sprijin pentru medici și totodată s-a constatat o îmbunătățire a siguranței, acurateței și a eficienței operațiilor.
Componentele actuale ale unui sistem prezent în sala operatorie sunt prezentate în figura de mai jos:
Fig. 3.24. Sistem de afișaj prezent în blocul operator [29]
Principalul element al blocului operator este reprezentat de display-ul LCD al cărui scop este de a afișa imaginile prelevate înainte de procedura operatorie și totodată, afișarea imaginilor înregistrate în timp real, în timpul intervenției chirurgicale.
Prelevarea imaginilor se realizează cu ajutorul echipamentelor de CT sau RMN, în funcție de zona de interes a pacientului. Această metodă este foarte eficientă în cazul unei rupturi osoase, pe când, în cazul vizualizării unor organe viscerale, metoda are un grad de complexitate mai ridicat. [30]
Fig. 3.25. Versiuni diferite ale imaginilor suprapuse: în stânga este versiunea cu opacitate mare; în dreapta este versiunea semi-transparentă [30]
Pentru a se asigura o bună acuratețe sistemului de urmărire a organelor ce prezintă interes, trebuie utilizat un sistem de tip mini-gps care setează anumiți markeri în zona marginală a suprafeței. Astfel, imaginile care urmează a fi suprapuse vor fi prelucrate înainte de intervenția chirurgicală propriu-zisă și vor fi aliniate conform cu setul de markeri stabiliți anterior.
Modul actual de operare în majoritatea blocurilor operatorii este prezentat în figura următoare:
Fig. 3.26. Folosirea realității augmentate în sala operatorie: 1. Afișaj electronic; 2. Tijă laparoscopică; 3. Vizualizarea 3D augmentată; 4. Camere de înregistrare video. [30]
Un dezavantaj al selecției unor organe precum ficatul sau plămânii, este constituit de unele deformații ale suprafeței acestora ce pot aparea în urma disecției sau chiar de unele hemoragii interne care sunt declanșate. Astfel, sistemul de urmărire poate fi derutat de unele modificări, rezultând astfel o vizualizare eronată a imaginilor suprapuse.
În viitorul apropiat, imaginile, precum și informațiile referitoare la organele afectate sau eventualele boli ale unui pacient vor fi afișate în timp real, sub forma unor proiecții adaptabile după anumite cerințe și nevoi.
Din cauza lipsei mobilității, este destul de dificil de implementat echipamentul de realitate augmentată în intervențiile chirurgicale de zi cu zi. Medicul trebuie să realizeze prea multe mișcări ale corpului, în special, a poziției capului între display-ul AR și corpul pacientului aflat pe masa operatorie.
4. Considerații teoretice
Pe baza stadiului actual în sala de operație, acest proiect este orientat spre realizarea unei aplicații augmentate compatibile cu un headset de realitate virtuală, pentru a simula modul cum medicii viitorului vor realiza intervențiile chirurghicale.
Modul de îmbinare a mediului real cu elemente virtuale (precum organe anatomice, structuri osoase, etc.) se va concretiza printr-o aplicație augmentată dedicată sistemului de operare Android, ulterior fiind adaptată pentru ochelarii de realitate virtuală. Astfel se creează un echipament mobil, ce poate fi implementat în viitorul apropiat, în cadrul sălii operatorii, fără ca medicul să fie nevoit să facă un schimb de priviri constant între un display și corpul pacientului.
4.1 Conceptul de realitate augmentată
Realitatea augmentată oferă o nouă posibilitate de interacționare a omului cu lumea înconjuratoare. Acest concept modifică modul în care noi privim realitatea, prin introducerea unor informații digitale în câmpul nostru vizual. Combinarea elementelor virtuale și reale poate crea o realitate total customizabilă în funcție de preferințele fiecărui utilizator. Există posibilități nelimitate în ceea ce privește crearea propriei realități, trebuie doar să existe imaginație.
Fig. 4.1. Exemplu de realitate augmentată [31]
În zilele noastre, dezvoltarea unei aplicații de realitate augmentată a devenit destul de ușor de realizat, datorită smartphone-urilor care conțin integrate toate elementele realizării acesteia.
Termenul „augmentat” se referă în general la aspectul de a influența unul dintre senzorii sistemului uman, cum ar fi sistemul vizual sau auditiv, prin adiția unor informații. Aceste informații sunt de natură digitală și vor fi produse de un calculator sau de un smartphone. Tehnologia curentă, prin intermediul unui display, suprapune informație brută, preluată cu ajutorul unei camere video, cu informație de tip digital. [31]
Display-urile de dimensiuni mari, precum cele întâlnite la televizoare sunt ideale pentru perceperea unui material virtual. Din nefericire, principalul dezavantaj este reprezentat de faptul că nu sunt capabile să înregistreze imagini din realitatea înconjurătoare și să efectueze augmentarea lor.
Tehnologia folosită de afișajele capabile de a reda realitate augmentată, se numește Video See – Through (VST). Utilizatorul poate percepe imagini din lumea înconjurătoare, într-un mod indirect, prin intermediul unui monitor sau display. Astfel, o cameră video înregistrează imagini în timp real, precedate apoi de mixarea cu un conținut virtual, urmând ca în final să se obțină imaginea finală. [32]
Exemplificarea procesului are loc în figura de mai jos:
Fig. 4.2. Funcționarea tehnologiei VST [32]
Aplicația AR are nevoie de mai multe elemente cheie pentru a funcționa într-un mod corespunzător: trebuie realizat un proces de recunoaștere al obiectelor în spațiu și totodată urmărirea acestora în momentul când se află în mișcare. Practic, prin cunoașterea acestor elemente, se poate efectua alinierea mediului virtual cu cel real în cadrul aceluiași spațiu.
De exemplu, în timpul unui meci de fotbal, are loc afișarea virtuală a scorului jocului. Acest tip de afișaj este o aplicație a realității augmentate.
4.2 Interacțiunea cu mediul înconjurător
Realizarea unei aplicații de realitate augmentată, de un real succes, are la bază realizarea unei interacțiuni cât mai precise între cele două medii: real și virtual. Interacțiunea AR oferă o experiență unică utilizatorului de a manipula obiecte digitale și obiecte fizice. Astfel, manipularea unor obiecte virtuale aflate în mediul înconjurător al subiectului, a devenit posibilă, prin intermediul unor tehnici oferite publicului larg în ultima perioadă.
O primă metodă pentru crearea unei aplicații de realitate augmentată este bazată în principal pe utilizarea GPS-ului din cadrul smartphone-ului. Senzorii de localizare prin satelit, respectiv senzorii de orientare sunt punctul de plecare. Prin îmbinarea celor două tipuri de senzori se obține, cu o precizie destul de mare, poziția utilizatorului aplicației în timp real. De asemenea, giroscopul și accelerometrul, cu care sunt dotate majoritatea telefoanelor de ultimă generație oferă o îmbunătățire vizibilă în ceea ce privește sistemul de localizare. [32]
Aplicația folosește coordonate GPS pentru introducerea obiectelor virtuale în cadrul realității. În momentul când utilizatorul se află în apropierea unor coordonate GPS, care au fost folosite pentru a înregistra un obiect, acesta va putea viziona pe ecranul smartphone-ului acel obiect virtual. Uneori poziția raportată de modulul GPS poate fi eronată sau poate avea o anumită întârziere. De aceea, în momentul unor mișcări cu o viteză semnificativă, elementele virtuale pot fi afișate într-o poziție eronată.
O altă metodă pentru crearea unei aplicații AR este reprezentată de folosirea unui sistem bazat pe imagini. Modulul GPS a fost înlocuit cu o bibliotecă de imagini, pe care aplicația le înregistrează. Această tehnologie operează cu procesare de imagini, folosirea unor algoritmi de recunoaștere vizuală, astfel încât, în momentul când utilizatorul folosește camera smartphone-ului, poate vizualiza obiectele virtuale.
Avantajul principal al acestei tehnici este reprezentat de poziția obiectelor virtuale care pot fi suprapuse într-un mod mai precis față de utilizarea modului GPS. Camera poate recunoaște diferite tipuri de conținut 2D, cum ar fi: pictograme sau markeri întâlniți într-o varietate de forme. Dezavatanjul major îl reprezintă procesarea în software-ul telefonului, care poate îngreuna puțin activitatea dacă smartphone-ul utilizat nu este dotat cu un procesor și un chipset grafic de ultimă generație.
Pentru dezvoltarea unei astfel de aplicații pe sistemul de operare Android, există anumite cerințe recomandate pentru o funcționare decentă, precum:
O cameră cu o rezoluție bună;
Existența unui modul GPS incorporat;
Existența unui giroscop / accelerometru;
Un procesor capabil să randeze imaginile.
4.3 Computer Vision – Based AR
Computer Vision – Based AR este metoda prezentată anterior, care folosește un sistem bazat pe o bibliotecă de imagini. Computer Vision – Based AR nu necesită folosirea unor senzori externi, precum cei GPS, bazându-se în principal pe capacitatea de înregistrare a camerei integrate a smartphone-ului. Camera poate suporta tracking (urmărirea imaginilor presetate și înregistrate în librăria de imagini), care prin diferiți algoritmi va analiza toate imaginile înregistrate în timp real, iar la recunoașterea unei pictograme din bibliotecă, va acționa conform activității introduse de utilizator. [32]
Prin intermediul Computer Vision – Based AR se va obține o suprapunere mult mai precisă între mediul virtual și cel fizic, față de utilizarea metodei care folosește un modul GPS. Există o mare probabilitate, ca fiecare persoană să fi văzut deja acest tip de Computer Vision – Based AR, în diferite filme, dar fară să conștientizeze. Această tehnică este folosită cu precădere pentru a crea diverse efecte cinematice sau pentru a suprapune un conținut virtual peste o scenă înregistrată dintr-un film (un fundal modificat sau o explozie mult exagerată și așa mai departe). Industria cinematografică se folosește de aceste trucuri, însă spre deosebire de realitatea augmentată, procesarea de imagini nu se face în timp real, ci prin intermediul unor stații de lucru special dedicate integrării conținului virtual.
4.3.1 Alegerea obiectelor din mediul fizic
Pentru o implementare cu succes a unei aplicații de realitate augmentată, utilizatorul trebuie să înțeleagă modul în care camera lucrează pentru detectarea obiectelor din mediul fizic. Există două mari categorii de markeri care pot fi folosiți: markeri de tip contur și markeri 2D de tip imagine. În figura următoare sunt ilustrate cele două tipuri:
Fig. 4.3. 1. Marker de tip contur; 2. Marker 2D de tip imagine [32]
Algoritmii de detecție a marker-ilor sunt alcătuiți în principal din algoritmi de identificare a formelor geometrice complexe și algoritmi de transformări matematice, care însumate reprezintă un număr mare de operații realizate în timpul fiecărui cadru al înregistrării.
Pentru o rulare cât mai fluidă a aplicației, este recomandat ca markerii să fie reprezentați de obiecte simple, care pot fi detectate cu ușurință, fără a necesita un număr mare de algoritmi.
Markerii de tip contur sunt o alegere potrivită, fiind asemănători cu codurile QR, care necesită un număr redus de algoritmi pentru analiza și recunoașterea de către software.
Fig. 4.4. Cod QR [33]
Modul în care algoritmii lucrează pentru detectarea marker-ilor, introduși în bibliotecă, este prezentat în figura următoare:
Fig. 4.5. Algoritmul de funcționare [32]
După ce imaginea înregistrată este convertită într-o imagine cu niveluri de gri, segmentarea imaginilor este aplicată, iar imaginea cu niveluri de gri este convertită într-o imagine ce conține numai tonuri de alb și negru pur. Următorul pas este reprezentat de încadrarea rectangulară care presupune identificarea marginilor în imaginea simplificată, urmată apoi de un proces de detecție a contururilor închise și potențiale forme geometrice ale unui paralelogram.
Următorul pas reprezintă asigurarea software-ului că acel contur detectat este chiar un paralelogram (are exact 4 colțuri și câte două linii paralele). Odată ce forma geometrică este confirmată, conținutul marker-ului este analizat. O textură, în format binar, este extrasă din interiorul marker-ului pentru a se realiza identificarea finală. Ultimul pas este reprezentat de poziționarea sistemului de coordonate.
Software-ul de identificare al marker-ilor poate identifica și imagini care folosesc zeci sau chiar sute de puncte de interes. Punctele de interes sunt acele detalii care sunt extrase dintr-o imagine și sunt folosite de algoritmii de detecție. Acestea trebuie să fie bine conturate, clare (precum marginile sau colțurile unui obiect) și sunt ilustrate de către software prin intermediul culorii galben. Așa cum se poate observa în figura de mai jos, un cerc sau o linie nu sunt niște exemple bune de utilizat deoarece nu prezintă puncte de interes.
Fig. 4.6. Reprezentarea punctelor de interes în cadrul unui marker [32]
O imagine mult mai sugestivă unde pot fi regăsite o multitudine de puncte de interes, poate fi reprezentată de o imagine stradală în care sunt regăsite multe zone cu un contrast ridicat și pe care software-ul le poate recunoaște imediat:
Fig. 4.7. Reprezentarea punctelor de interes în cadrul unui marker complex [32]
Un aspect important de reținut este faptul că unele puncte de interes dintr-o pictogramă nu pot fi identificate din cauza inexistenței unui contrast prea mare între culori sau a unor margini care nu sunt foarte bine conturate (un exemplu reprezentativ de evitat, este reprezentat de pictograma unui cer)
4.3.2 Introducere în librăria VuforiaTM
Vuforia reprezintă o bibliotecă de imagini pentru realitatea augmentată și este dezvoltată de către Qualcomm® Inc. Această bibliotecă este gratuită atât pentru proiectele non-comerciale cât și pentru proiectele comerciale.
Vuforia suportă markerii amintiți anterior iar un avantaj al acestei extensii este că poate identifica mai multe imagini în același timp. Este disponibilă atât pentru platforma Android cât și iOS, iar performanțele sunt îmbunătățite cu regularitate pe dispozitivele mobile echipate cu un procesor Qualcomm. [34]
O privire de ansamblu asupra arhitecturii acestei biblioteci Vuforia este prezentată în imaginea următoare:
Fig. 4.8. Arhitectura Vuforia [32]
Această organigramă este destinată pentru a oferi un punct de vedere general asupra funcționării acestei biblioteci Vuforia. Mai multe detalii și totodată o documentație completă asupra funcționării, poate fi găsită pe site-ul lor oficial.
În general, Vuforia constă în realizarea a trei pași esențiali în developarea unei aplicații augmentate:
Crearea unor imagini țintă sau markeri;
Integrarea bibiotecii de imagini / markeri în aplicația utilizatorului;
Manipularea acestora după bunul plac al utilizatorului.
4.3.3 Configurare VuforiaTM pentru recunoașterea obiectelor
Primul pas pentru a folosi toate opțiunile pe care Vuforia le oferă utilizatorilor, este de a crea un cont pe website-ul acestora. După finalizarea procesului de înregistrare, utilizatorul poate accesa „Target Manager”, secțiunea destinată de a crea propriile imagini țintă. „Target Manager” este organizat ca o bază de date, așadar, utilizatorul își poate ordona imaginile țintă și markerii în funcție de proiectele în cadrul cărora le va folosi. [32]
Fig. 4.9. „Target Manager” în Vuforia [32]
Utilizatorul își poate crea prima imagine țintă prin accesarea „Add New Target”. Va apărea o fereastră cu mai multe opțiuni, așa cum este ilustrat în figura următoare:
Fig. 4.10. „Add New Target” în Vuforia [32]
Fiecare imagine țintă va avea propriul ei nume, astfel încât, ulterior, în cadrul suprapunerii de imagini, utilizatorul să își aleagă cu rapiditate exact markerul pe care și-l dorește în cadrul proiectului.
De asemenea, Vuforia permite crearea unor diferiți tipuri de markeri, atât 2D, respectiv 3D (folosiți cu precădere în cadrul dezvoltării jocurilor 3D). Opțiunea „Single Image” indică crearea unui marker de tip plan, 2D, precum folosirea unei ilustrații printate, o copertă a unei cărți, etc. Celelalte 3 opțiuni „Cube”, „Cuboid” și „Cylinder” oferă posibilitatea de a defini multiple fețe ale unui obiect 3D prin utilizarea a mai multor imagini țintă, opțiune dedicată realizării unor aplicații cu un grad de complexitate mai ridicat.
Pentru aplicațiile de realitate augmentată, în principal, este utilizată doar opțiunea „Single Image”. „Target Dimension” definește o scară relativă pentru marker-ul utilizatorului. Este important de luat în considerare ca dimensiunea introdusă să fie aproximativ egală cu dimensiunea la care va fi printat marker-ul.
În final, ultimul pas este reprezentat de încărcarea imaginii dorite, care va fi folosită pe post de imagine țintă sau marker:
Fig. 4.11. Încărcarea imaginii în baza de date Vuforia [32]
Numărul de stele (rating-ul) va indica utilizatorului calitatea imaginii. Astfel, un număr redus de stele va rezulta printr-o urmărire defectuoasă a imaginii țintă în cadrul aplicației. Este recomandat ca numărul de stele să fie cel puțin 4/5.
În imaginea următoare sunt câteva exemple pe care Vuforia le recomandă spre a fi utilizate. Toate acestea au un contrast bun, margini bine definite și au obtinut un număr maxim de rating. (5/5)
Fig. 4.12. Tipuri de markeri recomandați de către Vuforia [35]
După efectuarea tuturor operațiilor de încărcare a imaginilor țintă în biblioteca Vuforia, există un ultim pas care trebuie realizat pentru a putea folosi acești markeri și anume exportarea acestora.
Fig. 4.13. Exportarea marker-ilor introduși în biblioteca Vuforia [32]
Există două opțiuni de exportare:
SDK (Folosirea împreună cu diverse programe compatibile cu Android: Eclipse, Ant, Xcode, etc.)
Unity Editor (Folosirea împreună cu software-ul Unity, un program dedicat dezvoltării jocurilor 2D sau 3D. Majoritatea jocurilor care s-au bucurat de un real succes pe platformele iOS / Android au fost dezvoltate cu ajutorul acestui software)
4.3.4 Unity 3D
Unity 3D este un software complex așa cum afirmă dezvoltatorii acestuia prin sloganul „Tot ce ai nevoie pentru a reuși în domeniul jocurilor și a realității virtuale / augmentate” (tradus din engleză „Everything you need to succeed in games and VR/AR”) [36]
Unity este o platformă care îți permite să îți dezvolți propriul joc, să rămâi conectat cu audiența căreia te adresezi și în final să te bucuri de succesul sperat. Este dedicat creării jocurilor în format 2D sau 3D.
Unity afirmă că integrează o multitudine de sisteme care ajută la scăderea timpului procesului de dezvoltare, te ajută să îți optimizezi jocul și nu în ultimul rând, să îl poți extinde pentru o multitudine de platforme precum: iOS, Android, Windows, Linux, Playstation 4, Gear VR, Oculus Rift, Microsoft Hololens și așa mai departe.
Fig. 4.14. Platforme compatibile cu Unity [37]
5. Descriere experiment
Pentru realizarea aplicației augmentate, din cadrul acestui proiect, cu aplicabilitate în ingineria biomedicală, am pornit de la următoarele elemente fizice:
Un smartphone Huawei Nexus 6P;
Ochelari VR Gaming Trust GXT720 pentru smartphone 3.5"/6'';
Un manechin de tip bust;
Markeri de tip contur.
5.1 Descrierea componentelor fizice
5.1.1 Huawei Nexus 6P
Huawei Nexus 6P este un smartphone lansat în anul 2015, luna septembrie. În momentul lansării, acest telefon a dispus de o multitudine de tehnologii inovative care asigură o performanță, rezistență și claritate de lungă durată. [38]
Fig. 5.1. Huawei Nexus 6P [39]
Dotat cu un procesor Octa-Core Snapdragon 810 de 2 GHz și o baterie de 3450 mAh, Nexus 6P oferă utilizatorilor performanțe deosebite chiar și în condiții extreme de utilizare. Ecranul este unul WQHD AMOLED de 5,7 inch, iar densitatea pixelilor este de 518 ppi, ce conferă o claritate a imaginii impresionantă.
Camera foto principală este de 12,3 MP, dotată cu laser autofocus și dual-LED flash, iar aceasta permite înregistrarea video într-un format 2160p la un număr de 30 cadre pe secundă.
Datorită colaborării dintre Huawei și Google, Nexus 6P dispune de cele mai noi sisteme de operare oferite de Android, astfel încât telefonul să fie optimizat permanent pentru cele mai dificile sarcini pe care utilizatorul i le atribuie.
5.1.2 Ochelari VR Gaming Trust GXT720
Ochelarii VR Gaming Trust GXT720 sunt o alegere excelentă pentru cei care își doresc să își dezvolte propriile aplicații de realitate virtuală sau realitate augmentată.
Fig. 5.2. Ochelari VR Gaming Trust GXT720 [40]
Motivul principal al alegerii acestei perechi de ochelari de realitate virtuală este faptul că fața headset-ului VR care acoperă camera telefonului poate fi înlăturată, astfel încât i se permite telefonului să înregistreze imagini în timp real. În cazul conceperii unei aplicații de realitate augmentată, dacă ochelarii VR nu permit detașarea acestei fețe care obturează camera, este nevoie de atașarea unei camere video suplimentare care să înregistreze imaginile din mediul înconjurător, ceea ce ar face procesul de randare să devină destul de lent, afectând performanțele cu care va rula aplicația finală.
Specificațiile importante ale acestui headset sunt următoarele: [40]
Explorarea mediului virtual 3D prin intermediul unui smartphone;
Este compatibil cu dispozitive al căror ecran nu depașeste 6 inchi;
Fața exterioară este detașabilă, pentru explorarea cu ușurință a aplicațiilor augmentate;
Poate fi ajustabil în funcție de utilizator (modificarea distanței pupilare, a distanței de focusare);
Locații speciale de introducere a cablurilor de conexiune pentru smartphone (USB, audio, încărcare).
5.1.3 Manechin de tip bust
Pentru testarea și implementarea finală a aplicației din cadrul acestui proiect, am folosit, un manechin de tip bust, realizat din material plastic, care imită structura în relief a alcătuirii corpului uman.
Fig. 5.3. Manechin
Manechinul respectă dimensiunile unei persoane de statură medie și cu o talie atletică. Acesta este întâlnit cu precădere în majoritatea magazinelor cu articole de îmbrăcăminte.
5.1.4 Markeri de tip contur
Pornind de la indicațiile pe care Vuforia le oferă referitor la structura și organizarea marker-ilor, am folosit markerii ilustrați în figura următoare:
Fig. 5.4. Markeri de tip contur
Pentru o manipulare facilă a acestora, markerii au fost printați pe hârtie de tip autocolant, astfel încât pot fi lipiți și dezlipiți cu ușurință în vederea eventualelor modificări. Markerii au fost concepuți pentru a avea o structură complet aleatorie, evitându-se existența asemănărilor, care pot cauza urmărirea defectuoasă a acestora de către software-ul Vuforia.
5.2 Descrierea software a aplicației
În primul rând, pentru a porni procesul de dezvoltare al aplicației, este necesar ca utilizatorul să instaleze pe calculator, software-ul Unity 3D, care poate fi descărcat cu ușurință prin accesarea următorului link: https://store.unity.com/. În cadrul acestui proiect, am beneficiat de versiunea „Personal”, care este gratuită. După realizarea acestei operații, utilizatorul își va crea un cont în cadrul bibliotecii de markeri Vuforia, prin accesarea secțiunii Vuforia Developer Portal. (https://developer.vuforia.com/user/login)
După momentul creării și logării pe contul de pe Vuforia Developer, se accesează „License Manager” și se creează o licență unică pentru aplicația personală. În figura următoare, sunt ilustrate setările care trebuie realizate:
Fig. 5.5. Crearea licenței pentru aplicația de realitate augmentată
În varianta gratuită a bibliotecii Vuforia, utilizatorul beneficiază de 1000 de recunoașteri ale marker-ilor, lunare, și un număr limitat de markeri, 100. După înregistrarea aplicației, Vuforia creează o licență individuală pentru fiecare aplicație. Această licență va fi înregistrată, ulterior, în Unity 3D.
Fig. 5.6. Codul ce va fi ulterior integrat în Unity 3D
O facilitate pe care Vuforia o oferă utilizatorilor săi, o reprezintă un set de statistici, care face referire la modul de utilizare a aplicației. Astfel, poate fi ușor contorizat, numărul de markeri recunoscuți, pentru a fi sigur utilizatorul, că nu depăsește limita impusă, evitându-se astfel eventuale situații neplăcute.
Fig. 5.7. Statisticile referitoare la utilizarea markerilor
Următoarea etapă o reprezintă introducerea marker-ilor care vor fi folosiți în cadrul aplicației. Se accesează meniul “Develop >> Target Manager >> Add Database” pentru a se crea un dosar de stocare al marker-ilor pentru această aplicație. În situația în care utilizatorul lucrează la dezvoltarea mai multor aplicații simultan, prin intermediul acestei organizări structurale, nu vor exista situații de confuzie între elementele componente.
Fig. 5.8. Crearea unei baze de date a marker-ilor
Odată creată baza de date, pot fi adăugați markerii care vor rula în cadrul aplicației. În cadrul acestui proiect, voi folosi doi markeri: unul de dimensiuni reduse și unul de dimensiune mai mare. Markerii printați pe hârtie autocolantă au fost aplicați pe manechin, iar rezultatul a fost următorul:
Fig. 5.9. Markerii aplicați pe manechinul de tip bust
Pentru încărcarea markerilor în baza de date recent creată, trebuie decupată doar secțiunea în care va apărea efectiv conținutul ce trebuie urmărit de software. Pentru realizarea acestei operațiuni, am utilizat programul Adobe Photoshop CC, prin intermediul căruia am selectat doar zona de interes și totodată am ajustat culorile, luminozitatea și contrastul pentru a primi un rating maxim (5*) de către Vuforia.
Varianta finală a celor doi markeri pregătiți pentru a fi încărcați în baza de date este ilustrată în figura următoare:
Fig. 5.10. Markerii după prelucrarea în Adobe Photoshop CC
Markerii vor fi încărcați individual în cadrul Vuforia Developer prin accesarea butonului „Add Target” din baza de date creată anterior și denumită „AR-app-manechin”.
Fig. 5.11. Setările pentru introducerea markerilor
Din opțiunile afișate, se va alege tipul markerului ca fiind „Single Image”, se va introduce la Width o dimensiune asemănătoare cu dimensiunea conținutului de realitate augmentată din cadrul Unity 3D (în cazul acestui proiect, am ales o dimensiune de 500px) și în ultimul rând se vor denumi cei doi markeri pentru a fi recunoscuți cu ușurință în etapele ulterioare.
După finalizarea acestui proces, Vuforia Developer oferă către utilizator un feedback referitor la cât de eficienți și cât de bine realizați sunt markerii. În cadrul acestui proiect, am obținut un punctaj maxim (5*), ceea ce înseamnă că software-ul de recunoaștere al acestora nu ar trebui să întâmpine nicio problemă.
Fig. 5.12. Punctajul obținut de cei doi markeri
Pentru a observa modul cum funcționează acest software de recunoaștere al marker-ilor, utilizatorul poate observa exact punctele de interes care au fost generate automat. Astfel, dacă există zone de dimensiuni considerabile, unde se remarcă absența punctelor de interes, utilizatorul trebuie să ajusteze markerii pentru a benefia de cea mai bună experiență de realitate augmentată. În cadrul acestui proiect, software-ul de recunoaștere a identificat următoarele puncte de interes:
Fig. 5.13. Punctele de interes al markerului din partea frontală
Fig. 5.14. Punctele de interes al marker-ului din partea dorsală
Ultimul pas ce trebuie realizat în Vuforia Developer este descărcarea celor doi markeri, într-un format care va fi recunoscut de către Unity 3D. Această operațiune se realizează prin apăsarea butonului „Download Database (All)” din baza de date „AR-app-manechin”. Se selectează Unity Editor ca platformă de dezvoltare a aplicației, iar apoi se salvează fișierul cu extensia .unitypackage în calculatorul personal:
Fig. 5.15. Descărcarea pachetului Unity care conține cei doi markeri
După finalizarea procesului de descărcare a pachetului ce conține markerii, pasul următor este reprezentat de implementarea aplicației în Unity 3D. Se accesează programul Unity 3D deja instalat pe calculatorul personal, se creează un nou proiect prin accesarea butonului “New”, se completează câmpurile necesare și în final se apasă pe “Create project”.
Fig. 5.16. Crearea unui proiect nou în Unity 3D
După deschiderea ferestrei Unity care conține proiectul creat anterior, pasul următor este reprezentat de importarea pachetului Vuforia, ca o extensie pentru Unity 3D. Descărcarea pachetului Vuforia se face prin accesarea următorului link din cadrul site-ului lor oficial: https://developer.vuforia.com/downloads/sdk și se alege opțiunea “Download for Unity”. Odată descărcat în calculatorul personal acest pachet, se accesează în Unity meniul “Assets >> Import Package >> Custom Package” și se alege fișierul anterior. Conținutul pachetului importat va apărea cu scopul ca utilizatorul să observe exact elementele care vor fi integrate în program. Fereastra este ilustrată în figura de mai jos:
Fig. 5.17. Importarea pachetului Vuforia în Unity 3D
Asemănător procedurii anterioare, se va importa în Unity și pachetul care conține cei doi markeri utilizați în aplicație. După realizarea operațiilor anterioare, conținutul proiectului nou creat în Unity 3D trebuie să arate astfel:
Fig. 5.18. Conținutul proiectului Unity 3D
Următorul pas este reprezentat de adăugarea unei camere inteligente de înregistrare dezvoltată de către Vuforia, care are integrat script-ul de recunoaștere a marker-ilor. Aceasta este denumită “ARCamera”. Pentru a adăuga “ARCamera” este necesar să ștergem din partea stânga sus, unde se află “Hierarchy Panel”, “Main Camera” cu care vine preinstalat Unity.
Fig. 5.19. Ștergerea camerei de înregistrare preinstalată în Unity 3D
“ARCamera” se află în folderul “Prefabs”, care la rândul său este conținut în folderul Vuforia din cadrul Assets. Figura următoare ilustrează calea de acces spre “ARCamera”:
Fig. 5.20. Calea de acces spre “ARCamera”
Prin intermediul funcției “Drag&Drop” se ține apăsat continuu pe “ARCamera” și se mută în “Hierarchy Panel”, în locul unde se afla “Main Camera”.
Fig. 5.21. Introducerea “ARCamera” în “Hierarchy Panel”
În momentul de față, “ARCamera” nu funcționează deoarece nu este introdusă acea licență generată anterior de Vuforia. Printr-un singur click pe “ARCamera” în partea dreaptă a ferestrei Unity, va apărea o fereastră care conține setările camerei. Se modifică “World Center Mode” prin selectarea opțiunii “DEVICE_TRACKING”, iar apoi se apasă pe “Open Vuforia configuration” pentru setările ulterioare:
Fig. 5.22. Setările necesare “ARCamera”
În cadrul “Vuforia Configuration” trebuie realizate următoarele modificări:
Introducerea licenței generate anterior de Vuforia (codul prezentat anterior);
Setarea “Max Simultaneous Tracked Images” cu cifra “2”;
Setarea “Max Simultaneous Tracked Objects” cu cifra “2”;
Activarea opțiunii “Load AR-app-manechin Database” și a opțiunii “Activate” ulterior afișată.
În figura următoare sunt ilustrate toate setările care trebuie realizate pentru buna funcționare a “ARCamera”:
Fig. 5.23. Setările suplimentare necesare “ARCamera”
Pentru testarea funcționării “ARCamera” se apasă butonul “Play” din partea de sus a ecranului. Dacă totul este setat ca în figurile anterioare, rezultatul ar trebui să fie următorul:
Fig. 5.24. Testarea funcționării “ARCamera”
După testarea și funcționarea cu succes a “ARCamera”, urmează implementarea marker-ilor în cadrul scenei. “ImageTarget” este situat în aceleași folder ca și “ARCamera”, iar principiul de adăugare în “Hierarchy Panel” este același, prin “Drag & Drop”. Este recomandat ca numele predefinit “ImageTarget” să fie înlocuit cu denumirea marker-ului, în cazul nostru, redenumirea fiind “Marker-Spate”.
Astfel, vom începe implementarea marker-ului de pe partea dorsală a manechinului, datorită faptului că el are dimensiunea cea mai mare. Setările necesare care trebuie realizate de către utilizator, sunt ilustrate în figura următoare:
Fig. 5.25. Implementarea marker-ului spate în Unity 3D
Pentru implementarea marker-ului din partea frontală a manechinului, se realizează aceeași procedură. Setările necesare sunt ilustrate în figura următoare:
Fig. 5.26. Implementarea marker-ului față în Unity 3D
După finalizarea operațiunii de implementare a celor doi markeri, proiectul ar trebui să arate astfel:
Fig. 5.27. Finalizarea implementării marker-ilor în Unity 3D
După cum putem observa, deși am implementat cei doi markeri, în partea stângă unde sunt capturile de la “ARCamera”, fundalul este complet negru. Acest fapt se întamplă deoarece camera nu este centrată asupra punctului nostru de interes. Pentru o centrare bună a camerei asupra markerilor, am realizat următoarele setări ale “ARCamera”:
Fig. 5.28. Centrare „ARCamera” asupra marker-ilor
Ulterior acestei setări de centrare, avem urmatorul rezultat al proiectului:
Fig. 5.29. Finalizarea implementarii marker-ilor în Unity 3D
Următorul pas pe care utilizatorul trebuie să îl parcurgă, îl reprezintă testarea marker-ilor pentru a vedea dacă sunt recunoscuți de către „ARCamera” și cât de mare este gradul de acuratețe în ceea ce privește identificarea acestora. Acest lucru este ușor de realizat: se apasă pe butonul „Play” pentru a începe rularea aplicației, iar mai apoi prin apăsarea pe butonul „Console” se poate observa modul în care reacționează aplicația la afișarea celor doi markeri. Figura următoare exemplifică modul cum se poate realiza această testare:
Fig. 5.30. Procesul de identificare al marker-ilor în Unity 3D
În cadrul proiectului, markerii sunt recunoscuți cu o rapiditate destul de mare, ceea ce înseamnă că nu ar trebui să fie întâmpinate probleme în implementarea finală. Următorul pas îl reprezintă alegerea modelelor 3D ce vor fi utilizate în cadrul proiectului.
Decizia de a implementa modele 3D a fost inspirată de sistemul folosit de clinica de medicină nucleară de la Pisa. Astfel, în urma investigațiilor efectuate pe un pacient, rezultă o reconstrucție a imaginilor, care se materializează într-un model anatomic 3D în care sunt înfățișate maladiile prin intermediul diverselor culori. Astfel, doctorul poate observa cu ușurință zonele afectate.
Din cauza lipsei unor modele anatomice preluate de la pacienti reali, am folosit în cadrul proiectului modele anatomice 3D, care sunt disponibile în variantă gratuită pe Internet. Pentru partea frontală a manechinului, am folosit o inimă în format 3D, iar pentru partea dorsală a manechinului, am folosit o coloană vertebrală, tot în format 3D.
Modelul 3D al inimii poate fi descărcat și folosit în proiecte personale, prin accesarea următorului link: https://free3d.com/3d-model/human-heart-2-79840.html
În ceea ce privește aspectul, modelul 3D este ilustrat în figura următoare:
Fig. 5.31. Inimă 3D utilizată în cadrul acestui proiect
Modelul 3D al coloanei vertebrale poate fi descărcat și folosit în proiecte personale, prin accesarea următorului link: http://www.cadnav.com/3d-models/model-23880.html
În ceea ce privește aspectul, modelul 3D este ilustrat în figura următoare:
Fig. 5.32. Coloană vertebrală 3D utilizată în cadrul acestui proiect
Pentru importarea modelelor 3D în cadrul Unity 3D, este recomandat ca formatul modelelor să aibă extensia .3DS. Cele două modele folosite în cadrul acestui proiect au deja acest tip de format și sunt ușor de importat. În situația în care un model 3D nu are extensia .3DS, este recomandat să se facă o conversie a acestuia.
Pentru importarea primului model se va muta cursorul mouse-ului în zona în care sunt fișierele programului și se va face click-dreapta, apoi selectându-se „Import New Asset…”. Se va alege fișierul cu extensia .3DS a modelului 3D, iar acesta va fi importat în Unity.
Fig. 5.33. Importarea modelelor 3D în Unity
După finalizarea importării modelului 3D al inimii, pentru a se realiza sincronizarea cu marker-ul lui, trebuie să fie importat în cadrul proiectului ca un „Child” pentru marker. Acest lucru se efectuează astfel: se ține apăsat pe modelul 3D și prin intermediul „Drag & Drop” se mută fix deasupra zonei unde este afișat „Marker-Fata”. Dacă totul a decurs cum trebuie, în “Hierarchy Panel” lucrurile vor fi ordonate astfel:
Fig. 5.34. Sincronizarea modelului 3D cu marker-ul său
În cazul modelului 3D al inimii, în ceea ce privește poziționarea, pentru o centrare apropiată de realitate, am realizat următoarele setări:
Fig. 5.35. Setările de poziționare ale modelului 3D al inimii
Pentru importarea modelului 3D al coloanei vertebrale se repetă aceeași pași prezentați anterior, singurele diferențe vor fi reprezentate de setările de poziționare ale noului model 3D. Rezultatul, după modificările necesare, este următorul:
Fig. 5.36. Setările de poziționare ale modelului 3D al coloanei vertebrale
Următorul pas în ceea ce privește implementarea aplicației, o reprezintă testarea și efectuarea ajustărilor necesare. Este recomandat ca, din acest punct, testarea să se realizeze direct pe modelul final care va fi implementat, în cazul acestui proiect, pe manechinul care are deja lipiți markerii. Diferența între testarea marker-ilor printați pe o coală de hârtie și cei aplicați direct pe manechin, apare datorită diferenței de suprafață. În cazul foii A4 avem o suprafață 2D luminată uniform, pe când, în cazul manechinului apar diverse umbre din cauza formei 3D a acestuia. În cadrul testelor, rezultatele au fost mulțumitoare. În figura de mai jos, sunt ilustrate câteva capturi de ecran din timpul testelor:
Fig. 5.37. Teste ale funcționalității marker-ilor și obiectelor 3D
În momentul de față, aplicația este pregatită de a fi exportată pentru smartphone. Însă, aplicația creată va rula pe toată suprafața ecranului, nefiind compatibilă cu ochelarii de realitate virtuală. În figura de mai jos este ilustrată aplicația exportată pe smartphone la stadiul acesta:
Fig. 5.38. Preview al aplicației finale
Scopul proiectului este de a utiliza aplicația creată împreună cu un headset VR. De aceea, mai trebuie realizate un set de configurări pentru a transforma modul normal de vizualizare într-un mod de vizualizare stereoscopic.
Pentru a realiza această transformare, în „Hierarchy Panel” se accesează „ARCamera >> Open Vuforia configuration >> Eyewear Type” și se selectează „Video See-Through”. După această selecție, în funcție de tipul de headset VR de care dispune utilizatorul, acesta își poate crea propriile setări sau poate alege unul din cele 5 tipuri de setări predefinite. (Generic Cardboard Vuforia, VR ONE, VR Goggles, C1-Glass, Cardboard v1).
În cadrul proiectului, am ales varianta de a utiliza setările predefinite „Generic Cardboard”, datorită specificațiilor comune cu headset-ul VR folosit.
Fig. 5.39. Setările pentru adaptarea cu headset-ul VR
Odată ce setările acestea au fost realizate, iar ulterior a fost realizată și o testare în cadrul Unity 3D, aplicația de realitate augmentată este complet pregatită de a fi exportată către Android.
Primul pas al exportării, îl constituie conectarea smartphone-ului prin intermediul cablului de date la calculator. Un aspect foarte important, este modificarea conexiunii USB din cadrul smartphone-ului astfel încât să permită transferul de fișiere. (Se alege opțiunea „Transferați fișiere”)
Fig. 5.40. Setările smartphone-ului pentru transferul de fișiere
Ulterior, se accesează în Unity „File >> Build Settings”. Se alege platforma de exportare Android, iar apoi se face click pe „Build & Run”.
Fig. 5.41. Setările Unity pentru exportare Android
Va apărea o fereastră unde utilizatorul va trebui să introducă numele final aplicației, care va apărea pe ecranul smartphone-ului. În cadrul proiectului, am ales denumirea „AR Biomedical App”.
Din cauza faptului că utilizatorul este la prima exportare, va apărea următorul mesaj de eroare. Utilizatorul trebuie să introducă în „Player Settings” datele sale de identificare, pentru a se crea o proprie identitate aplicației rezultate.
Fig. 5.42. Mesaj de eroare la prima exportare Android
Rezolvarea acestui mesaj de eroare se face cu rapiditate, prin completarea următoarelor câmpuri, ilustrate în figura de mai jos:
Fig. 5.43. Crearea identității aplicației finale
După introducerea datelor necesare, aplicația va fi exportată direct pe smartphone, cu extensia .apk (extensie specifică aplicațiilor care rulează pe Android) și va începe automat rularea acesteia.
Ultimul pas îl reprezintă introducerea telefonului în cadrul ochelarilor de realitate virtuală și apoi utilizatorul beneficiază de o experiență complet nouă de realitate augmentată.
Dacă totul a decurs foarte bine, acesta ar trebui să fie rezultatul final ce va apărea pe ecranul smatphone-ului:
Fig. 5.44. Rularea aplicației finale pe smartphone
În cadrul discuțiilor de pe forumul Vuforia Developer s-a anunțat faptul că, după ultimul update lansat (vuforia-unity-6-2-10.unitypackage) există posibilitatea ca unele smartphone-uri să aibă anumite probleme referitoare la autofocus-ul în timpul aplicației. Această problemă presupune faptul că unele smartphone-uri vor avea dificultăți de identificare a marker-ilor din cauza lipsei autofocus-ului.
Dacă utilizatorul întâmpină o astfel de problemă, există totuși o rezolvare. Utilizatorii care se confruntă cu această problemă, vor trebui să creeze un nou script pentru „ARCamera”, care se realizează prin accesarea setărilor „ARCamera >> Add Component >> New Script”.
Fig. 5.45. Introducerea unui nou script în Vuforia
În funcție de programele instalate pe calculatorul utilizatorului, se va deschide o fereastră de editare text, unde se va introduce textul scriptului pentru rezolvarea problemei autofocus-ului. Liniile de comandă care trebuie copiate în fereastra de editare text sunt următoarele:
using UnityEngine;
using System.Collections;
using Vuforia;
public class CameraFocusController : MonoBehaviour {
private bool mVuforiaStarted = false;
void Start ()
{
VuforiaARController vuforia = VuforiaARController.Instance;
if (vuforia != null)
vuforia.RegisterVuforiaStartedCallback(StartAfterVuforia);
}
private void StartAfterVuforia()
{
mVuforiaStarted = true;
SetAutofocus();
}
void OnApplicationPause(bool pause)
{
if (!pause)
{
// App resumed
if (mVuforiaStarted)
{
// App resumed and vuforia already started
// but lets start it again…
SetAutofocus(); // This is done because some android devices lose the auto focus after resume
}
}
}
private void SetAutofocus()
{
if (CameraDevice.Instance.SetFocusMode(CameraDevice.FocusMode.FOCUS_MODE_CONTINUOUSAUTO))
{
Debug.Log("Autofocus set");
}
else
{
// never actually seen a device that doesn't support this, but just in case
Debug.Log("this device doesn't support auto focus");
}
}
}
Cu ajutorul acestui script, problema autofocus-ului va fi rezolvată, iar utilizatorul va observa o îmbunătățire majoră în ceea ce privește viteza de identificare a marker-ilor. În momentul actual, aplicația este completă.
6. Concluzii
În cadrul acestui proiect, a fost prezentat întregul proces de dezvoltare a unei aplicații care utilizează realitatea augmentată. Prin îmbinarea a unui număr mic de elemente componente (un smartphone, un headset VR, markeri și obiecte virtuale 3D) se poate crea un număr impresionant de aplicații.
Gândirea, într-o manieră cu totul diferită, este cea care conduce la realizarea unor aplicații inovative. Astfel, pornind de la conceptul de „joc” pe care îl promovează majoritatea producătorilor de headset-uri VR, am intenționat să schimb domeniul de aplicabilitate, îndreptându-mă spre sectorul medical și cel didactic. Prin intermediul acestei aplicații, utilizatorul poate experimenta un nou mod de vizualizare a obiectelor 3D, prin explorarea diferitelor unghiuri și vederi ale conținutului virtual.
Scopul și obiectivele acestui proiect au fost îndeplinite cu succes, lucrarea concretizându-se prin realizarea unei aplicații care realizează o suprapunere dinamică a unui obiect virtual într-un mediu real. Pe parcursul procesului de implementare a produsului finit au fost înregistrate următoarele aspecte:
Iluminarea asupra obiectului „țintă” (în special, în zona marker-ului aplicat) trebuie să fie uniformă.
Camera smartphone-ului trebuie să redea imagini clare și totodată să aibă un contrast bun.
Procesorul smartphone-ului este recomandat să fie unul destul de puternic, pentru a se evita prezența unor întârzieri sau blocări ale cadrelor afișate pe ecran.
Datorită evoluției spectaculoase a tehnologiei, a conceptelor de realitate virtuală și augmentată, consider că în viitorul apropiat, orice persoană va avea propria sa realitate mixtă, prin integrarea conținutului digital preferat, în cadrul mediului real. Modul în care acest lucru va influența stilul nostru cotidian de a trăi, probabil că va fi integrat în alte proiecte de cercetare ale viitorilor studenți.
7. Bibliografie
[1.] TAYLOR, Jim. The Evolution of Technology [online]. 25 Mai 2011 [citat în 16 Februarie 2017]. Disponibil pe World Wide Web http://www.huffingtonpost.com/dr-jim-taylor/the-evolution-of-technolo_b_318843.html
[2.] ROBB, Richard. Virtual Reality in Medicine: A Personal Perspective [online]. Vol. 5, No. 4, 2002, p. 317-326 [citat în 16 Februarie 2017]. Disponibil pe World Wide Web https://link.springer.com/article/10.1007/BF03182346
[3.] STEINICKE, Frank. The Science and Fiction of the Ultimate Display [online]. Capitolul 2, p. 25-27, 23 Octombrie 2016 [citat în 16 Februarie 2017]. Disponibil pe World Wide Web https://link.springer.com/chapter/10.1007%2F978-3-319-43078-2_2
[4.] Dorothy STRICKLAND, Lee M. MARCUS, Gary B. MESIBOV, Kerry HOGAN. Brief Report: Two Case Studies Using Virtual Reality as a Learning Tool for Autistic Children [online]. Vol. 6, No. 26, 1994 [citat în 19 Februarie 2017]. Disponibil pe World Wide Web https://link.springer.com/article/10.1007/BF02172354
[5.] GREENWALD, Will. The Best VR (Virtual Reality) Headsets of 2017 [online]. 18 Mai 2017 [citat în 22 Mai 2017]. Disponibil pe World Wide Web http://www.pcmag.com/article/342537/the-best-virtual-reality-vr-headsets
[6.] SHILOV, Anton. Oculus VR Reveals Retail Price of Its Virtual Reality Headset: $599 [online]. 7 Ianuarie 2016 [citat în 22 Mai 2017]. Disponibil pe World Wide Web http://www.anandtech.com/show/9921/oculus-vr-reveals-retail-price-of-its-virtual-reality-headset-599
[7.] Nuvika Inc. Nuvika VR Glasses with Bluetooth Remote Control [online]. 2015 [citat în 22 Mai 2017]. Disponibil pe World Wide Web http://nuvikainc.com/vr-combo-headset-and-bluetooth-controller/
[8.] ZAYNE, Seah. Which PlayStation Should You Get: PS4 (2013) vs PS4 (2016) vs PS4 Pro [online]. 7 Decembrie 2016 [citat în 22 Mai 2017]. Disponibil pe World Wide Web http://vr-zone.com/articles/playstation-get-ps4-2013-vs-ps4-2016-vs-ps4-pro/118436.html
[9.] LAMKIN, Paul. Best VR headsets 2017: HTC Vive, Oculus, PlayStation VR compared [online]. 24 Mai 2017 [citat în 26 Mai 2017]. Disponibil pe World Wide Web https://www.wareable.com/vr/best-vr-headsets-2017
[10.] LANG, Ben. The ‘Big Three’ at GDC 2016 – What to Expect from Oculus, Sony, and HTC/Valve [online]. 13 Martie 2016 [citat în 26 Mai 2017]. Disponibil pe World Wide Web http://www.roadtovr.com/gdc-2016-vr-what-to-expect-from-oculus-sony-and-htc-valve-virtual-reality/3/
[11.] FENLON, Wes. HTC's Deluxe Audio Strap is a huge improvement over the Vive's elastic straps [online]. 1 Martie 2017 [citat în 26 Mai 2017]. Disponibil pe World Wide Web http://www.pcgamer.com/htcs-deluxe-audio-strap-is-a-huge-improvement-over-the-vives-elastic-straps/
[12.] Oculus Rift. Overview Rift [online]. 2017 [citat în 26 Mai 2017]. Disponibil pe World Wide Web https://www.oculus.com/rift/
[13.] LORETINA, Chris. Third Oculus Sensor Gives You Room-Scale VR, And It's Available For Preorder Now At $79 [online]. 1 Noiembrie 2016 [citat în 26 Mai 2017]. Disponibil pe World Wide Web http://www.techtimes.com/articles/184439/20161101/third-oculus-sensor-gives-you-room-scale-vr-and-its-available-for-preorder-now-at-79.html
[14.] FRIED, Ina. Clay Bavor says Google’s vision for virtual reality is way more than a Daydream [online]. 10 Noiembrie 2016 [citat în 26 Mai 2017]. Disponibil pe World Wide Web https://www.recode.net/2016/11/10/13553198/clay-bavor-google-vr-virtual-reality-daydream-code-mobile
[15.] KONDRAT, Tomek. Google Daydream Will Get A Big Update And Its own VR Web Browser [online]. 19 Mai 2017 [citat în 26 Mai 2017]. Disponibil pe World Wide Web https://www.xda-developers.com/google-daydream-will-get-a-big-update-and-its-own-vr-web-browser/
[16.] KING, Laiza. Is Google Daydream the New ‘Blue Ocean’ for Business? [online]. 11 August 2016 [citat în 26 Mai 2017]. Disponibil pe World Wide Web http://www.huffingtonpost.com/laiza-king-/alternative-title-is-goog_b_12849950.html
[17.] Worldviz. Rapid Application Development (RAD) [online]. 2017 [citat în 31 Mai 2017]. Disponibil pe World Wide Web http://www.worldviz.com/virtual-reality-software-features/
[18.] Eon Reality. About EON [online]. 2017 [citat în 31 Mai 2017]. Disponibil pe World Wide Web https://www.eonreality.com/systems/
[19.] Eon Reality. EyeSim Ophthalmology [online]. 2017 [citat în 31 Mai 2017]. Disponibil pe World Wide Web https://www.eonreality.com/portfolio-items/eyesim-ophthalmology/
[20.] Eon Reality. Virtual Anatomy Simulation [online]. 2017 [citat în 31 Mai 2017]. Disponibil pe World Wide Web https://www.eonreality.com/portfolio-items/virtual-anatomy-simulation/
[21.] Virtalis. About Virtalis [online]. 2017 [citat în 31 Mai 2017]. Disponibil pe World Wide Web https://www.virtalis.com/about-us/about-virtalis/
[22.] Virtalis. Visionary Render software [online]. 2017 [citat în 31 Mai 2017]. Disponibil pe World Wide Web https://www.virtalis.com/visionary-render/
[23.] Worldviz. Landing page [online]. 2017 [citat în 31 Mai 2017]. Disponibil pe World Wide Web http://www.worldviz.com/
[24.] Worldviz. Healthcare Industry [online]. 2017 [citat în 31 Mai 2017]. Disponibil pe World Wide Web http://www.worldviz.com/virtual-reality-industries-healthcare/
[25.] Worldviz. VizMove Projection VR Operating Room Design Review [online]. Screenshot Video, 1:04, 21 Septembrie 2013 [citat în 31 Mai 2017]. Disponibil pe World Wide Web https://www.youtube.com/watch?v=0wNFA6RIvu0
[26.] Katrine JENSEN, Flemming BJERRUM, Henrik JESSEN. Using virtual reality simulation to assess competence in video-assisted thoracoscopic surgery (VATS) lobectomy [online]. Vol. 31, 21 Septembrie 2016 [citat în 5 Iunie 2017]. Disponibil pe World Wide Web https://link.springer.com/article/10.1007/s00464-016-5254-6
[27.] Matthew BRAMLET, Kuocheng WANG, Alexander CLEMONS. Virtual reality visualization of patient specific heart model [online]. 27 Ianuarie 2016 [citat în 5 Iunie 2017]. Disponibil pe World Wide Web https://link.springer.com/article/10.1186/1532-429X-18-S1-T13
[28.] Richard G RANKY, Mark L SIVAK, Jeffrey A LEWIS. Modular mechatronic system for stationary bicycles interfaced with virtual environment for rehabilitation [online]. 5 Iunie 2014 [citat în 7 Iunie 2017]. Disponibil pe World Wide Web https://link.springer.com/article/10.1186/1743-0003-11-93
[29.] Tomoyoshi OKAMOTO, Shinji ONDA, Michinori MATSUMOTO. Utility of augmented reality system in hepatobiliary surgery [online]. 8 Martie 2012 [citat în 9 Iunie 2017]. Disponibil pe World Wide Web https://link.springer.com/article/10.1007%2Fs00534-012-0504-z
[30.] Tomoyoshi OKAMOTO, Shinji ONDA, Katsuhiko YANAGA. Clinical application of navigation surgery using augmented reality in the abdominal field [online]. 6 Iunie 2014 [citat în 9 Iunie 2017]. Disponibil pe World Wide Web https://link.springer.com/article/10.1007%2Fs00595-014-0946-9
[31.] GEROIMENKO, Vladimir. Augmented Reality Art [online]. 2014 [citat în 12 Iunie 2017]. Disponibil pe World Wide Web https://link.springer.com/book/10.1007%2F978-3-319-06203-7
[32.] Jens GRUBERT, Dr. Raphael GRASSET . Augmented Reality for Android Application Development [online]. 2013 [citat în 12 Iunie 2017]. Disponibil pe World Wide Web https://www.packtpub.com/application-development/augmented-reality-android-application-development
[33.] GOGON, Ost. Latest Technology Compare 2016 [online]. 2016 [citat în 12 Iunie 2017]. Disponibil pe World Wide Web http://4ostechno.blogspot.ro/2013/05/some-secret-codes-blackberry-device.html
[34.] Vuforia. Vuforia Features [online]. 2017 [citat în 12 Iunie 2017]. Disponibil pe World Wide Web https://vuforia.com/Features
[35.] Vuforia Developer Library. VuMark [online]. 2017 [citat în 12 Iunie 2017]. Disponibil pe World Wide Web https://library.vuforia.com/articles/Training/VuMark
[36.] Unity. Landing page [online]. 2017 [citat în 14 Iunie 2017]. Disponibil pe World Wide Web https://unity3d.com/
[37.] Unity. Multiplatform [online]. 2017 [citat în 14 Iunie 2017]. Disponibil pe World Wide Web https://unity3d.com/unity/multiplatform
[38.] GSMARENA. Huawei Nexus 6P [online]. 2015 [citat în 15 Iunie 2017]. Disponibil pe World Wide Web http://www.gsmarena.com/huawei_nexus_6p-7588.php
[39.] NOFUENTE, Kyle. You Can Now Purchase The Nexus 6P Tax-Free From The Huawei Website [online]. 8 Decembrie 2015 [citat în 15 Iunie 2017]. Disponibil pe World Wide Web http://www.techtimes.com/articles/114244/20151208/you-can-now-purchase-the-nexus-6p-tax-free-from-the-huawei-website.html
[40.] Trust. GXT 720 VR Glasses [online]. 2016 [citat în 15 Iunie 2017]. Disponibil pe World Wide Web http://www.trust.com/en/product/21322-gxt-720-virtual-reality-glasses
Copyright Notice
© Licențiada.org respectă drepturile de proprietate intelectuală și așteaptă ca toți utilizatorii să facă același lucru. Dacă consideri că un conținut de pe site încalcă drepturile tale de autor, te rugăm să trimiți o notificare DMCA.
Acest articol: CC.st.gr III. Dr. ing. Șerban Ionel [310205] (ID: 310205)
Dacă considerați că acest conținut vă încalcă drepturile de autor, vă rugăm să depuneți o cerere pe pagina noastră Copyright Takedown.