Interact iune 3D n timp real multimodal a [621188]

Interact iune 3D ^ n timp real multimodal a
Popa Marinela

Cuprins
1 Scurt istoric 2
2 Interact iune 3D cu m anu si 3
2.1 F ara exoschelet . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.1.1 M anu sa Peregrine . . . . . . . . . . . . . . . . . . . . . . 3
2.1.2 M anu sa . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.2 Cu exoschelet – r aspuns haptic . . . . . . . . . . . . . . . . . . . 4
2.2.1 M anu sa Manus . . . . . . . . . . . . . . . . . . . . . . . . 4
2.2.2 M anu sa Senso . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2.3 M anu sa Gloveone . . . . . . . . . . . . . . . . . . . . . . . 7
2.2.4 M anu sa Avatar . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2.5 M anu sa Dexmo . . . . . . . . . . . . . . . . . . . . . . . . 9
3 Interact iune 3D f ar a m anu si 11
3.1 Leap Motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.2 Motion Capture . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.3 Uinert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
4 Medii de dezvoltare 3D 12
4.1 Unity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.2 Unreal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.3 Aurora . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.4 Crytek . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
5 Proiectare de detaliu  si implementare 13
6 Studiu de caz 14
i

List of Figures
2.1 M anu sa Peregrine . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.2 M anu sa Manus . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3 M anu sa Senso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.4 M anu sa Gloveone . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.5 M anu sa Avatar cu 3 benzi . . . . . . . . . . . . . . . . . . . . . . 9
2.6 M anu sa Dexmo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1

Capitolul 1
Scurt istoric
2

Capitolul 2
Interact iune 3D cu m anu si
2.1 F ara exoschelet
2.1.1 M anu sa Peregrine
M anu sa Peregrine are 38 de puncte de atingere (puncte cheie) care pot
personalizate pentru a declan sa orice act iune ^ n mediul de joc. Tastele frecvent
utilizate pot  programate ^ n locurile u sor de atins.
Sensibilitatea butoanelor este reglabil a. Calibrarea personalizat a permite
utilizatorului s a ajusteze m anu sa pe m arimea m^ ainii sale pentru o experient  a
optimizat a.
Concentrarea este mult mai mare datorit a pozit ion arii tastelor. Utilizatorul
nu mai pierde timp uit^ andu-se la tastatur a pentru a c auta sau forma o cheie
special a. Astfel,cre ste  si viteza acestuia in aplicat ie.
Peregrine ofer a posesorului ei un confort ergonomic. Utilizatorul poate
adopta orice pozit ie a m^ ainilor  si brat elor pentru un confort c^ at mai mare.
M anu sa este lavabil a. ^Inainte de a o sp ala, rul trebuie ^ nl aturat.
Conectorul magnetic poate  ^ ndep artat cu u surint  a. Astfel, utilizatorul se
poate conecta si deconecta f ar a s a ^  si scoat a m anu sa. Iar pl acile din aur asigur a
o vitez a maxim a de conectare.
Peregrine salveaz a p^ an a la 5 congurat ii de taste. Acestea pot  programate
de c atre utilizator sau desc arcate de pe internet.
M anu sa are nevoie de 5 minute sau mai put in pentru o funct ionalitate de
baz a  si de 1 or a sau mai put in pentru o utilizare avantajoas a.
Peregrine este disponibil a numai ^ n varianta pentru m^ ana st^ ang a  si ^ n 3
m arimi: mic a, medie  si mare. M anu sa are 10 spat ii de aerisire pentru o tem-
peratur a perfect a a m^ ainii, iar cureaua de m^ an a este reglabil a.Peregrine are 1
an garant ie, ^ n timp ce conectorul magnetic are doar 6 luni. Pret ul unei astfel
de m anu si este de
3

CAPITOLUL 2. INTERACT  IUNE 3D CU M ANUS I 4
Figure 2.1: M anu sa Peregrine
2.1.2 M anu sa
2.2 Cu exoschelet – r aspuns haptic
R aspunsul haptic reprezint a utilizarea simt ului de atingere^ ntr-o interfat  a de
utilizator pentru a furniza informat ii unui utilizator nal. Mai exact, "haptic"
^ nseamn a s a simt i c^ at de greu este un obiect, s a ^ t i dai seama de ce este, s a ^ l
pot i mi sca, etc. Dispozitivele care utilizeaz a acest concept creeaz a vibrat ii de
intensitate mic a pentru a produce senzat ii haptice utilizatorului.
Practic, purt^ and aceste m anu si, utilizatorul va putea s a:
ˆapese butoane ^ ntr-un joc
ˆrecunoasc a texturile
ˆsimt a temperatura sau chiar undele de sunet
ˆridice obiecte (dac a mediul este optimizat)
^In cele ce urmeaz a, vor  prezentate cele mai cunoscute m anu si.
2.2.1 M anu sa Manus
Manus VR este o manu s a care aduce interact iune intuitiv a cu realitatea
virtual a. Modelul s au unic  si tehnologia de ultim a or a permit experient e cu
adev arat surprinz atoare urm arind m^ ainile ^ n timp real. Cu o varietate nelimi-
tat a de posibilit at i, m anu sile Manus VR ofer a solut ii pentru capturarea mi sc arii

CAPITOLUL 2. INTERACT  IUNE 3D CU M ANUS I 5
 si pentru simul ari de antrenament. Acestea sunt compatibile cu sistemele VR
 si Motion Capture, precum HTC Vive, Xsens, Vicon, PhaseSpace  si OptiTrack.
Specicat ii:
ˆUrm arire complet a a degetelor
Fiecare deget cont ine doi senzori care ^  si urm aresc mi scarea. ^In plus,
degetul mare are un senzor separat pentru a ^  si m asura rotat iile.
ˆLavabile
Datorit a carcasei rezistent a la ap a, ecare manu s a poate  sp alat a manual.
ˆUrm arirea brat elor
Prin solut iile de urm arire pe ^ ncheietura m^ ainii  si prin cinematica invers a,
se pot vedea  si brat ele ^ n lumea virtual a.
ˆF ar a r
Manu sa este complet f ar a r  si are o latent  a (reprezint a intervalul de timp
necesar datelor pentru a c al atori ^ ntre surs a  si destinat ie) de 5ms.
ˆFeedback haptic
Fiecare m anu s a cont ine un motor cu vibrat ii complet programabile pentru
r aspuns haptic. C^ and utilizatorul efectueaz a o act iune, o vibrat ie poate
simt it a pe partea din spate a m^ ainii.
ˆSenzori IMU
Fiecare m anu s a cont ine un giroscop, un accelerometru  si un magnetometru
pentru a m asura orientarea m^ ainii.
ˆCerint e hardware sc azute
Manu sa nu necesit a nicio resurs a de pe calculator sau de pe dispozitivul
mobil.
ˆDurata lung a de viat a a bateriei
Fiecare m anu s a este alimentat a de celulele de putere de v^ arf ale companiei
Varta, care dureaz a p^ an a la 3-6 ore de utilizare extensiv a.
Manus VR este compatibil a cu: Vive, OSVR, Unity, Unreal  si Windows 8.
Solut ii de urm arire
Manu sa calculeaz a pozit ia relativ a a m^ ainii baz^ andu-se pe solut ia de urm arire
a altor sisteme precum Xsens  si ViveTracking. Orice solut ie de urm arire care
ofer a locat ia ^ ncheieturii m^ ainii poate  utilizat a pentru a asigura urm arirea
pozit iei. Manus VR este testat a cu OptiTrack, Vicon, Xsens, PhaseSpace  si
Vive Tracking.
Setul de dezvoltare Manus VR const a ^ ntr-o pereche de m anu si, 2 cabluri de
^ nc arcare, 2 urm aritoare pentru degetul mare  si setul de dezvoltare in C++  si
C#. Toate acestea cost a 1000 ¿.

CAPITOLUL 2. INTERACT  IUNE 3D CU M ANUS I 6
Figure 2.2: M anu sa Manus
2.2.2 M anu sa Senso
Compania Senso dezvolt a m anu si f ar a r pentru realitatea virtual a (VR)  si
augmentat a (AR). Manu sa Senso urm are ste pozit ia m^ ainilor  si degetelor, oferind
r aspuns haptic pentru ecare deget.
Specicat ii:
ˆUrm arire precis a
Av^ and 7 senzori IMU pentru ecare m^ an a, 9DOF IMU ^ n centru  si un
software personalizat, m anu sile Senso permit mi scarea perfect a a m^ ainilor.
ˆR aspuns haptic
M anu sa ofer a r aspuns haptic cu 5 motoare de vibrat ii pentru ecare m^ an a.
ˆF ar a r
M anu sa este f ar a r  si are o latent  a mai mic a de 10 ms.
ˆDurata lung a de viat  a a bateriei
Acumulatorul ofer a 10 ore de lucru cu manu sile.
ˆUrm arire extern a
M anu sile au module SteamVR^ ncorporate. Urm arirea extern a este opt ional a.
Senso este compatibila cu Unreal, Unity, C++  si Android.
M anu sile Senso pot  achizit ionate la pret ul de 100 $.

CAPITOLUL 2. INTERACT  IUNE 3D CU M ANUS I 7
Figure 2.3: M anu sa Senso
2.2.3 M anu sa Gloveone
Aceast a m anu s a permite utilizatorului s a ating a, s a simt a forma sau greu-
tatea  si chiar s a distrug a orice obiect virtual pe care ^ l poate vedea pe ecranul
calculatorului sau ^ n c a stile pentru realitate virtual a.
Specicat ii:
ˆR aspuns haptic
Utilizatorul prime ste avertismente haptice  si evenimente de alert a.
ˆLatent  a mic a
Latent  a redus a prin Bluetooth 4.0  si latent  a foarte sc azut a cu USB.
ˆFunct ionalitate bun a
M anu sa are zone de contact pentru recunoa stere digital a  si abil a a ges-
turilor  si amprent a extrem de redus a pentru calculator  si dispozitive mo-
bile.
ˆDurata lung a de viat  a a bateriei
Pret ul unei m anu si este de 247,11 ¿, iar pentru o pereche 453,72 ¿.

CAPITOLUL 2. INTERACT  IUNE 3D CU M ANUS I 8
Figure 2.4: M anu sa Gloveone
2.2.4 M anu sa Avatar
Avatar include toate caracteristicile pe care le are Gloveone, dar are in plus
cateva competent e unice. Chiar dac a ambele m^ aini sunt plasate ^ n ni ste "cu-
tii negre" ^ n care urm arirea vizual a nu este posibil a, tehnologia te urm arire a
m anu silor Avatar funct ioneaz a f ar a probleme.
Specicat ii:
ˆUrm arire complet a a p art ii superioare a corpului
Aceast a tehnologie se bazeaz a pe o congurat ie compus a din senzori de
mi scare. Ace sti senzori urm aresc mi sc arile pieptului, brat elor  si a m^ ainilor
cu o precizie foarte mare.
ˆSenzor IMU
Un astfel de senzor este inclus ^ n placa de baz a pentru a colecta datele
de rotat ie  si accelerare. Acestea sunt fuzionate cu datele suplimentare de
urm arire ale sistemului ales de utilizator.
ˆR aspuns haptic
Aceste m anu si nu ofer a doar un r aspuns haptic, ci  si un mod de contro-
lare inteligent. Au fost incluse zone conductive in m anu si care permit
utilizatorului s a declan seze act iuni specice ^ n cadrul oric arui scenariu
ales. Aceast a caracteristic a are latent a egal a cu 0 deoarece este bazat a pe
circuit.
ˆFunct ionalitate bun a
M anu sa are o amprent a extrem de redus a pentru calculator  si dispozitive

CAPITOLUL 2. INTERACT  IUNE 3D CU M ANUS I 9
mobile.
ˆLatent  a mic a
Bluetooth 4.0 are o latent  a de 8 ms, iar conexiunea prin cablu de 9 ms.
Astfel, m anu sile ofer a o percept ie foarte realist a a atingerii.
M anu sile  si 5 benzi de urm arire Avatar pot  achizit ionate cu 2000 ¿, iar o
singur a m anu s a ^ mpreunu a cu 3 benzi cost a 1100 ¿.
Figure 2.5: M anu sa Avatar cu 3 benzi
2.2.5 M anu sa Dexmo
Dexmo inregistreaz a complet mi sc arile m^ ainii  si ofer a r aspuns haptic. Cu
acestea, utilizatorul poate s a simt a dimensiunea, forma  si rigiditatea obiectelor
virtuale.
Specicat ii:
ˆF ar a r
ˆR aspuns haptic
ˆDurata lung a de viat  a a bateriei
Aceast a m anu s a este cel mai nou model creat de cei de la dextarobotics  si nu
a ie sit pe piat  a deoarece echipa dexta lucreaz a ^ nc a la ea pentru a o ^ mbun at at ii.

CAPITOLUL 2. INTERACT  IUNE 3D CU M ANUS I 10
Figure 2.6: M anu sa Dexmo

Capitolul 3
Interact iune 3D f ar a m anu si
3.1 Leap Motion
Leap Motion este o tehnologie ce permite utilizatorului s a controleze com-
puterul doar prin mi sc ari ale mainilor, cu o acuratet e foarte mare av^ and o
precizie a gesturilor sub milimetru. Este un dispozitiv mai mic dec^ at un mouse,
care urm are ste mi scarea degetelor  si pozit ia ^ ncheieturilor. Este conceput pen-
tru a  pus pe un dispozitiv cu fat a ^ n sus sau montat pe un set de c a sti de
realitate virtual a.
Controler-ul are carcasa din aluminiu  si o baz a cauciucat a pentru o aderent  a
bun a. Are dou a camere monocromatice  si trei senzori infraro sii.
Principiul s au de funct ionare este relativ simplu: creeaz a o semisfer a de
aproximativ un metru ^ n aer, zon a ^ n care utilizatorul ^  si poate mi sca m^ ainile  si
alte obiecte, iar act iunile sale se transmit pe ecranul calculatorului.
3.2 Motion Capture
3.3 Uinert
11

Capitolul 4
Medii de dezvoltare 3D
4.1 Unity
4.2 Unreal
4.3 Aurora
4.4 Crytek
12

Capitolul 5
Proiectare de detaliu  si
implementare
13

Capitolul 6
Studiu de caz
14

Bibliography
[1] http://www.ultravr.org/virtualreality/should-you-buy-virtual-
reality-gloves/
[2] https://manus-vr.com/
[3] https://senso.me/
[4] https://www.neurodigital.es/gloveone/
[5] https://www.neurodigital.es/avatarvr/
[6] http://www.dextarobotics.com/
[7] http://theperegrine.com/product/
[8] https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3690061/
Bibliograe
15