Sistem de captare a mișcării inerțial Xsens [309890]

GENERALITĂȚI

Analiza cu precizie a parametrilor poziționali are o importanță majoră în cercetarea din diverse domenii și transpunerea lor în realitatea virtuală. Necesitatea captării mișcării a impus dezvoltarea tehnologiilor care să poată capta poziția și să o redea cu ajutorul computerului [T.B. Moeslund, 2006].

Pentru captarea mișcării s-au utilizat de-a lungul timpului diferite sisteme de captare a mișcării unele bazate pe markeri fluorescenți ([anonimizat] [http://www.vicon.com], altele bazate pe captarea mișcării inerțiale ([anonimizat] [ http://www.xsens.com] sau prin captarea undelor electromagnetice [http://www.ascension-tech.com. ].

Figura

Sistem de captare a mișcării inerțial Xsens

https://www.digikey.com/product-detail/en/xsens technologies http://graphics.berkeley.edu/people/jObrien-publications.html

Figura

Sistem de captare a [anonimizat]://www.kinematics.com/spatialanalyzer/whatsnew;

http://www.stereolux.org

Figura

Sistem de captare a mișcării cu unde electromagnetice

https://www.ascension-tech.com/

În ultimii ani s-a [anonimizat], [anonimizat], să urmărească și să afișeze elementele din componența sistemului anatomic uman [ Zhang H., 2011].

[anonimizat], [anonimizat], dintre om și interfețele grafice. Dispozitivul Kinect a fost creat pentru a [anonimizat].

Acest senzor, a devenit foarte utilizat în diverse domenii de cercetăre datorită modului facil de a [anonimizat] a prețului accesibil (cifre recente arată vânzarea a peste 18 milioane de dispozitive în întreaga lume).

Kinect a fost dezvoltat inițial sub numele de cod ,,Project Natal”, [anonimizat] a [anonimizat], dar și pentru a reflecta intenția companiei de a ‚,naște” o nouă generație de divertisment la domiciliu. [anonimizat] 2005, [anonimizat], [anonimizat], [anonimizat] .

[anonimizat] 3D a [anonimizat] a elementelor componente ale acestuia.

CONSTRUCȚIE

Senzorul Kinect a fost dezvoltat inițial cu scopul de a captura mișcarea pentru consola video de jocuri Xbox. Kinect a fost folosit și în alte scopuri decât cele pentru care a [anonimizat].

[anonimizat], este compus dintr-o cameră video pentru achiziția imaginii RGB (Red-Green-Blue) care pentru sistemul de operare Windows funcționează pe trei rezoluții (320×240, 640×480, 1024×768). De asemenea este prevăzut cu o camera de adâncime (dept camera) [anonimizat], [anonimizat] a [anonimizat] 3D și pentru realizarea hărții de profunzime a câmpului vizual (Figura ).

Figura

Camerele de captare a imaginii a senzorului Kinect

https://msdn.microsoft.com/en-us/library/hh855355.aspx

Pentru captarea sunetului, dispozitivul este prevăzut cu patru microfoane care realizează și localizarea sursei acestuia. Aceste intrări audio filtrează zgomotul de fond și detectează poziția subiectului dacă acesta vorbește. Dispunerea microfoanelor nu este simetrică, un microfon în partea stângă a dispozitivului și trei microfoane în partea dreaptă, figura , tocmai pentru a recunoaște vocea de la distanță. Această dispunere specifică a microfoanelor este responsabilă de lățimea dispozitivului Kinect.

Figura

Dispunerea microfoanelor în senzorul Kinect

http://www.consolegames.ro/forum/f64-stories-other-news/28362-cum-functioneaza-kinect/

FUNCȚIONAREA SENZORULUI KINECT

Senzorul Kinect capacitatea de a capta simultan imagini color și de profunzime simultan cu o frecvență de 30 Hz. Fiecare cadru capturat conține un număr de 307200 de pixeli, corespunzător rezoluției de 640·480, rezultatele de adâncime fiind prezentate ca un nor de puncte colorat.

Emițătorul infraroșu (IR), emite o singură rază, care este împărțită în mai multe fascicule printr-o rețea reticulară de difracție pentru a crea un model constant de puncte proiectate pe subiect (figura ). Aceste puncte crează un model ce este recepționat de camera (receptorul) în infraroșu și este comparat cu un model de referință [Khoshelham K., 2012].

Figura

Proiectarea razei IR pe obiect și imaginea de adâncime procesată

[Khoshelham K., 2012]

Dezvoltatorii senzorului Kinect descriu măsurarea adâncimii ca un proces de triangulație [Freedman B., 2010].

Figura

Schema de funcționare a camerei Kinect

Distanța dintre senzor și obiect este analizată și, în funcție de aceasta, senzorul atribuie fiecărui pixel disparitatea corespunzătoare. Pentru un obiect aflat la distanța Z0, față de senzor, în planul de referință (figura ), este capturat un fascicul IR de pe obiect aflat în planul obiectului, la distanța Zk, prin intermediul camerei (receptorului) în infraroșu. Dacă obiectul se apropie, sau se depărtează de senzor, se modifică valoarea disparității, d, pe direcția X [Khoshelham K., 2012].

Figura

Triangulația realizată pentru măsurarea profunzimii de senzorul Kinect

[Khoshelham K., 2012].

Din asemănarea triunghiurilor:

Determinarea distanței dintre senzor și obiect, Zk, se obține substituind D în (1) din (2):

(3)

unde

Zk – distanța (adâncimea) a punctului k de pe obiect;

b – distanța între emițătorul și receptorul IR;

f – distanța focală a receptorului (camerei) IR;

D – deplasarea punctului urmărit;

d – disparitatea.

Poziționarea în plan vertical a dispozitivului Kinect o realizează un motor de înclinare a cărui unghi variază între ±27o având o rază de acțiune de 0,8 – 3,5 m . Camera de adâncime realizează capturi într-un câmp vizual de 58o pe orizontală și de 43,5o pe verticală, obținând o rezoluție pe coordonatele spațiale X-Y de 3 mm, iar în profunzime (Z) de 10 mm. Informațiile suplimentare oferite de camera de adâncime deschide posibilitatea analizei tridimensionale a mișcării.

Senzorul Kinect poate recunoaște, independent sau prin analogie cel puțin 25 de puncte (articulații, elemente osoase) ale corpului uman. Software-ul PrimeSense împreună cu sistemul Kinect detecteză mișcările utilizatorului recunoaște elementele componente ale omului, pe care le compară cu o serie de tipare ale corpului uman, aflate într-o librărie de date, crează un model de schelet și încarcă un avatar asociat acestuia.

APLICAȚII

Aplicații ale senzorului Kinect

Microsoft Kinect a fost conceput inițial pentru jocuri virtuale datorită interacțiunii cu calculatorul prin intermediul mișcărilor corpului și a facilității oferită de metoda ,,hands-free”.

Figura

Utilizarea senzorului Kinect în jocuri virtuale

http://gamerland.ro/microsoft-xbox360-x360/xbox-360-kinect-kiegeszito-jatek

Cabina de probă virtuală (Virtual Dressing Room) care utilizează interfața grafică pe post de oglindă interactivă și care permite cumpărătorului să probeze virtual haine. Camera Kinect identifică utilizatorul și-i analizează antropometria, după care, în funcție de modelul de haine ales, suprapune articulațiile virtuale ale utilizatorului pe zonele hainelor corespunzătoare acestora (figura ).

Figura

Utilizarea senzorului Kinect pentru camera de probă virtuală

S-au utilizat și algoritmi care urmăresc și detectează degetele concluzionând în gesturile făcute de acestea [Cerezo F.T., 2012; Oikonomidis I., 2011]. Cu ajutorul detecției gesturilor degetelor și a mișcării acestora, realizată de senzorul Kinect, s-a dezvoltat o aplicație care permite cântatul la diverse instrumente virtuale [Kinect Fun Labs Election: Keyboard Anywhere, https://www.youtube.com/watch?v=4STUGl-YHDc].

Figura

Instrument virtual acționat prin detecția gesturilor de senzorul Kinect

O aplicație a MIT Media Lab referitoare la senzorul Kinect face ca prin intermediul gesturilor să se poată interacționa cu computerul (DeptJS), aplicație foarte utilă în cazul chirurgiei, când este necesar accesarea unor baze de date sau navigarea în colecții medicale virtuale în timpul operației fără atingerea tactilă a ecranului monitorului [DepthJS, MIT Media Lab, http://depthjs.media.mit.edu].

Figura

Interacțiunea cu calculatorul prin intermediul gesturilor

http://depthjs.media.mit.edu/

În cadrul unei lucrări la Institute for Dynamic Systems and Control (IDSC) Zurich, Elveția, s-a realizat o aplicație, folosind senzorul Kinect, pentru a face posibilă interacțiunea și controlul unei drone quadromotor prin intermediul gesturilor mâinii (figura ). [http://www.FlyingMachineArena.org]

Figura

Controlul unui aparat de zbor cu ajutorul gesturilor mâinii detectate de Kinect

De asemenea, vehicule autonome pot fi dotate cu senzorul Kinect ca senzor de detecție a mediului pentru evitarea obstacolelor, figura , având dezavantajul că detecția se realizează în limita distanței de detecție a senzorului [http://www.ros.org/news/2010/12/kinect-on-a-quadrotor-autonomous-flight-and-obstacle-avoidance-with-kinect-sensor.html].

Figura

Senzorul Kinect utilizat în detecția obstacolelor

http://www.ros.org

Utilizarea senzorului Kinect în dezvoltarea roboților a fost posibilă datorită modului în care senzorul permite comunicarea între om și robot prin intermediul gesturilor, realizându-se comanda robotului. Lucrul acesta este posibil datorită informațiilor generate de senzor despre scheletul și poziția articulațiilor utilizatorului, calculând unghiurile articulațiilor și transformându-le în unghiurile corespunzătoare robotului. Prin intermediul unei conexiuni wireless aceste date sunt transmise robotului, care reproduce mișcarea utilizatorului. [Boboc R.G.I.S., 2015].

Figura

Interfața grafică utilizată pentru comanda robotului

Interacțiunea naturală om-robot pentru aplicații de robotică asistivă Ing. Răzvan Gabriel I. S. BOBOC Brașov, 2015

În ultimul timp au luat amploare sistemele mecatronice de asistență a conducerii autovehiculelor oferind date și ușurând sarcina conducătorului auto. Senzorul Kinect și-a găsit utilitate și în acest domeniu. Producătorii Toyota au folosit camera Kinect în cadrul proiectului de cercetare DAR-V (Driver Awareness Research Vehicle) pentru a monitoriza comportamentul conducătorului auto, dar și ca instrument de interacțiune a șoferului cu autovehiculul [Turpen 2013].

Figura

Camera Kinect utilizată în interacțiunea utilizatorului cu autovehiculul

http://www.carnewscafe.com/2013/11/toyota_darv_microsoft_kinect/

În domeniul medical s-a dezvoltat aplicația Mini-Virtual Reality Enhanced Mannequin (Mini-VREM) care folosește camera Kinect pentru învățarea procedeului de resuscitare cardio-pulmonară urmărind gesturile mâinii, plasarea și puterea de compresie toracică exercitată de utilizator asupra unui pacient virtual în stop cardiac, oferind un feedback în timp real asupra corectitudinii procedeului [Mini-VREM (Mini-Virtual Reality Enhanced Mannequin), http://www.mini-vrem.it/].

Figura

Utilizarea camerei Kinect pentru învățarea unor procedee medicale

http://www.mini-vrem.it/

Aplicații ale senzorului Kinect în biomecanică

Urmărirea poziției elementelor scheletului uman și a articulațiilor acestuia constituie cea mai utilizată aplicație a senzorului Kinect. Această aplicație constă în urmărirea articulațiilor și analizarea cu ajutorul unor algoritmi (Dynamic Time Warping) a gesturilor [Senin P., 2013; Reyes M., 2011].

S-a observat statistic o creștere a numărului de persoane care suferă de accidente vasculare cerebrale. Numai în Marea Britanie aceste accidente depășesc 150.000 de persoane anual, majoritatea persoanelor având vârsta peste 65 de ani. Reabilitarea în urma accidentelor vasculare cerebrale este anevoioasă și a constituit obiect de cercetare pentru un grup de profesori englezi, care utilizănd camera Microsoft Kinect, au realizat un program de exerciții de reabilitare cu o configurație unică pentru fiecare pacient. Astfel, sistemul analizează expresia facială a pacientului care a suferit o pareză la nivel facial și o compară cu o serie de expresii faciale preconfigurate într-o bază de date permițând medicilor să personalizeze exercițiile fizice de recuperare. Mai mult, utilitatea acestei metode de recuperare este dovedită prin identificarea rapidă a problemelor faciale de la distanță, nefiind necesară vizita medicului la domiciliul pacientului. [Breedon P., 2014].

Folosind opțiunea de scanare a senzorului Kinect s-a realizat scanarea capului uman în scopul a fost de a produce o mască ortotică pentru pacienții cu arsuri traumatice (figura ). În urma prelucrării imaginilor 3D oferite de camera Kinect s-a putut realiza o mască personalizată acrilică pentru a oferi o presiune redusă asupra arsurilor [Ciobanu O., 2016].

Figura

Scanarea 3D și realizarea unei măști ortotice

[Ciobanu O., 2016].

Analiza cinematică a mersului uman cu ajutorul camerei Kinect a fost realizată în cadrul unui experiment în care s-a urmărit variația parametrului articular al cuplei cinematice a genunchiului pentru determinarea asimetriilor aparatului locomotor [Ganea D., 2013].

Chiar dacă dispozitivul Kinect este prevăzută cu o cameră de profunzime, pentru a detecta a treia dimensiune, dacă se urmărește captarea precisă a mișcării pentru analiza biomecanică este de preferat utilizarea a două camere Kinect interconectate, care oferă mai multe informații despre mișcarea umană. Un colectiv de cercetători chinezi de la Nanjing University, School of Electronic Science and Engineering, au conectat două camere Kinect obținând pe aceiași interfață informații despre parametrii umani cu o precizie mai ridicată. [Gao Z., 2015]

Figura

Interfața grafică prin conectare a doi senzori Kinect

[Gao Z., 2015]

CONCLUZII

Kinect a fost conceput în primul rând pentru o interacțiune naturală într-un mediu de joc pe calculator

INTENȚII DE CERCETARE

INTRODUCERE

Au fost realizate mai multe lucrări de analiză a mersului pentru identificarea umană, medicină și biomecanică, animație pe calculator etc. [1]. În special, apar modificări semnificative în modelul de mers pe jos cu îmbătrânire și / sau boală, crescând riscul căderilor sau al altor probleme (mobilitate redusă, scăderea echilibrului, rigiditate crescută a corpului, pas mai scurt, ritm mai lent, mișcare redusă a membrelor etc.) [2]. Acest risc poate fi diminuat prin detectarea precoce a anomaliilor de mers cu teste clinice pentru a evalua posibila degradare sau schimbare pentru a preveni căderea și / sau pentru a diagnostica o afecțiune musculo-scheletică utilizând un treadmill sau o pasarelă. Diferite teste există deja, dar nu pot fi folosite în mod curent pe scară largă, datorită costului lor (de exemplu, sistemul de captare a mișcării Vicon [3] atinge un milion de dolari) sau datorită lipsei de precizie și acuratețe. Recent, aparatele de film cu costuri reduse [4] au apărut pe piață. Aceste camere returnează informații 3D ca imagini de adâncime. Pe scurt, o astfel de cameră proiectează un model infraroșu (IR) pe scena și o observă cu o cameră IR pentru a produce o hartă a adâncimii în timp real prin triangulare. Această caracteristică este deosebit de interesantă pentru dezvoltarea unui sistem de reconstrucție a volumului corpului în timpul mersului de mers executat pe un treadmill, de exemplu. Cu toate acestea, sunt necesare camere de adâncime care lucrează împreună pentru a avea mai multe puncte de vedere pentru o reconstrucție 3D reală. Prin urmare, scopul nostru este să arătăm mai întâi cum să adaptăm metodele existente pentru a permite calibrarea externă a camerei direct dintr-o hartă de adâncime care apare complet diferită de imaginea obișnuită a unei scene. În al doilea rând, vom demonstra modul în care această informație de adâncime poate spori rezultatele obŃinute cu o metodă de siluetă formată din siluetă, denumită coca vizuală [5]. Rezultatele vor fi prezentate pentru a demonstra superioritatea unei metodologii de camera cu adâncime în ceea ce privește configurarea obișnuită a mai multor camere pentru reconstrucția corpului 3D.