Trif C. Cristian-Gheorghe [310297]

UNIVERSITATEA ,,AUREL VLAICU” DIN ARAD

FACULTATEA DE INGINERIE

AUTOMATIZĂRI ȘI SISTEME INTELIGENTE

FORMA DE ÎNVĂȚĂMÂNT: CU FRECVENȚĂ

PROIECT DE DISERTAȚIE

ÎNDRUMĂTOR ȘTIINȚIFIC:

Prof. univ. dr. ing. [anonimizat]: [anonimizat]

2019

UNIVERSITATEA ,,AUREL VLAICU” DIN ARAD

FACULTATEA DE INGINERIE

AUTOMATIZĂRI ȘI SISTEME INTELIGENTE

FORMA DE ÎNVĂȚĂMÂNT: CU FRECVENȚĂ

Realitatea augmentată și algoritmi 3D

în aplicația SFM

ÎNDRUMĂTOR ȘTIINȚIFIC:

Prof. univ. dr. ing. [anonimizat]: [anonimizat]

2019

CUPRINS

INTRODUCERE……………………………….……………………………………1

CAPITOLUL I: DESCRIEREA PROGRAMULUI………………………………4

1. Descrierea generală………………………………………………………………..4

1.1 Pozitia-T………………………………………………………………………….6

1.2 Camerele………………………………………………………………….………8

1.3 Animatia scheletului……………………………………………………….……10

CAPITOLUL II: COMPONENTE FOLOSITE………………….……….………11

2. Kinect Xbox ……………………………………………………………….……..11

2.1 Adaptor Kinect…………………………………………………………………12

CAPITOLUL III: DESCRIEREA SOFTWARE…………………………………13

3. Tehnica capturării mișcărilor…………………………………………………..13

3.1 Capturarea mecanică a mișcării……………………………………………….17

3.2 Capturarea mișcării magnetice………………………………………………..19

3.3 Capturarea mișcării optice……………………………………………….……20

3.4 Obiective……………………………………………………………………………..22

3.5 iPi Recorder…………………………………………………………………….22

3.6 iPi Soft…………………………………………………………………………..22

CAPITOLUL IV: CREAREA ANIMAȚIEI………………………………………25

4. Exportarea animatiei…………………………………………………………….26

4.1 Particule si lumini……………………………………………………………….28

4.2 Sunete si voci……………………………………………………………………32

CONCLUZII……………………………………………………………………….33

Bibliografie…………………………………………………………………………36

INTRODUCERE

Animația este o metodă în care imaginile sunt procesate să apară ca imagini în mișcare. [anonimizat] a fi fotografiate și afișate pe film. Astăzi, majoritatea animațiilor sunt realizate cu imagini generate de calculator (CGI). Animația animată poate fi o animație 3D detaliată, în timp ce animația 2D a computerului poate fi utilizată din motive stilistice. [21]

[anonimizat]-o succesiune rapidă de imagini secvențiale care diferă minim unele de altele. Animația este mai răspândită decât mulți oameni realizează. [anonimizat], [anonimizat], grafică mișcată și efecte speciale. [anonimizat].

Istoria animației a început cu mult înainte de dezvoltarea cinematografiei. [anonimizat], să depisteze mișcarea încă din epoca paleolitică. Un bol de ceramică în vârstă de 5.200 de ani descoperit în Shahr-e Sukhteh, Iran, [anonimizat] a arăta faze ale unei capre sărindă până la un copac. În 1833, fenakistiscopul a [anonimizat], [anonimizat] (1866), flipbook (1868), praxinoscope (1877) și cinematografie. [21]

[anonimizat] J. [anonimizat]-Cooper, Segundo de Chomón și Edwin S. Porter, [anonimizat], posibil din jurul anului 1899. The Haunted Hotel (1907) din Blackton a fost primul succes uriaș, cu obiecte aparent mișcându-se de la sine și inspirând alți producători de filme pentru a încerca tehnica. [21]

Exista 2 tipuri de animatii:

Animatia 2D

Animatia 3D

Imaginile de animație 2D sunt create sau editate pe calculator utilizând grafică bitmap 2D și grafică vectorială 2D. Animația advecțională de linie finală este o tehnică folosită în animația 2D,pentru a oferi artiștilor și animatorilor mai multă influență și control asupra produsului final.

Imaginile de animatie 3D sunt modelate digital de un animator. O rețea include în mod obișnuit numeroase noduri care sunt conectate prin muchii și fețe, care dau aspectul vizual formei unui obiect 3D sau unui mediu 3D. Pot fi aplicate și alte tehnici, funcții matematice (de exemplu, gravitații, simulări de particule), blănuri sau păr simulate, efecte, simulări de foc și de apă. Aceste tehnici se încadrează în categoria dinamicii 3D.
Programul SourceFilmMaker, este un instrument puternic care funcționează cu motorul Source pentru a crea o înregistrare 3D flexibilă care poate fi exportată ca film sau ca imagine statică. Înregistrarea 3D care se crează în acest program poate conține obiecte, camere, lumini, particule, animații, efecte, sunete și informații despre mișcare pentru modul în care fiecare element se schimbă în timp. [1]

Deoarece se lucrează cu o lume virtuală, înregistrarea stochează toate datele de mișcare 3D despre fiecare element. Se poate modifica orice aspect al înregistrării în orice moment, făcând ușor modificările de ultim moment extrem de folositoare într-un studio de acțiune live.

Acest program a fost creat și folosit de Valve pentru a crea trailere/filme în interiorul Source Game Engine. Caracterele și hărțile folosite pentru crearea jocului lor principal “Team Fortress 2” sunt în atelierul programului și conțin peste 6000 de articole de descărcat, incluzând atât personaje și hărți cât și efecte, sunete, particule și obiecte.

Valve Corporation este un dezvoltator american de jocuri video, editor și distribuție digitală cu sediul în Bellevue, Washington. Este dezvoltatorul platformei de distribuție software Steam și jocurile Half-Life, Counter-Strike, Portal, Day of Defeat, Team Fortress, Left 4 Dead și Dota 2. [22]

La 27 iunie 2012, Valve a lansat o versiune beta gratuită SourceFilmMaker pentru comunitatea de jocuri prin serviciul Steam.

Steam este un software de distribuție a jocurilor digitale dezvoltat de Valve Corporation. A fost lansat în septembrie 2003 ca ​​o modalitate prin care Valve oferă actualizări automate la jocurile lor, însă în cele din urmă a fost extinsă pentru a include și jocuri non-Valve. Steam oferă servicii de gestionare a drepturilor digitale, servere de potrivire a conținutului, streaming video și servicii de rețele sociale. Acesta oferă, de asemenea, utilizatorului instalarea și actualizarea automată a jocurilor și a funcțiilor comunității, cum ar fi prietenii și grupurile, funcționalitatea vocală și chat în joc.

Software-ul oferă o interfață de programare a aplicațiilor disponibilă gratuit, numită Steamworks, pe care dezvoltatorii o pot utiliza pentru a integra multe dintre funcțiile Steam în produsele lor, inclusiv realizarea de interviuri, realizări în joc, microtransacții și suport pentru conținutul creat de utilizator prin intermediul Steam Workshop.

Deși inițial au fost dezvoltate pentru utilizarea în sistemele de operare Microsoft Windows, versiunile pentru MacOS și Linux. Aplicațiile mobile au fost lansate mai târziu pentru iOS, Android și Windows în 2010. Platforma oferă, de asemenea, o mică selecție de alte conținuturi, cum ar fi software-ul de proiectare, coloane sonore pentru jocuri, anime și filme. [23]

Platforma Steam este cea mai mare platformă de distribuție digitală pentru jocurile pe calculator, estimată în 2013 ca având 75% din spațiul de pe piață. Până în 2017, utilizatorii care au cumpărat jocuri prin Steam au totalizat aproximativ 4,3 miliarde de dolari, reprezentând cel puțin 18% din vânzările de jocuri la nivel mondial.

Până în 2019, serviciul avea peste un miliard de conturi înregistrate cu 90 de milioane de utilizatori activi lunar. Succesul platformei Steam a dus la dezvoltarea unei linii de microconsole de mașină de aburi, care includ sistemul de operare SteamOS și controlorii de abur și platforma Steam VR.

Valve a adăugat posibilitatea dezvoltatorilor de a vinde jocuri în cadrul unui model de acces rapid cu o secțiune specială a magazinului Steam, începând din martie 2013. Acest program permite dezvoltatorilor să lanseze produse funcționale, dar nu finisate, cum ar fi versiunile beta, la serviciul permite utilizatorilor să cumpere jocurile și să ofere teste și feedback către producția finală. Accesul prealabil ajută, de asemenea, la finanțarea dezvoltatorilor pentru a-și ajuta la completarea jocurilor.

Abordarea accesului temporar la acest software a permis mai multor dezvoltatori să publice jocuri pe serviciul Steam, sporind în mod semnificativ numărul de jocuri disponibile pe acest serviciu.

Figura 1. Graficul cu numărul de jocuri pe an publicate pe Steam

Vânzările prin catalogul Steam se estimează a fi între 50 și 75% din piața totală de jocuri pe PC. Adesea criticii lui Steam se referă la serviciu ca pe un monopol și susțin că plasarea unui astfel de procentaj pe piața globală poate fi în detrimentul industriei în ansamblul său și că concurența sectorului poate produce numai rezultate pozitive pentru consumator.

Steam a fost criticat pentru reducerea cu 30% a veniturilor obținute din vânzările de jocuri, valoare similară cu cea a altor magazinelor digitale percepute în momentul lansării lui Steam, dar cu aproape un deceniu mai târziu nu a mai fost scalată cu costuri mai reduse de servire a datelor. [23]

CAPITOLUL I: DESCRIEREA PROGRAMULUI

Descrierea generala

Spre deosebire de majoritatea instrumentelor de filmare, care creează doar o mică parte dintr-un film, Source Filmmaker îmbină toate fluxurile de lucru animate și efecte sub o singură conductă unificată. Cu SFM, se pot crea filme și postere utilizând materialele și evenimentele din lumea jocurilor video, oferindu-le creatorilor un mediu "ce vezi tu ești ceea ce primești". [1]

SFM oferă utilizatorului o "cameră de lucru" care îi permite să vadă ce vrea fără a împiedica camerele de scenă. De asemenea, utilizează trei interfețe principale pentru a realiza filme cu:

Editorul de clipuri (The Clip Editor) este folosit pentru înregistrarea, editarea și aranjarea fotografiilor.Editorul de clipuri permite, de asemenea, utilizatorului să așeze și să aranjeze fișierele audio și filtrele video.

Figura 2. Editorul de clipuri

Editorul de mișcări (The Motion Editor) este utilizat pentru reglarea mișcărilor în timp, cum ar fi îmbinarea fără probleme a două animații. De asemenea, presetările de mișcare (de exemplu, sacadarea) poate fi aplicat și pe căile de mișcare selectate.

Figura 3. Editorul de mișcări

Editorul grafic este utilizat pentru editarea mișcării prin crearea cadrelor cheie (key frames); acest lucru este extrem de util în animația pose-to-pose.

Figura 4. Editorul grafic

SourceFilmMaker permite utilizatorilor să înregistreze și să editeze mișcări dintr-un gameplay, precum și să înregistreze un caracter de mai multe ori în aceeași scenă, creând iluzia entităților multiple. De asemenea acest program poate suporta o gamă largă de efecte și tehnici cinematografice, cum ar fi bluratul, efectele Tyndall, iluminarea dinamică și profunzimea câmpului. De asemenea, SFM aplică efect blur de mișcare per obiect.

Figura 5. Efectul Blur

În figură 5 se observă efectul blur aplicat pe caracterul din spate având focus pe cel din fata. Acest efect este aplicat foarte des în filme și animații deoarece oferă mai multă atenție caracterului care vorbește și implicit atrage mai mult atenția privitorului.

Acest program, permite animarea manuală a oaselor și a caracteristicilor faciale, permițând utilizatorului să creeze mișcări care nu apar în timpul jocului (ca în jocuri, aproape toate secvențele de animație ale caracterelor sunt stocate într-un set de mișcări diferite și cantitatea de secvențe de animație diferite este limitată).

1.1 Poziția-T

Poziția T, formând un T stând cu picioarele apropiate și cu ambele brațe în afară, ținute paralel cu solul. O pozitie T, uneori cunoscuta ca o poza de legatura sau o pozitie de referinta, este starea implicita unanimata a unui model in grafica 3D. Această poză este adesea cu toate părțile diferite ale unui model îndreptate sau aplatizate pentru ușurința animației. Fiecare personaj are nevoie de o poziție implicită, ceva de făcut atunci când nu are instrucțiuni sau pauze de cod, de aceea a fost creată poziția T.

În afara faptului că se prezintă în mod implicit în software-ul de animație, legăturile posibile sunt folosite în mod obișnuit ca substituenți pentru animațiile care nu au fost încă finalizate, în special în jocurile video animate 3D. În unele software-uri de captare a mișcării, o atitudine de legare trebuie asumată de actor în costumul de captură a mișcării înainte de începerea capturării mișcării.

Figura 6. Pozitia-T in programul SFM

Figura 7. Pozitia-T in programul IpiSoft

1.2 Camerele

Există 2 tipuri de camere:

-camera de deplasare

-camera de lucru

Camera de deplasare este cameră prin care utilizatorul se poate deplasa în jurul hârtii pentru a

modifica și edita caracterele și obiectele incluse în interior.

Camera de lucru este de tip “cameraman” și este folosită pentru poziționarea finală a scenei. Aceasta se poate mișca în orice poziție utilizând editorul grafic, adăugând key frame-uri.

Figura 8. Camera de deplasare

Figura 9. Camera de lucru

Pe lângă cele 2 camere importante, mai există și a 3-a camera ajutătoare numită Secondary ViewPort. Această cameră ușurează munca deoarece ea rămâne nemișcată în colțul din stânga jos în camera principală. În acest mod se poate lucra în celelalte 2 camere fără probleme vizualizând a 3-a camera pentru a vedea toate schimbările sau noutățile adăugate în camera de lucru.

Figura 10. Camera principala si camera ajutatoare

Camera are mai multe funcții importante care ajută la crearea unor scene cât mai realiste și apropiate scurtmetrajelor din cinematografe. Cele 2 funcții cele mai importante sunt apertura și distanță de focusare. Folosind ambele funcții vom obține efectul blur care se poate observa în figură 5.

O altă funcție importantă este funcția transform, care ajută la mutarea camerei în orice poziție prin simpla mutare sau chiar animate cu key-frame-uri. Pătratul din stânga funcției transform reprezintă blocarea camerei de un alt obiect sau caracter pentru a urmării acțiunile caracterelor fără a sacada.

De asemenea există și funcția lentilelor care ajută la apropierea și depărtarea camerei de obiectiv.

Figura 11. Functiile camerei Figura 12. Functiile lentilelor

1.3 Animatia scheletului (Rigs)

Animația scheletului este o tehnică în animația computerizată în care un caracter sau alt obiect articulat este reprezentat în două părți:

-o reprezentare de suprafață folosită pentru a desena caracterul

-un set ierarhic de oase interconectate numit schelet sau rig, folosit pentru a anima (pozitia și keyframe)

În timp ce această tehnică este adesea folosită pentru animarea oamenilor sau în general pentru modelarea organică, ea servește pentru a face procesul de animație mai intuitiv și poate fi utilizată pentru a controla deformarea oricărui obiect.

Această tehnică este folosită de construirea unei serii de "oase", denumită uneori rigidizare. Fiecare os are o transformare tridimensională de la poziția implicită a legăturii (care include poziția, scala și orientarea) și un os parental opțional. Pe măsură ce personajul este animat, oasele își schimbă transformarea în timp, sub influența unui controler de animație. O platformă este în general compusă atât din cinematică normală, cât și din părțile cinematice inverse, care pot interacționa între ele. O animație scheletică se referă la partea cinematică din față a platformei. [24]

Figura 13. Comparatia oaselor fara rig si cu rig

Animația scheletului este modul standard de a anima caractere sau obiecte mecanice pentru o perioadă lungă de timp ,de obicei peste 100 de cadre. Este folosit în mod obișnuit de către artiștii de jocuri video și în industria cinematografică și poate fi aplicat și obiectelor mecanice și oricărui obiect alcătuit din elemente rigide și îmbinări. [24]

CAPITOLUL II: COMPONENTE FOLOSITE

Kinect Xbox

Kinect-ul un dispozitiv periferic pentru senzori de mișcare produs de Microsoft. Inițial, Kinect a fost dezvoltat ca un accesoriu pentru jocuri pentru consolele de jocuri video Xbox 360 și Xbox One și pentru PC-urile Microsoft Windows. Prima generație de Kinect pentru Xbox 360 a fost introdus în noiembrie 2010, în încercarea de a extinde audiența consolei dincolo de baza tipică de gameri. Microsoft a lansat pe 16 iunie 2011 o versiune beta a kitului de dezvoltare software Kinect pentru aplicațiile Windows 7, care inițial sprijină hardware-ul Kinect pentru Xbox 360 conectat la un PC pentru aplicații necomerciale. Acest SDK era menit să permită dezvoltatorilor să scrie aplicații Kinect în C ++ / CLI, C # sau Visual Basic.NE. [2]

Kinect-kl pentru Xbox One, este noua versiune cu capabilități hardware extinse semnificativ. A fost lansată cu platforma Xbox One începând cu 2013. Hardware-ul corespunzător Kinect pentru Windows

Figura 14. Kinect Xbox

Senzorul Kinect include următoarele 4 componente. Numărul 1 indică doi senzori de adâncime 3D care pot urmări corpul subiectului în spațiul de redare. Numărul 2 indică o cameră RGB (roșu, verde, albastru) care ajută la identificarea subiectului și face fotografii și videoclipuri. Numarul 3 reprezinta microfoanele dispozitivului. Ultima componentă este o înclinare motorizată baza care poate înclina automat capul senzorului în sus și în jos, atunci când este necesar.
Frecvența senzorului Kinect este de 30 de cadre pe secundă și rezoluția camerei este de 640×480 pixeli. Senzorul de adâncime este alcătuit dintr-un emițător IR care emite lumină infraroșie grinzile și apoi grinzile IR sunt reflectate înapoi la senzorul de adâncime. Ulterior, senzorul de adâncime citește această informație și o convertește în date de adâncime care măsoară distanța între obiect și senzor.

Kinect-ul Xbox-One are o acuratețe mai mare, cu o fidelitate de trei ori față de predecesorul său și poate urmări fără lumină vizibilă prin utilizarea unui senzor IR activ. Are un câmp vizual de 60% mai larg, care poate detecta un utilizator de până la 3 picioare distanță de senzor, comparativ cu șase picioare pentru Kinect original și poate urmări până la 6 schelete simultan. [2]

De asemenea, poate detecta ritmul cardiac al jucătorului, expresia feței, poziția și orientarea a 25 de articulații individuale (inclusiv degetele), greutatea pusă pe fiecare membru, viteza mișcărilor jucătorilor și gesturile de urmărire efectuate cu un controler standard.

Camera color capturează un film de 1080p care poate fi afișat în aceeași rezoluție ca ecranul de vizionare, permițând o gamă largă de scenarii. În plus față de îmbunătățirea comunicațiilor video și a aplicațiilor de analiză video, aceasta oferă o intrare stabilă pe care să se construiască aplicații interactive.

Microfoanele Kinect sunt utilizate pentru a furniza comenzi vocale pentru acțiuni precum navigarea, pornirea jocurilor și trezirea consolei din modul de repaus. [3]

Figura 15. Microfoanele din interiorul Kinect-ului

Kinect-ul în această animație 3D are rolul de a transforma mișcările unui caracter real într-un caracter virtual prin “tehnica capturării mișcărilor” (motion capture).

Adaptor Kinect

Pentru a conecta Kinect-ul Xbox One la calculator, este nevoie de un adaptor special lansat de Microsoft in 2016. Acesta face legatura dintre Kinect-ul propriu zis si calculator printr-o mufa USB.

Figura 16. Conectarea Kinect-ului la calculator prin adaptor

CAPITOLUL III: DESCRIEREA SOFTWARE

Tehnica capturarii miscarilor

Capturarea mișcării denumită mo-cap sau mocap, este procesul de înregistrare a mișcării obiectelor sau a oamenilor. Se utilizează în aplicații de divertisment, sportive, medicale și pentru validarea viziunii pe calculator și a roboticii. În filmari, animații și dezvoltarea jocurilor video, se referă la acțiunile de înregistrare ale actorilor umani și folosirea acelor informații pentru animarea modelelor de caractere digitale în animația pe calculator 2D sau 3D. În multe domenii, captura de mișcare este uneori numită „urmărirea mișcării”, dar în filme și jocuri, urmărirea mișcării se referă, de obicei, mai mult la potrivirea mișcării. [7]

Tehnologia de imagistică sa dezvoltat rapid în deceniile astea. Dispozitivul de captare a mișcării (mocap) integrat cu senzorul de mișcare are un preț scump și poate fi deținut numai de un studio de animație mare. Din fericire, acum exista deja un aparat foto Kinect echipat cu senzor de adâncime e pe piață cu un preț foarte scăzut comparativ cu orice dispozitiv mocap. Bineînțeles, precizia nu este la fel de bună ca dispozitivele scumpe, dar folosind o pre-procesare putem elimina nervozitatea și zgomotul în punctele de schelet 3D. Metoda propusă este parte din extracția de caracteristici bazată pe model și o numim model 3D Skeleton. Modelul de schelet 3D pentru extragerea mersului în sine este un nou model, având în vedere că modelul anterior utilizează modelul scheletului 2D. Avantajele în sine sunt obținerea unei coordonate precise a punctului 3D pentru fiecare model de schelet, mai degrabă decât doar punctul 2D. Folosim Kinect-ul pentru a obține datele de adâncime.

Urmărirea mișcării sau capturarea mișcării a început ca un instrument de analiză fotogrammetrică în cercetarea biomecanică în anii 1970 și 1980 și sa extins în domeniul educației, instruirii, sportului și recent animației pe calculator pentru televiziune, cinematografie și jocuri video pe măsura evoluției tehnologiei. În sesiunile de captare a mișcării, mișcările unuia sau a mai multor actori sunt eșantionate de mai multe ori pe secundă. În timp ce tehnicile vechi au folosit imagini de la mai multe camere pentru a calcula pozițiile 3D. Deseori scopul capturării mișcării este de a înregistra numai mișcările actorului, nu aspectul său vizual.

Aceste date de animație sunt cartografiate pe un model 3D, astfel încât modelul să efectueze aceleași acțiuni ca și actorul. Acest proces poate fi în contrast cu tehnica mai veche, așa cum se vede în The Lord of the Rings și în American Pop.

Tehnicile de captare a mișcării sunt foarte eficiente, dar prelucrarea computerelor necesită o intervenție umană foarte mare, iar dacă există vreo eroare în date, puteți găsi mai eficientă repetarea întregii scene decât corectarea datelor. Totuși, tehnologia de captare a mișcării este mult mai eficientă și mai realistă decât tehnicile tradiționale și, în cele din urmă, mai puțin consumatoare de timp. Mișcările personajelor animate au fost realizate în aceste filme prin urmărirea unui actor cu acțiune live, capturând mișcarea frame cu frame. Pentru o explicație mult mai clară, un actor este filmat efectuând o acțiune, iar apoi filmul înregistrat este proiectat cadru-cu-cadru. Animatorii urmăresc capturând conturul actorului și mișcările cadru cu cadru, apoi completează contururile trasate cu personajul animat. Celulele de animație completate sunt apoi fotografiate frame cu frame, potrivind exact mișcările și acțiunile filmului. [7]

Propunerea de mișcare pentru animația de caractere computerizată implică cartografierea mișcării umane pe mișcarea unui caracter de calculator. Cartografia poate fi directă, cum ar fi mișcarea brațului uman, care controlează mișcarea de caractere a brațelor, sau indirectă, cum ar fi modelele mâinilor și degetului uman. [5]

Există două metode de extragere a caracteristicilor care vor fi folosite în clasificarea mersului: abordarea bazată pe model și modelul liber [28]. Abordările bazate pe modele oferă un set de parametri schematici statici sau dinamici prin modelarea sau urmărirea componentelor corpului, cum ar fi membrele, picioarele, brațele și coapsele. Semnături de scăpare derivate din acești parametri de model folosiți pentru identificarea și recunoașterea unui individ. Este evident că abordările bazate pe modele sunt invariabile și independente de scară. Aceste avantaje sunt importante pentru aplicațiile practice, deoarece este puțin probabil ca secvențele de referință și secvențele de testare să fie luate din același punct de vedere. Abordările fără model se concentrează pe forme de siluete sau pe întreaga mișcare a corpurilor fizice. Abordările fără model sunt insensibile la calitatea siluetelor. Avantajul său este un cost scăzut de calcul comparativ cu abordările bazate pe model. Cu toate acestea, acestea nu sunt, de obicei, robuste la puncte de vedere și la scară.

Gura terapeutului au o problemă în calcularea îmbunătățirii calității terapiei pe care au făcut-o. Ei puteau calcula calitatea mersului folosind un dispozitiv în laborator și, în practică, nu erau foarte eficienți. Se foloseste metodă care poate măsura calitatea dezactivată și clasifica rezultatul prin captarea obiectului care merge în fața camerei.

Rezultatul final este acela că personajul animat face 90% din mișcările de acțiune ale actorului cu un singur kinect, și 100% cu 4 kinect-uri. Cu toate acestea, acest proces necesită mult timp și efort.

Mișcările camerei pot fi, de asemenea, captate astfel încât o cameră virtuală din scenă să se rotească, să se încline sau să cadă în jurul scenei conduse de un operator de cameră. În același timp, sistemul de captare a mișcării poate capta camera, precum și performanța mișcărilor actorului.Acest lucru permite ca personajele, imaginile și seturile generate de calculator să aibă aceeași perspectivă ca imaginile video de la camera. [7]

Figura 17. Capturarea mișcării utilizând Kinect-ul

Senzorul Kinect captează în același timp culoarea, adâncimea și scheletul. Acesta secțiune va explica pe scurt trei spații de coordonate, și anume spațiul de culoare, spațiul de adâncime și spațiul scheletului. În primul rând, spațiul de culoare constă dintr-o imagine color care conține roșu, verde și albastru valoarea unui singur pixel la o anumită coordonată. În al doilea rând, spațiul de adâncime este atunci când senzorul de adâncime captează o imagine în nuanțe de gri care conține informații despre distanțe de la aparat de fotografiat la obiect. Coordonatele unui cadru de adâncime nu reprezintă unitățile fizice în spatiul; în schimb, ele reprezintă numai locația unui pixel în acest cadru. Senzorul de adâncime are două intervale de adâncime, și anume intervalul implicit și intervalul apropiat. Gama anterioară detectează distanțe de la 800 mm la 4000 mm, iar cele din urmă de la 400 mm la 3000 mm. Figura 24 ilustrează intervalele de adâncime ale senzorului în metri. Valoarea implicită este disponibil atât în ​​senzorul Kinect pentru Windows cât și în Kinect pentru Xbox 360 deoarece intervalul apropiat este disponibil numai în senzorul Kinect pentru Windows. Sunt 4 intervale care sunt "necunoscute", "prea apropiate", "prea departate" și "valori normale". Valoarea "necunoscută" înseamnă că nu este detectat niciun obiect; valoarea "prea apropiată" înseamnă că o obiectul este detectat la o distanță apropiată, astfel încât senzorul nu poate furniza o fiabilitate, și valoarea "prea mare" înseamnă că un obiect este detectat, dar prea mult să se bazeze pe această măsurătoare. [8]

Figura 18. Distanța față de senzor

În cele din urmă, spațiul scheletului este atunci când se prelucrează imaginea de profunzime captată de Kinect, datele scheletului care conțin date despre poziția 3D a scheletelor umane până la două obiecte vizibile din fața senzorului. Poziția fiecărei articulații este stocată sub formă de coordonate (x, y, z) care sunt prezentate în figura 19. În această figură, se poate observa că axa z pozitivă se extinde în direcția în care este indicat dispozitivul Kinect. [9]

Figura 19. Axa de coordonată z poziționată către senzorul Kinect

Calculatorul procesează datele și afișează mișcările actorului, oferind pozițiile dorite ale camerei. Obținerea datelor despre mișcarea camerei din materialul capturat este cunoscută sub numele de mișcare de potrivire sau de urmărire a camerei.

Ca orice alt dispozitiv si soft, Mocap-ul ofera multe avantaje si dezavantaje față de animația tradițională a unui model 3D.

Avantaje:

Software-ul poate fi destul de ieftin sau chiar gratuit.

Mișcări complexe și interacțiunile fizice realiste.

Kinect-ul nu are nevoie de costum special pentru a citi mișcările corpului.

Dezavantaje:

Pentru obținerea și procesarea datelor sunt necesare programe hardware specifice și programe software speciale.

Mișcările rapide ale actorului pot genera mișcări cu probleme care sunt procesate în calculator.

Dacă poziția T nu a fost citită în totalitate, miscarile vor genera probleme.

Nu capturează expresia fetei.

Un alt dezavantaj major este faptul că dispozitivele folosite pentru a detecta mișcările acestora trebuie să fie înființat cu o vedere bună asupra obiectului țintă. Deci, în afara de urmărire se confruntă cu o problemă ca înregistrarea video standard.

Rezoluția și distanțele focale ale camerele de luat vederi sunt, de asemenea, factori restrictivi care pun constrângeri grele în zona operațională în care mișcarea poate fi urmărită, spațiul de interacțiune al sistemului de urmărire. [3]

3.1 Capturarea mecanică a mișcării

Această tehnică de captare a mișcării se realizează prin utilizarea unui exoschelet. Fiecare îmbinare este apoi conectată la un codificator unghiular. Valoarea mișcării fiecărui codificator (rotație etc.) este înregistrată de un calculator care, cunoscând codificatorii poziției relative poate reconstrui aceste mișcări pe ecran folosind un software. O deplasare este aplicată fiecărui codificator, deoarece este foarte dificil să se potrivească poziția lor cu cea a relației reale. Această tehnică oferă o precizie ridicată și are avantajul de a nu fi influențată de factori externi.[17]

Captura este limitată de constrângerile mecanice legate de implementarea encoderelor și a exoscheletului. Trebuie remarcat faptul că exoskeletonul utilizează, în general, conexiuni prin cablu pentru a conecta codificatoarele la computer. [15]

Sistemele de captare a mișcărilor câștigă din ce în ce mai multă importanță în diferite domenii de cercetare. În domeniul biomecanicii, sistemele bazate pe markere au fost întotdeauna folosite ca o metodă precisă de captare a mișcării. Cu toate acestea, atașarea marcatorilor pe subiect este o metodă consumatoare de timp și laborioasă. Ca o consecință, această problemă are au dat naștere unui nou concept de captare a mișcării bazate pe sisteme fără marcatori. Prin mijloace a acestor sisteme, mișcarea poate fi înregistrată fără a atașa pe pielea lui niciun marker subiectul și captarea datelor în profunzime a culorii subiectului în mișcare. Teza actuală a cercetat captura de mișcare fără marcatori utilizând senzorul Kinect și a făcut-o a comparat cele două sisteme de captare a mișcării, pe bază de markeri și fără markeri, prin analiză rezultatele mai multor mișcări capturate. În această teză, au fost înregistrate două înregistrări și a fost analizată numai mișcarea pelvisului și a segmentelor membrelor inferioare. Metodologia a constat în captarea mișcărilor utilizând sistemele bazate pe markere și fără markere simultan și apoi prelucrarea datelor utilizând software specific. În final, unghiuri de flexiune a șoldului, aducție de șold, genunchi și gleznă obținute prin cele două sisteme au fost comparate. Pentru a obține unghiurile de articulație tridimensionale folosind fără marcare, a fost introdus un nou software numit iPi Soft pentru a procesa date de la senzorul Kinect. În cele din urmă, rezultatele a două sisteme au fost comparate și discutat temeinic, pentru a evalua corectitudinea sistemului Kinect. [14]

Figura 20. Captarea mecanica a miscarii

Precizia reproducerii mișcării depinde de codificatoarele de poziție și modelarea scheletului. Trebuie să se potrivească cu mărimea exoscheletului la fiecare morfologie.
Dispozitivele de urmărire mecanică utilizează goniometre rigide sau flexibile, care sunt purtate de utilizator. Goniometrele din cadrul scheletului au o corespondență generală cu articulațiile utilizatorului. Aceste dispozitive de măsurare a unghiului oferă date privind unghiul în comun algoritmilor cinematici care sunt utilizați pentru a determina poziția corpului.

Marele dezavantaj provine de la codoarele însăși, deoarece dacă acestea au o mare precizie între ele, nu pot muta obiectul pentru a captura. În consecință, se utilizează metodele de poziționare optică pentru a plasa animația într-un decor. În cele din urmă, fiecare obiect de animat care are nevoie de un exoschelet peste el, este destul de complicat pentru a măsura interacțiunea mai multor exoscheletoni.

Capturarea mișcării magnetice

Capturarea magnetică a mișcării se face printr-un câmp de electromagnetic, în care senzorii sunt bobine de electrice de senzori. Tehnica nu impune constrângeri asupra pozițiilor senzorilor

dincolo de cele necesare pentru o captură precisă, și nici nu necesită obiectul de a prezenta în anumite configurații. Singura cerință este ca datele să exercite toate gradele de libertate

a articulațiilor în cazul în care tehnica este de a returna un răspuns lipsit de ambiguitate.

Sistemele magnetice de captare a mișcării utilizează senzori plasați pe corp pentru a măsura câmpurile magnetice de joasă frecvență generate de o sursă de transmițător. Sursa emițătorului este construită din trei bobine perpendiculare care emite un câmp magnetic când se aplică un curent. Curentul este trimis la aceste bobine într-o secvență care creează trei câmpuri reciproc perpendiculare în timpul fiecărui ciclu de măsurare.

Avantajul acestei metode este că datele captate sunt exacte și că nu sunt necesare alte calcule, cu excepția calculului poziției, în manipularea datelor. [31]

Figura 21. Capturarea miscarii magnetice cu senzorii atasati pe actor

Intuitiv, algoritmul continuă prin examinarea secvențelor de date de transformare generate de perechi de senzori și determinarea unei perechi de puncte (una în sistemul de coordonate a fiecărui senzor) care rămân pe toată secvența. Dacă cei doi senzori sunt atașați la o pereche de obiecte care sunt conectate printr-o articulație rotativă, atunci un singur punct, centrul comun, îndeplinește acest criteriu. Erori cum ar fi zgomotul senzorului și faptul că articulațiile umane nu sunt articulații perfect rotative, împiedică o soluție exactă.

Cercetătorii de grafică pe calculator au explorat diferite tehnici pentru îmbunătățirea captarii a mișcărilor, inclusiv tehnici de estimare a parametrilor, cum ar fi algoritmul descris.

Scheletul standard folosit în orice mediu de animare are ca oase părțile importante ale mișcării unui om cum ar fi capul, gâtul, pieptul, umărul, brațul, degetele și picioarele. [31]

Figura 22. Modelul de schelet folosit pentru aplicarea senzorilor

Dezavantajele acestor sisteme includ numărul mare de cabluri care sunt conectate la bobina, reducând gradul de libertate al actorului. Sisteme care nu necesită utilizarea cablurilor în curs de dezvoltare, elimină în mod eficient acest dezavantaj. Posibilele interferențe în câmpul magnetic cauzate de diverse obiectele și structurile metalice reprezintă o restricție pentru materialul din jur.

Cablarea de la senzori tinde să excludă mișcările de performanță extreme. Volumele de captare pentru sistemele magnetice sunt dramatic mai mici decât cele pentru sistemele optice.

Capturarea mișcării optice

Captarea se bazează pe fotografierea optică a mai multor camere sincronizate, sinteza coordonatelor (x, y) ale aceluiași obiect din diferite unghiuri, permite deducerea coordonatelor (x, y, z). Această metodă implică luarea în considerare a problemelor complexe cum ar fi paralaxia optică, lentila de distorsiune utilizată etc. Semnalul se supune astfel multor interpolări. Cu toate acestea, o calibrare corectă a acestor parametri permite o mare precizie a datelor colectate. [19]
Fiecare cameră generează coordonatele 2D pentru fiecare reflector, obținut prin o etapă de segmentare. Software-ul este apoi folosit pentru a analiza datele capturate de către toate camerele pentru a calcula coordonatele 3D ale reflectorilor. Aceste sisteme sunt cele mai scumpe de pe piață datorită tehnologiei de ultimă oră, cum ar fi camerele de înaltă rezoluție și software-ul propriu sofisticat. Valorile pot atinge 250.000$.

Avantajele utilizării acestor sisteme sunt în principal rata de eșantionare foarte ridicată, care permite captarea de mișcări rapide, cum ar fi artele marțiale, acrobații și gimnastica, printre altele. Rata de eșantionare depinde, de obicei, de camerele folosite, ceea ce înseamnă că cu cât este mai mare rezoluția, cu atât va fi mai mare rata de eșantionare. Prelevarea de probe sunt posibile rate de până la 200 de cadre pe secundă.
Un alt avantaj este libertatea oferită de aceste sisteme, deoarece, spre deosebire de celelalte sisteme, nu există cabluri sau spațiu de lucru limitat. [30]

Dezavantajele acestei metode sunt ocluzia unor transmițătoare, în special în obiecte mici, cum ar fi mâinile sau obiectele care interacționează strâns, o problemă care poate compromite întregul proces dacă datele blocate nu pot fi recuperate.

Figura 23. Camerele optice atasate pe actor

Punctele de marcare utilizate sunt sfere mici acoperite cu material reflectorizant, dar pot de asemenea, sa emită semnal în infraroșu.

Urmărirea unui număr mare de actori sau extinderea zonei de captură se realizează prin adăugarea mai multor camere. Aceste sisteme produc date cu 3 grade de libertate pentru fiecare marker, iar informațiile de rotație trebuie deduse din orientarea relativă a trei sau mai mulți markeri; de exemplu, markeri pentru umăr, cot și încheieturi.

Diferența dintre sistemele non-optice bazate pe senzorii inerțiali și sistemele optice este acela că cei dintâi măsoară rotația și accelerația. Acest lucru are avantajul de a nu necesita o tehnologie complexă de vizionare a computerului pentru a strânge date exacte despre mișcarea relativă.

Mișcările optice sunt folosite și în ziua de astăzi, în special pentru animațiile 3D care rulează și în cinematografe. Deși un dispozitiv optic de captarea miscasrii este foarte scump, acesta oferă cea mai bună calitate pe care un sistem de capturare a mișcării îl poate avea. [13]

3.4 Obiective

Chiar dacă sistemul bazat pe markere este suficient de precis pentru a captura fie simplu, fie

motiuni complexe, obiectivul principal al acestui proiect este asimilarea marker-ului care obține rezultate cât mai mult cu ajutorul sistemului. Deoarece cele două sisteme au propriile sale algoritme și sisteme software, coincidența exactă a rezultatelor va fi inaccesibilă. Cu toate acestea, scopul obținut ar fi obținerea de rezultate similare în cadrul erorilor minime.

Pentru a atinge acest obiectiv, se propune studierea mai multor mișcări ale nivel diferit de complexitate și să compare rezultatele obținute prin intermediul ambelor metode. În cele din urmă, se vor trage concluziile lucrării și vor fi propuse noi cercetări.

Proiectul actual se va concentra doar pe analiza cinematică a rezultatelor, cu alte cuvinte,vor fi analizate doar unghiurile de articulație tridimensionale. Mai mult decât atât, numai pelvisul și membrele mici se vor studia în acest proiect. În acest proiect, se foloseste software-ul oficial oferit de iPi Soft, deci nu este nevoie de programarea unui cod pentru a obține rezultatele senzorului Kinect.

3.5 iPi Recorder
Acesta este un software gratuit oferit de iPi Soft pentru captare, redare și procesare videoclipuri înregistrate de la mai multe camere și senzori de adâncime. În plus, videoclipurile capturate au efectul unei oglinzi, care sunt utile pentru camerele orientate spre față în timpul înregistrării. În colțul din dreapta sus al fiecărui ecran de senzor sunt videoclipurile originale ale mișcării fără efect de adâncime a culorii. După înregistrarea video, acestea sunt salvate într-un format de fișier. [25]

3.6 iPi Soft
Programuil iPi Motion Capture este un instrument software scalabil fără mișcare pentru captarea mișcării, care suportă 1 până la 4 senzori de adâncime sau 3 până la 16 camere RGB pentru a urmări mișcările corpului uman 3D. IPi Mocap este un instrument de producție incredibil de fiabil. Odată ce sunt fixate dimensiunile exacte pentru actori, software-ul oferiă o soluție bună 98% din timp. procesare. A fost eficient din punct de vedere al costurilor, rapid capturat și rapid de procesat.

Cu iPi Motion Capture se pot Înregistra video-uri în mediul obișnuit de birou sau acasă, se pot

urmării mișcările 3D umane de până la 3 actori chiar pe desktop sau laptop și se poate realiza animația 3D. De asemenea îmbunătățește calitatea animației utilizând instrumente integrate de curățare / de tip keyframing / post-processing. Transferă mișcările la caracterul 3D și exportând animația 3D la cele mai populare formate, inclusiv FBX, BVH, DMX, SMD sau Collada. [25]

Funcția iPi Motion Capture funcționează cu urmatoarele echipamente :

1 până la 4 senzori de adâncime (Kinect 1/2; Intel RealSense D400; Asus Xtion 1/2; Orbbec Astra / Astra Pro)

3 până la 16 camere RGB (Sony PS3 Eye, Logitech C922, camere de acțiune cum ar fi GoPro, SJCAM, altele)

Funcționează pe calculator obișnuit cu placa video folosita pentru jocurile video.

Figura 24. Dispozitivele folosite pentru IpiSoft

Programele compatibile cu iPi Motion Capture sunt:

Autodesk 3Ds Max, Maya

Valve Source Engine, Unreal Engine, Unity

Cinema 4D, SourceFilmMaker, Blender etc.

Cu iPi Biomech se poate efectua o analiză biomecanică detaliată a mișcărilor umane, se poate vizualiza și exporta datele de urmărire în diverse formate. Suportul iPi Automation permite controlul software-ului iPi Motion Capture din aplicația externă, integrarea acestuia în sisteme mai mari și automatizarea fluxurilor de lucru complexe.

iPi Biomech este un instrument furnizat de iPi Soft pentru analiza biomecanică în profunzime a oamenilor mișcări. Acest software include vizualizarea datelor de urmărire a mișcării de mișcare de la iPi Mocap Studio. Acesta poate fi utilizat pentru trei domenii, și anume analiza și reabilitarea mersului, analiza mișcării sportive și cercetarea în kinematica umană umană. Biomech ofera cantități unghiulare pentru oasele selectate. În ceea ce privește cantitățile liniare, aceasta asigură poziția, coordonează vitezele și accelerațiile. Mai mult decât atât, sistemul de coordonate poate fi absolut (relativ la podea), în raport cu articulația părinte sau relativ la centrul de masă. În ceea ce privește unghiuri, oferă unghiuri Euler, viteze unghiulare și accelerații unghiulare. Sistemele de coordonate pentru unghiuri pot fi absolute sau relative la articulații. Mai mult decât atât, poate calcula toate valorile cantităților selectate pentru fiecare os selectat. În cele din urmă, datele privind mișcările oaselor pot fi exportate în formate EXCEL sau MATLAB. [13]

Avantajele acestui mod de a captura miscarile folosind IpiSoft sunt:

nu are nevoie de spațiu scump de instalații cu iluminat special, fundal și echipa de tehnicieni.

nu este necesar să se potrivească senzorii cu indicatori reflectorizanți.

sistem portabil care poate fi ambalat într-un rucsac cu o durată de setare și calibrare mai mică de 20-30 de minute.

permite un volum de captare de peste 35 de picioare (10 până la 10 metri), cu un spațiu minim necesar atât de mic de 9,5 metri (3 x 1,5 metri).

cu instrumente integrate de curățare și transfer de mișcare, nu este nevoie neapărat de pachete 3D scumpe.

soluție extrem de accesibilă.

Figura 25. Interfata programului IpiSoft

Scheletul din interiorul interfeței reprezintă modelul oficial în care se importeaza animația creată cu ajutorul Kinect-ului. Nu există o limită sau o durată a mișcărilor, cu cât mișcările sunt mai complexe și mai lungi, cu atât și durata de procesare este mai lungă.

De asemenea acest schelet oferă toate oasele necesare importării animației fie cu ajutorul Kinect-ului sau al oricărui aparat existent. De menționat este faptul că animația importată în acest schelet nu poate fi modificată în program, ci doar exportata mai departe în programul de lucru,

CAPITOLUL IV: CREAREA ANIMAȚIEI

Pentru a capta măsurători fiabile de la Kinect, este important să se îndeplineasca mai multe specificații. Pentru o singură configurație a sistemului Kinect, spațiul minim necesar este de 3 până la 3 metri, iar zona de captură să fie de aproximativ 2 până la 2 metri. Înălțimea Kinect-ului de la podea trebuie să fie între 0,5 metri și 1 metru. Figura urmatoare prezintă dispozitivul spațiului în care au loc experimentele. Două au fost reprezentate in urmatoarele cazuri: un caz este de a captura corpul de lungime totală, în acest caz obiectul ar trebui poziționat la 2,5 metri distanță de Kinect; un alt caz este de a captura cu lungimea maximă, cu mâinile în sus, de data aceasta este nevoie de 3,2 metri între Kinect și astfel încât să capteze mișcarea. Figura 27 reprezintă vederea de sus a mediu și arată lățimea zonei vizibile pentru cele două cazuri, iar figura 26 reprezintă vederea din lateral.

Înainte de a începe capturarea mișcarii, cele Kinect-ul ar trebui poziționat într-un anumit loc astfel încât să se atingă dimensiunile optime de spațiu de lucru. Conform manualului iPi Soft, poziția Kinectu-lui ar trebui să fie la fel ca în figura . Cu alte cuvinte, un Kinect ia o vedere frontală a subiectului. Scopul realizării acestui videoclip de calibrare este de a calcula pozițiile exacte ale camerei și orientări pentru alte capturi de mișcare. Daca actorul este în albastru, atunci înseamnă ca este o captură bună și dacă este în galben, atunci nu sunt detectate date de adâncime. [17]

Figura 26. Vederea din lateral Figura 27. Vederea de sus

Exportarea animatiei

Primul pas după crearea mișcărilor cu ajutorul Kinect-ului, este de a importa rezultatul în programul IpiSoft. După importare, se reglează scheletul programului cu scheletul “actorului” folosind comanda Refit poșe astfel încât ambele schelete să ajungă în aceeași poziție. După poziționarea scheletelor, se alege funcția Track Forward pentru a copia animația scheletului care aparține de actor la scheletu programului.

Figura 28. Scheletul actorului si scheletul programului

După copierea animației se alege funcția Jilter Removal, această funcție ajuta la schimbarea animației scheletului în mișcări mai aproape de realitate.

Figura 29. Capturarea animatiei cu ajutorul Kinectu-lui

Figura 30. Rezultatul final al scheletelor după copierea animației

După completarea acestor funcții importante, se exporteaza din programul SourceFilmMaker caracterul la care se va adăuga animația respectivă. După ce caracterul este introdus în programul IpiSoft, acesta se aduce lângă scheletul programului și se pregătește pentru a fi exportat înapoi în SourceFilmMaker. Exportarea animației în format SMD se face simplu apăsând pe Export Animation. Animația fiind exportata, se poate introduce în SourceFilmMaker în același caracter, iar finețea animației se mai poate corecta folosind butonul Smoothness din interiorul programului.

Figura 31. Animația importată în caracterul din SourceFilmMaker

Odată ce toate animațiile au fost importate în caracterele din SourceFilmMaker, se vor pregătii următorii pași, cum ar fi aranjarea camerelor, crearea luminilor, adăugarea sunetelor etc.

4.1 Particule și lumini

Termenul sistem de particule este definit slab în grafica computerizată. Acesta a fost folosit pentru a descrie tehnici de modelare, tehnici de redare, și chiar și tipuri de animație. De fapt, definiția unui sistem de particule pare să depindă de aplicația pentru care este folosit. Criteriile care sunt valabile pentru toate sistemele de particule sunt următoarele:

Colectarea particulelor: Un sistem de particule este compus din una sau mai multe particule individuale. Fiecare dintre aceste particule are atribute care influențează direct sau indirect comportamentul particulei sau, în cele din urmă, cum și unde este redată particula. Adesea, particulele sunt primitive grafice, cum ar fi puncte sau linii, dar nu se limitează la acestea. Sistemele de particule au fost, de asemenea, folosite pentru a reprezenta dinamica complexă a grupurilor, cum ar fi păsările de flocking.

Atribute definite – Cealaltă caracteristică comună a tuturor sistemelor de particule este introducerea unui tip de element aleatoriu. Acest element aleator poate fi utilizat pentru a controla atributele particulelor, cum ar fi poziția, viteza și culoarea. De obicei, elementul aleator este controlat de un anumit tip de limite stochastice predefinite, cum ar fi limitele, varianța sau tipul de distribuție.
Utilizarea sistemelor de particule pentru modelarea incendiilor, fulgerelor și a exploziilor Reeves a folosit inițial termenul "sistem de particule" pentru a descrie o metodă pe care a folosit-o pentru a crea o secvență de imagini pentru mutarea Star Trek II: The Wrath of Khan. Efectul pe care încerca să-l creeze este acela al unei bombe care explodează pe suprafața unei planete și focul se răspândește din punctul de impact pentru a înghiți eventual planeta. Fiecare particulă din acest sistem era un singur punct în spațiu. Focul a fost reprezentat de mii de puncte individuale. Metodele tipice de redare poligonale creează obiecte cu marginile drepte, dar reprezentând focul cu mii de puncte dă focul o formă "fuzzy". Reeves numește un obiect format din particule un obiect fuzzy.

Fiecare particulă trece prin trei faze distincte în sistemul de particule: generație, dinamică și moarte. Aceste faze sunt descrise mai detaliat:

Generare – Particulele din sistem sunt generate aleatoriu într-o locație predeterminată a obiectului fuzzy. Acest spațiu este denumit forma de generare a obiectului fuzzy și această formă de generație se poate schimba în timp. Fiecare dintre atributele menționate mai sus are o valoare inițială. Aceste valori inițiale pot fi fixate sau pot fi determinate printr-un proces stocastic.

Dinamica parțială – Atributele fiecăreia dintre particule pot varia în timp. De exemplu, culoarea unei particule într-o explozie poate deveni mai întunecată pe măsură ce se află mai departe de centrul exploziei, indicând faptul că aceasta se răcește. În general, fiecare dintre atributele particulelor poate fi specificată printr-o ecuație parametrică cu timpul ca parametru. Atributele particulelor pot fi funcții atât ale atributelor de timp, cât și ale celorlalte particule. De exemplu, poziția particulelor va fi dependentă de poziția anterioară a particulelor și de viteza, precum și de timpul.

Extincție – Fiecare particulă are două atribute care se referă la durata existenței: vârsta și durata de viață. Vârsta este momentul în care particula a fost în viață (măsurată în cadre), această valoare este întotdeauna inițializată la 0 atunci când particula este creată. Durata de viață este durata maximă pe care o poate trăi particula (măsurată în cadre). Când vârsta particulelor se potrivește cu durata de viață, ea este distrusă. În plus, pot exista și alte criterii pentru terminarea prematura a unei particule. [27]
Fiecare particulă este redată la un grafic. Particulele care fac harta la aceiași pixeli din imagine sunt aditivi, iar culoarea unui pixel este pur și simplu suma valorilor de culoare ale tuturor particulelor care o hărțuiesc. Din cauza acestei presupuneri, nu sunt necesare algoritmi de suprafață ascunsă pentru a face imaginea, particulele sunt redate pur și simplu în ordine. Efectele precum alunarea temporală a mișcării (motion blur) sunt făcute simple de procesul sistemului de particule. Poziția și viteza sunt cunoscute pentru fiecare particulă. Prin redarea unei particule ca o bandă, se poate obține efectul blur.

Particulele copacilor sunt cercuri mici folosite pentru a reprezenta frunzele și liniile folosite pentru a reprezenta ramurile. Se folosește o tehnică mai tradițională de redare care se bazează pe algoritmul pictorului. Datorită numărului mare de particule, calculele standard de iluminare și de umbră sunt prohibitive din punct de vedere computațional, deci trebuie găsite soluții mai rezonabile.

Umbrele -Particulele din exteriorul copacului sunt mult mai susceptibile de a fi iluminate direct, apoi punctele din interiorul copacului datorită umbrării copacului. Pentru a modela acest lucru, se utilizează un model de iluminat în cazul în care un con este utilizat ca volum de limitare a arborelui. Distanța dintre punctul și exteriorul volumului delimitat de-a lungul liniei dintre punct și sursa de lumină este folosită ca parametru pentru ecuația de iluminare. Ecuația de iluminare are o valoare maximă la marginea exterioară a volumului de margine care se îndreaptă spre lumină și scade exponențial în interiorul arborelui. Parametrul de distanță menționat anterior este utilizat ca exponent în această ecuație.

Iluminare ambientală – Iluminarea ambientală se bazează pe o ecuație similară ecuației de auto-umflare. Deoarece lumina ambientală nu se bazează pe iluminarea directă dintr-o sursă de lumină, măsura de distanță se face din punctul luminat orizontal spre marginea volumului de margine.

Umbra exterioara – Pe langa umbrele aruncate de copac asupra ei, trebuie luate in considerare umbrele din copacii vecini. Acest lucru se realizează prin trasarea unei linii din partea de sus a fiecărui arbore vecin la sursa de lumină. Când o particulă este redată, este verificată dacă aceasta este deasupra sau dedesubtul acestei linii. Punctele de deasupra acestei linii nu sunt umbrite, iar punctele de sub această linie au șansa de a fi în umbră, care crește proporțional cu distanța de la linie.

Umbrele nu au putut fi generate perfect pentru particulele din copaci, umbrele ca arborii aruncați pe pământ trebuie să fie aproximați. Modul în care sa făcut acest lucru a fost reprezentarea unei imagini a copacilor dintr-un punct de vedere pe teren. Această imagine a fost apoi texturată cartografiată la sol ca o "hartă de umbră". Punctele din imagine care corespund arborilor au fost redate ca și cum ar fi fost în umbră. Algoritmul real de redare folosit pentru a desena arborii a fost un algoritm modificat al pictorului. Prima ipoteză folosită de acest algoritm este aceea că se intersectează volume de legare a doi copaci, astfel încât fiecare arbore să poată fi interpretat independent. Aceasta reduce numărul de particule care trebuie încărcate simultan. În plus, în loc de a sorta doar adâncimea de sortare a particulelor, ele sunt plasate într-un număr de sertare de adâncime. În interiorul fiecărui bin, particulele sunt redate pur și simplu în ordine. Acest lucru economisește timp deoarece nu trebuie să se facă un fel exhaustiv de particule. Erori cauzate de redarea particulelor în ordine în interiorul recipientului sunt mascate de numărul mare de particule. [27]

În acest proiect am folosit particule de foc, fulger și particule de ceață pentru o anumită mapa și de asemenea particule speciale pentru anumiți copaci care apăreau în diverse scene.

Figura 32. Particula de fulger

Pentru a ajuta particular de fulger să arate mai natural, în această scenă am folosit 3 tipuri de lumini respectând codul luminilor. Codul luminilor însemnând 3 lumini venite din 3 direcții diferite, din față, spate și lateral. În cazul acesta se pune mai mult accent pe lumina din spate deoarece acolo se afla particular de fulger.

Atât particula cât și luminile sunt prezente pentru 2 secunde, ele fiind animate cu key frame-uri exact ca și caracterul din imagine.

În acest proiect au fost folosite în jur de 5 sau 6 lumini pentru fiecare scenă, fiecare având un rol important în design-ul caracterului și al animației. Sunt necesare doar 3 lumini pentru un singur caracter, dar având în vedere faptul că harta nu oferă lumini naturale, se adăugă plusuri de lumină în funcție de scenă.

Figura 33. Poziționarea celor 3 lumini importante

Figura 34. Poziționarea mai multor lumini în întuneric

Sunete si voci

Sunetele pentru aceasta animație sunt luate de pe internet cu ajutorul unui site gratuit. Acesta oferă diferite tipuri de sunete, cum ar fi pașii, sunet de deblocare a ușii, de deschidere a ușii, de fulger, de ploaie etc.

Ținând cont că sunetul și vocile au un impact foarte puternic asupra spectatorilor, am ales să negociez cu oameni din America și Anglia pentru a înregistra vocile caracterelor din animație. După ce am înregistrat vocile lor, le-am convertit în format WAV și apoi le-am introdus în programul SourceFilMaker pentru a le coordona cu mișcările caracterelor. Coordonarea mandibulelor fiecărui caracter cu sunetul adăugat se poate face simplu folosind niște coduri speciale. O coordonare manuală ar dura în jur de 5 spre 10 minute, dar cu acest cod special, coordonarea durează doar câteva secunde, dar cu 80% șansă de reușită deoarece câteodată mandibula nu respecta sau nu a citit correct litera sau cuvântul înregistrat.

Figura 35. Bara verde reprezintă liniaritatea vocii caracterelor

CONCLUZII

Așa cum sa spus în introducere, sistemul Kinect este puțin mai slab decât sistemul markerbased. Cu toate acestea, odată ce a terminat analiza și a obținut rezultatele, a fost confirmat că sistemul Kinect este capabil să surprindă cu suficientă precizie mișcarea umană cu o reducere a timpului în procesul de captare.

Senzorul Kinect are o frecvență mai scăzută decât cea bazată pe marker sistem. O consecință directă a acestei diferențe pare să fie aceea că rezultatele obținute de la Kinect sunt mai zgomotoase decât sistemele bazate pe markere. Aceasta înseamnă că, în ciuda ambelor grafica este similară, cele din sistemul bazat pe marker captează mai bine mici și rapide mișcări. Prin urmare, rezultatele sugerează că sistemul Kinect răspunde în mod rezonabil pentru mișcări lentă care implică game largi de mișcări comune. În plus, mai mic frecvența senzorului Kinect, împreună cu faptul că măsurătorile sunt mai zgomotoase, implică faptul că are mai multe incertitudini în vitezele unghiulare comune și în accelerație, ceea ce poate au un efect asupra rezultatelor dinamicii inverse.

Sistemul Kinect este de asemenea un sistem fiabil care permite obținerea unui nivel acceptabil cinematice. În plus, sistemul Kinect economisește în mod semnificativ consumul de timp procesul de atașare a markerilor pe pielea subiectului (care poate dura 15-20 de minute). În plus, sistemul Kinect este o nouă tehnologie de captare a mișcării care este destinată să fie încorporat în laboratorul de biomecanică la ETSEIB pentru a îmbunătăți echipamentul Lab. Cel mai important aspect este că, dacă Kinect este utilizat în studii biomecanice, oamenii ar trebui să țină cont de faptul că oferă informații generale despre mișcare, dar este dificil de detectat variații mici. Cu toate acestea, se crede că cercetările viitoare în acest sens câmpul va capta mișcarea întregului corp cu precizie.

Deși capturarea mișcării necesită niște mijloace tehnice, putem obține destul de bine rezultate multumitoare ce se pot face acasă la un cost rezonabil care vă poate face propriul dvs. scurtmetraj. Captură de mișcare este un pas important înainte în domeniul cinematografiei, deoarece puteți reprocesa imaginea într-un mai simplu, de fapt, este mai ușor să modificați o imagine capturată într-o scenă clasică, cu toate că acest lucru este prea scump. Dar este, de asemenea, un avantaj major în medicină, de exemplu, poate fi utilizat pentru a măsura beneficiul unei tranzacții prin intermediul unei înregistrări a mișcării pacientului înainte și după operație

Tipurile de sistem discutate în mod clar toate au cazul optim scenarii pentru implementare. Cu toate acestea, mocap optic a evoluat mult mai mult decât al său sisteme de frați. Aceasta este, în cea mai mare parte, datorită capacității sale de a se adapta foarte bine la cerințele majore ale industriei filmului și jocurilor video, care au investit și astfel ajutat în dezvoltarea acestei tehnologii. În ciuda avantajelor sale, există încă îmbunătățiri care pot fi făcute în acest domeniu (dintre care unele au fost propuse în secțiunea "Cercetare viitoare"). Altele decât acestea îmbunătățiri, unele sisteme mocap sunt încă foarte limitate în ceea ce privește zona în care se află ele pot capta mișcări, fiind restrânse la depozite sau studiouri adaptate. Aceste sistemele sunt, de asemenea, foarte bugetare foarte mari, ceea ce, în unele cazuri, le exclude din discuție. Aceștia ar putea beneficia de versiuni bugetare mai mici, mai accesibile publicului și celui mai bun companiile mai mici.

Sistemele mecanice sunt cele mai potrivite pentru mișcările care nu necesită un grad ridicat de libertate și ar putea fi magnetică sau reflecție, deoarece acestea nu produc zgomot în procesul de captare. Sistemele magnetice sunt utile în situațiile în care nivelul de detaliu nevoie este mare și bugetul este scăzut. Cu toate acestea, marea lor sensibilitate față de câmpurile magnetice din jur se dovedesc a fi un defect critic. Am presupus folosirea unui costum magnetic ne-cablat; în caz contrar, alegerile mișcării capturate ar fi reduse la nivel scăzut de libertate. Sistemele optice, deși sunt costisitoare și au o procesare si o reducere a zgomotului, se dovedesc a fi cea mai bună soluție în majoritatea cazurilor. Acest lucru se datorează faptului că oferă un nivel foarte ridicat de detaliu, libertate și zonă de lucru permițând prelevarea probelor de aproape orice mișcare.

Deoarece fiecare fișier de date reprezintă un set de date limitat și închis de animații

nu pot fi manipulate după procesul de subtitrare. Un domeniu interesant de cercetare

ar fi modul de a modifica sau de a deriva noi mișcări de la un deja capturat circulație.

Captură de mișcare Fusion: Ca o extensie a domeniului cercetării anterioare, s-ar putea încerca să creeze o fuziune a oricăror numărul de mișcări sau concatenarea acestora pentru a crea noi mișcări aceste cele originale, păstrând în același timp fluiditatea și naturalețea lor prin abordări algoritmice. Îmbunătățiri în tehnicile de urmărire efectivă:

După cum sa discutat anterior, ocluzia markerului în sistemele optice mocap este critică.

Ar putea fi dezvoltate tehnici avansate de urmărire pentru a elimina această problemă.

Tehnici de cartografiere a marcajelor pentru ființe non-umane:

Uneori vrem să capturam mișcări care nu aparțin ființelor umane. Studierea modului de poziționare a markerilor în cel mai eficient mod în aceste ființe se dovedesc benefice, mai ales dacă procedura se poate adapta la fiecare obiect, astfel devenind generală și optimă și dacă ar putea contribui la rezolvarea problemei menționate în sugestia de mai sus pentru cercetarile viitoare.

Sistemul de markeri Mocap în crearea animațiilor realiste de înaltă definiție este un sistem foarte avansat, si constituie un element important în a crea animație extrem de realistă. Considerăm că este foarte interesant și promițător domeniul cercetării, care poate contribui la noi descoperiri în captarea mișcărilor. Interactivitate mai mare în sistemele mocap care implică o etapă de pre-procesare:

Cu mai multe sisteme interactive am putea depăși problemele prezente în sisteme

care utilizează o etapă de prelucrare a datelor, permițând utilizarea lor în proiecte care necesită aproape accesul imediat și validarea datelor colectate. Odată cu dezvoltarea mocapului fără marker, am putea să căutăm metode de cercetare pentru a analiza o indivizi sentimente interioare prin expresii pentru cercetare psihologică și tratament. Un exemplu de aplicație al acestei tehnologii ar fi un instrument interactive care ar răspunde, printr-un AI programat, în conformitate cu un copil cu autism sau

cu handicap fizic individual, pentru a continua procesul de vindecare, deoarece a ființa umană, în timp ce este calificată, nu poate evalua statutul mental al persoanei cât mai exact sau repede ca un calculator bine programat.

Transmiterea animațiilor capturate între modele: Deși mocap este oarecum transferabil între modele, există încă multe limitări privind animațiile care pot fi transferate, date fiind sursa și destinația model. De exemplu, animația unei persoane normale nu poate fi transferată la o persoana mai mare, deoarece prin legile fizice se mișcă într-o manieră foarte diferită sau între ele sunt modele cu structuri de corp foarte diferite. Un studiu de caz interesant ar fi

cum să se adapteze anumiți parametri ai animației astfel încât să se poată aplica

alte modele în timp ce își mențin credibilitatea.

În concluzie, sistemele de capturare a miscarilor sunt instrumente foarte utile și furnizează o soluție pentru o problemă foarte importantă, precum și pentru a permite efectele cu adevărat uimitoare. Am introdus metodele de bază din spatele diferitelor sisteme mocap și am explorat avantajele și dezavantajele lor, concluzionând că fiecare sistem are cea mai bună utilizare într-un anumit scenariu.

BIBLIOGRAFIE

[1]. www.sourcefilmmaker.com/ (accesat in 31.06.2018)

[2]. www.microsoft.com/en-us/kinectforwindows (accesat in 02.07.2018)

[3] http://www.xbox.com/en-US/kinect (accesat in 02.07.2018)

[4] http://web.mit.edu/comm-forum/papers/furniss.html (accesat in 03.07.2018)

[5] Roetenberg, D., Luinge, H. And Slycke, P. Xsens MVN: Full 6DOF Human Motion Tracking Using Miniature Inertial Sensors. Xsens Technologies.

[6] Berger, K., Ruhl, K.,Schroeer, Y., Bruemmer, C., Scholz, A. And Magnor, M.
Markerless Motion Capture using multiple Color-Depth Sensors. Vision, Modeling,
and Visualization.

[7] Mündermann, Lars. Markerless motion capture system. United State. Patent.
US7804998B2

[8] Ameli,S., Naghdy, F., Stirling,D., Naghdy, G., Aghmesheh, M. Objective Clinical Fitness Assessment Using Inertial Sensors. International Symposium on robotics and Intelligent Sensors. Australia

[9] Galna, B., Barry, G., Jackson,D., Mhiripiri, D., Olivier, P. And Rocherter, L. Accuracy of the Micrososft Kinect sensor for measuring movement in people with Parkinson’s disease. Gait & Posture 39, 4 (2014), 1062-1068. Newcastle upon Tyne, United Kingdom

[10] Hernández-lópez, J., Quintanilla-Olvera, A., López-Rmírez, J., Rangel-Butanda, F.,
Ibarra-Manzano, M. and Almanza-Ojeda, D. Detecting objects using color and depth segmentation with Kinect sensor. Procedia Technology 3, (2012), 196-204. The 2012 Iberoamerican Conference on Electronics Engineering and Computer Science. Guanajuanto, Mexico

[11] Sato,K., Wu, H. and Chen, Q. High-Speed and High-accuracy Scene Flow
Estimation using Kinect. Procedia Computer Science 22, (2013), 945-953. Wakayama, Japan
[12] Kurihara, K., Hoshino, S., Yamane, K. and Nakamura, Y. Optical Motion Capture
System with Pan-Tilt Camera Tracking and Real-time Data Processing. Tokyo,
Japan. IEEE. International Conference on robotics & Automation

[13] Corazza, S., Mündermann, L., Chaudhari, A.M., Demattio, T., Cobelli, C. And
Andriacchi, T.P. A Markerless Motion Capture System to Study Musculoskeletal
Biomechanics: Visual hull and Simulated annealing Approach. Annals of biomedical engineering 34, 6, 1019-1029.

[14] Andersen,M.S., Yang, J., Zee, M., Zhou, L., Bai, S. And Rasmussen, J. Full-bodymusculoskeletal modeling using dual Microsoft Kinect sensors and the anybodymodeling system. XIV International Symposium on Computer Simulation in Biomechanics.

[15] www.accad.osu.edu/research/mocap/mocap_home.htm (accesat in 03.07.2018)

[16] www.siggraph.org/education/materials/HyperGraph/animation/character_animation (accesat in 04.07.2018)

[17] http://wiki.ipisoft.com/User_Guide_for_Dual_Depth_Sensor_Configuration. (accesat in 04.07.2017)

[18] J. H. Challis. A procedure for determining rigid body transformation parameters. Journal of Biomechanics, 28(6):733–737, 1995.

[19] M.-C. Silaghi, R. Plank ¨ ers, R. Boulic, P. Fua, and D. Thalmann. Local and global skeleton fitting techniques for optical motion capture. In N. Magnenat-Thalmann and D. Thalmann, editors, Modelling and Motion Capture Techniques for Virtual Environments, volume 1537 of Lecture Notes in Artificial Intelligence, pages 26–40, Berlin, Nov. 1998. Springer. Proceedings of CAPTECH ’98

[20] G. K. M. Cheung, S. Baker, T. Kanade. "Shape-From-Silhouette of Articulated
Objects and its Use for Human Body Kinematics Estimation and Motion Capture". Computer Vision and Pattern Recognition, Vol: 1, pp: 77-84. 2003.

[21] Beck, Jerry (2004). Animation Art: From Pencil to Pixel, the History of Cartoon, Anime & CGI. Fulhamm London: Flame Tree Publishing. ISBN 978-1-84451-140-2.

[22]  Dunn, Jeff (October 4, 2013). "Full Steam ahead: The History of Valve".

[23] Edwards, Cliff (November 4, 2013). "Valve Lines Up Console Partners in Challenge to Microsoft, Sony". Bloomberg.

[24] Soriano, Marc. "Skeletal Animation". Bourns College of Engineering.

[25] iPi Motion capture. http://wiki.ipisoft.com (accesat in 03.07.2018)

[26] B. Bodenheimer, C. Rose, S. Rosenthal, and J. Pella. The process of motion capture: Dealing with the data. In D. Thalmann and M. van de Panne, editors, Computer Animation and Simulation ’97, pages 3–18. Springer NY, Sept. 1997. Eurographics Animation Workshop.

[27] https://web.cs.wpi.edu/~matt/courses/cs563/talks/psys.html (accesat in 12.04.2019)

[28] J. Wang, M. She, S. Nahavandi, and A. Kouzani, “A Review of Vision-Based Gait Recognition Methods for Human Identification,” 2010 International Conference on Digital Image Computing: Techniques and Applications, pp. 320–327, Dec. 2010.

[29] D. Cunado, M. S. Nixon, and J. N. Carter, “Automatic Extraction and Description of Human Gait Models for Recognition Purposes,” Computer Vision and Image Understanding, vol. 90, no. 1, pp. 1–41, 2003.

[30] http://www.metamotion.com/motion-capture/optical-motion-capture-1.htm. (accesat in 12.02.2019)

[31] L. Dickholtz. "Magnetion Motion Capture Systems". MetaMotion. 2009.

http://www.metamotion.com/motion-capture/magnetic-motioncapture-1.htm. (accesat in 12.02.2019)