Simularea unei activități [301948]

Simularea unei activități

umane utilizând un sistem

multiagenți

Motivație

Simularea este procesul utilizării programelor software moderne și a echipamentelor hardware pentru a [anonimizat] a [anonimizat] a influența rezultatul oricărei situații date [38].

[anonimizat], haptice, [anonimizat] (văzul, auzul, pipăitul etc), [anonimizat].

Termenul este folosit în special în jocurile pe calculator. Cel mai simplu exemplu de astfel de simulare este „simulatorul de zbor”.

[anonimizat], armată, arhitectură [38].

[anonimizat], [anonimizat], să fie „citite” de dispozitivele de intrare.

De-a lungul timpului s-au dezvoltat o [anonimizat]-[anonimizat]. [anonimizat]3D creat de Universitatea Stanford în limbajul de programare C++.

[anonimizat] a [anonimizat], fara efort special din partea utilizatorului. Acest lucru este posibil in conditiile similitudinii / [anonimizat], prin citirea/scrierea din/in fisiere cu un anumit format si utilizand aceleasi protocoale. Conform [48], termenul de interoperabilitate este definit astfel: „Capacitatea de a comunica, de a executa programe sau de a [anonimizat]”. Astfel interoperabilitatea devine o calitate foarte importanta in tehnologia informatiei.

Interoperabilitatea informatiilor exista pe trei niveluri sau dimensiuni: sintactic, structural si semantic.

Interoperabilitatea sintactica este obtinuta prin folosirea modelelor sau a limbajelor, cum ar fi modelul relational al bazelor de date sau limbajul XML.

[anonimizat], cum ar fi baze de date sau scheme XML.

[anonimizat].

Pentru asigurarea interoperabilitatii semantice a aplicatiei atasate acestei lucrari am utilizat ontologia Cetatii Tomis creata in [49]. [anonimizat], [anonimizat] a cetatii cu acelasi nume realizata de echipa CERVA in [10].

In lucrarea de fata vom prezenta simularea activitatii de desccarcare a [anonimizat]. Lucrarea a fost realizata utilizand agentii implementati in limbajul C++ si libraria dotnetdrf din platforma .NET, impreuna cu framework-ul CHAI3D pentru redarea scenelor vizuale 3D si pentru redarea sunetului.

Participanti activi la simulare sunt urmatoarele tipuri de agenti: vasele (care vin incarcate cu marfa avand scopul vanzarii), vanzatorii de la taraba (care doresc achizitionarea de produse de la vase in vederea comercializatii ulterioare) si carausii ( agenti care transporta marfa in urma incheierii unei tranzactii de vanzare – cumparare),

Rezultatele simularii se salveaza in fisiere cu extensia .txt putand fi analizate ulterior pentru diferite statistici. In plus, in interfata aplicatiei a fost adaugat un panou in care se poate vedea, in orice moment al simularii, starea agentului impreuna cu lista de produse oferite spre vanzare sau cu lista de produse care se doresc a fi achizitionate, in fucntie de tipul agentului.

Realitate virtuala

Ce este realiatea virtuala?

Termenul de realitate virtuala este provine din engleza de la Virtual reality sau VR, si se referă la ambiante artificiale create pe calculator care oferă o simulare a realitatii atat de reusita, încat utilizatorul poate avea impresia de prezență fizică aproape reală, atât în anumite locuri reale, cât și în locuri imaginare.

Cele mai multe ambianțe sau împrejurimi reprezentate cu metodele VR oferă de obicei o anumită experiență vizuală a unei realități obișnuite, afișată ori pe un ecran de calculator, ori pe dispozitive 3D (stereoscopice) speciale. Unele simulări includ însă și informații suplimentare destinate celelaltor simțuri umane, cum ar fi sunete, forțe exercitate asupra corpului utilizatorului percepute prin simțul tactil etc. Unele tehnologii mai avansate oferă și feedback mecanic la anumite mișcări, în special în aplicații medicale precum și la jocurile computerizate, astfel încât „cufundarea” mentală în lumea VR devine aproape atotcuprinzătoare. Alte aplicații oferă nu numai imagini ci și posibilitatea comunicării verbale; astfel ele pot crea chiar și o „teleprezență” sau și o „teleexistență” (desigur virtuale).

Realitate virtuala (Imaginea: vr 1.jpg)

De-a lungul timpului, termenul de realitate virtuala a aparut sub diverse denumiri, precum cyberspace, realitate artificiala, mediu virtual, lume virtuala [1].

Pentru acest concept, de-a lungul timpului s-au adus o serie de definitii.

in [4], termenul este definit ca „un ansamblu de programe si dispozititve care permit simularea intr-o maniera realista a unei interactiuni asupra unor obiecte virtuale care sunt modelari informatice ale unor obiecte reale”;

conform lui Fuchs, realitatea virtuala presupune „grafica interactiva in timp real cu modele 3D combinata cu o tehnologie de afisare care permite utilizatorului imersiunea in modelul lumii si posibilitatea manipularii directe a acestuia” [5].

Gigante adauga un plus, aducand in discutie dimensiunea multi-senzoriala a experientei umane intr-o astfel de realitate, caracterizand-o printr-o „iluzie a participarii intr-un mediu sintetic in locul observarii externe a acestui mediu” [6].

conform lui Cruz-Neira „realitatea virtuala se refera la medii imersive interactive, multi-senzoriale, centrate spre utilizator, tridimensionale, generate de calculator si combinarea tehnologiilor necesare obtinerii acestor medii” [7].

Arnhein considera ca „realizarea de imagini artistice sau de alta natura, nu deriva pur si simplu din proiectia optica a obiectului reprezentat ci este un echivalent, redat cu anumite mijloace specifice, a celor observate la acest obiect”.

Asadar, conform celor de mai sus, realitatea virtuala poate fi privita ca un mediu simulat de un calculator cu care utilizatorul poate interactiona. Interactiune inseamana atat un simplu act de a privi in jur cat si modificarea lumii virtuale.

Realitatea virtuala se caracterizeaza prin cei trei „I”: imersiune, interactiune si imaginatie, astfel:

imersiunea intr-o lume virtuala dand senzatia de a fi acolo;

interactiunea cu obiectele virtuale prin miscare si manipulare;

imaginatia umana = abilitatea umana si vointa de a accepta contributia aplicatiilor virtuale de a rezolva probleme din viata reala.

Conform [8], există următoarele genuri de VR: simulare, interacțiune, artificialitate, imersiune, teleprezență, imersiune totală, cu întreg corpul, costume de haine electronice, de date.

Burdea si Coiffet au realizat, in [9], urmatoarea clasificare pentru realitate virtuala:

realitate virtuala textuala: interactiune fara imersiune;

realitate virtuala pentru desktop: exista si interactiune virtuala si imersiune;

realitate virtuala imersiva: interactiune si extra-imersiune, termenul oficial folosit fiind „high immersion”.

realitate virtuala augmentata: exista interactiune dar fara imersiune;

Domenii de aplicabilitate

Realitatea virtuala de obicei se refera la tehnologii computationale care folosesc software pentru a genera imagini realiste, sunete si alte senzatii pentru a replica un mediu real si pentru a simula prezenta fizica si comportamentul normal al utilizatorului in mediu.

Desi initial realitatea virtuala a fost asociata cu jocurile video, de-a lungul timpului s-au dezvoltat aplicatii si pentru alte domenii mai practice precum: medicina, militar, arhitectura, educatie si turism.

Imaginea: (Car racing simulator.jpg) Car racing simulator

VR in medicina

Aplicatiile de realitate virtuala din medicina au fost initial create din nevoia personalului medical de a vizualiza date medicale complexe, si de a invata diferite proceduri fara riscul pierderii vietii pacientului, in particular in domeniul operatiilor. Cele mai bune rezultate, pentru moment, au fost obtinute in domeniul chirurgiei laparoscopice. Studii publicate de Universitatea Yale din SUA sau de Danemarca au aratat ca medicii chirurgi antrenati cu ajutorul simulatoarelor au facut mult mai putine erori decat colegii lor neantrenati.

La inceputul anilor 1990, psihologul american Ralph Lamson impreuna cu un grup de persoane ce sufereau de acrofobie au realizat un experiment de realitate virtuala: in realitatea „reala” utilizatorul era in laborator insa in realitate virtuala acesta se vedea intr-un spatiu gol, nevoit sa mearga doar pe o scandura. Aastfel a aparut terapia cu ajutorul realitatii virtuale: VRT (virtual reality therapy). Aceasta ramura s-a dezvoltat ajungand sa trateze mai multe fobii precum:

agorafobia:  teama de spații largi și/sau aglomerate;

claustrofobia: teama de spații strâmte, închise;

diferite zoofobii: teama de diverse animale (exemplu: teama de paianjeni: arahnohobia)

teama de zbor;

teama de a conduce masina;

teama de doctor si de procedurile medicale;

Pornind de la reactia umana: gandul la durere intensifica senzatia, la distragere se diminueaza, si utilizandu-se realitatea virtuala s-a reusit distragerea atentiei pacientului in cazuri de durere cronica, proceduri medicale dureroase, sau in cazul pacientilor cu arsuri.

Imaginea (3DiTeams_percuss_chest.JPG): Invatarea procedurii de percutare a piptului pacientului intr-um spital virtual, din aplicatia 3DiTeams.

VR in domeniul militar

Domeniul militar este unul din primele arii in care s-au gasit aplicatii practice pentru antrenamentul militarilor, pentru simularile de zbor ale pilotior, pentru antrenamentul utilizand nave maritime, etc.

Simularile militare, cunoscute sub numele de „war games” (jocuri de razboi), sunt modele in care tacticile de razboi pot fi testate si optimizate fara necesitatea existentei unui adversar real. Acestea eista in diferite forme, cu diferite grade de realism.

Aplicatiile recente au ca scop includerea nu doar a facorilor militari, ci si a factorilor politici si sociali. In acest scop au fost realizare seria de exercitii strategice NationLab in America Latina.

De asemenea, pentru acest domeniu s-au dezvoltat aplicatii medicale pentru tratarea stresului post – traumatic, de care sufera numerosi militari intorsi de pe front, dar si persoane care au fost victime sau martori la diverse evenimente traumatizante.

Imginea (330px-Vehicle_simulator.jpg): Un soldat care exerseaza conducerea unui vehicul utilizand un simulator.

VR in arhitectura

Arhitectura este un domeniu in care realitatea virtuala are un potential foarte mare in design-ul arhitectural, intrucat permite designerilor si clientilor sa vizualizeze/ sa testeze/ sa modifice constructiile in interior si in exterior inainte de constructia propriu-zisa.

VR in educatie

Cea mai recenta idee din educatie este utilizarea realitatii virtuale pentru optimizarea procesului de invatare, obiectivul fiind obisnuirea studentilor cu medii de experimentare, rezolvare de probleme si interpretare stiintifica (Laboratorul de realitate virtuala Buffalo);

Simularile din educatie sunt similare celor de antrenament: scopul este realizarea unei sarcini specifice. Termenul de „microworld” este folosit pentru simularile educationale deoarece acestea modeleaza fie un concept abstract si nu o simulare a obiectelor din lumea reala, fie modeleaza un mediu real intr- o forma simplista pentru ca utilizatorul sa poata invata conceptele cheie.

Majoritatea simularilor dezvoltate pentru educatie sunt simulari sociale care ilustreaza procese sociale si politice din antropologie, economie, istorie, stiinte politice. Intr-o astfel de simulare, utilizatorii pot avea roluri, pot participa la negocieri, etc. Mediul simulat se poate baza pe un sistem politic real / fictiv sau pe evenimente curente sau din istorie. Un exemplu de proiect realizat pe baza evenimentelor istorice este „Reacting to the Past” creat de Barnard College [33]. Alte proiecte dezvoltate pentru educatie de-a lungul timpului, ar fi: Global Challenge Award [30], Open Source Physics [29], NetSim [20], etc.

VR in turism / mostenire culturala

Pentru turism este posibila pastrarea digitala a caracteristicilor si restaurarea elementelor culturale conform detaliilor originale. De asemenea patrunderea unui utilizator intr-un astfel de mediu, ofera senzatia de a fi parte a mediului virtual.

De asemenea, se pot reproduce virtual cladiri din antichitate si muzee celebre.

Un exemplu de aplicatie creata in acest scop este reconstructia Cetatii Tomis creata de echipa CERVA in [10], in care a fost utilizata aceeasi ontologie de domeniu ca in aplicatia prezentata in aceasta lucrare. (Titlu img: Imagini din Reconstructia Cetatii Tomis [10])

VR in robotica

Un simulator de robotica este folosit pentru a crea aplicatii inglobate pentru un anumit tip de robot (si nu numai) fara a depinde de existenta „reala” a robotului. Simularile robotice permit reproducerea unor situatii care nu pot fi „create” in lumea reala din cauza costurilor, timpului si a unicitatii resurselor. In plus, un simulator permite realizarea rapida de roboti-prototip. In final, cand aplicatia este testata si optimizata poate fi transferata „robotilor reali” si utilizata in practica.

Imagine: Pepper este primul robot umanizat (social humanoid robot), capabil sa inteleaga si sa reactioneze la emotiile umane. A fost prezentat pe 16 mai 2016 la un eveniment de presa in Tokyo, de catre SoftBank. Paper suporta sistemul de operare Android [36].

Sursa [36]: PP58293.png

VR in sport

In sport, simularile computerizate sunt realizate pentru predictia rezultatelor evenimentelor si a performantei individuale a sportivilor. Rezultatele evenimentelor se stabilesc pornind de la modele create cu ajutorul statisticilor. Modelele sunt construite cu ajutorul unor serii de algoritmi matematici. Compania ESPN a lansat „Accuscore”, un program de simulare pentru majoritatea sporturilor. Acesta ofera analize detaliate ale jocurilor prin intermediul liniilor de pariuri simulate, totaluri de punct de proiectate și probabilități generale.

Scurt istoric

Primele referinte despre conceptul de realitate virtuala au venit din domeniul stiintifico-fantastic.

Morton Heilig (1926 – 1997), supranumit „Parintele realitatii virtuale”, a inventat in 1957 un simulator al experientei la teatru care sa antreneze mai multe simturi precum vederea, sunetul, mirosul si atingerea, impreuna cu 5 filmulete 3D.

Prototipul a fost numit „Sensorama”. Scopul era atragerea spectatorului in actiunea de pe ecran.

Deoarece dispozitivul a fost construit anterior tehnologiilor digitale, acesta era un dispozitiv mecanic [50].

Sensorama avea un maxim de 4 persoane, motiv pentru care s-a constuit dispozitivul „Experience Theater” brevetat in 1969. Acesta avea era compus dintr-un ecran mare de cinema semi-sferic care afisa inagini 3D, avand sunet directionat, arome, curenti de aer, variatii de temperatura si miscarea scaunului spectatorului.

Imaginea: Sensorama-morton-heilig-virtual-reality-headset.jpg

Descriere: The Sensorama machine [50].

In 1968, Ivan Sutherland si Bob Sproull au creat dispozitivul HMD (head-mounted display) numit „The Sword of Damocles”. Acesta este considerat a fi primul dispozitiv de realitate virtuala si de realitate augmentata, desi era primitiv atat din punct de vedere al interfetei cu utilizatorul cat si al realismului: HMD era foarte greu pentru a fi purtat pe cap de utilizator astfel incat era neccesara suspendarea lui de tavan [51].

Imaginea: HMD.png. Descriere: The Sword of Damocles [51]

MIT a creat in 1978 dispozitivul de VR numit Aspen Movie Map. Programul era o simulare virtuala primitiva orasului Aspen, Colorado. Utilizatorii se puteau „plimba” pe strazi in trei moduri: vara, iarna si in poligoane. Primele doua erau bazate pe fotografii: cercetatorii efectiv au fotografiat fiecare miscare posibila prin oras in cele doua anotimpuri, iar al treilea era un model primitv 3D al orasului [52].

Termenul de “Virtual Reality” a fost popularizat de catre Jaron Lanier, unul dintre pionierii industriei de profil, care in 1984 a fondat compania VPL Research (Visual Programming Languages Research). Aceasta s-a ocupat in principal de dezvoltarea de ochelari si manusi dedicate domeniului [53].

Imaginea: Un costum cu senzori pentru masurarea miscarii bratelor dezvoltat in cca 1989 de VPL Research. Este afisat in showroom-ul Nissho Iwai din Tokyo. (VPL Img.jpg)

Intrucat dispozitivele de realitate virtuala erau foarte scumpe si inaccesibile, majoritatea aplicatiilor dezvoltate in perioada 1970 – 1990 erau incercari pentru domeniul medical, simularea zborului, design-ul industriei automobilelor si antrenament militar.

In anii 1990, tehnologia VR isi face aparitia pentru prima data in industria jocurilor. Sega [54], o multinationala japoneza dezvoltatoare de jocuri video, a prezentat o casca dedicata jocurilor arcade: Sega VR si consola Mega Drive. Acestea utilizau

– ecrane LCD pentru afisarea continutului grafic,

– o pereche de casti, si

– o serie de senzori inertiali care permiteau detectarea miscarilor capului utlizatorului si transmiterea informatiilor catre computer.

In acelasi an, a fost lansat „Virtuality”, primul dispozitiv de divertisment VR multiplayer produs in masa. Echipamentul continea un set de casti si mănuși de exoschelet, oferind astfel primele experiente de imersivitate [37].

In 1991 Electronic Visualization Laboratory a creat prima camera cubica imersiva, utilizand un mediu multi-proiectat in care oamenii se puteau vedea pe ei si pe cei din jur [55].

Imagine: Cave – prima camera cubicca imersiva [55]. (cave.png)

In 1994 Apple a lansat QuickTime VR, care, in ciuda utilizarii "VR", era incapabil sa reprezinte realitatea virtuala, utilizand in loc panorame fotografice de 360 de grade [40].

Forte a lansat VFX1, in 1995, o casca de realitate virtuala care suporta jocuri precum: Descent, Star Wars: Dark Forces, System Shock and Quake.

In 1999, Philip Rosedale a creat Linden Lab [41]. Accentul a fost pus pe dezvoltarea de echipamente hardware care ar putea asigura o imersivitate intr-o realitate virtuala de 360 de grade. Ulterior a fost lansat software-ul 3D infatisand o lume virtuala: Second Life [42].

In 2001, SAS3 sau SAS Cube a devenit prima camera cubica pentru PC dezvoltata de Z-A Production [47].

Pana in 2007, Google a introdus Street View, un serviciu care afiseaza vederi panoramice asupra lumii. Erau incluse strazi, cladiri si zone rurale. In 2010 sistemul a fost actualizat cu vedere stereoscopica 3D [45].

Tot in 2010, Palmer Luckey, care mai tarziu a lucrat la Oculus VR, a dezvoltat primul prototip Oculus Rift, prototip capabil sa urmareasca doar rotatiile [34].

In iulie 2013 „Vendetta Online” realizata de Guild Software a fost clasificata ca fiind prima aplicatie MMORPG (Massively multiplayer online role-playing games) [35].

In urma analizei avantajelor acestui domeniu atat Google, cat si Samsung sau Facebook au inceput sa investeasca timp si bani in dezvoltarea proiectelor in aceasta directie:

Facebook a achizitionat in anul 2014 Oculus VR [34]. Compania s-a ocupat de dezvoltarea proiectului “Rift”, ducandu-l la un nivel destul de avansat.

Tot in 2014, Sony a anuntat „Project Morpheus” o casca de realitate virtuala pentru consola de jocuri video PlayStation 4 [39].

Google a publicat Cardboard, un viewer stereoscopic de tipul do-it-yourself stereoscopic pentru smartphone-uri [31].

In februarie – martie 2015, HTC in parteneriat cu Valve Corporation au anuntat dispozitivul lor de realitate virtuala: casti si controller-e inzestrate cu tehnologia de urmarire a miscarii numite Lighthouse.

Imaginea: O versiune din 2013 a lui Oculus Rift.

Oculus_Rift_-_Developer_Version_-_Front.jpg

La inceputul anului 2015 Google a demarat un proiect amplu prin care isi propune sa dezvolte sistemul de operare Android si pe viitoarele dispozitive destinate realitatii virtuale. In cursa pentru viitorul tehnologic se vor alatura Samsung, Sony si Microsoft care vor dezvolta propriile proiecte hardware. Spre deosebire de Microsoft care lucreaza individual la proiectul Hololens, Samsung si Sony lucreaza cu Google pentru dezvoltarea Gear VR, respectiv Project Morpheus.

Imaginea: https://www.microsoft.com/microsoft-hololens/en-us/why-hololens

Hololens (HoloLens imgH.png)

Imaginea: http://www.samsung.com/global/galaxy/gear-vr/

Gear VR (gear-vr_kv.jpg)

Imaginea: Project Morpheus (Morpheus1.jpg)

Oculus Rift, alaturi de Hololens, Gear VR sau Project Morpheus sunt doar cateva dintre cele mai promitatoare proiecte care ar putea aduce viitorul mai repede si mai aproape decat credem.

Simulari. Perceptia utilizatorului. Dispozitive de redare

Procesul de imitare a unui fenomen real cu un set de formule matematice se numeste simulare. Programele avansate pot simula conditii meteo, reactii chimice, reactii atomice si chiar procese biologice [32].

In teorie, orice fenomen care poate fi redus la date si ecuatii matematice poate fi simulat cu ajutorul calculatorului. In practica, totusi, unele simulari sunt extrem de greu de realizat deoarece fenomenele reale au un numar infinit de influente. Unul din trucurile utilizate pentru dezvoltarea simularilor utile este determinarea celor mai importanti factori [32].

In informatica, simularea este procesul utilizarii programelor software moderne si a echipamentelor hardware pentru a analiza rezultatul potential al unei situatii date, pe baza unor factori cunoscuti si introducerea uneia sau mai multor variabile, care au capacitatea de a influenta rezultatul oricarei situatii date [38].

Simularile utilizate in realitate virtuala sunt un tip de aplicatie care ajuta utilizatorii sa interactioneze, prin anumite simturi, cu proiectia unui reprezentari grafice realiste, de multe ori in trei dimensiuni.

Dezvoltarea unui mediu virtual realistic, adica al unei simulari, necesita o putere de calcul impresionanta pentru a genera o lume cu cei mai buni parametri de performanta posibili.

Scopul tehnologiei realitate virtuala este de a mentine magia universului creat si pentru aceasta utilizatorul are nevoie de un contact aproape inexistent cu procesele din fundal.

Astazi, filmele fac din spectatori simpli obervatori ai povestilor, pe cand tehnologiile de realitate virtuala ofera acestora posibilitatea de a se implica activ – de la simpli spectatori, pana la manipularea de obiecte.

Imaginea: (img inmesiv.jpg) [18] Imersiunea utilizatorului in mediu

Din punct de vedere tehnic, o experienta virtuala poate fi dobandita doar prin plasarea utilizatorului in spatiu, astfel incat, prin intermediul receptorilor acesta sa simta mediul (prin dispozitivele de iesire), iar reactiile lui la variatiile mediului sa fie exprimate prin efectori (si „citite” de dispozitivele de intrare). Acest lucru este cunoscut sub denumirea de simularea realitatii virtuale [2].

Pentru „inselarea simturilor utilizatorului”, un designer de realitate virtuala trebuie sa tina cont de sistemul perceptiv uman. In psihologie, percepția este definită ca fiind un proces senzorial complex, care conține toate informațiile și însușirile concrete despre un obiect sau fenomen în condițiile în care acestea acționează direct asupra analizatorilor. Conform lui Heilig [24], cele 5 simturi umane influenteaza perceptia astfel:

vederea are o contributie de 70%, intrucat aproximativ un sfert din creierul uman este implicat în procesarea vizuală – mai mult decât orice alt simț. Ochiul uman tipic poate percepe doar lumina la lungimi de undă cuprinse între 390 și 750 de nanometri;

auzul are o contributie de 20%. Gama frecvențelor care pot fi recepționate de urechea umană este de obicei intre 20 – 20.000 Hz;

mirosul are o contributie de 5%;

pipaitul are o contributie de 4%. Simțul tactil este deosebit de complex și presupune detectarea oricarui lucru, de la presiune, la senzația de mâncărime și la temperatură;

gustul are o contributie de 1%.

Desi gustul si mirosul sunt simturi care se bazeaza pe organe diferite, ele sunt foarte strans legate intre ele, atunci când cineva își pierde simțul mirosului, de exemplu, simțul gustului său este diminuat dramatic.

Pornind de la cele cinci simturi umane si de la faptul ca spatiul poate fi desemnat ca o intindere, mai mult sau mai putin definita, care contine obiecte (cu pozitie, forma, marime, distanta unele intre altele) si in care se deruleaza evenimente si actiuni, au fost dezvoltate simulari vizuale, simulari haptice si kineestezice, simulari auditive si simulari olfactive.

Astfel, o persoana care utilizeaza un echipament de realitate virtuala de obicei are capaticatea de a „privi in jur” in lumea artificiala, de a se misca si interactiona cu obiectele inconjuratoare afisate pe ecran. Cele mai multe aplicatii din 2016 sunt afisate fie pe un monitor fie pe un ecran de proiectie sau cu ajutorul castilor de realitate virtuala (denumite HMD – head-mounted display). Dispozitivele pot include accesorii de redare / prelucrare a sunetului prin intermediul castilor sau microfonului.

Sistemele haptice avansate pot include informatii tactile, fenomen cunoscut sub numele de „force feedback” (adică sunt inzestrate cu capacitatea de a comunica bidirecțional cu mediul virtual). Unele sisteme VR utilizate in jocuri video pot transmite vibratii si alte senzatii catre utilizator prin game controller-ul utilizat.

Perceptia vizuala. Dispozitive de redare vizuala

Campul vizual uman se caracterizeaza prin deschidere (verticala si orizontala de aproximativ x ), orientare spatiala (data de directia privirii) si claritatea vizuala. Pentru ca stimularea vizuala sa fie maxima intr-o experienta virtuala trebuie sa se tina cont de campul vizual uman.

Perceptia spatiului vizual implica urmatoarele caracteristici perceptive:

perceptia formei obiectelor;

perceptia marimii obiectelor;

perceptia distantei la care se afla amplasat obiectul depinde de marimea imaginii, de prezenta sau lipsa detaliilor de structura a obiectului, de prezenta sau absenta reperelor, de particularitatile cromatice ale obiectelor.

perceptia orientarii (directiei) obiectelor este determinata de verticala gravitationala si orizontala perpendiculara pe ea.

perceptia reliefului presupune reflectarea lungimii, latimii si adancimii obiectelor si se bazeaza pe disparitatea imaginii pe retina, gradul de iluminare a suprafetelor, perspectiva liniara aeriana [43].

Pornind de la cunostiintele biologice si psihologice ale modului de formare a imaginii 3D in scoarta cerebrala s-au creat diverse dispozitive pentru redarea realista a realitatii virtuale.

Cele mai simple sisteme de redare a relitatatii virtuale sunt cele desktop, necesitand un monitor obisnuit pentru a prezenta scena utilizatorului („window onto a world”). Ca alternativa, se poate folosi un ecran de proiectie in locul monitorului. In acest caz este posibila polarizarea luminii si utilizarea ochelarilor cu lentile polarizate. De asememenea, s-au dezvoltat aplicatii de redare a scenelor de realitate virtuala si pentru dispozitivele portabile precum telefon sau tableta.

In plus, gama dispozitivelor portabile de redare vizuala, nu s-a oprit aici. Ochelarii dedicati redarii realitatilor virtuale de genul celor produsi Vuzix sau GoogleGlases, constituie contracandidati seriosi ai telefoanelor si tabletelor deoarece acestia au avantajul de a nu restrictiona actiunile mainilor utilizatorilor [2].

Redarea realista a mediului virtual se bazeaza pe o serie de mijloace specifice graficii 3D, precum

transformari geometrice : pozitionare, rotire si scalare;

trasaturi fizice: culoare, textura, reflexivitate, transparenta/opacitate si umbre. Astfel se stabileste modul in care suprafetele interactioneaza cu lumina din scena;

crearea ideii de adancime: prin suprapunerea imaginilor (stereoscopie) si luand in considerare dimensiunile relative ale obiectelor, paralaxa miscarii (la deplasarea utilizatorului exista si o deplasare relativa a obiectelor), perspectiva liniara, inaltimea campului vizual;

o serie de niveluri ale detaliului pentru reprezentarea fiecarului obiect.

Imginea: ecran 3d.jpg Ecran 3D

Perceptia auditiva. Dispozitive de redare auditiva

Perceptia spatiului auditiv se refera la localizarea sunetelor, la determinarea directiei si distantei la care este situata o sursa sonora. Pentru perceptia sunetului sunt esentiale:

timpul in care parvine sunetul;

intensitatea sunetului,

natura reverberanta a sunetului, importanta pentru evaluarea distantei la care se afla sursa sonora.

distanta la care se afla sursa sonora si localizarea (repartizarea in spatiu a sunetelor);

scaderea aparenta a interferentei (diferentierea sunetelor de ecouri si zgomote) [43];

In redarea scenelor de realitate virtuala, sunetul poate imbunatati foarte mult capacitatea de perceptie a utilizatorului, informatia audio putand oferi indicii de orientare in spatiu, semnele de alertare sau focalizare care redirectioneaza atentia utilizatorului, realizand o perceptie multisenzoriala.

Pentru a simula un mediu auditiv realist este important sa tinem cont de mediul acustic si sa tratam o serie de aspecte precum ecoul sau reverberatia sunetului. De asemenea, pozitia si orientarea capului ascultatorului joaca un rol deosebit de important in perceptia audio.

In realitate virtuala, in afara de sunetele ce au ca scop atentionarea utilizatorului, se mai folosesc si ultrasunetele pentru determinarea pozitiei si orientarii unui obiect in spatiu. Pentru aceasta este nevoie de amplasarea in mediu a mai multor emitatori (de obicei trei) si a mai multor receptori (de obicei trei), a caror localizare este cunoscuta. Pe baza seturilor de date primite de la acestia se calculeaza pozitia si orientarea. Pentru determinarea distantei dintre doua puncte, exista doua tipuri de dispozitive acustice:

unele masoara timpul de deplasare: time – of – flight (TOF);

unele masoara coerenta fazei: phase – coherent (PC);

In general, sunelete sunt redate cu ajutorul boxelor si preluate cu ajutorul microfoanelor, incorporate in majoritatea dispozitivelor moderne.

Perceptia haptica. Dispozitive de redare haptica

Haptica (cuvant provenit din greaca „haptesthai” si insemnand „a atinge”) este stiinta care se ocupa cu studiul si dezvoltarea simularii simtului tactil in interactiunea dintre om si computer.

Un dispozitiv haptic include contact fizic dintre computer si utilizator, de obicei printr-un dispozitiv de intrare/iesire precum joystick sau manusi de date care sesizeaza miscarile corpului.

Un joystick este un periferic al computerului personal sau un dispozitiv de comandă ce constă dintr-o manetă care pivotează și transmite apoi unghiul său în două sau trei dimensiuni unui computer. Cu același design de bază, dar cu o importanță mult mai mare, este și instrumentul principal de control al aparatelor de zbor (elicopter și, mai nou, avion). Se bazează pe același principiu al joystick-ului pentru PC, imprimându-și mișcarea 3D unui computer central ce îi transformă mișcările în diferite acțiuni (virare, urcare, coborâre).

Imaginea: joystick: 300px-Joyopis.svg.png

Descriere: joystick elements: 1. Maneta 2. Baza 3. Trigger 4. Butoane extra 5. Autofire switch 6. Throttle 7. Hat Switch (POV Hat) 8. Suction Cup

O manusa de date este o manusa echipata cu senzori care detecteaza miscarea mainii si transmite datele catre calculator. Manusile de date sunt utilizate de obicei in medii de realitate virtuala unde utilizatorul vede o imagine a manusii si poate manipula obiectele din lumea virtuala utilizand manusa [32].

Imaginea: vr gloves.jpg

Sursa: http://sm.borec.cz/vr.html

Prin utilizarea dispozitivelor haptice, utilizatorul nu doar introduce informatii in calculator, ci, de asemenea, poate primi informatii de la calculator, sub forma de senzatii in anumite parti ale corpului. Aceasta relatie este cunoscuta sub numele de „interfata haptica”.

De exemplu, intr-un mediu de realitate virtuala, utilizatorul poate ridica o minge de tenis cu ajutorul manusilor de date. Computerul sesizeaza miscarea si schimba geometria mingei virtuale afisata pe ecran. Datorita naturii haptice a interfetei, utilizatorul simte mingea in mana sa prin fortele pe care computerul le trimite prin intermediul manusii de date, mimand astfel senzatia existentei mingii de tenis in mana utilizatorului [32].

Senzatiile haptice percepute de corpul uman pot fi divizate in doua grupuri principale:

feedback kinestezic – fortele sesizate de muschi, incheieturi si tendoane; se iau in considerare rata si directia miscarii extremitatilor noastre precum si pozitita statica in cazul in care deplasarea este intrerupta.

feedback tactil – include fieedback-ul obtinut prin intermediul pielii, cum ar fi atingerea, temperatura, vibratia, inteparea, rugozitatea sau presiunea asupra suprafetei pielii.

Haptica ofera o alta dimensiune pentru realitatea virtuala sau mediile 3D si este esentiala pentru imersiunea utilizatorului in aceste medii.

Comunicarea haptica sau kinestezica recreaza senzatia antingerii prin aplicarea de forte, vibratii, si miscare asupra utilizatorului.

Plasarea si manevrarea obiectelor din mediile virtuale contribuie la cresterea naturaletii interactiunii. In acest sens s-au propus o serie de dispozitive de manipulare presupunand o mecanica cu grade diferite de complexitate, de la joystickuri, manusi, SpaceBall, SpaceMouse si pana la dispozitive sofisticate, cu o mecanica complexa precum simulatoare de forta realizate cu ajutorul parghiilor, sau proiectului UNC GROPE [2].

Prin cresterea complexitatii dispozitivelor, a crescut si calitatea interactiunii kinestezice. Astfel utilizatorul poate manevra obiectele virtuale executand manevre naturale si intuitive asupra dispozitivului. Aceste actiuni sunt transformate in forte de translatie si momente de torsiune care sunt aplicate obiectului virtual [2].

In combinatie cu o simulare vizuala, tehnologia haptica poate fi utilizata pentru antrenamentul oamenilor in domenii care necesita coodonare ochi-mana, precum chirurgia sau manevrarea nevalor spatiale. De asemenea poate fi utilizat pentru jocuri. De exemplu doi utilizatori din doua colturi diferite ale lumii pot juca tenis: amandoi pot vedea mingea miscandu-se si, utilizand un dispozitiv haptic pe post de racheta, pot simti impactul cu mingea.

Prin utilizarea concomitenta a celor trei tipuri de simulari prezentate, se pot obtine simulatoare eficiente care redau foarte fidel conditii reale din diferite domenii.

In principal, pentru a crea simulari realistice, complexitatea dezvoltarii sta in combinatia dintre tehnologia grafica si cea haptica.