Prin c ombinatia celor două camere într -o configuratie stereoscopică putem capta planuri video tridimensionale. [630930]

,
,
, ,
,
,
, Introducere
Prin c ombinatia celor două camere într -o configuratie stereoscopică putem capta planuri video tridimensionale.
Combinarea planurilor bidimensionale extrasă din secventele de imagini cu informatia tridimensională rezulata
folosind stereoviziunea ne permite să obtinem o reprezentare în 3 dimensiuni a imaginilor, captând aspectele
spatiale ale cadrului .
Unul din obiectivele principal e pentru dezvoltar ea dispozitivului ImSTAR este editarea algoritmilor de viziune
computerizat ă pentru descompunerea si compunerea /reconstructia scenei. Un prim pas pentru întelegerea
scenei este segmentarea acesteia prin algoritmi de stereoviziune.
Am ierarhizat procesul de descompunere si compunere a scenei filmate prin doua seturi de algor itmi, primul in
aplicatie se referă la domeniul extragerii bazate pe context a imaginilor, mai precis la adnotarea automată a
obiectelor cadrului în format digital. Al doilea set este dezvoltarea unui algoritm de compunerea 3D a obiectelor
prezente în sce nariu.
Procedeul de filma re a dispozitivului ImSTAR prin stereov iziune oferă cantintăti mari de informatii, fapt
avantajos pentru extragerea informatiilor semantice din scenă. Din păcate, aceste informatii sunt afectate de
zgomot, cauzat în special de ero ri in procesul de stereo reconstructie. Pentru a corecta aceste erori se va utiliza
informatia temporala rezulatul fiind o minimizare a acestor erori.
Procesul de indentificare a obiectelor din scenariu va uti liza software -ul dispozitivului , apicati e ce include o
reprezentare bazată pe obiecte ierarhice din scene, procedeu util din punct de vedere computational. Obiectele
filmate trebuie să îsi mentină identitatea în timp in fluxul video.
Din această cauză este nevoie sa include m algoitmul de iden tificare a obiectelor din scenă filtrate lucru ce va
permite integrarea în timp a diverselor măsurători, cu scopul de a obtine o descriere cu acuratete mare a
obiectelor .
Obiectivele cercetarii
Obiectivele cercetarii procesului de stereoviziune sunt detectia obiectelor –pesonajelor din imagini le
tridimensionale, pozitionarea acestor obiecte in cadrul scenei si compunerea fluxului video pentru reconstructia
informatii lor video ale scenă.
Structura algoritmilor de stereoviziune a ImSTAR.
Extrager ea fluxului optic in format de stereoviziune prin blocul optic al dispozitivului il vom executa utilizand ca
baza urmatorii algoritmi:
– algori tmi pentru calcul fluxului optic reprezentate de ecuatia de iluminare constantă.
– algoritmii de flux optic de tip Lucas –Kanade care se bazează pe faptul că fluxul optic este constant pe o regiune
mică.
– algoritm alternativ, care se bazează pe netezimea fluxului optic, algoritmul Horn –Shunk.
– algoritmul lui Bouguet care extinde fluxul optic de la subpixel la deplasamente mai mari.
– algoritmi de detectie a trăsăturilor de tip colt folositi în algoritmii de flux optic bazati pe trăsături.
– extensiea fluxului optic prezentată de Harville care foloseste si i nformatii de adâncime.
– calculul fluxului optic, bazată pe potrivirea blocurilor.

,
, – metodă bazată pe corelatia fazelor.
Problemele fundamentale ale interpretatii obiectelor din scene sunt:
Corespondenta: ce elemente din cadrul curen t corespund căror elemente din cadrul următor al unor secvente de
imagini?
Reconstructia: având un număr de corespondente si eventual informatii de calibrare a ca merelor, ce informatii
putem extrage despre structura 3D a scenei?
Diferenta principală dintre determinarea planului si stereoviziune este legată de faptul că în determ inarea
miscării avem deplasari relativ mici dar neconstrânse la un un spatiu unidimensional al liniilor epipolare.

,
,
, ,
, ,
,
,

Ecuatia fundamentală pentru determinarea fluxului optic este constrângerea de iluminare con stantă. Ea
limitează modificările de la un cadru la altul la translatii, si fără schimbarea iluminării:
I(x, y, t ) = I(x + vx(x, y), y + vy (x, y), t + 1),
Printr -o aproximare Taylor de ordinul întâi obtinem:
I(x, y, t + 1) = I′ (x, y, t )vx(x, y, t ) + I′ (x, y, t )vy (x, y, t ) + It(x, y, t )
x y
Câmpul vectorial care este solutia acestei ecuatii este fluxul optic. Deoarece avem o singură ecuatie si două
necunos cute, trebuie să impunem anumite constrângeri suplimentare.
O altă metodă diferentială de calculare a fluxului optic este metoda Horn –Shunk. Aceasta impune o
constrângere de netezime a câmpului vectorial de flux optic:
~v = arg min ZZ

w k∇~
v kxdy
Împreună cu ecuatia de iluminare constantă, ele formează o ecuatie de minimizare functională. Dacă discretizăm
aceste ecuatii, atunci ele
∇I · ~v = −I′
formează un sistem Euler -Lagrange (având o matrice mare, rară), arătând că atât metodele de tip Gauss -Seidel
cât si Jacobi sunt convergente si permit rezolvarea acestui sistem.
Constrân gerile impuse generează două tipu ri principale de algoritmi, de tip Horn –Shunk si Lucas –Kanade,
descrise în sectiunile următoare.
Metodele de tip Lucas –Kanade generează mai multe ecuatii, considerând ca fluxul optic este constant pe o
fereastră în jurul punctului considerat, si rezolvă aceste ecuatii prin metoda celor mai mici patrate:

I′1 , ,
′1 ′1

x vx + Iy vy = −It

I′2 ′2 ′2

x vx + Iy vy = −It
I′n · · · ′n

y
,
,
, ,
,
,
,
,
b
x vx + I′nvy = −It

Stabilitatea rezolvării acestor ecuatii este dată de matricea AT A (unde A reprezintă matricea sistemului de mai
sus. Dacă matricea nu are cele două v alori proprii suficient de mari rezolva rea sistemul ui necesita o adaptare .
Conditia aceasta este echivalentă cu existenta unor muchii pe două directii independente în fereastra
considerată.
Flux optic piramidal
Din cauza aproximării de ordin ul întâi metodele diferentiale prezentate mai sus nu sunt aplicabile unor
deplasamente mai mari de un pixel. Neputând obtine o rată de achizitie suficient de mare, este imposibil ca
toate deplasamentele să fie la nivel de subpixel, ceea ce face ca acestea să nu poată fi aplicate direct. Metoda
introdusă de Bouguet [4] încearcă să rezolve aceste limitări, folosind o piramidă de imagini. Miscările la subpixel
sunt determinate pe o imagine mult micsorată, ceea ce asigură deplasamente mici. Apoi, se trece la nive lurile
inferioare ale piramidei, eliminând la fiecare pas imaginea estimată anterior. Algoritmul furnizează o acuratete si
o precizie crescută.
Select ia trăsăturilor
O problemă importantă legată de algoritmii de flux optic o reprezintă găsirea acelor puncte în jurul cărora există
suficiente informatii în imagine pentru a permite calcularea fluxului optic. Aceste puncte sunt colturile. O
metodă imediată este alg oritmul prezentat de Harris abordând problema direct prin prisma valorilor proprii ale
matricei de structură a imaginii, si es te o dezvoltare a unui algoritm anterior prezentat de Mo revac care
defineste un colt ca fiind un punct de autosimilaritate scăzută. Algoritmul Harris evită calcularea valorilor proprii,
aproximând magnitudinea aces tora prin calcule mai simple, algoritmul Shi –Tomasi în schimb le calculează
direct .Alte abordări se bazează pe curbura locală, filtre LoG DoG sau DoH.
Flux optic 3D
O abordare similară ecuatiei de iluminare constantă este ecuat ia de adâncime propusă de Ha rville si aplicabilă
imaginilor de profunzime:
Z(x, y, t ) + Vz (x, y, t ) = Z(x + vx(x, y, t ) + vy
Ecuatia se rezolvă similar cu ecuatia de iluminare.
Potrivirea blocurilor
O metodă care nu este de tip diferential folosită în calcularea fluxului o ptic în sisteme de compresie video este
metoda bazată pe potrivirea blocurilor. Practic, imaginea se împarte într -un număr de blocuri de dimensiune
fixă, care sunt apoi căutate exhaustiv (dar folosind anumite euristici) în cadrul anterior. Aceste metode se
pretează la implementări hardware, au un grad mare de paralelism si nu contin calcule foarte complexe.
Flux optic bazat pe corelarea fazei
O altă abordare pentru calcul fluxului optic o reprezintă metodele bazate pe corelarea fazei . Imaginile sunt
transformate în spatiul Fourier, unde miscările de translatie se traduc prin schimbare fazei componentelor de
frecventă. Prin folosirea corelatiei normalizate:
GaG∗
R =
|GaGb |

,
, ,
,
,
,
,
, urmată de transformarea Fourier inversă, se poate obtine translatia în domeniul spatial . Desi interesante,
metodele bazate pe corelarea fazei sunt costisitoare si sunt mai degrabă aplicabile potrivirii imaginilor.
Concluzii
Studiul acestor algoritmi precum si implementarea unora dintre ei ne -a permis să tragem următoarele concluzii:
• Cei mai utili algoritmi de extragere a colturilor pentru cal cularea fluxului optic sunt algo ritmii Harris si
Shi–Tomasi;
• Algoritmii de detectie a colturilor se limitează doar la imagini 2D si nu folosesc informatii 3D care pot fi
furnizate de stereoviziune;
• Detectia colturilor poate să consume mai mult timp decât calculul fluxului optic bazat pe trăsături,
deoarece detectia colturilor trebuie aplicată pe întreaga imagine, p e când calculul fluxului optic se aplică
doar unui număr relativ mic de colturi. Din această cauză, pentru a îmbunătăti timpul de procesare al
algoritmilor de flux optic, este necesară optimizarea algoritmilor de detectie a colturilor;
• Cel mai util algoritm existent pentru calculul fluxului optic bazat pe trăsături este algoritmul de tip
piramidal Lucas –Kanade prezentat de Bouguet. Această are o precizie si o acuratete sporită si este
capabil să urmărească deplasamente mari pentru colturi ;
• Chiar dacă algoritmii de flux optic bazati pe potrivirea de blocuri sunt usor de implementat si de
optimizat, ei nu oferă suficientă acuratete spatială.
• Algoritmii de flux optic bazati pe corelare de fază necesită o putere de calcul mare si sunt mai utili p entru
potrivirea imaginilor decât pentru calcul fluxului optic.
• Algoritmii existenti pentru determinarea miscării camerelor folosesc o parametrizare relative generică,
care desi poate să trateze foarte multe tipuri de miscare este mai putin utilă în scenarii cu mai putine
grade de liberate.
• Pe baza concluziilor de mai sus, am descris în capitolul 5 contributiile noastre legate de îmbunătătirea
algoritmilor existenti precum si algoritmi originali pentru calcul fluxului optic dens, detectia colturilor si
estimarea miscării camerelor .

Filtrul Kalman
În statistică filtrul Kalman reprezintă o metodă matematică prezentată de Rudolf E. Kalman. Scopul ei este
utilizarea măsurătorilor achizitionate în timp, continând zgomot pentru a produce valori filtrate mai apropiate de
cele reale. Filtrul Kalman produce estimări ale valorilor reale si a incertitudinilor acestora prin agregare. Valorile
agregate mai putin zgomotoase au pondere mai mare. Ecuatiile filtrului Kalman sunt ecuatia de tranzitie:
xk = Fkxk −1 + Bkuk + wk

,
k + R
, 1 k + Q Ecuatia procesului de observatie:
zk = Hkxk + vk
Ecuatia de predictie:
xˆk|k−1 = Fk xˆk−1|k−1 + Bkuk
Ecuatiile de filtrare:
Pk|k−1 = Fk Pk −1|k−1FT k
y˜k = zk − Hk x ˆk|k−1
Sk = Hk Pk |k−1HT k
Kk = Pk|k−1HT −
k Sk
xˆk|k = xˆk|k−1 + Kk y˜k
Pk|k = (I − Kk Hk )Pk|k−1
În statistică, filtrele de particule, numite si metoda Monte -Carlo secventiala, reprezintă metode sofisticate
bazate pe simulare. Ele sunt folosite pentru a est ima modele Bayesiene în care variabilele latente sunt conectate
printr -un lant Markov. Metodele bazate pe particule presupun că variabi lele de stare xk si observatiile y pot fi
modelate printr -un proces Markov de ordinul 1.

,
,
, • Majoritatea algoritmilor care folosesc camere fixe se bazează în mare măsură doar pe asumptia unui
fundal fix, obtinându -se rezultate destul de bu ne.
• Filtrele de tip Kalman sunt rapide, precise, si de aceea sunt preferabile din punct de vedere
computational. Totusi ele nu pot modela procese cu zgomot de tip non -Gaussian.
• Filtrele Kalman lucrează recursiv, integrând la fiecare pas informatii le de stare prezise cu cele observate.
Ele pot integra si observatii multiple, dar, din cauza pierderilor de precizie, aceasta poate duce la
acumularea erorilor
Cercetarea noastra a permis formularea următoarelor concluzii:
• Există multiple metode de detect ie a obiectelor din cadru, unele se bazează pe informatii 2D (de exemplu
pe densitatea de muchii verticale), altele metode se bazează pe imagini în domeniul infrarosu îndepărtat
ToF, altele pe informatii date de stereoviziune.
• Majoritatea metodelor ba zate pe stereoviziune se folosesc doar de imagini de disparitate, folosind sau
metode de segmentare sau metoda de v -disparitate.
• Abordările bazate pe v -disparitate sunt mai rapide.

,
,
,
,
, , • Avantajul sistemelui de recunoastere bazate pe informatii 3D este faptul că achitioneaza informatii
despre scara obiectelor.
• Informatia 3D generată de sistemul stereo al ImSTAR generează adâncimi pentru anumite puncte din
imagine. M etod a de clasific are bazata exclusiv pe adâncime inreconstructia stereo fac e posibila folosirea
directă a informatiei de adâncime.
• Antrenarea si testarea algoritmilor necesită seturi de date extinse. Majoritatea datelor disponibile sunt
doar imagini individuale, reprezentând exemple pozitive si negative. Din această cauză ele nu pot fi
folosite pentru sisteme de clasificare bazate pe informatii 3D.
În urma acestor concluzii, vom prezenta contributiile noastre originale în dome niul filmarii scenelor in proces de
stereoviziune.

,
,
,
,
,
,
, , Fluxul o ptic
Imbunătătirea algoritmilor existenti precum si algoritmi dezvolati in cercetarea noastra pentru calcul fluxului
optic dens, detectia colturilor si estimarea miscării camerelor. Algoritmul pentru calculul fluxului optic dens
constă în optimizări care fac algoritmul mai usor de adaptat la o implementare de tip stereviziune. Aplicatia
acestui algoritm este pentrusegmentarea imaginilor bazat pe miscare, ainformatiilor 3D si intensitatea imaginii.
Algoritmul o riginal de detectie a colturilor este mai rapid decât algoritmii de tip Harris obtinand imbunătătirea
timpului de executie folosind muchiile Canny deja extrase, informatii 3D si limitarea detectiei colturilor la părti
relevante din imagine. O parametrizare in coordonatele polare a camerelor stereo, împreună cu un algoritm de
tip RANSAC o utilizam la detectia miscării fata de axele camerelor necalibrate.
Algoritm în timp real pentru calcularea fluxului optic dens
Algoritmul optimizat pentru calcularea fluxului optic dens în timp real se bazează pe eliminarea redundantelor în
rezolvarea ecuatiilor prin metoda celor mai mici pătrate pentru fluxul optic dens de tip Lucas -Kanade.
Optimizările propuse conduc la o îmbunătătire a vitezei de executie cu un factor de 5.

Figura 1 ferestra de 3×3 pixeli pe care se calculează fluxul optic.
Segmentarea imaginilor bazată pe miscare, intensitate si profunzime
Dezvoltarea acestui algo ritm de segmentare a imaginilor este bazat pe cresterea regiunilor, măsură de
similaritate compusă din intensitate, profunzime si miscare 3D:
C (A, B) = α|ZA − ZB | + β|IA − IB | + γ|V A − V B | + δ|V A − V B | + ε|V A − V B |
0 0 0 0 x x y y z z

Algoritmul de selectie a trăsăturilor pentru fluxul optic
Accesarea imaginilor din primplan se face in urmatoarea ierarhie de operatii:
Operatia 1 -a: accesarea fiecarui punct reconstruit / punctele 3D dintr -o anumită clasă / respingerea punctelor
care se află lângă o muchie a imaginii de profunzime / Pe o fereastră de n pe n în jurul fiecărui punct se
calculează numărul minim dintre muchii verticale si orizontale si minimul dintre muchiile orientate pe cele două
diagonale. / ca lculează maximul acestor muchii.

, ,
,
,
,
Operatia a 2 -a: Se face o supresie a non -maximelor pe imaginea anterioară / se creează o histogramă a imaginii
anterioare, din care se deduce un prag în functie de numărul de colturi droit / se aplică pragul, rămânând doar
punctele de colt în imagine.
Testele algoritmului au avut rezultatele in executie fiind aplicabile în functie de acuratetea dorită si de numărul
de puncte selectate.
Algoritmul pentru estimarea 3D stereo
Algoritmul descris în această sectiune permite determinarea miscării camerelor stereo. El este de asemenea
util pentru sistemele de asistentă a conducerii, de această dată însă folosind camere stereo. Pentru a filtra
erorile care apar din cauza fluxului optic si a stereoviziunii, avem optat să determinăm miscarea camerei în doi
pasi. Primul pas este determinarea tranzactiei, printr -o metodă stabilă (nu prin metoda celor mai mici pătrate):
Obtinem apoi unghiurile instantanee de rotatie ca fiind:

Contributiile noastre legate de îmbunătătirea algoritmilor existenti precum si algoritmi dezvoltati pentru
dispozitivul ImSTAR pe ntru calcul fluxului optic dens si detectia disparitatii. Pentru a obtine îmb unătătirea
timpului de executie am folosit muchii le Canny deja extrase, informatii le3D si limitarea detectiei colturilor la
părti relevante din imagine. În functie de acuratetea dorită, algoritmul este mai rapid decât Shi –Tomasi, fiind la
fel de bun pentru extragerea colturilor pentru fluxul optic.

vyaw = PxOz R ( 0 0 1 ) T
vyaw ( 0 0 1 )
∆yaw = arccos
||vyaw ||