Licență

Program de studii: [626087]

Byadmin ianuarie 1, 2024

UNIVERSITATEA POLITEHNICA DIN BUCURES TI
FACULTATEA DE S TIINT E APLICATE
Program de studii:
Matematic a s i Informatic a Aplicat a^n Inginerie
PROIECT DE DIPLOM A
COORDONATOR
S TIINT IFIC,
Prof. Dr. Vladimir BalanABSOLVENT: [anonimizat] ¸-C˘ at˘ alin Popa
Bucure¸ sti 2017

Aprobat Decan ,
Prof. Univ. Dr. Emil PETRESCU
PROIECT DE DIPLOM A
Aplicat ii ale algoritmilor single-frame ^ n
reconstruct ia imaginilor cu super-rezolut ie
COORDONATOR
S TIINT IFIC,
Prof. Dr. Vladimir BalanABSOLVENT: [anonimizat] ¸-C˘ at˘ alin Popa
Bucure¸ sti 2017

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Cuprins
1 Introducere 3
2 Istoric tehnic 4
3 Tehnologii si metode pentru obt inerea imaginilor cu super-rezolut ie 6
Modelul observat ¸ional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
Algoritmi de super-rezolut ¸ie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Metode bazate pe interpolare . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Metode ˆ ın domeniul frecvent ¸ei . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Metode bazate pe regularizare . . . . . . . . . . . . . . . . . . . . . . . . . . 10
4 Super-rezolut ie single-frame 12
Etapa de extragere a caracteristicilor . . . . . . . . . . . . . . . . . . . . . . . . . 13
Etapa de ˆ ınv˘ at ¸are . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Etapa de reconstruct ¸ie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Principalele obstacole ˆ ın calea reconstruct ¸iei . . . . . . . . . . . . . . . . . . . . . 15
5 Comparat ie a performant ei ^ ntre diferite tehnici de rezolut ie 15
Metode de m˘ asurare ¸ si optimizare a calit˘ at ¸ii imaginii . . . . . . . . . . . . . . . . 15
6 Super-rezolut ie folosind sparse representation 16
Recuperarea semnalului bazat˘ a pe reprezentare sparse . . . . . . . . . . . . . . . . 16
Notat ¸ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Constrˆ angeri ale super-rezolut ¸iei . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Constrˆ angerea de reconstruct ¸ie . . . . . . . . . . . . . . . . . . . . . . . . . 17
Sparsity prior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Super-rezolut ¸ia imaginilor generale folosind Sparsity . . . . . . . . . . . . . . . . . 18
Modelul local folosind reprezentarea sparse . . . . . . . . . . . . . . . . . . . 18
Aplicarea constrˆ angerii de reconstruct ¸ie global˘ a . . . . . . . . . . . . . . . . 20
Interpretarea optimiz˘ arii globale . . . . . . . . . . . . . . . . . . . . . . . . . 21
Super-rezolut ¸ie facial˘ a folosind Sparsity . . . . . . . . . . . . . . . . . . . . . . . . 22
7 Aplicat ii ale super-rezolut iei 22
ˆImbun˘ at˘ at ¸ire video obi¸ snuit˘ a . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Camere de supraveghere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Diagnoz˘ a medical˘ a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Imagini din satelit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Bibliograe 23
Index 29

3
1 Introducere
Pentru a prezenta conceptul de super-rezolut ¸ie trebuie ca mai ˆ ıntˆ ai s˘ a ˆ ınt ¸elegem ce este
rezolut ¸ia unei imagini, respectiv ce este un pixel. Imaginile digitale sunt create cu ajutorul
unui senzor optic format din celule (fotodiode) ce transform˘ a orice impuls luminos receptat
ˆ ıntr-un semnal electric ce este apoi ampliﬁcat ¸ si transformat ˆ ın intensitatea luminoas˘ a a unui
pixel [89]. Un pixel poate ﬁ deﬁnit ca ﬁind cea mai mic˘ a unitate component˘ a a unei imagini.
Rezolut ¸ia reprezint˘ a num˘ arul de pixeli dintr-o imagine ¸ si este prezentat˘ a sub forma: num˘ ar
de pixeli pe vertical˘ a ×num˘ ar de pixeli pe orizontal˘ a, de exemplu 600 ×800. Uneori ea
mai apare ¸ si ca produsul dintre cele dou˘ a numere, folosindu-se o supraunitate a pixelului ¸ si
anume Megapixelul, adic˘ a un milion de pixeli [89]. A¸ sadar, cu cˆ at rezolut ¸ia unei imagini este
mai mare, cu atˆ at aceasta reprezint˘ a mai ﬁdel obiectele ce au fost capturate ¸ si cont ¸ine mai
mult˘ a informat ¸ie.
Rezolut ¸ia se refer˘ a de asemenea la capacitatea senzorului optic de a m˘ asura pˆ an˘ a ¸ si cele
mai mici obiecte, lucru care este direct dependent de m˘ arimea pixelului [90]. A¸ sadar prin
super-rezolut ¸ie ne referim la ˆ ımbun˘ at˘ at ¸irea rezolut ¸iei unei imagini prin alte metode decˆ at
celehardware pentru o calitate cˆ at mai bun˘ a a imaginii ¸ si pentru a extrage informat ¸ii cˆ at
mai precise asupra obiectului observat [92].
De¸ si tehnologia care st˘ a la baza captur˘ arii imaginilor digitale se dezvolt˘ a exponent ¸ial, pe
zi ce trece apar noi sisteme optice capabile de a captura o imagine cu o rezolut ¸ie de pˆ an˘ a la
4096×2160 pixeli [93], acestea totu¸ si necesit˘ a o dimensiune mare de spat ¸iu de stocare, lucru
ce face ca problema obt ¸inerii unei imagini cu super-rezolut ¸ie dintr-o imagine cu rezolut ¸ie
normal˘ a sau sc˘ azut˘ a s˘ a ﬁe ˆ ınc˘ a una de actualitate. De asemenea sistemele de supraveghere
tind s˘ a sacriﬁce rezolut ¸ia ˆ ın favoarea unei perioade de funct ¸ionare mai lung˘ a.
O alt˘ a zon˘ a ˆ ın care se dore¸ ste o imagine cˆ at mai bun˘ a este imagistica satelitar˘ a, dorin-
du-se bineˆ ınt ¸eles o imagine cˆ at mai clar˘ a a zonei studiate [94]. Cˆ and vorbim de astfel de
imagini, puterea de magniﬁcare a satelitului are o limitare, iar cˆ and aceasta este atins˘ a ˆ ınc˘ a
sunt cazuri ˆ ın care se dore¸ ste ˆ ımbun˘ at˘ at ¸irea calit˘ at ¸ii imaginii. Imagistica medical˘ a este de
asemenea un domeniu ˆ ın care se doresc o rezolut ¸ie ¸ si respectiv o calitate a imaginii cˆ at mai
ridicate, pentru a ajunge la un diagnostic corect, iar radiat ¸ia la care este supus pacientul
s˘ a ﬁe minim˘ a [96]. Luˆ and ˆ ın considerare cele de mai sus ˆ ımbun˘ at˘ at ¸irea rezolut ¸iei este ˆ ınc˘ a
dorit˘ a ˆ ın multe domenii, iar prin alte metode decˆ at cele hardware care pot deveni costisitoare
¸ si care pot ˆ ımbun˘ at˘ at ¸i rezolut ¸ia ˆ ıns˘ a pˆ an˘ a la un anumit punct. Pentru a folosi conceptul de
algoritmi single-frame ˆ ın obt ¸inerea super-rezolut ¸iei este nevoie s˘ a elabor˘ am not ¸iunile single-
frame ¸ simulti-frame . Conceptul de multi-frame const˘ a ˆ ın folosirea a mai multor imagini cu
rezolut ¸ie sc˘ azut˘ a ale aceluia¸ si cadru pentru a forma o imagine cu super-rezolut ¸ie. Pentru a
face acest lucru se folose¸ ste de obicei o metod˘ a numit˘ a sub-pixel alignment ce este prezentat˘ a
ˆ ın Figura 1 [90].
Figura 1 ilustreaz˘ a sumar procedeul prin care este obt ¸inut˘ a o imagine ˆ ımbun˘ at˘ at ¸it˘ a ca-
litativ din trei imagini ale aceluia¸ si cadru. ˆIn partea din stˆ anga se aﬂ˘ a cele trei imagini
init ¸iale, iar cu ajutorul unor tehnici de super-rezolut ¸ie ce includ sub-pixel alignment se obt ¸ine
imaginea din dreapta.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Figure 1: Metoda multi-frame
2 Istoric tehnic
Ast˘ azi, cei mai folosit ¸i senzori de imagine sunt CCD ( charge-coupled devices ) ¸ si CMOS
(complementary metal oxide semiconductors ) [95, 98], iar pentru a obt ¸ine o imagine cu o
rezolut ¸ie ˆ ınalt˘ a una dintre solut ¸ii ar ﬁ s˘ a dezvolt˘ am dipozitive optice mai avansate. O metod˘ a
ar ﬁ reducerea m˘ arimii unui pixel, ˆ ıns˘ a acest lucru afecteaz˘ a cantitatea de lumin˘ a disponi-
bil˘ a, a¸ sadar ar trebui m˘ arit˘ a senzitivitatea senzorului, iar calitatea imaginii va ﬁ afectat˘ a de
zgomotul de imagine numit shot noise [97].
Figure 2: Zgomot de imagine
Mai mult decˆ at atˆ at, modele de a¸ sezare a pixelilor non-rectangulare, cum ar ﬁ modelul
hexagonal super CCD de la Fijiﬁlm sau modelul transfer-ortogonal CCD au fost folosite
pentru a ˆ ımbun˘ at˘ at ¸i spatial sampling rate [98]. Alte metode includ m˘ arirea chip-ului sau a
lungimii focale, ˆ ıns˘ a aceasta ar cauza o cre¸ stereˆ ın capacitant ¸˘ a, respectiv a m˘ arimii ¸ si greut˘ at ¸ii
camerelor. A¸ sadar aceste metode sunt considerate ineﬁciente datorit˘ a limit˘ arilor impuse de
industria optic˘ a actual˘ a ¸ si de cea a product ¸iei de senzori [4]. ˆIn comparat ¸ie cu CMOS-
urile, CCD-urile au avantaje ˆ ın ceea ce prive¸ ste minimizarea zgomotului, rezolut ¸ia imaginii,
senzitivitatea senzorilor ¸ si dezvoltarea tehnologic˘ a [95]. Din p˘ acate camerele bazate pe CCD
au pret ¸uri ridicate a¸ sadar tehnologiile bazate pe CMOS sunt din ce in ce mai investigate.
Senzorii CMOS ¸ stiint ¸iﬁci – sCMOS ofer˘ a o rezolut ¸ie mai mare ¸ si o rat ¸ie semnal-zgomot
(SNR) mare, ˆ ıns˘ a utilizarea practic˘ a r˘ amˆ ane o provocare. Per total, datorit˘ a limit˘ arilor
tehnologiilor hardware , cercetarea ˆ ımbun˘ at˘ at ¸irii rezolut ¸iei prin metode software este ˆ ınc˘ a o
necesitate. Avˆ andˆ ın vedere conceptele super-rezolut ¸iei, prima problem˘ a care trebuie adresat˘ a

5
este cea a obt ¸inerii unei imagini cu super-rezolut ¸ie din mai multe imagini observate a c˘ aror
rezolut ¸ie este sc˘ azut˘ a. ˆIn general, dac˘ a exist˘ a destul˘ a informat ¸ie ˆ ın imaginile cu rezolut ¸ie
sc˘ azut˘ a, obt ¸inerea unei imagini cu super-rezolut ¸ie este fezabil˘ a [96,99]. ˆIns˘ a acest lucru este
posibil doar dac˘ a imaginile observate cu rezolut ¸ie sc˘ azut˘ a nu pot ﬁ obt ¸inute una din cealalt˘ a
prin ree¸ santionare ( resampling ) sau transform˘ ari ca translat ¸ii/rotat ¸ii, altfel nu se pot obt ¸ine
rezultate eﬁciente. Pentru a implementa ˆ ıntr-o aplicat ¸ie conceptul de super-rezolut ¸ie, s-a
ˆ ıncercat obt ¸inerea unei imagini prin modiﬁcarea ¸ si controlarea hardware -ului. Senzorii pot ﬁ
setati ˆ ın a¸ sa fel ˆ ınc˘ at s˘ a extrag˘ a informat ¸ii cu un a¸ sa numit sub-pixel displacement sau mai
multe ”priviri” asupra aceleia¸ si scene. Agent ¸ia spat ¸ial˘ a francez˘ a ne poate oferi una dintre
cele mai de succes cazuri ˆ ın domeniul imaginilor prin satelit, aceasta folosind un senzor CCD
ˆ ın satelitul SPOT-5 ce poate ˆ ıncorpora dou˘ a CCD-uri a cˆ ate 12.000 pixeli ﬁecare [99]. Cele
dou˘ a CCD-uri sunt desincronizate cu cˆ ate o jum˘ atate de pixel pe vertical˘ a ¸ si orizontal˘ a. Din
moment ce ambii senzori pot captura imagini ˆ ın acela¸ si moment, se poate obt ¸ine un set de
date cu doar o decalare de jum˘ atate de pixel, informat ¸ie ce poate ﬁ procesat˘ a cu ajutorul
unor tehnici de super-rezolut ¸ie pentru a obt ¸ine o imagine cu o rezolut ¸ie ridicat˘ a calitativ mai
bun˘ a. Camerele Leica ADS40 folosesc un mecanism similar celui de pe SPOT-5 [8]. Mai
mult decˆ at atˆ at, folosind pixeli CCD compu¸ si din sub-pixeli cu forme ¸ si organiz˘ ari diferite se
pot obt ¸ine imagini cu super-rezolut ¸ii ˆ ımbun˘ at˘ at ¸ite [100].

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
3 Tehnologii si metode pentru obt inerea imaginilor cu
super-rezolut ie
Urmeaz˘ a s˘ a discut˘ am metodele principale de obt ¸inere a unei imagini cu super-rezolut ¸ie
din mai multe observat ¸ii cˆ at ¸ si diﬁcult˘ at ¸ile ˆ ıntˆ ampinate ˆ ın folosirea lor. Problema principal˘ a
este modul ˆ ın care este folosit˘ a informat ¸ia suplimentar˘ a din multiplele observat ¸ii. ˆIn anul
1964 J.L. Harris, ˆ ın lucrarea sa: ”Diﬀraction and resolving power” [3] a stabilit o fundat ¸ie
teoretic˘ a pentru abordarea super-rezolut ¸iei introducˆ and teoreme ce pot ﬁ folosite pentru a
rezolva problema difract ¸iei ˆ ıntr-un sistem optic. Douazeci de ani mai tarziu, R.Y. Tsai ¸ si
T.S. Huang [1] au abordat pentru prima dat˘ a ideea de super-rezolut ¸ie pentru a ˆ ımbun˘ at˘ at ¸i
imaginile provenite de la Landsat TM. De atunci super-rezolut ¸ia a devenit un subiect de
interes pentru mult ¸i cercet˘ atori, atˆ at pe plan teoretic cˆ at ¸ si practic. Tehnicile de super-
rezolut ¸ie au fost dezvoltate ¸ si ˆ ımbun˘ at˘ at ¸ite de mai bine de trei decenii, iar progresele f˘ acute
pot ﬁ rezumate dup˘ a cum urmeaz˘ a.
La ˆ ınceput majoritatea metodelor se bazau pe domeniul de frecvent ¸˘ a [1]. Algoritmii
ce se folosesc de domeniul de frecvent ¸˘ a funct ¸ioneaz˘ a prin a crea o leg˘ atur˘ a ˆ ıntre imaginile
cu rezolut ¸ie ˆ ınalt˘ a (HR) ¸ si cele observate cu rezolut ¸ie sc˘ azut˘ a (LR) bazat˘ a pe cˆ ateva baze
teoretice simple ¸ si avˆ and o eﬁcient ¸˘ a computat ¸ional˘ a ridicat˘ a. ˆIns˘ a chiar ¸ si aceste metode au
limi˘ ari ˆ ın ceea ce prive¸ ste procesarea unor imagini cu mi¸ sc˘ ari complexe.
Datorit˘ a inconvenientelor algoritmilorˆ ın domeniul frecvent ¸ei, metodeleˆ ın domeniul spat ¸ial
(spatial domain ) au devenit principalul subiect [4]. Principalele metode includ iterative back-
projection (IBP) [6], projection onto convex sets (POCS) [5], metodele regularizate ¸ si o mul-
titudine de algoritmi hibrid [2]. Primele lucr˘ ari elaborate ofer˘ a descrieri ¸ si explicat ¸ii ale aces-
tor metode. Printre acestea, metodele regularizate sunt cele mai populare datorit˘ a eﬁcient ¸ei
¸ si ﬂexibilit˘ at ¸ii, de aceea cele mai recente studii in domeniul super-rezolut ¸iei s-au axat pe
framework -uri regularizate [4]. Din aceast˘ a cauz˘ a o s˘ a ne orient˘ am atent ¸ia c˘ atre evolut ¸ia
metodelor regularizate, ˆ ın special ˆ ın ultimii zece ani. De asemenea o s˘ a facem o scurt˘ a
trecere peste progresul algoritmilor de optimizare si set˘ arii parametrilor ( parameter setup ).
Modelul observat ional
Modelul observat ¸ional prezint˘ a modul ˆ ın care au fost obt ¸inute imaginile cu rezolut ¸ie sc˘ azut˘ a
(LR) ¸ si modeleaz˘ a parametrii care transform˘ a imaginea cu rezolut ¸ie ˆ ınalt˘ a (HR) ˆ ın imaginea
LR. Modelul observat ¸ional este esent ¸ial ˆ ın obt ¸inerea super-rezolut ¸iei cˆ and vine vorba de un
cadru regularizat. ˆInainte de a ˆ ıncepe procesul reconstruct ¸iei trebuie s˘ a ne ˆ ındrept˘ am atent ¸ia
c˘ atre procesul prin care este obt ¸inut˘ a imaginea. Acesta poate ﬁ inﬂuent ¸at de diver¸ si factori
externi cum ar ﬁ mi¸ scarea, difract ¸ia optic˘ a, zgomotul de imagine sau under-sampling -ul.ˆIn
general lu˘ am ˆ ın considerare ca factori ce inﬂuent ¸eaz˘ a imaginea obt ¸inut˘ a zgomotul, efectul de
blur,warping -ul ¸ si down-sampling -ul, ajungˆ and la urm˘ atorul model observat ¸ional:
yk=OkDkBkMkz+nk, (1)
unde sunt folosite kimagini init ¸iale cu rezolut ¸ie sc˘ azut˘ a. Fie N1k×N2km˘ arimea imagi-
nii init ¸iale k, iar L1kN1k×L2kN2km˘ arimea imaginii reconstruite inﬂuent ¸at˘ a de factorii de
m˘ arire orizontal˘ a ¸ si vertical˘ a L1k, respectiv L2k.ˆIn (1) z este forma vectorial˘ a a imaginii
reconstruite cu o dimensiune de L1kN1kL2kN2k×1, adic˘ a z= [z1, z2,· · ·, zL1kN1kL2kN2k]T, ¸ si
yk= [yk;1, yk;2,· · ·, yk;N1kN2k]Teste vectorul imaginii kobt ¸inute. Dkeste matricea de down-

7
sampling de m˘ arime N1kN2k×L1kN1kL2kN2k,Bkeste operatorul de blurring de m˘ arime
L1kN1kL2kN2k×L1kN1kL2kN2k, iarMkeste matricea de warp ce descrie informat ¸ia de mi¸ scare
(translat ¸ii, rotat ¸ii,etc.). nk(N1kN2k×1) reprezint˘ a zgomotul de imagine. Okeste operatorul
care exclude pixelii neobservabili din imaginea k[7–9]. ˆIn acest fel putem aborda atˆ at prob-
lema super-rezolut ¸iei cˆ at ¸ si pe cea a reconstruct ¸iei p˘ art ¸ilor lips˘ a dac˘ a imaginile init ¸iale sunt
afectate. Din (1) se poate obt ¸ine modelul observat ¸ional pentru super-rezolut ¸ie single-frame
dac˘ a egal˘ am kcu 1. Dac˘ a MksiDksunt excluse acesta devine un model pentru restau-
rarea imaginilor afectate de zgomot, blurring sau informat ¸ie lips˘ a. Mai jos avem o schem˘ a a
modelului observat ¸ional:
Figure 3: Modelul observat ¸ional
Algoritmi de super-rezolut ie
ˆIn continuare vom prezenta principalii algoritmi de obt ¸inere a super-rezolut ¸iei atˆ at single-
frame cˆ at ¸ si multi-frame .
Metode bazate pe interpolare
Interpolarea este procesul de estimare a unor pixeli noi printre pixelii deja obt ¸inut ¸i ai unei
imagini. Aceste tehnici s-au dovedit a ﬁ eﬁciente ˆ ın multe cazuri practice, ﬁind unele dintre
cele mai u¸ soare metode de a m˘ ari rezolut ¸ia unei imagini. Multe dintre software -urile com-
erciale, cum ar ﬁ PhotoZoom Pro ,Qimage ,Genuine Fractals sau chiar Photoshop folosesc
metode de interpolare pentru a modiﬁca m˘ arimea unei imagini. Algoritmii de interpolare in-
clud trei mari pa¸ si in obt ¸inerea super-rezolut ¸iei, dup˘ a cum urmeaz˘ a: ˆ ınregistrare, interpolare
¸ si restaurare. Primul pas este procesul de aliniere a tuturor imaginilor obt ¸inute din punct
de vedere geometric, folosind ca referint ¸˘ a o imagine predeﬁnit˘ a numit˘ a imagine de referint ¸˘ a.
Imaginile obt ¸inute pot suferi de rotat ¸ii, translat ¸ii sau sub-pixel displacement , a¸ sadar trebuie
aliniate, astfel ˆ ıncˆ at parametrii de mi¸ scare s˘ a ﬁe aproximat ¸i corect ˆ ınainte de a ˆ ıncerca s˘ a
le unim pentru a crea o imagine cu super-rezolut ¸ie. Estim˘ ari incorecte ale parametrilor de
mi¸ scare pot conduce la o imagine cu super-rezolut ¸ie ce cont ¸ine diverse artefacte vizuale ce
se pot accentua de la o imagine la alta. ˆInregistrarea are loc ﬁe ˆ ın domeniul spat ¸ial ﬁe ˆ ın
domeniul frecvent ¸ei. Domeniul frecvent ¸ei este descris ˆ ın am˘ anunt ˆ ın sect ¸iunea urm˘ atoare.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Domeniul spat ¸ial are de asemenea varii metode de a estima mi¸ scarea, Keren et al. [10] au pro-
pus un algoritm bazat pe seria Taylor ce estimeaz˘ a parametrii de mi¸ scare cu precizie de sub-
pixel. J.R. Bergen ¸ si asociat ¸ii [11] au propus un cadru ierarhic pentru estimarea parametrilor
de mi¸ scare cum ar ﬁ metode planare sau aﬁne. Peleg ¸ si Irani [6] au dezvoltat o modalitate
interactiv˘ a cu multiple rezolut ¸ii pentru estimarea parametrilor de mi¸ scare. Pentru estimarea
acestor parametri unele metode mapeaz˘ a ˆ ıntreaga imagine, iar altele doar anumite caracter-
istici ce sunt comune printre imaginile cu rezolut ¸ie sc˘ azut˘ a [12]. Unele metode estimeaz˘ a
atˆ at imaginea cu super-rezolut ¸ie cˆ at ¸ si parametrii de mi¸ scare folosind metode Bayesiane, una
din aceste metode este explicat˘ a de Hardie et al. [13]. Mai recent, G. Botella ¸ si asociat ¸ii au
prezentat o metod˘ a de aproximare bazat˘ a pe gradient [14].
Pe lˆ ang˘ aˆ ınregistrare, un rol importantˆ ın estimarea unei imagini cu super-rezolut ¸ieˆ ıl joac˘ a
interpolarea. Exist˘ a foarte multe metode de interpolare, iar complexitatea ﬁec˘ areia const˘ a
ˆ ın num˘ arul de pixeli adiacent ¸i folosit ¸i pentru a estima pixelii nou creat ¸i (intermediari). Cele
mai cunoscute metode de interpolare sunt: cel mai apropiat vecin ( nearest neighbor ), metode
biliniare si bicubice. Cel mai apropiat vecin este cea mai simpl˘ a metod˘ a de interpolare
ce const˘ a ˆ ın folosirea celor mai apropiat ¸i pixeli de pixelul pe care dorim s˘ a ˆ ıl aproxim˘ am.
Aceasta are ˆ ıns˘ a un mare dezavantaj, ¸ si anume tr˘ as˘ aturi liniare sub forma de treapt˘ a vizibile
ˆ ın imaginea cu super-rezolut ¸ie. EXEMPLU POZA URMEAZA IN ANEXA Metoda biliniar˘ a
calculeaz˘ a o medie a celor mai apropiat ¸i 2 ×2 pixeli vecini pentru a estima valoarea pixelului
interpolat. Analog, metoda bicubic˘ a folose¸ ste cei mai apropiat ¸i 4 ×4 pixeli pentru a es-
tima valoarea pixelului interpolat. ˆIn ambele metode pixelii mai apropiat ¸i de pixelul estimat
au un procentaj mai ridicat ˆ ın estimarea acestuia. Deoarece translat ¸iile dintre imaginile cu
rezolut ¸ie sc˘ azut˘ a sunt inegale, este nevoie de metode neuniforme de interpolare pentru a folosi
toate imaginile cu rezolut ¸ie sc˘ azut˘ a ˆ ın cea cu super-rezolut ¸ie. ˆIn 1992 Ur ¸ si Gross [15] au
dezvoltat o metod˘ a de interpolare neuniform˘ a pentru un set de imagini translatate folosind
o teorem˘ a generalizat˘ a de multi-channel sampling . Exist˘ a multe alte metode complexe de
interpolare folosite pentru a redimensiona o singur˘ a imagine, cum ar ﬁ: Cubic B-spline [16],
New Edge-Directed Interpolation (NEDI) [17], ¸ si Edge-Guided Interpolation (EGI) [18]. Pe
scurt, metoda Cubic B-spline cuprinde port ¸iuni ale unei curbe continue ce trece prin an-
umite puncte. Fiecare din acele puncte reprezint˘ a procentaje, iar acele procentaje sunt
coeﬁcient ¸ii unui polinom de gradul trei. Rolul metodei este de a calcula acele procentaje
folosite ulterior pentru a obt ¸ine imaginea cu super-rezolut ¸ie. NEDI [17] este o metod˘ a de
interpolare direct ¸ional adaptiv˘ a bazat˘ a pe covariant ¸˘ a ˆ ın care pixelii interpolat ¸i sunt estimat ¸i
cu coeﬁcient ¸ii locali ai covariant ¸ei imaginii cu rezolut ¸ie sc˘ azut˘ a bazat ¸i pe dualitatea geomet-
ric˘ a dintre covariant ¸a imaginii cu rezolut ¸ie sc˘ azut˘ a ¸ si imaginea cu super-rezolut ¸ie. EGI [18]
divide vecin˘ atatea ﬁec˘ arui pixel ˆ ın dou˘ a subseturi de observat ¸ie ˆ ın dou˘ a direct ¸ii ortogonale.
Fiecare subset de observat ¸ie aproximeaz˘ a un pixel lips˘ a. Algoritmul apoi contope¸ ste cele
dou˘ a valori aproximate ˆ ıntr-o estimare mai robust˘ a folosind estimarea liniar˘ a MMSE ( min-
imum mean square error ). Alte metode de interpolare cuprind interpolarea Gradient-Based
Adaptive (GBA) [19] ¸ si modelul de interpolare autoregresiv [20]. Aceste metode sunt extrem
de eﬁciente ¸ si conserv˘ a majoritatea informat ¸iei din imagine, ˆ ıns˘ a timpul de procesare ¸ si costul
computat ¸ional sunt mai mari fat ¸˘ a de metodele clasice.
Pa¸ sii de ˆ ınregistrare, interpolare ¸ si restaurare aferent ¸i metodei de super-rezolut ¸ie pot
ﬁ sust ¸inut ¸i iterativ petru a obt ¸ine o imagine cu super-rezolut ¸ie din mai multe imagini cu
rezolut ¸ie sc˘ azut˘ a prin metoda Iterative Back Projection (IBP) [6]. ˆIn aceast˘ a metod˘ a imag-
inea cu super-rezolut ¸ie este estimat˘ a prin a minimiza iterativ eroarea dintre imaginile cu
rezolut ¸ie sc˘ azut˘ a observate ¸ si cele simulate. Aceast˘ a metod˘ a este foarte simpl˘ a ¸ si u¸ sor de

9
ˆ ınt ¸eles, ˆ ıns˘ a nu ofer˘ a accea¸ si solut ¸ie de ﬁecare dat˘ a datorit˘ a problemei inverse gre¸ sit formu-
late. Alt˘ a abordare a super-rezolut ¸iei u¸ sor de implementat este Projection Onto Convex Set
(POCS) propus˘ a de Oskoui ¸ si Stark [21]. ˆIn aceast˘ a metod˘ a un set de constrˆ angeri este deﬁnit
pentru a restrˆ ange spat ¸iul imaginii cu super-rezolut ¸ie. Seturile de constrˆ angeri sunt convexe
¸ si reprezint˘ a anumite caracteristici ale imaginii cu super-rezolut ¸ie pe care le dorim, cum ar ﬁ
smoothness -ul, pozitivitatea ¸ si reliability -ul. Intersect ¸ia tuturor acestor seturi de caracteristici
reprezint˘ a spat ¸iul de solut ¸ii permisibile. A¸ sadar problema este redus˘ a la a g˘ asi intersect ¸ia
seturilor de constrˆ angeri. Pentru a g˘ asi o astfel de solut ¸ie, un operator de proiect ¸ie este
aﬂat pentru ﬁecare set de constrˆ angeri. Acest operator proiecteaz˘ a o estimare a imaginii cu
super-rezolut ¸ie asupra setului de constrˆ angeri asociat. Folosind aceast˘ a modalitate iterativ,
se poate obt ¸ine o solut ¸ie bun˘ a la suprafat ¸a intersect ¸iei celor kseturi de constrˆ angeri convexe.
Algoritmul original nu includea ¸ si zgomotul de observare [21]; a¸ sadar a fost ˆ ımbun˘ at˘ at ¸it de
mult ¸i alt ¸i cercet˘ atori. Tekalp et al. [22] au extins metoda pentru a ˆ ıncorpora zgomotul. Patti
et al. [23] au dus algoritmul ¸ si mai departe ad˘ augˆ and blur-ul, timpul de diafragm˘ a diferit de
zero, zgomot de senzor ¸ si structuri arbitrare de sampling .
Metode ^ n domeniul frecvent ei
O alt˘ a abordare cunoscut˘ a pentru a obt ¸ine o imagine cu super-rezolut ¸ie este domeniul
frecvent ¸ei [1, 25, 26]. Chiar prima tehnic˘ a de super-rezolut ¸ie folosit˘ a de Tsai ¸ si Huang [1]
folosit˘ a pe imaginile obt ¸inute prin satelit a fost bazat˘ a pe domeniul frecvent ¸ei. Mult ¸i alt ¸i
cercet˘ atori au extins aceast˘ a metod˘ a pentru a construi altele. Aceast˘ a metod˘ a presupune
transformarea imaginilor cu rezolut ¸ie sc˘ azut˘ a ˆ ın domeniul Transformatei Fourier Discrete
(DFT), iar imaginea cu super-rezolut ¸ie este estimat˘ a ˆ ın acest domeniu, dup˘ a care este trans-
format˘ a ˆ ınapoi ˆ ın domeniul spat ¸ial.
Tsai ¸ si Huang [1] au presupus c˘ a imaginile de la satelit sunt similare, dar translatate global
¸ si c˘ a pot ﬁ considerate ca ﬁind imaginile under-sampled ale unei scene statice necunoscut˘ a.
Parametrii de translat ¸ie si aliasing sunt folosit ¸i pentru a determina un set de ecuat ¸ii care leag˘ a
DFT a imaginilor cu rezolut ¸ie sc˘ azut˘ a de transformata Fourier continu˘ a (CFT) a imaginii cu
super-rezolut ¸ie necunoscut˘ a ( Fy=ϕFx;Fyeste DFT a imaginii cu rezolut ¸ie sc˘ azut˘ a y, iar
Fxeste CFT a imaginii cu super-rezolut ¸ie necunoscute x) [24]. Matricea sistemului ϕeste
format˘ a din informat ¸ia de mi¸ scare dintre imaginile cu rezolut ¸ie sc˘ azut˘ a. A¸ sadar problema
super-rezolut ¸iei este redus˘ a la a aﬂa CFT a imaginii cu super-rezolut ¸ie cu ajutorul DFT a
imaginilor cu rezolut ¸ie sc˘ azut˘ a ¸ si a matricei sistemului. Aceast˘ a problem˘ a simpliﬁcat˘ a este
rezolvat˘ a de obicei cu ajutorul metodei celor mai mici p˘ atrate [4]. Blur-ul ¸ si zgomotul ˆ ın
timpul obt ¸inerii imaginii au fost ignorate ˆ ın studiul lui Huang si Tsai, ˆ ıns˘ a Kim et al. [27]
¸ si-au extins munca luˆ and in calcul ¸ si aceste efecte. Metoda corel˘ arii este deseori folosit˘ a
pentru a descoperi parametrii de mi¸ scare ˆ ın domeniul frecvent ¸ei. Parametrii de mi¸ scare
sunt determinat ¸i datorit˘ a faptului c˘ a imaginile mutate difer˘ a ˆ ın domeniul frecvent ¸ei doar
printr-o schimbare de faz˘ a [25, 26]. Schimbarea de faz˘ a dintre cele dou˘ a imagini poate ﬁ
obt ¸inut˘ a prin corelarea acestora. Folosind corelarea fazelor atˆ at rotat ¸ia cˆ at ¸ si scalarea imaginii
pot ﬁ transformate ˆ ın mi¸ sc˘ ari verticale sau orizontale. Pentru a minimiza erorile datorit˘ a
aliasing -ului se pot folosi doar anumit ¸i coeﬁcient ¸i Fourier discret ¸i [25]. Dup˘ a ce se estimeaz˘ a
parametrii de ˆ ınregistrare, imaginile cu rezolut ¸ie sc˘ azut˘ a sunt combinate conform relat ¸iei
dintre coeﬁcient ¸ii transformatei Fourier discrete ai imaginilor cu rezolut ¸ie sc˘ azut˘ a ¸ si imaginea
cu super-rezolut ¸ie necunoscut˘ a. Avantajul metodei domeniului de frecvent ¸˘ a este c˘ a aceasta
este u¸ sor de aplicat ¸ si functioneaz˘ a mai bine ˆ ımpotriva aliasing -ului decˆ at metoda domeniului

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
spat ¸ial. Dezavantajul acesteia este c˘ a se limiteaz˘ a la mi¸ scarea global˘ a, a¸ sadar funct ¸ioneaz˘ a
doar pentru translat ¸ii ¸ si rotat ¸ii planare [25]. Mai tˆ arziu transformata Fourier este ˆ ınlocuit˘ a
de Transformata Cosinus Discret˘ a (DCT) [28] ¸ si Transformata Wavelet Discret˘ a (DWT) [29].
Rhee ¸ si Kang [28] au modiﬁcat metoda bazat˘ a pe transformata Fourier pentru a folosi
tehnici regularizate de deconvolut ¸ie folosind DCT. Aceast˘ a metod˘ a funct ¸ioneaz˘ a chiar ¸ si
pentru cazurile cu informat ¸ie despre sub-pixeli insuﬁcient˘ a sau cele gre¸ sit formulate. DCT
folose¸ ste doar coeﬁcient ¸i reali, a¸ sadar este mai put ¸in costisitoare din punct de vedere compu-
tat ¸ional decˆ at domeniul Fourier. Nguyen ¸ si Milanfar [29] au folosit interpolare wavelet urmat˘ a
de metoda de restaurare pentru super-rezolut ¸ie. Ace¸ stia au calculat mai ˆ ıntˆ ai coeﬁcient ¸ii de
und˘ a ( wavelet ) ai imaginilor cu rezolut ¸ie sc˘ azut˘ a ¸ si apoi i-au interpolat pentru valorile blu-
rate ˆ ın puncte de pe imaginea cu super-rezolut ¸ie. Prin deconvolut ¸ia valorilor interpolate cu
blur-ul cunoscut se poate estima o imagine cu super-rezolut ¸ie. El-Khamy ¸ si asociat ¸ii [31] au
ˆ ınregistrat toate imaginile cu rezolut ¸ie sc˘ azut˘ a direct ˆ ın domeniul wavelet . Dup˘ a ˆ ınregistrare,
coeﬁcient ¸ii wavelet au fost unit ¸i, iar zgomotul a fost ˆ ınl˘ aturat folosind o metod˘ a de regu-
larizare. Metode de interpolare au fost apoi folosite pentru a obt ¸ine coeﬁcient ¸ii wavelet ai
imaginii cu super-rezolut ¸ie, iar la sfˆ ar¸ sit cu ajutorul unei transformate inverse wavelet s-a
obt ¸inut imaginea cu super-rezolut ¸ie ˆ ın domeniul spat ¸ial. Chappalli ¸ si Bose [32] au imple-
mentat tehnici software de thresholding pentru a ˆ ındep˘ arta zgomotul asociat coeﬁcient ¸ilor
wavelet . Fermuller ¸ si Ji [33, 34] au descompus coeﬁcient ¸ii wavelet ˆ ın dou˘ a p˘ art ¸i folosind o
schem˘ a de rezolut ¸ii multiple. Acei coeﬁcient ¸i au fost apoi interpolat ¸i, ﬁltrat ¸i ¸ si recombinat ¸i
pentru a obt ¸ine imaginea simulat˘ a. Imaginea ﬁnal˘ a era obt ¸inut˘ a folosind metoda IBP cu
criterii eﬁciente de regularizare pentru a elimina zgomotul la ﬁecare pas. Recent, atent ¸ia
cercet˘ atorilor s-a ˆ ındreptat c˘ atre transformarea contourlet , avantajul acesteia fat ¸˘ a de cea
wavelet ﬁind c˘ a aceasta poate captura muchiile dintr-o imagine ˆ ın orice direct ¸ie, nu doar
orizontal sau vertical [30].
Metode bazate pe regularizare
Problema obt ¸inerii imaginilor cu super-rezolut ¸ie este una al c˘ arei solut ¸ie nu este unic˘ a, dup˘ a
cum s-a putut observa. O alt˘ a metod˘ a de obt ¸inere a acestor imagini este folosind un termen
de regularizare. [35] Aceast˘ a metod˘ a ˆ ıncorporeaz˘ a cuno¸ stint ¸e anterioare asupra imaginilor
cu rezolut ¸ie ˆ ınalt˘ a pentru a rezolva problema super-rezolut ¸iei. Dou˘ a abord˘ ari principale ale
regulariz˘ arii sunt metodele deterministe ¸ si cele stocastice. Metoda determinist˘ a introduce un
termen al regulariz˘ arii care transform˘ a problema subdeterminat˘ a ˆ ın una corect determinat˘ a.
Imaginea cu rezolut ¸ie ˆ ınalt˘ a Xeste estimat˘ a minimizˆ and urm˘ atoarea funct ¸ie de cost:
X= argminN∑
k=1∥yk−HkX∥2+λ∥RX∥2(2)
unde λeste constanta de regularizare, iar Reste termenul de regularizare. Metoda celor mai
mici p˘ atrate folose¸ ste constante de netezime ca a priori .ˆIn acest caz Rdevine ﬁltrul high
pass ce minimizeaz˘ a cantitatea frecvent ¸elor ˆ ınalte din imaginea obt ¸inut˘ a, iar λcontroleaz˘ a
informat ¸ia din frecvent ¸ele ˆ ınalte. O valoare mai mare pentru λpoate netezi imaginea recon-
struit˘ a, lucru ce poate ﬁ beneﬁc dac˘ a sunt disponibile put ¸ine imagini cu rezolut ¸ie sc˘ azut˘ a
sau acestea cont ¸in mult zgomot. Pe de alt˘ a parte, valori mici ale lui λdetermin˘ a obt ¸inerea
unei imagini ce poate cont ¸ine zgomot, lucru ce poate ﬁ trecut cu vederea daca sunt disponi-
bile multe imagini init ¸iale ce au pe deasupra si putin zgomot. [4] Estimatorul celor mai mici

11
p˘ atrate Tikhonov regularizat folose¸ ste norma l2a derivatei de ordin doi a reconstruct ¸iei ima-
ginii cu rezolut ¸ie ˆ ınalt˘ a ca ¸ si termen de regularizare. [36] Norma l2nu asigur˘ a o solut ¸ie unic˘ a.
Farsiu et al. [37] au c˘ autat o alternativ˘ a ˆ ın minimizarea normei l1pentru obt ¸inerea super-
rezolut ¸iei mai rapid. Kim ¸ si Bose [27] propun un algoritm recursiv ponderat bazat pe cele
mai mici p˘ atrate pentru obt ¸inerea super-rezolut ¸iei. Ponderea depinde de cuno¸ stint ¸ele deja
acumulate asupra imaginii, algoritmul oferind o pondere mai mare imaginilor cu rezolut ¸ie
sc˘ azut˘ a ce au SNR mare. Avˆ and ponderi diferite problema devine una general˘ a de estimare
a celor mai mici p˘ atrate. Tot ce mai r˘ amˆ ane de f˘ acut este interpolarea ¸ si restaurarea ˆ ıntr-o
imagine cu super-rezolut ¸ie.
Metoda stocastic˘ a [38–46], mai ales metoda Maximum A-Posteriori (MAP), este cunos-
cut˘ a deoarece ofer˘ a o metod˘ a convenabil˘ a ¸ si ﬂexibil˘ a de a folosi informat ¸ie a priori ¸ si deoarece
creeaz˘ a o leg˘ atur˘ a puternic˘ a ˆ ıntre imaginile observate ¸ si cea cu rezolut ¸ie ˆ ınalt˘ a necunoscut˘ a.
Metoda const˘ a ˆ ın g˘ asirea estim˘ arii MAP a imaginii cu rezolut ¸ie ˆ ınalt˘ a pentru care o proba-
bilitate posteriori P(X|Y) este maxim˘ a [41].
ˆXMAP= argminXP(X|Y) (3)
Folosind teorema lui Bayes, ecuat ¸ia 3 poate ﬁ rescris˘ a dup˘ a cum urmeaz˘ a [41]:
ˆXMAP= argminX[logP(Y|X)] + log P(X) (4)
unde P(Y|X) este funct ¸ia de probabilitate, iar P(X) este prior .Markov Random Field
(MRF) este deseori folosit ca ¸ si model priori , iar funct ¸ia de densitate de probabilitate (PDF)
a zgomotului este folosit˘ a pentru a determina funct ¸ia de probabilitate. Imaginea cu rezolut ¸ie
ˆ ınalt˘ a este obt ¸inut˘ a aﬂˆ and rezultatul ecuat ¸iei 4.
Printre cele mai folosite modele pentru imaginea priori se num˘ ar˘ a norma TV [38], norma
l1a gradient ¸ilor orizontal ¸ si vertical [39], norma Simultaneous Autoregressive (SAR) [40],
modelul MRF Gaussian [13, 41], modelul MRF Huber [42], modelul MRF ce cont ¸ine o dis-
continuitate adaptiv˘ a [43], modelul non-stat ¸ionar Gaussian pe doua nivele [44] ¸ si modelul
Conditional Random Field (CRF) [45]. Un caz aparte al MAP, ˆ ın care informat ¸ia priori a
imaginii cu rezolut ¸ie ˆ ınalt˘ a nu este dat˘ a se nume¸ ste Maximum Likelihood Estimation (MLE).
Tom ¸ si Katsaggelos [46] au luat ˆ ın considerare folosirea acestei metode pentru obt ¸inerea
super-rezolut ¸iei, ˆ ıns˘ a deoarece este necesar˘ a informat ¸ie a priori datorit˘ a solut ¸iei sistemului
subdeterminat, r˘ amˆ ane o metod˘ a rar folosit˘ a.
ˆIn super-rezolut ¸ia multi-frame , mai multe imagini sunt combinate pentru a obt ¸ine o sin-
gur˘ a imagine cu rezolut ¸ie ˆ ınalt˘ a. ˆIn timpul contopirii acestor imagini cu rezolut ¸ie sc˘ azut˘ a
metode de aproximare a pixelilor sunt folosite, iar acestea pot blura (estompa) imaginea ﬁ-
nal˘ a. A¸ sadar sunt necesare metode de eliminare a blur-ului din imagini [4,41]. Aproximarea
nucleului de blur(blur kernel ) are un rol important ˆ ın obt ¸inerea super-rezolut ¸iei, ˆ ıns˘ a multe
metode folosesc un nucleu deja cunoscut pentru simplitate. Acest nucleu deja ¸ stiut poate
ajuta la estimare unei imagini cu rezolut ¸ie ˆ ınalt˘ a dintr-un set de imagini cu rezolut ¸ie sc˘ azut˘ a,
ˆ ıns˘ a pentru imagini obt ¸inute din practic˘ a, ce au alt blur de mi¸ scare, nucleul de blur poate
ﬁ total diferit [47]. Pentru estimarea nucleului de blurˆ ın cadrul Bayesian sunt propu¸ si nu-
mero¸ si algoritmi. Liu ¸ si Sun [47] au propus recent o metod˘ a Bayesian˘ a ce calculeaz˘ a simultan
nivelul de zgomot, nucleul de blur,blur-ul de mi¸ scare ¸ si imaginea cu rezolut ¸ie ˆ ınalt˘ a. Un al-
goritm de deconvolut ¸ie oarb˘ a poate ﬁ folosit cˆ and nu avem nicio informat ¸ie despre nivelul de
zgomot sau nucleul de blur. Metodele de deconvolut ¸ie oarb˘ a recupereaz˘ a funct ¸ia de blurring
din imaginile cu rezolut ¸ie sc˘ azut˘ a ¸ si aproximeaz˘ a imaginea cu rezolut ¸ie ˆ ınalt˘ a f˘ ar˘ a informat ¸ii

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
init ¸iale asupra imaginii originale sau a blur-ului [48–52]. Sroubek et al. [48] au dezvoltat un
model de deconvolut ¸ie oarb˘ a pe canale multiple pentru super-rezolut ¸ie, unde imaginile cu
rezolut ¸ie sc˘ azut˘ a sunt unite minimizˆ and funct ¸ia de energie E(X, h).
E(X, h) = argminK∑
k=1∥yk−DHkX∥2+αQ(X) +βR(h) (5)
Primul termen din ecuat ¸ie este termenul de ﬁdelitate, iar ceilalt ¸i doi termeni sunt termeni
de regularizare. Q(X) este termenul folosit pentru netezire, iar R(h) este termenul PSF.
A¸ sadar regularizarea este aplicat˘ a atˆ at ˆ ın domeniul de blur, cˆ at ¸ si ˆ ın cel al imaginii. Bai ¸ si
asociat ¸ii [49] au propus o metod˘ a ˆ ın domeniul frecvent ¸ei ce selecteaz˘ a adaptiv parametrul
termenului de regularizare. ˆIn [50–52] metode combinate de deconvolut ¸ie oarb˘ a ¸ si estimator
MAP sunt folosite pentru a estima blur-ul, respectiv imaginea cu rezolut ¸ie ˆ ınalt˘ a.
4 Super-rezolut ie single-frame
Dup˘ a cum am v˘ azut, o multitudine de algoritmi multi-frame pentru obt ¸inerea super-rezolut ¸iei
au fost dezvoltat ¸i, ˆ ıns˘ a ace¸ stia depind foarte mult de precizia aproxim˘ arii parametrilor de
ˆ ınregistrare [53]. Metodele de ˆ ınregistrare au ˆ ın principal constrˆ angeri cauzate de mi¸ scarea
global˘ a, ˆ ıns˘ a componente diferite ale aceleia¸ si scene pot avea mi¸ sc˘ ari total diferite ˆ ın practic˘ a.
ˆIn aceste cazuri metodele de super-rezolut ¸ie multi-frame nu duc la un rezultat favorabil, uneori
imaginile init ¸iale avˆ and o calitate a informat ¸iei mai bun˘ a decˆ at cele cu super-rezolut ¸iei.
Mai mult decˆ at atˆ at informat ¸iile stocate ˆ ın frecvent ¸ele ˆ ınalte ce sunt pierdute ˆ ın timpul
achizit ¸iei imaginilor nu pot ﬁ recuperate folosind tehnici multi-frame . O metod˘ a alternativ˘ a
este folosirea algoritmilor de super-rezolut ¸ie bazat ¸i pe o singur˘ a imagine.
Figure 4: Super-rezolut ¸ie bazat˘ a pe ˆ ınv˘ at ¸areMajoritatea algoritmilor de super-rezolut ¸ie
bazat ¸i pe o singur˘ a imagine folosesc meca-
nisme de ˆ ınv˘ at ¸are ¸ si sunt numit ¸i algoritmi
de super-rezolut ¸ie bazat ¸i pe ˆ ınv˘ at ¸are. Acest
mecanism de ˆ ınv˘ at ¸are extrage informat ¸ia din
frecvent ¸ele ˆ ınalte pierdut˘ a ˆ ın procesul de
capturare a imaginilor folosind surse externe
(training set ) ¸ si une¸ ste aceast˘ a informat ¸ie
cu imaginile cu rezolut ¸ie sc˘ azut˘ a capturate,
obt ¸inˆ andu-se astfel o imagine cu super-
rezolut ¸ie [30]. Acest set de antrenament
(training set ) este format din un num˘ ar mare
de imagini cu rezolut ¸ie ˆ ınalt˘ a ¸ si versiunea
lor simulat˘ a de imagini cu rezolut ¸ie sc˘ azut˘ a.
Eﬁcient ¸a algoritmilor bazat ¸i pe ˆ ınv˘ at ¸are de-
pinde extrem de mult de aceste imagini aﬂate
ˆ ın setul de antrenament, a¸ sadar acestea tre-
buie alese ˆ ın a¸ sa fel ˆ ıncˆ at s˘ a ﬁe similare
cu imaginile ce urmeaz˘ a a ﬁ capturate ˆ ın
practic˘ a ¸ si s˘ a cont ¸in˘ a informat ¸ii de frecvent ¸˘ a
ˆ ınalt˘ a [30].

13
Figura 4 reprezint˘ a o schem˘ a a algoritmilor de super-rezolut ¸ie bazat ¸i peˆ ınv˘ at ¸are. Metodele
de super-rezolut ¸ie bazate pe ˆ ınv˘ at ¸are cuprind urm˘ atoarele trei etape: extragerea caracteris-
ticilor, ˆ ınv˘ at ¸area ¸ si reconstruct ¸ia.
Etapa de extragere a caracteristicilor
Aceast˘ a etap˘ a presupune extragerea caracteristicilor setului de imagini de antrenament dar ¸ si
ale imaginii de test separat. Init ¸ial imaginile sunt segmentate ˆ ın buc˘ at ¸i mai mici ce sunt apoi
redimensionate ¸ si scalate cu ajutorul unor ﬁltre. Buc˘ at ¸ile din imaginea cu rezolut ¸ie ˆ ınalt˘ a
¸ si corespondentele lor din imaginea cu rezolut ¸ie sc˘ azut˘ a ce a fost obt ¸inut˘ a sunt grupate
ˆ ın perechi. Apoi caracteristicile buc˘ at ¸ilor din setul de antrenament sunt extrase. Analog,
caracteristicile imaginilor de test sunt extrase. ˆIn acest moment exist˘ a cˆ ateva tehnici de
extragere a caracteristicilor ce au fost dezvoltate de diver¸ si cercet˘ atori. De exemplu, ˆ ın
[54–58] un ﬁltru de schimbare a benzii, pe cˆ and ˆ ın [59] sunt folosite atˆ at frecvent ¸ele ˆ ınalte
cˆ at ¸ si cele joase ale imaginilor. Asem˘ an˘ ator, obt ¸inerea derivatelor Gaussiene [60], derivatelor
gradientului [61], piramidei Laplaciene [62] ¸ si piramidei Steerable [63] au fost propuse. Mult ¸i
cercet˘ atori au folosit valorile lumiant ¸ei ca f ¸iind cea mai important˘ a parte a muncii lor [64–71].
Coeﬁcient ¸ii DCT [72], transformarea wavelet [73], transformarea contourlet [30] ¸ si Principle
Component Analysis (PCA) [74] au fost folosite ca ¸ si caracteristici ˆ ın super-rezolut ¸ie bazat˘ a
pe ˆ ınv˘ at ¸are.
Etapa de ^ nv at are
Caracteristicile extrase din setul de antrenament ¸ si cele extrase din imaginile cu rezolut ¸ie
sc˘ azut˘ a capturate sunt egalate (sincronizate) folosind modele de ˆ ınv˘ at ¸are. Asem˘ an˘ ator mod-
elelor de extragere a caracteristicilor, mai multe modele de ˆ ınv˘ at ¸are au fost propuse ˆ ın ultimii
ani. Cele mai cunoscute metode sunt Best Matching [59,61,63,68], MRF [30,54,60,73], Neigh-
bor Embedding [70,75–77] ¸ si Sparse Representation [56–58,64,78–84]. Printre alte metode mai
rar ˆ ıntˆ alnite se num˘ ar˘ a PCA Construction [66], Canonical Correlation Analysis [74], Locally
Linear Embedding Construction [55], Content-based Classiﬁcation ¸ siClass-speciﬁc Predic-
tors [62], Position-patch Construction [67] ¸ si Support Vector Regression [72]. Glasner et
al. [71] au introdus o metod˘ a ce combin˘ a super-rezolut ¸ia bazat˘ a pe ˆ ınv˘ at ¸are cu cea bazat˘ a pe
reconstruct ¸ie. Algoritmul de ˆ ınv˘ at ¸are asociaz˘ a caracteristici ale imaginii cu rezolut ¸ie sc˘ azut˘ a
capturate cu cele ale imaginilor cu rezolut ¸ie sc˘ azut˘ a din setul de antrenament. Deoarece
imaginile cont ¸inute ˆ ın setul de antrenament, respectiv cele cu rezolut ¸ie sc˘ azut˘ a ¸ si cele cu
rezolut ¸ie ˆ ınalt˘ a, sunt organizate ˆ ın perechi, caracteristicile fragmentelor din imaginile cu
rezolut ¸ie ˆ ınalt˘ a ce corespund celor din imaginile cu rezolut ¸ie sc˘ azut˘ a sunt aplicate imaginii
capturate ¸ si sunt alese pentru super-rezolut ¸ie.
Etapa de reconstruct ie
Algoritmii de ˆ ınv˘ at ¸are ¸ si de extragere a caracteristicilor aproximeaz˘ a caracteristicile imag-
inii cu rezolut ¸ie ˆ ınalt˘ a din imaginea capturat˘ a. Aceste caracteristici sunt apoi implemen-
tate asupra fragmentelor din imaginea cu rezolut ¸ie sc˘ azut˘ a pentru a obt ¸ine un fragment cu
rezolut ¸ie ˆ ımbun˘ at˘ at ¸it˘ a. Ultimul pas este de a reuni toate fragmentele ˆ ıntr-o imagine cu super-
rezolut ¸ie [30]. O descriere detaliat˘ a a acestui proces se reg˘ ase¸ ste ˆ ın ﬁgura 4. Exist˘ a multe
metode bazate pe ˆ ınv˘ at ¸are dezvoltate pˆ an˘ a acum ˆ ıns˘ a metoda bazat˘ a pe exemple propus˘ a

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
de Kim ¸ si Kwon [85, 86] dep˘ a¸ se¸ ste multe alte metode de ultim˘ a or˘ a. Aceast˘ a metod˘ a se
bazeaz˘ a pe cadrul deja stabilit de Freeman et al. [54] ce stabile¸ ste perechile de fragmente
din imaginile cu rezolut ¸ie ˆ ınalt˘ a, respectiv cele cu rezolut ¸ie sc˘ azut˘ a ˆ ın etapa de antrenament.
ˆIn etapa de ˆ ınv˘ at ¸are ﬁecare fragment al imaginii cu rezolut ¸ie sc˘ azut˘ a capturat˘ a este com-
parat cu seturile de fragmente ale imaginilor cu rezolut ¸ie sc˘ azut˘ a de antrenament ce erau
deja ˆ ınregistrate ¸ si folosind metoda de c˘ autare al celui mai apropiat vecin se g˘ ase¸ ste cel
mai asem˘ an˘ ator fragment al imaginilor cu rezolut ¸ie sc˘ azut˘ a de antrenament ¸ si se folose¸ ste
imaginea cu rezolut ¸ie ˆ ınalt˘ a asociat˘ a. Totu¸ si, metoda lui Freeman et al. [54] duce deseori
la o imagine cu blurdatorit˘ a algoritmului nearest neighbor . Kim ¸ si Kwon [85] au modiﬁcat
aceast˘ a metod˘ a ˆ ınlocuind c˘ autarea celui mai apropiat vecin cu sparse kernel ridge regression .
ˆIn algoritmul lor regresia kernel ridge este folosit˘ a pentru a crea o hart˘ a ˆ ıntre fragmentele
imaginii capturate ¸ si fragmentele perechilor de imagini din setul de antrenament. Aceast˘ a
metod˘ a produce totu¸ si un efect de blur¸ si de rotunjire la frontiere, ˆ ıns˘ a acestea sunt u¸ sor de
eliminat ˆ ın postprocesare [85].
ˆIn ultimii zeci de ani s-au desf˘ a¸ surat studii masive asupra algoritmilor de sparse rep-
resentation .Sparse representation este procedeul de aproximare a unei imagini sau a unui
semnal folosind combin˘ ari liniare a unui set restrˆ ans de semnale elementare numite atomi.
Atomii sunt ale¸ si ori dintr-un set predeﬁnit de funct ¸ii (dict ¸ionar bazat pe analiz˘ a), cum ar ﬁ
Transformarea Discret˘ a Cosinus (DCT), ori ˆ ınv˘ at ¸at ¸i dintr-un set de antrenament (dict ¸ionar
bazat pe ˆ ınv˘ at ¸are). Principalul avantaj al acestor algoritmi este c˘ a coeﬁcient ¸ii reprezent˘ arii
semnalului sunt risipit ¸i, adic˘ a exist˘ a foarte mult ¸i coeﬁcient ¸i ce sunt egali cu zero ¸ si foarte
put ¸ini diferit ¸i de zero. Mai exact, considerˆ and un semnal de timp discret ¸ si ﬁnit x∈RN¸ si
un dint ¸ionar complet D∈RNK;N < K . Scopul este s˘ a reprezent˘ am semnalul xfolosind
dict ¸ionarul Dˆ ın a¸ sa fel ˆ ıncˆ at eroarea reprezent˘ arii semnalului ∥Dα−x∥2, unde αeste vec-
torul sparse representation , este minimizat˘ a. Pentru a reprezenta un semnal folosind sparse
representation este necesar s˘ a se rezolve urm˘ atoarea problem˘ a de optimizare [57].
argmin∥α∥0,unde x=Dα (6)
Sparse representation a devenit un domeniu major de cercetare ˆ ın procesarea semnalelor.
Folosind aceast˘ a metod˘ a cˆ at ¸iva cercet˘ atori au propus algoritmi bazat ¸i pe ˆ ınv˘ at ¸are pentru
obt ¸inerea super-rezolut ¸iei [56–58,64,78–84]. Super-rezolut ¸ia bazat˘ a pe sparse representation
calculeaz˘ a aproximarea sparse a fragmentului din imaginea cu rezolut ¸ie sc˘ azut˘ a capturat˘ a
¸ si folose¸ ste coeﬁcient ¸ii aproxim˘ arii pentru a estima fragmentul cu rezolut ¸ie ˆ ınalt˘ a. Aceast˘ a
metod˘ a folose¸ ste dou˘ a dict ¸ionare Dh¸ siDlcompletate concomitent din fragmente cu rezolut ¸ie
ˆ ınalt˘ a ¸ si sc˘ azut˘ a. Exist˘ a o necesitate de a accentua similaritatea codiﬁc˘ arii sparse dintre frag-
mentul cu rezolut ¸ie sc˘ azut˘ a ( j=Dlβ) ¸ si cel cu rezolut ¸ie ˆ ınalt˘ a ( l=Dhα). Dict ¸ionarul extras
din fragmentul cu rezolut ¸ie ˆ ınalt˘ a, Dh, este aplicat cu reprezentarea sparse a fragmentului cu
rezolut ¸ie sc˘ azut˘ a ( Dhβ) pentru a obt ¸ine fragmentul cu super-rezolut ¸ie. Zeyde et al. [58] au
aplicat algoritmul de ˆ ınv˘ at ¸are a dict ¸ionarului K-SVD pentru a aﬂa perechea rezolut ¸ie ˆ ınalt˘ a
– rezolut ¸ie sc˘ azut˘ a din dict ¸ionar, lucru ce a m˘ arit performant ¸a acestei metode.
Folosind metoda sparse representation , fragmentul ﬁnal cu super-rezolut ¸ie al imaginii este
generat din combinarea coeﬁcient ¸ilor sparse ai fragmentului cu rezolut ¸ie sc˘ azut˘ a ¸ si dict ¸ionarul
rezolut ¸iei ˆ ınalte. Eﬁcacitatea metodei depinde atˆ at de coeﬁcient ¸ii sparse ai imaginii cu
rezolut ¸ie sc˘ azut˘ a cˆ at ¸ si de dict ¸ionarul rezolut ¸iei ˆ ınalte [87]. Mult ¸i cercet˘ atori au propus
noi algoritmi pentru a estima mai bine dict ¸ionarul rezolut ¸iei ˆ ınalte ¸ si coeﬁcient ¸ii sparse ai
imaginii cu rezolut ¸ie sc˘ azut˘ a. Zhang ¸ si asociat ¸ii [78] au propus o metod˘ a a ˆ ınv˘ at ¸˘ arii unui
dict ¸ionar dual ce const˘ aˆ ınˆ ınv˘ at ¸area dict ¸ionarului principal ¸ siˆ ınv˘ at ¸area dict ¸ionarului rezidual

15
pentru a recupera informat ¸ia frecvent ¸elor ˆ ınalte pentru rezolut ¸ia ˆ ınalt˘ a principal˘ a ¸ si rezolut ¸ia
ˆ ınalt˘ a rezidual˘ a. Detalii adit ¸ionale pot ﬁ ad˘ augate imaginii cu rezolut ¸ie sc˘ azut˘ a folosind pro-
cesul de ˆ ınv˘ at ¸are double-channel . Deoarece imaginea cu super-rezolut ¸ie ﬁnal˘ a este obt ¸inut˘ a
din coeﬁcient ¸ii sparse ai imaginii cu rezolut ¸ie sc˘ azut˘ a ¸ si dict ¸ionarul rezolut ¸iei ˆ ınalte ˆ ınv˘ at ¸at,
randamentul metodei depinde atˆ at de coeﬁcient ¸i cˆ at ¸ si de dict ¸ionar. Yang et al. [81] au redus
timpul de execut ¸ie a super-rezolut ¸iei prin sparse representation folosind un model de ˆ ınv˘ at ¸are
prin ret ¸ea neural˘ a pentru interferent ¸˘ a sparse rapid˘ a ¸ si procesarea selectiv˘ a a caracteristicilor
vizuale proeminente. Folosind metodele analitice, dar ¸ si pe cele bazate peˆ ınv˘ at ¸are, Kanakaraj
¸ si Kathiravan [82] au perfect ¸ionat metoda de ˆ ınv˘ at ¸are a dict ¸ionarului.
Dong et al. [83] au propus o metod˘ a de sparse representation bazat˘ a pe grupare, numit˘ a
Adaptive Sparse Domain Selection (ASDS) pentru a ˆ ımbun˘ at˘ at ¸i dict ¸ionarul. Aceast˘ a metod˘ a
presupune adunarea fragmentelor imaginiiˆ ın mai multe grupuri, iar un sub-dict ¸ionar compact
este ˆ ınv˘ at ¸at din ﬁecare grup. Pentru ﬁecare fragment al imaginii, cel mai bun sub-dict ¸ionar
poate ﬁ ales, ce poate reconstrui imaginea mai bine decˆ at un dict ¸ionar global. ˆIntr-un alt
studiu Dong et al. [84] au propus interpolarea imaginilor bazat˘ a pe sparse representation
care ˆ ıncorporeaz˘ a auto-similarit˘ at ¸ile nelocale ale imaginii ˆ ın modelul sparse representation .
Termenul de auto-similaritate se refer˘ a la similaritatea valorilor pixelilor din imagine sau a
structurii acestora ˆ ın diverse locuri din imagine. Algoritmul include un model autoregresiv
nelocal ca un nou termen de ﬁdelitate ˆ ın metoda sparse representation , lucru ce reduce
coerent ¸a dintre dict ¸ionare ¸ si face metoda mult mai eﬁcient˘ a. Dong ¸ si asociat ¸ii nu numai
c˘ a au estimat un dict ¸ionar al rezolut ¸iei ˆ ınalte mai bun pentru ﬁecare fragment al imaginii,
dar au ¸ si folosit auto-similaritatea nelocal˘ a a imaginii pentru a obt ¸ine o aproximare bun˘ a a
coeﬁcient ¸ilor sparse representation ai imaginii cu rezolut ¸ie sc˘ azut˘ a. Recent, Dong et al. au
propus dou˘ a noi metode pentru extragerea coeﬁcient ¸ilor sparse dintr-o imagine cu rezolut ¸ie
sc˘ azut˘ a cˆ at mai apropiat˘ a posibil de imaginea original˘ a folosind constrˆ angeri de diminuare
(sparsity constraints ) nelocale. Acestea sunt Centralized Sparse Representation (CSR) [79] ¸ si
Nonlocally Centralized Sparse Representation (NCSR) [80].
Principalele obstacole ^ n calea reconstruct iei
PLACEHOLDER
5 Comparat ie a performant ei ^ ntre diferite tehnici de
rezolut ie
Metode de m asurare si optimizare a calit at ii imaginii
Pentru a compara performant ¸a metodelor de super-rezolut ¸ie, Peak-SNR (PSNR) ¸ si Similari-
tatea Structural˘ a (SSIM) dintre imaginea cu super-rezolut ¸ie aproximat˘ a ¸ si cea original˘ a sunt
calculate. PSNR-ul este calculat folosind Mean Square Error (MSE), ce este eroarea medie
dintre imaginea original˘ a ¸ si cea obt ¸inut˘ a prin super-rezolut ¸ie. Fie o imagine m×ncu super-
rezolut ¸ie notat˘ a ˆX(i, j) ¸ si imaginea original˘ a X(i, j), MSE ¸ si PSNR sunt deﬁnite dup˘ a cum
urmeaz˘ a:
MSE =1
mnm1∑
i=0n1∑
j=0[X(i, j)−ˆX(i, j)]2(7)

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
PSNR = 20 log10(L√
MSE)
(8)
Index-ul SSIM calculeaz˘ a similaritatea dintre imaginea original˘ a ¸ si cea cu super-rezolut ¸ie
[88]. Acesta ia ˆ ın considerare lumiant ¸a, contrastul ¸ si schimb˘ arile structurale dintre cele dou˘ a
imagini. Index-ul SSIM este calculat dup˘ a cum urmeaz˘ a:
SSIM (x,ˆx) =(2µxµ^x+c1)(2σx^x+c2)
(µ2
x+µ2
^x+c1)(σ2
x+σ2
^x+c2)(9)
unde µx¸ siµ^xsunt mediile, iar σx¸ siσ^xsunt deviat ¸iile standard ale imaginilor original˘ a ¸ si
cea cu super-rezolut ¸ie, σx^xeste covariant ¸a lui X¸ siˆX, c 1, c2sunt constante. SSIM m˘ asoar˘ a
similaritatea dintre dou˘ a imagini. Cˆ and imaginea cu super-rezolut ¸ie este foarte aproape de
cea original˘ a, valoarea SSIM-ului se apropie de 1.
6 Super-rezolut ie folosind sparse representation
Recuperarea semnalului bazat a pe reprezentare sparse
Problema ˆ ın obt ¸inerea unei imagini cu rezolut ¸ie ˆ ınalt˘ a dintr-o imagine cu rezolut ¸ie sc˘ azut˘ a
este subiectul acestei lucr˘ ari. Similar metodelor bazate pe ˆ ınv˘ at ¸are prezentate anterior,
principalele surse de informat ¸ie sunt fragmentele imaginii capturate, ˆ ıns˘ a ˆ ın loc s˘ a lucr˘ am
cu perechile de fragmente obt ¸inute din imaginile cu rezolut ¸ie sc˘ azut˘ a ¸ si cele cu rezolut ¸ie
ˆ ınalt˘ a [56], abord˘ am o reprezentare compact˘ a a acestor perechi pentru informat ¸ia a priori ,
ˆ ımbun˘ at˘ at ¸ind ˆ ın acest fel timpul de execut ¸ie. Aceast˘ a abordare este propus˘ a datorit˘ a des-
coperirilor f˘ acute ˆ ın cercetarea semnalelor sparse ce dovede¸ ste c˘ a se pot obt ¸ine relat ¸ii de
liniaritare ˆ ıntre semnalele rezolut ¸iei ˆ ınalte folosind proiect ¸iile lor cu rezolut ¸ie sc˘ azut˘ a [ ?,?].
FieD∈RnKun dict ¸ionar complet cu Ksurse ¸ si un semnal x∈Rnce poate ﬁ reprezentat
ca o combinat ¸ie liniar˘ a sparse ce respect˘ a D. Adic˘ a semnalul xpoate ﬁ scris ca x=Dα0,
unde α0∈RKeste un vector cu foarte put ¸ine elemente ( ≪K) nenule. ˆIn practic˘ a se poate
observa un set limitat de m˘ asur˘ atori yale lui x:
y=Lx=LDα0, (10)
unde L∈Rkn, cu k < n , este matricea de proiect ¸ie. ˆIn contextul super-rezolut ¸iei
prezentat, xeste o imagine cu rezolut ¸ie ˆ ınalt˘ a (sau un fragment de imagine), iar yeste
corespondenta sa cu rezolut ¸ie sc˘ azut˘ a. Dac˘ a dict ¸ionarul Deste complet, ecuat ¸ia x=Dα
este subdeterminat˘ a pentru coeﬁcient ¸ii αnecunoscut ¸i. Ecuat ¸ia y=LDαeste cu atˆ at mai
mult subdeterminat˘ a. Totu¸ si, sub condit ¸ii favorabile, solut ¸ia sparse α0a acestei ecuat ¸ii va ﬁ
unic˘ a. Mai mult decˆ at atˆ at, dac˘ a Dsatisface o condit ¸ie de izometrie potrivit˘ a, atunci pentru
o varietate de matrici L, orice reprezentare liniar˘ a a unui fragment cu rezolut ¸ie ˆ ınalt˘ a x, ˆ ın
concordant ¸˘ a cu Dpoate ﬁ recuperat (aproape) perfect din fragmentul cu rezolut ¸ie sc˘ azut˘ a a
imaginii [ ?,?].
Reprezentarea sparse a fost aplicat˘ a cu succes ˆ ın multe alte probleme inverse ˆ ın proce-
sarea imaginilor, cum ar ﬁ eliminarea zgomotului [2] ¸ si restaurarea imaginilor [ ?], deseori
ˆ ımbun˘ at˘ at ¸ind cele mai noi metode. De exemplu, ˆ ın [2], autorii folosesc algoritmul K-SVD [ ?]
pentru a ˆ ınv˘ at ¸a un dict ¸ionar complet din fragmentele unor imagini naturale ¸ si s˘ a ˆ ıl aplice cu
succes ˆ ın problema elimin˘ arii zgomotului din imagini. ˆIn metoda prezentat˘ a ˆ ın aceast˘ a lu-
crare, nu se calculeaz˘ a direct reprezentarea sparse a fragmentului cu rezolut ¸ie ˆ ınalt˘ a. Metoda

17
presupune folosirea a dou˘ a dict ¸ionare cuplate, Dhpentru fragmente cu rezolut ¸ie ˆ ınalt˘ a, iar
Dlpentru fragmente cu rezolut ¸ie sc˘ azut˘ a. Reprezentarea sparse a unui fragment cu rezolut ¸ie
sc˘ azut˘ a, ˆ ın ceea ce prive¸ ste dict ¸ionarul Dlo s˘ a ﬁe folosit˘ a direct pentru a recupera fragmentul
cu rezolut ¸ie ˆ ınalt˘ a corespunz˘ ator din Dh. Se poate obt ¸ine o solut ¸ie local˘ a consistent˘ a dac˘ a
fragmentele imaginii sunt suprapuse ¸ si o condit ¸ie ca zonele ce se suprapun din fragmentele
cu super-rezolut ¸ie s˘ a se potriveasc˘ a este impus˘ a. Spre deosebire de algoritmul K-SVD, se
ˆ ıncearc˘ a ˆ ınv˘ at ¸area celor dou˘ a dict ¸ionare ˆ ıntr-un mod probabilistic similar cu cel prezentat
ˆ ın [?]. Pentru a impune ca perechile de fragmente ale imaginilor sa aib˘ a acelea¸ si reprezent˘ ari
sparse ce respect˘ a Dh¸ siDl, cele dou˘ a dict ¸ionare sunt ˆ ınv˘ at ¸ate simultan, concatenˆ andu-le
folosind normalizarea. Dict ¸ionarele compacteˆ ınv˘ at ¸ate vor ﬁ aplicate atˆ at asupra unor imagini
generale, cˆ at ¸ si asupra imaginilor faciale pentru a demonstra eﬁcient ¸a acestei metode.
Comparativ cu metodele bazate pe fragmente, acest algoritm are nevoie doar de cele
dou˘ a dict ¸ionare compacte ˆ ınv˘ at ¸ate, ˆ ın loc de o baz˘ a de date cu fragmente de antrenament
masiv˘ a. Calculele, bazate ˆ ın mare pe programare liniar˘ a sau optimizare convex˘ a este mult
mai eﬁcient˘ a ¸ si scalabil˘ a, fat ¸˘ a de [54, 55, 60]. Recuperarea reprezent˘ arii sparse este f˘ acut˘ a
folosind dict ¸ionarul rezolut ¸iei sc˘ azute, dict ¸ionarul rezolut ¸ieiˆ ınalte ﬁind folosit pentru a calcula
imaginea cu rezolut ¸ie ˆ ınalt˘ a ﬁnal˘ a. Reprezentarea sparse calculat˘ a selecteaz˘ a adaptiv cele
mai relevante baze ale fragmentelor din dict ¸ionar, ce reprezint˘ a cˆ at mai bine fragmentul cu
rezolut ¸ie sc˘ azut˘ a ce trebuie procesat. Aceast˘ a abordare duce la o performant ¸˘ a ridicat˘ a, atˆ at
calitativ cˆ at ¸ si cantitativ ¸ si genereaz˘ a texturi mai clare ¸ si frontiere mai evident ¸iate, comparat
cu metode [55] care folosesc un num˘ ar ﬁx de vecini apropiat ¸i. ˆIn plus, reprezentarea sparse
este eﬁcient˘ a ˆ ımpotriva zgomotului de imagine [2], a¸ sadar acest algoritm elimin˘ a ¸ si zgomotul,
pe cˆ and alte metode nu pot obt ¸ine super-rezolut ¸ia ¸ si elimina zgomotul ˆ ın acela¸ si timp.
Notat ii
Sunt notate cu X¸ siYimaginile cu rezolut ¸ie ˆ ınalt˘ a, respectiv cele cu rezolut ¸ie sc˘ azut˘ a, iar
cux¸ siyfragmentele cu rezolut ¸ie ˆ ınalt˘ a, respectiv cele cu rezolut ¸ie sc˘ azut˘ a. Se folose¸ ste D
pentru a reprezenta dict ¸ionarul pentru codarea sparse , iarDheste dict ¸ionarul fragmentelor
cu rezolut ¸ie ˆ ınalt˘ a ¸ si Dlcel al fragmentelor cu rezolut ¸ie sc˘ azut˘ a. Literele mici ˆ ıngro¸ sate
reprezint˘ a vectori. Literele mici neˆ ıngro¸ sate reprezint˘ a scalari. Literele mari neˆ ıngro¸ sate
reprezint˘ a matrici, de exemplu Deste folosit˘ a ca matrice de scalare.
Constr^ angeri ale super-rezolut iei
Problema super rezolut ¸iei este: dat˘ a ﬁind o imagine cu rezolut ¸ie sc˘ azut˘ a Y, s˘ a se recupereze
o imagine Xcu o rezolut ¸ie mai ridicat˘ a al aceluia¸ si cadru. Dou˘ a constrˆ angeri sunt formulate
pentru a ajuta la rezolvarea acestei probleme: 1) constrˆ angerea de reconstruct ¸ie, ce impune ca
imaginea Xrecuperat˘ a s˘ a ﬁe ˆ ın concodrant ¸˘ a cu imaginea de intrare Y¸ si s˘ a respecte modelul
observat ¸ional al imaginii; iar 2) sparsity prior , ce presupune ca fragmentele cu rezolut ¸ie ˆ ınalt˘ a
s˘ a ﬁe reprezentate sparse ˆ ıntr-un dict ¸ionar complet ales ¸ si c˘ a reprezent˘ arile lor sparse pot ﬁ
recuperate din imaginea original˘ a a c˘ arei rezolut ¸ie este sc˘ azut˘ a.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Constr^ angerea de reconstruct ie
Imaginea cu rezolut ¸ie sc˘ azut˘ a observat˘ a Yeste o versiune scalat˘ a ¸ si estompat˘ a a imaginii cu
rezolut ¸ie ˆ ınalt˘ a X:
Y=SHX. (11)
Aici, Hreprezint˘ a un ﬁltru de estompare ( blur), iar Seste operatorul de scalare.
Problema super-rezolut ¸iei este totu¸ si una subdeterminat˘ a , deoarece pentru o imagine
primit˘ a ca intrare Y, exist˘ a o inﬁnitate de imagini cu reyoluˆ ac tie ˆ ınalt˘ a Xce satisfac
constrˆ angerea de mai sus. Pentru a regulariza problema folosim prior -ul urm˘ ator asupra
fragmentelor xdinX.
Sparsity prior
Fragmentele xale imaginii cu rezolut ¸ie ˆ ınalt˘ a Xpot ﬁ reprezentate ca o combinat ¸ie liniar˘ a
sparse ˆ ıntr-un dict ¸ionar Dhformat din fragmente cu rezolut ¸ie ˆ ınalt˘ a extrase din imagini de
antrenament:
x≈Dhαpentru α∈RKcu∥α∥0≪K. (12)
Reprezentarea sparse αeste obt ¸inut˘ a reprezentˆ and fragmentele yale imaginii de intrare
Y, respectˆ and dict ¸ionarul rezolut ¸iei sc˘ azute Dl, antrenat simultan cu Dh.
Aceast˘ a metod˘ a poate ﬁ aplicat˘ a atˆ at asupra imaginilor generale cˆ at ¸ si asupra celor faciale.
Pentru super-rezolut ¸ia imaginilor generale, problema este ˆ ımp˘ art ¸it˘ a ˆ ın dou˘ a p˘ art ¸i. Prima,
dup˘ a cum este sugerat de c˘ atre sparsity prior -ul din Ecuat ¸ia 12, este g˘ asirea reprezent˘ arii
sparse pentru ﬁecare fragment local, respectˆ and compatibilitatea dintre vecini. Apoi, folosind
rezultatul obt ¸inut la primul pas, regulariz˘ am ¸ si perfect ¸ion˘ am ˆ ıntreaga imagine folosind con-
strˆ angerea de reconstruct ¸ie prezentat˘ a ˆ ın Eciat ¸ia 11. Aceast˘ a metod˘ a presupune folosirea
unui model local din sparsity prior pentru a recupera frecvent ¸ele ˆ ınalte pierdute ce core-
spund detaliilor locale. Modelul global din constrˆ angerea de reconstruct ¸ie este apoi aplicat
pentru a elimina posibilele artefacte provenite din prima etap˘ a ¸ si pentru a face imaginea mai
natural˘ a ¸ si consistent˘ a.
Imaginile faciale difer˘ a de cele generale deoarece acestea au o anumit˘ a structur˘ a, a¸ sadar
constrˆ angerile de reconstruct ¸ie sunt mai eﬁciente pe un astfel de spat ¸iu. Pentru super-re-
zolut ¸ie facial˘ a cei doi pa¸ si prezentat ¸i mai sus sunt inversat ¸i pentru a proﬁta de avantajul
oferit de structura fet ¸ei. Mai ˆ ıntˆ ai este g˘ asit un subspat ¸iu potrivit pentru fet ¸ele umane ¸ si
sunt aplicate constrˆ angerile de reconstruct ¸ie pentru a recupera o imagine cu o rezolut ¸ie medie.
Apoi detaliile locale sunt recuperate folosind sparsity prior -ul pentru fragmentele imaginii.
Super-rezolut ia imaginilor generale folosind Sparsity
Modelul local folosind reprezentarea sparse
Asem˘ an˘ ator metodelor bazate pe fragmente, algoritmul propus presupune obt ¸inerea unui
fragment cu rezolut ¸ie ˆ ınalt˘ a dintr-un fragment cu rezolut ¸ie sc˘ azut˘ a ce apart ¸ine imaginii cap-
turate. Pentru aceast˘ a metod˘ a sunt necesare dou˘ a dict ¸ionare Dh¸ siDlce sunt completate
simultan ¸ si au aceea¸ si reprezentare sparse pentru ﬁecare pereche de fragmente cu rezolut ¸ie
ˆ ınalt˘ a, respectiv sc˘ azut˘ a. Se calculeaz˘ a valoarea medie a pixelilor pentru ﬁecare fragment,

19
astfel ˆ ıncˆ at dict ¸ionarul s˘ a reprezinte o anumit˘ a textur˘ a ¸ si nu o intensitate absolut˘ a. ˆIn pro-
cesul de reconstruct ¸ie valoarea medie pentru ﬁecare fragment al imaginii cu rezolut ¸ie ˆ ınalt˘ a
este obt ¸inut˘ a folosind versiunea cu rezolut ¸ie sc˘ azut˘ a a aecstuia.
Pentru ﬁecare fragment al imaginii capturate yse g˘ ase¸ ste o reprezentare sparse ce este
ˆ ın concordant ¸˘ a cu dict ¸ionarul Dl. Pentru obt ¸inerea fragmentului cu rezolut ¸ie ˆ ınalt˘ a x, cores-
pondentul cu rezolut ¸ie ˆ ınalt˘ a al acestuia, ce poate ﬁ g˘ asit ˆ ın dict ¸ionarul Dheste aﬂat. Prob-
lema g˘ asirii unei reprezent˘ ari sparse a luiypoate ﬁ formulat˘ a dup˘ a cum urmeaz˘ a:
min∥α∥0a.ˆ ı.∥FDlα−Fy∥2
2≤ϵ, (13)
unde Feste un operator (liniar) de extragere a caracteristicilor. Principalul obiectiv al
luiFeste de a oferi o constant˘ a ce arat˘ a cˆ at de bine este aproximat yde c˘ atre coeﬁcient ¸ii α.
ˆIn mod normal se caut˘ a un αce satisface ∥Dlα−y∥2≤ϵ, ˆ ıns˘ a pentru super-rezolut ¸ie este
mai eﬁcient s˘ a ˆ ınlocuim norma 2 cu o norm˘ a p˘ atrat˘ a ∥ · ∥ FTFce elimin˘ a erorile de frecvent ¸˘ a
ˆ ınalt˘ a proeminente. Alegerea lui Fva ﬁ discutat˘ a ˆ ın una din sect ¸iunile ce urmeaz˘ a. De¸ si
problema optimiz˘ arii prezentat˘ a ˆ ın 13 este ˆ ın general una nedeterminat˘ a, rezultate obt ¸inute
de [?,?] sugereaz˘ a c˘ a, atˆ at timp cˆ at coeﬁcient ¸ii αsunt suﬁcient ¸i de sparse , ace¸ stia pot ﬁ aﬂat ¸i
minimizˆ and norma l1dup˘ a cum urmeaz˘ a:
min∥α∥1a.ˆ ı.∥FDlα−FY∥2
2≤ϵ. (14)
Multiplicatorii Lagrange ofer˘ a o formul˘ a echivalent˘ a,
min
∥FDlα−Fy∥2
2+λ∥α∥1, (15)
unde λeste termenul ce controleaz˘ a cˆ at de ﬁdel˘ a s˘ a ﬁe aproximarea lui y¸ si cˆ at de sparse
s˘ a ﬁe solut ¸ia. Aceast˘ a metod˘ a de a regulariza regresia liniar˘ a folosind norma l1este cunoscut˘ a
ˆ ın statistic˘ a drept lasoul [?].
Rezolvarea Ecuat ¸iei 15 individual pentru ﬁecare fragment local al imaginii nu asigur˘ a
compatibilitatea dintre fragmentele vecine. Aceast˘ a compatibilitate este impus˘ a folosind
un algoritm one-pass similar cu cel propus de Freeman [54]. Desigur c˘ a exist˘ a mai multe
metode de a impune aceast˘ a compatibilitate, de exemplu Chang et. al. [55] propun ca
valorile regiunilor ce se suprapun s˘ a ﬁe mediate, ceea ce duce desigur la un efect de estompare
asupra imaginii ﬁnale. Un alt algoritm este cel greedy one-pass [54] care ofer˘ a aproximativ
acelea¸ si rezultate ca utilizarea modelului MRF complet [ ?]. Algoritmul propus nu se bazeaz˘ a
pe modelul MRF, dar se aseam˘ an˘ a acestuia datoruit˘ a utiliz˘ arii fragmentelor de imagine cu
rezolut ¸ie ˆ ınalt˘ a reconstruite precedent asupra regiunilor ce se suprapun. Fragmentele sunt
procesate folosind scanarea de tip raster a imaginii, adic˘ a de la stˆ anga la dreapta ¸ si de
sus ˆ ın jos. Ecuat ¸ia 14 este modiﬁcat˘ a astfel ˆ ıncˆ at reconstruct ¸ia cu super-rezolut ¸ie Dhαa
fragmentului ys˘ a ﬁe constrˆ ans˘ a pentru a respecta fragmentele cu super-rezolut ¸ie adiacente
obt ¸inute la pasul anterior. Problema optimiz˘ arii ce rezult˘ a din aceste constrˆ angeri este:
min∥α∥1a.ˆ ı.∥FDlα−FY∥2
2≤ϵ1,
∥PDhα−ω∥2
2≤ϵ2, (16)
unde matricea Pextrage regiunea suprapunerii dintre fragmentul curent ¸ si imaginea cu
rezolut ¸ie ˆ ınalt˘ a obt ¸inut˘ a la pasul precedent, iar ωcont ¸ine valorile imaginii cu rezolut ¸ie ˆ ınalt˘ a
reconstruit˘ a anterior ˆ ın zona suprapunerii.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Ecuat ¸ia 16 poate ﬁ reformulat˘ a ca
min
∥˜Dα−˜y∥2
2+λ∥α∥1, (17)
unde ˜D=
FDl
βPDh
¸ si˜y=
Fy
βω
.
Parametrul βcontroleaz˘ a compromisul dintre g˘ asirea unui fragment cu rezolut ¸ie ˆ ınalt˘ a
care este compatibil cu vecinii ¸ si respectarea fragmentului cu rezolut ¸ie sc˘ azut˘ a init ¸ial. Pentru
a simpliﬁca problema, alegem β= 1 ˆ ın toate simul˘ arile. Dat˘ a ﬁind solut ¸ia optimal˘ a pentru
Ecuat ¸ia 17, α, fragmentul cu super-rezolut ¸ie poate ﬁ calculat ca x=Dhα.
Aplicarea constr^ angerii de reconstruct ie global a
Se poate observa c˘ a Ecuat ¸ia 14 ¸ si Ecuat ¸ia 16 nu necesit˘ a o egalitate strict˘ a ˆ ıntre fragmentul
cu rezolut ¸ie sc˘ azut˘ a y¸ ¸ si reconstruct ¸ia acestuia Dlα. Datorit˘ a acestui fapt ¸ si al zgomotului de
imagine, imaginea cu rezolut ¸ie ˆ ınalt˘ a X0obt ¸inut˘ a prin metoda sparse representation poate
s˘ a nu veriﬁce ˆ ın totalitate constrˆ angerea de reconstruct ¸ie din Ecuat ¸ia 11. Aceast˘ a problem˘ a
este eliminat˘ a proiectˆ and X0asupra spat ¸iului solut ¸iilor SHX=Y, adic˘ a
X= arg min
X∥SHX−Y∥2
2+c∥X−X0∥2
2. (18)
Algoritmul 1 : Super-rezolut ¸ie folosind sparse representation
1:Intrare: dict ¸ionarele Dh,Dl¸ si o imagine cu rezolut ¸ie sc˘ azut˘ a Y.
2: Pentru ﬁecare fragment 3 ×3ydinY, ˆ ıncepˆ and cu colt ¸ul stˆ anga sus, cu o suprapunere
de 1 pixel ˆ ın ﬁecare direct ¸ie,
◦Se calculeaz˘ a media pixelilor din fragmentul y¸ si o not˘ am cu m.
◦Se rezolv˘ a problema optimiz˘ arii cu ˜D¸ si˜yprezentate ˆ ın Ecuat ¸ia 17:
min ∥˜Dα−˜y∥2
2+λ∥α∥1.
◦Se genereaz˘ a fragmentul cu rezolut ¸ie ˆ ınalt˘ a x=Dhα.Se pune fragmentul x+m
ˆ ıntr-o imagine cu rezolut ¸ie ˆ ınalt˘ a X0.
3: Sfˆ ar¸ sit.
4: Folosind metoda gradient descent se g˘ ase¸ ste cea mai apropiat˘ a imagine de X0care
satisface constrˆ angerea de reconstruct ¸ie:
X= arg min
X∥SHX−Y∥2
2+c∥X−X0∥2
2.
5:Ie sire: imaginea cu super-rezolut ¸ie X.
Solut ¸ia acestei probleme de optimizare poate ﬁ calculat˘ a folosind metoda gradient descent .
Ecuat ¸ia acestei metode iterative este:
Xt+1=Xt+ν[HTST(Y−SHXt) + (X−X0)], (19)

21
unde Xteste estimarea imaginii cu rezolut ¸ie ˆ ınalt˘ a dup˘ a titerat ¸ii, iar νeste m˘ arimea
pasului metodei gradient descent .
Imaginea rezultat˘ a Xdup˘ a aplicarea optimiz˘ arii de mai sus este considerat˘ a imaginea
cu super-rezolut ¸ie ﬁnal˘ a. Aceasta este cˆ at de aproape posibil de imaginea X0¸ si ˆ ın acela¸ si
timp respect˘ a constrˆ angerea de reconstruct ¸ie. Tot acest proces de obt ¸inere a super-rezolut ¸iei
este prezentat ˆ ın Algoritmul 1.
Interpretarea optimiz arii globale
Algoritmul prezentat anterior poate ﬁ perceput ca un caz aparte a unei probleme inverse ˆ ın
procesarea imaginilor, ce folose¸ ste ca ¸ si cadru general sparse representation . Idei asem˘ an˘ atoare
au fost implementate ˆ ın compresia imaginilor, eliminarea zgomotului din acestea [2], sau
restaurarea imaginilor [ ?]. Pe lˆ ang˘ a plasarea problemei prezentate ˆ ıntr-un cadru mai amplu,
aceste observat ¸ii sugereaz˘ a posibilitatea ˆ ımbun˘ at˘ at ¸irii performant ¸elor, o dat˘ a cu cre¸ sterea
complexit˘ at ¸ii computat ¸ionale.
Dac˘ a ar ﬁ disponibile destule resurse computat ¸ionale, ar putea ﬁ aproximate simultan
toate fragmentele dintr-o imagine. Mai mult decˆ at atˆ at, ˆ ıntreaga imagine cu rezolut ¸ie ˆ ınalt˘ a
Xpoate ﬁ tratat˘ a ca o variabil˘ a. ˆIn loc de a impune ca Xs˘ a ﬁe reprodus˘ a perfect de
coeﬁcient ¸ii sparse α, putem penaliza diferent ¸a dintre X¸ si imaginea cu rezolut ¸ie ˆ ınalt˘ a dat˘ a de
ace¸ sti coeﬁcient ¸i, acceptˆ and astfel unele solut ¸ii care nu sunt perfect sparse , dar care respect˘ a
mai bine constrˆ angerea de reconstruct ¸ie. Acest lucru conduce la urm˘ atoarea problem˘ a de
optimizare:
X= arg min
X;fijg{∥SHX−Y∥2
2+λ∑
i;j∥αij∥0
+γ∑
i;j∥Dhαij−PijX∥2
2+τρ(X)}. (20)
Aici, αijreprezint˘ a coeﬁcient ¸ii ce corespund fragmentului ( i, j) din X, iarPijeste o ma-
trice de proiect ¸ie ce selecteaz˘ a fragmentul ( i, j) din X. O funct ¸ie ρ(X) ˆ ınglobeaz˘ a informat ¸ia
prior asupra imaginii cu rezolut ¸ie ˆ ınalt˘ a. Aeast˘ a funct ¸ie poate s˘ a depind˘ a de categoria imag-
inii sau poate avea o form˘ a general˘ a, ca ¸ si termen al regulariz˘ arii (de exemplu: Huber MRF,
variat ¸ia total˘ a, variat ¸ia total˘ a bilateral˘ a).
Algoritmul 1 poate ﬁ interpretat ca o aproximare eﬁcient˘ a din punct de vedere cumputat ¸ional
a Ecuat ¸iei 20. Pasul sparse representation genereaz˘ a coeﬁcient ¸ii αminimizˆ and suma dintre
al doilea ¸ si al treilea termen din Ecuat ¸ia 20. Termenul sparse ∥αij∥0este relaxat la∥αij∥1,
iar termenul ﬁdelut˘ at ¸ii rezolut ¸iei ˆ ınalte ∥Dhαij−PijX∥2este aproximat prin versiunea sa
pentru rezolut ¸ie sc˘ azut˘ a ∥FDlαij−Fyij∥2.
Se poate observa c˘ a atunci cˆ and coeﬁcient ¸ii αsunt ﬁxat ¸i, al treilea termen din Ecuat ¸ia 20
penalizeaz˘ a diferent ¸a dintre imaginea cu super-rezolut ¸ie X¸ si reconstruct ¸ia dat˘ a de coeﬁcient ¸ii:∑
i;j∥Dhαij−PijX∥2
2≈ ∥X0−X∥2
2. A¸ sadar, pentru valori mici ale lui γ, pasul back-
projection din Algoritmul 1 minimizeaz˘ a suma dintre primul ¸ si al treilea termen al Ecuat ¸iei
20.
Totu¸ si, Algoritmul 1 nu include ¸ si alt˘ a informat ¸ie prior ˆ ın afar˘ a de cˆ at de sparse sunt
coeﬁcient ¸ii reprezent˘ arii, de exemplu, ρ(X) este absent ˆ ın calculul aproxim˘ arii. ˆIn practic˘ a
se poate observa c˘ a, folosind un dict ¸ionar potrivit, informat ¸ia prior poate ﬁ doar cea legat˘ a
desparsity , aceast˘ a informat ¸ie ﬁind suﬁcient˘ a pentru a obt ¸ine o super-rezolut ¸ie bun˘ a. Dac˘ a

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
totu¸ si mai exist˘ a ¸ si alte informat ¸ii legate de semnalul rezolut ¸iei ˆ ınalte acestea pot ﬁ incluse
ˆ ın pasul reconstruct ¸iei globale al algoritmului.
Super-rezolut ie facial a folosind Sparsity
ˆImbun˘ at˘ at ¸irea calit˘ at ¸ii ¸ si clarit˘ at ¸ii imaginilor ce cont ¸in fet ¸e este deseori dorit˘ a, ˆ ın special
ˆ ın domeniul supravegherii video, unde mereu distant ¸a dintre camer˘ a ¸ si obiectul (persoana)
de interes este mare. Spre deosebire de super-rezolut ¸ia imaginilor generalizat˘ a prezentat˘ a
anterior, imaginile ce cont ¸in fet ¸e au anumite caracteristici ce fac super-rezolut ¸ia s˘ a ﬁe mai
u¸ sor de obt ¸inut. A¸ sadar, pentru super-rezolut ¸ie facial˘ a se poate lucra cu o imagine de intrare
ce are o rezolut ¸ie chiar mai sc˘ azut˘ a dec˘ at cea din cazul general.
7 Aplicat ii ale super-rezolut iei
PLACEHOLDER
^Imbun at at ire video obi snuit a
PLACEHOLDER
Camere de supraveghere
PLACEHOLDER
Diagnoz a medical a
PLACEHOLDER
Imagini din satelit
PLACEHOLDER

23
Bibliograe
[1]R.Y. Tsai, T.S. Huang, Multi-frame image restoration and registration , Adv. Comput.
Vis. Image Process. 1, 1984.
[2]M. Elad, A. Feuer, Restoration of a single superresolution image from several blurred, noisy
and undersampled measured images , IEEE Trans. Image Process. 6 (1997) 1646-1658.
[3]J.I. Harris, Diﬀraction and resolving power , J.Opt.Soc.Am. 54 (1964) 931-933
[4]S.C. Park, M.K. Park, M.G. Kang, Super-resolution image reconstruction: a technical
overview , IEEE Signal Process. Mag. 20 (2003) 21-36
[5]N. Nguyen, P. Milanfar, G. Golub, A computationally eﬃcient superresolution image
reconstruction algorithm , IEEE Trans. Image Process. 10(2001) 573-583
[6]M. Irani, S. Peleg, Improving resolution by image registration , CVGIP: Graph. Model.
Image Process. 53 (1991) 231-239
[7]M.K. Ng, H. Shen, E.Y. Lam, et al., A total variation regularization based super-resolution
reconstruction algorithm for digital video , EURASIP J. Adv. Signal Process. 2007 (2007)
[8]H. Shen, X. Li, Q. Cheng, et al., Missing information reconstruction of remote sensing
data: a technical overview , IEEE Geosci. Remote Sens. Mag. 3 (2015)
[9]Y. Zhou, Z. Ye, Y. Xiao, A restoration algorithm for images contaminated by mixed Gaus-
sian plus random-valued impulse noise , J. Vis. Commun. Image Represent 24 (2013)
[10]D. Keren, S. Peleg, R. Brada, Image sequence enhancement using sub-pixel displace-
ments ,Proceedings of IEEE computer society conference on CVPR, Ann Arbor, MI.
(1988),742-746
[11]J.R. Bergen, P. Anandan, K.J. Hanna, R. Hingorani, Hierarchical model-based motion
estimation , Proceedings of 2nd ECCV 1992, lecture notes in computer science (1992),
237-252
[12]D. Capel, A. Zisserman, Computer vision applied to super-resolution , IEEE Signal Pro-
cess Mag. 20 (2003), 75-86
[13]R.C. Hardie, K.J. Barnard, E.E. Armstrong, Joint MAP registration and high-resolution
image estimation using a sequence of undersampled images , IEEE Trans. Image Process.
(1997), 1621-1633
[14]G. Botella, U. Meyer-Baese, A. Garcia, M. Rodriguez, Quantization analysis and en-
hancement of a VLSI gradient-based motion estimation architecture , Digit. Signal Process.
22 (2012), 1174-1187
[15]H. Ur, D. Gross, Improved resolution from sub-pixel shifted pictures ,CVGIP Graph.
Models Image Process.54 (1992), 181-186
[16]X. Zhang, Y. Liu, A computationally eﬃcient super-resolution reconstruction algorithm
based on the hybrid interpolation , J. Comput. (2010), 885-892

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
[17]X. Li, M.T. Orchard, New edge-directed interpolation , IEEE Trans. Image Process.
(2001), 1521-1527
[18]L. Zhang, X. Wu, An edge-guided image interpolation algorithm via directional ﬁltering
and data fusion , IEEE Trans. Image Process. (2006), 2226-2238
[19]J. Chu, J. Liu, J. Qiao, X. Wang, Y. Li, Gradient based adaptive interpolation in super-
resolution image restoration ,IEEE ICSP (2008), 1027-1030
[20]X. Zhang, X. Wu, Image interpolation by adaptive 2-D autoregressive modeling and soft-
decision estimation ,IEEE Trans. Image Process. (2008), 887-896
[21]H. Stark, P. Oskoui, High-resolution image recovery from image-plane arrays, using
convex projections , JOSA A (1989), 1715-1726
[22]A.M. Tekalp, M.K. Ozkan, M.I. Sezan, High-resolution image reconstruction from lower-
resolution image sequences and space-varying image restoration , IEEE ICASSP (1992),
169-172
[23]A.J. Patti, M.I. Sezan, A.M. Tekalp, Super-resolution video reconstruction with arbitrary
sampling lattices and nonzero aperture time , IEEE Trans. Image Process. 6 (1997), 1064-
1076
[24]S. Borman, R. Stevenson, Spatial resolution enhancement of low-resolution image
sequences-a comprehensive review with directions for future research , Lab. Image and
SIgnal Analysis, University of Notre Dame, Tech. rep. (1998)
[25]P. Vandewalle, S. Su, M. Vetterli, A frequency domain approach to registration of aliased
images with application to super-resolution , EURASIP J Appl. Signal Process. (2006), 1-
14
[26]L. Lucchese, G.M. Cortelazzo, A noise-robust frequency domain technique for estimating
planar roto-translations , IEEE Trans. Signal Process. 48 (2000), 1769-1786
[27]S. Kim, N.K. Bose, H.M. Valenzuela, Recursive re-construction of high-resolution image
from noisy under-sampled multi-frames , IEEE Trans. Acoust. Speech Signal Process. 38
(1990), 1013-1027
[28]S. Rhee, M.G. Kang, Discrete cosine transform based regularized high-resolution image
reconstruction algorithm , Opt. Eng. 38 (1999), 1348-1356
[29]N. Nguyen, P. Milanfar, A wavelet-based interpolation-restoration method for super-
resolution(wavelet super-resolution) , Circ. Sys. Signal Process.19, (2000), 321-338
[30]W. Wu, Z. Liu, W. Gueaieb, X. He, Single-image super-resolution based on Markov
random ﬁeld and contourlet transform , J. Electron. Imag. 20 (2011)
[31]S.E. El-Khamy, M.M. Hadhoud, M.I. Dessouky, B.M. Salam, F.A. El-Samie, Regularized
super-resolution reconstruction of images using wavelet fusion , Opt. Eng. 44 (2005)
[32]M.B. Chappalli, N.K. Bose, Simultaneous noise-ﬁltering and super-resolution with
second-generation wavelets , IEEE Signal Process. Lett. 12 (2005), 772-775

25
[33]H. Ji, C. Fermuller Wavelet-based super-resolution reconstruction: theory and algorithm ,
ECCV (2006), 295-307
[34]H. Ji, C. Fermuller Robust wavelet-based super-resolution reconstruction: theory and
algorithm , IEEE Trans. Pattern Anal. Mach Intell 31 (2009), 649-660
[35]S.P. Kim, W.Y. Su Recursive high-resolution reconstruction of blurred multiframe im-
ages, IEEE Trans. Image Process. 2 (1993), 534-539
[36]E. Plenge, D.H. Poot, M. Bernsen, G. Kotek, G. Houston, P. Wielopolski, et al. Super-
resolution methods in MRI: can they improve the trade-oﬀ between resolution, signal-to-
noise ratio, and acquisition time? , Magn. Reson. Med. 68 (2012), 1983-1993
[37]S. Farsiu, M.D. Robinson, M. Elad, P. Milanfar, Fast and robust multiframe super-
resolution , IEEE Trans. Image Process. 13 (2004) 1327-1344
[38]S.D. Babacan, R. Molina, A.K. Katsaggelos, Total Variation super resolution using a
variational approach , 15th IEEE international conference on image processing (2008) 641-
644
[39]S. Villena, M. Vega, R. Molina, A.K. Katsaggelos, Bayesian super-resolution image re-
construction using a l1 prior , 6th International symposium on image and signal processing
and analysis (2009) 152-157
[40]S. Villena, M. Vega, S.D. Babacan, R. Molina, A.K. Katsaggelos, Bayesian combination
of sparse and non-sparse priors in image super-resolution , Digit. Signal Process. 23 (2013)
530-541
[41]J. Tian, K.K. Ma, Stochastic super-resolution image reconstruction , J. Vis. Commun.
Image Represent. 21 (200) 232-244
[42]P. Cheeseman, B. Kanefksy, R. Kraft, J. Stutz, R. Hanson, Super-resolved surface recon-
struction from multiple images , Heidberg G.R., editor. Maximum entropy and bayesian
methods, Netherlands: Springer (1996) 239-308
[43]K.V. Suresh, A.N. Rajagopalan, Robust and computationally eﬃcient super-resolution
algorithm , J. Opt. Soc. Am. 24 (2007) 984-992
[44]S. Belekos, N.P. Galatsanos, A.K. Katsaggelos, Maximum a posteriori video super-
resolution using a new multichannel image prior , IEEE Trans. Image Process. 19 (2010)
1451-1464
[45]D. Kong, M. Han, W. Xu, H. Tao, Y. Gong, A conditional random ﬁeld model for video
super-resolution , IEEE ICPR (2006) 619-622
[46]B.C. Tom, A.K. Katsaggelos, Reconstruction of a high resolution image from multiple
degraded mis-registered low resolution images , Proc. SPIE vol. 2308 (1994) 971-81
[47]C. Liu, D. Sun, A Bayesian approach to adaptive video super-resolution , IEEE conference
on CVPR (2011) 209-221

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
[48]F. Sroubek, G. Cristobal, J. Flusser, A uniﬁed approach to super-resolution and multi-
channel blind deconvolution , IEEE Trans. Image Process. 16 (2007) 2322-2332
[49]Y. Bai, J. Hu, Y. Luo, Self-adaptive blind super-resolution image reconstruction , IEEE
ICSIP (2010) 1208-1212
[50]S.B. Kasturiwala S.A. Ladhake, Super-resolution: a novel application to image restora-
tion, IJCSE 2 (2010) 1659-1664
[51]F. Sroubek, J. Flusser, Resolution enhancement via probabilistic deconvolution of multi-
ple degraded images , Pattern Recogn. Lett. 27 (2006) 287-293
[52]F. Sroubek, J. Flusser, Multichannel blind deconvolution of spatially misaligned images ,
IEEE Trans. Image Process. 14 (2005) 874-883
[53]K. Nasrollahi, T.B. Moeslund, Super-resolution: a comprehensive survey , Mach. Vis.
Appl. 25 (2014) 1423-1468
[54]W.T. Freeman, T.R. Jones, E.C. Pasztor, Example based super-resolution , IEEE Com-
put. Graph. Appl. 22 (2002) 56-65
[55]H. Chang, D.Y. Yeung, Y. Xiong, Super-resolution through neighor embedding , IEEE
comput. soc. conf. comput. vis. pattern recogn. (2003) 729-736
[56]J. Yang, J. Wright, T. Huang, Y. Ma, Image super-resolution as sparse representation
of raw image patches , IEEE CVPR (2008) 1-8
[57]J. Yang, J. Wright, T.S. Huang, Y. Ma, Image super-resolution via sparse representation ,
IEEE Trans. Image Process. 19 (2010) 2861-2873
[58]R. Zeyde, M. Elad, M. Protter, On single image scale-up using sparse-representations ,
Curves and surfaces (2012) 711-730
[59]N. Suetake, M. Sakano, E. Uchino, Image super-resolution based on local self-similarity ,
Opt. Rev. 15 (2008) 26-30
[60]J. Sun, N.N. Zheng, H. Tao, H.Y. Shum, Image hallucination with primal sketch priors ,
IEEE comput. soc. conf. comput. vis. pattern recogn. (2003) 729-736
[61]S. Baker, T. Kanade, Limits on super-resolution and how to break them , IEEE Trans.
Pattern Anal. Mach Intell 24 (2002) 1168-1173
[62]X. Li, K.M. Lam, G. Qiu, L. Shen, S. Wang, Example-based image super-resolution with
class-speciﬁc predictors , J. Vis. Commun. Image Represent 20 (2009) 312-322
[63]C. Su, Y. Zhuang, L. Huang, F. Wu, Steerable pyramid-based face hallucination , Pattern
Recogn. 38 (2005) 813-824
[64]W. Dong, G. Shi, L. Zhang, X. Wu, Super-resolution with nonlocal regularized sparse
representation , Proc. SPIE vol. 7744 (2010) 77440H-77440H
[65]G. Shi, W. Dong, x. Wu, L. Zhang, Context based adaptive image resolution upconver-
sion, J. Electron. Imag. 19 (2010) 013008-013008

27
[66]X. Wang, X. Tang, Hallucinating face by eigen transformation , IEEE Trans. Sys. Man.
Cyb. Part C: Appl. Rev. 35 (2005) 425-434
[67]X. Ma, J. Zhang, C. Qi, Hallucinating face by position-patch , Pattern Recogn. 43 (2010)
2224-2236
[68]A. Hertzmann, C.E. Jacobs, N. Oliver, B. Curless, D.H. Salesin, Image analogies , Pro-
ceedings of the 28th annual conference on computer graphics and interactive techniques
(2001) 327-340
[69]K.S. Ni, S. Kumar, N. Vasconcelos, T.Q. Nguyen, Single image super-resolution based
on support vector regression , IEEE ICASSP (2006)
[70]M. Bevilacqua, A. Roumy, C. Guillemot, M.L.A. Morel, Low-complexity single image
super-resolution based on nonnegative neighbor embedding , BMVC (2012) 1-10
[71]D. Glasner, S. Bagon, M. Irani, Super-resolution from a single image , IEEE ICCV (2009)
349-356
[72]K.S. Ni, T.Q. Nguyen, Image super-resolution using support vector regression , IEEE
Trans. Image Process. 16 (2007) 1596-1610
[73]S.F. Lui, J.Y. Wu, H.S. Mao, J.J. Lien, Learning-based super-resolution system using
single facial image and multi-resolution wavelet synthesis , ACCV (2007) 96-105
[74]H. Huang, H. He, X. Fan, J. Zhang, Super-resolution of human face image using canon-
ical correlation analysis , Pattern Recogn. 43 (2010) 2532-2543
[75]X. Gao, K. Zhang, D. Tao, X. Li, Image super-resolution with sparse neighbor embedding ,
IEEE Trans. Image Process. 21 (2012) 3194-3205
[76]J.C.W. Chan, J. Ma, F. Canters, A comparison of super-resolution reconstruction meth-
ods for multi-angle CHRIS/Proba images , Proc. SPIE (2008) 1-11
[77]M. Gong, K. He, J. Zhou, J. Zhang, Single color image super-resolution through neighbor
embedding , JCIS 7 (2011) 49-56
[78]J. Zhang, C. Zhao, R. Xiong, S. Ma, D. Zhao, Image super-resolution via dual-dictionary
learning and sparse representation , IEEE ISCAS (2012) 1688-1691
[79]W. Dong, L. Zhang, G. Shi, Centralized sparse representation for image restoration ,
IEEE ICCV (2011) 1259-1266
[80]W. Dong, L. Zhang, G. Shi,X. Li, Nonlocally centralized sparse representation for image
restoration , IEEE Trans. Image Process 22 (2013) 1620-1630
[81]J. Yang, Z. Wang, Z. Lin, S. Cohen, T. Huang, Coupled dictionary training for image
super-resolution , IEEE Trans. Image Process 21 (2012) 3467-3478
[82]J. Kanakaraj, S. Kathiravan, Super-resolution image reconstruction using sparse param-
eter dictionary framework , Sci. Res. Essays 7 (2012) 586-592

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
[83]W. Dong, L. Zhang, G. Shi, X. Wu, Image deblurring and super-resolution by adap-
tive sparse domain selection and adaptive regularization , IEEE Trans. Image Process. 20
(2011) 1838-1857
[84]W. DOng, L. Zhang, R. Lukac, G. Shi, Sparse representation based image interpolation
with nonlocal autoregressive modeling , IEEE Trans. Image Process. 22 (2013) 1382-1394
[85]K.I. Kim, Y. Kwon, Example-based learning for single image super-resolution and JPEG
artifact removal , Max Planck Institute Biological Cybernetics Tubingen, Germany, Tech-
nical report no. TR-173 (2008)
[86]K.I. Kim, Y. Kwon, Single-image super-resolution using sparse regression and natural
image prior , IEEE Trans. Pattern Anal. Mach. Intell. 32 (2010) 1127-1133
[87]D. Thapa, K. Raahemifar, V. Lakshminarayanan, Comparison of super-resolution algo-
rithms applied to retinal images , J. Biomed. Opt. 19 (2014)
[88]Z. Wang, A.C. Bovik, H.R. Sheikh, E.P. Simoncelli, Image quality assessment: from
error visibility to structural similarity , IEEE Trans. Image Process. 13 (2004) 600-612
[89] https://en.wikipedia.org/wiki/Pixel
[90]L. Yue, H. Shen, J. Li, Q. Yuan, H. Zhang, L. Zhang, Image super-resolution: The
techniques, applications and future , IEEE Trans. Image Process. 25 (2016)
[91]D. Thapa, K. Raahemifar, W.R. Bobier, V. Lakshminarayanan, A performance compar-
ison among diﬀerent super-resolution techniques , IEEE Trans. Image Process. 24 (2015)
[92] https://en.wikipedia.org/wiki/Super-resolution_imaging
[93] https://en.wikipedia.org/wiki/4K_resolution
[94]K. Murthy, M. Shearn, B.D. Smiley, et. al., SkySat-1: very high-resolution imagery from
a small satellite , Sens. Syst. General Satell. XVII (2014)
[95]M. Pierre, Detection of visible photons in CCD and CMOS: a comparative view , Nucl.
Instrum. Methods Phys. Res. Sect. A: Accel., Spectrom., Detect. Assoc. Equip. 504 (2003)
199-212
[96]H. Greenspan, Super-resolution in medical imaging , Comput. J. 52 (2009) 43-63
[97] https://en.wikipedia.org/wiki/Shot_noise
[98]B. Shi, H. Zhao, M. Ben-Ezra, et al., Sub-pixel layout for super-resolution with images
in the octic group , Proceedings of the European Conference on Computer Vision, ECCV,
Springer (2014) 250-264
[99]C. Latry, B. Rouge, Super resolution: quincunx sampling and fusion processing , Pro-
ceedings of the International Geoscience and Remote Sensing Symposium (IGARSS),
Toulouse, France (2003) 315-317
[100] B. Burke, P. Jorden, P. Vu, Overview paper-CCD technology , Scientiﬁc detectors for
astronomy 2005, Springer (2006) 225-264

Index
spatial sampling rate, 4
charge-coupled devices, 4
complementary metal oxide semiconductors,
4
artefacte vizuale, 7
CCD, 4
CMOS, 4
fotodiode, 3
imagine, 3
imagine digital˘ a, 3
magniﬁcare, 3
Megapixel, 3
multi-frame, 3
pixel, 3
rat ¸ie semnal-zgomot, 4
Rezolut ¸ia, 3
senzori de imagine, 4
shot noise, 4
single-frame, 3
SNR, 4
super-rezolut ¸ie, 3
29

Copyright Notice

© Licențiada.org respectă drepturile de proprietate intelectuală și așteaptă ca toți utilizatorii să facă același lucru. Dacă consideri că un conținut de pe site încalcă drepturile tale de autor, te rugăm să trimiți o notificare DMCA.

Acest articol: Program de studii: [626087] (ID: 626087)

Dacă considerați că acest conținut vă încalcă drepturile de autor, vă rugăm să depuneți o cerere pe pagina noastră Copyright Takedown.

Licență

PROGRAMUL DE STUDII: MANAGEMENT ÎN OSPITALITATE ȘI [615891]

UNIVERSITATEA TRANSILVANIA DIN BRAȘOV FACULTATEA DE ALIMENTAȚIE ȘI TURISM PROGRAMUL DE STUDII: MANAGEMENT ÎN OSPITALITATE ȘI ECO -AGROTURISM PROIECT DE DIPLOMA MANAGEMENTUL OSPITALITATII IN INDUSTRIA AGREMENTULUI STUDIU DE CAZ Cadru didactic îndrumător: Absolvent: [anonimizat]. NICOLAE BOIAN Gabriela Timofte Brașov 2020 Cuprins INTRODUCERE ………………………….. ………………………….. ………………………….. ………………………….. … 3 CAPITOLUL I Stadiul actual ………………………….. ………………………….. ……………………………..

Read More PROGRAMUL DE STUDII: MANAGEMENT ÎN OSPITALITATE ȘI [615891]
Licență

Munteanu S.D Maria-Ecaterina [307944]

UNIVERSITATEA „AUREL VLAICU” DIN ARAD FACULTATEA DE DESIGN PROGRAMUL DE STUDIU DESIGN FORMA DE ÎNVĂȚĂMÂNT CU FRECVENȚĂ LUCRARE DE LICENȚĂ ÎNDRUMĂTOR ȘTIINȚIFIC: Conf. Univ. Dr. Călin Lucaci ABSOLVENT: [anonimizat] 2017 UNIVERSITATEA „AUREL VLAICU” [anonimizat]: Conf. Univ. Dr. Călin Lucaci ABSOLVENT: [anonimizat] 2017 CUPRINS INTRODUCERE ……………………………………………………………………………. 1 CAPITOLUL 1. ISTORIA ILUSTRAȚIILOR ȘI A DESIGNULUI CARTE ……………..

Read More Munteanu S.D Maria-Ecaterina [307944]
Licență

CLUSTERE SOCIALE. Realit ăți și perspective pentru România. [602309]

CLUSTERE SOCIALE. Realit ăți și perspective pentru România. Coordonatori : Daiana Mirela Buzatu – expert economie sociala Vasile Gherhes – sociolog Ciprian Obrad – sociolog. Page 1 of 74 Strategia Europa 2020 subliniază importanța creșterii intelige nte, durabile și favorabile incluziunii. Inițiativele strategiei (o agendă digitală pentru Europa, o uniune a inovării, o Europă eficientă…

Read More CLUSTERE SOCIALE. Realit ăți și perspective pentru România. [602309]
Licență

SISTEME OMNIPREZENTE TRECUT, PREZENT, VIITOR [618601]

CAPITOLUL 1 1 CAPITOLUL 1 SISTEME OMNIPREZENTE – TRECUT, PREZENT, VIITOR 1.1. Actualitatea subiectului Monitorizarea video, se referă la supravegherea com portării indivizilor, obiectelor sau proceselor. Motivele utilizării sistemelor comp lexe de supraveghere sunt foarte variate, acestea putând fi pentru: cercetare, obser vare sau chiar pentru controlul obiectivelor care nu prezintă încredere pentru asig urarea…

Read More SISTEME OMNIPREZENTE TRECUT, PREZENT, VIITOR [618601]
Licență

STRATEGII DIDAC TICE EFICIENTE UTILIZATE ÎN PREDAREA – [611028]

UNIVERSITATEA BABEȘ -BOLYAI CLUJ -NAPOCA DEPARTAMENTUL PENTRU PREGĂTIREA PERSONALULUI DIDACTIC FACULTATEA DE ȘTIINȚE EC ONOMICE ȘI GESTIUNEA AFACERILOR STRATEGII DIDAC TICE EFICIENTE UTILIZATE ÎN PREDAREA – ÎNVĂȚAREA -EVALUAREA CONȚINUTULUI INFORMAȚIONAL : ,,PIAȚA MONETARĂ ” COORDONATOR ȘTIINȚIFIC: Conf. Univ. Dr. ELEN A DANA BAKO CANDIDAT: [anonimizat]. VASILE STEPANOVICI CREȘTIN Liceul Tehnologic Sebeș Localitatea Sebeș CLUJ -NAPOCA…

Read More STRATEGII DIDAC TICE EFICIENTE UTILIZATE ÎN PREDAREA – [611028]
Licență

REV.CHIM.(Bucharest) 70No. 4 2019 http:www.revistadechimie.ro 1187Influence of Thermal Comfort on Health [616017]

REV.CHIM.(Bucharest) ♦70♦No. 4 ♦2019 http://www.revistadechimie.ro 1187Influence of Thermal Comfort on Health CARMEN OTILIA RUSANESCU1, MARIN RUSANESCU2*, COSMIN JINESCU3*, GIGEL PARASCHIV1 1 University Polytechnic, Faculty of Biotechnical Systems Engineering, 313 Splaiul Independentei, 060042 Bucharest, Romania 2V alplast Industrie 9 Preciziei Blv., 062202, Bucharest, Romania 3*Politehnica University of Bucharest, Faculty of Mechanical Engineering, 313 Splaiul Independentei ,…

Read More REV.CHIM.(Bucharest) 70No. 4 2019 http:www.revistadechimie.ro 1187Influence of Thermal Comfort on Health [616017]