Program de studii: [626084]

UNIVERSITATEA POLITEHNICA DIN BUCURES TI
FACULTATEA DE S TIINT E APLICATE
Program de studii:
Matematic a s i Informatic a Aplicat a^n Inginerie
PROIECT DE DIPLOM A
COORDONATOR
S TIINT IFIC,
Prof. Dr. Vladimir BalanABSOLVENT: [anonimizat] ¸-C˘ at˘ alin Popa
Bucure¸ sti 2017

Aprobat Decan ,
Prof. Univ. Dr. Emil PETRESCU
PROIECT DE DIPLOM A
Aplicat ii ale algoritmilor single-frame ^ n
reconstruct ia imaginilor cu super-rezolut ie
COORDONATOR
S TIINT IFIC,
Prof. Dr. Vladimir BalanABSOLVENT: [anonimizat] ¸-C˘ at˘ alin Popa
Bucure¸ sti 2017

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Cuprins
1 Introducere 3
2 Istoric tehnic 4
3 Tehnologii  si metode pentru obt inerea imaginilor cu super-rezolut ie 6
Modelul observat ¸ional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
Algoritmi de super-rezolut ¸ie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Metode bazate pe interpolare . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Metode ˆ ın domeniul frecvent ¸ei . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Metode bazate pe regularizare . . . . . . . . . . . . . . . . . . . . . . . . . . 10
4 Super-rezolut ie single-frame 12
Etapa de extragere a caracteristicilor . . . . . . . . . . . . . . . . . . . . . . . . . 13
Etapa de ˆ ınv˘ at ¸are . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Etapa de reconstruct ¸ie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Principalele obstacole ˆ ın calea reconstruct ¸iei . . . . . . . . . . . . . . . . . . . . . 15
5 Comparat ie a performant ei ^ ntre diferite tehnici de rezolut ie 15
Metode de m˘ asurare a calit˘ at ¸ii imaginii ¸ si optimizare . . . . . . . . . . . . . . . . 15
6 Aplicat ii ale super-rezolut iei 16
ˆImbun˘ at˘ at ¸ire video obi¸ snuit˘ a . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Camere de supraveghere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Diagnoz˘ a medical˘ a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Imagini din satelit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Bibliograe 17
Index 23

3
1 Introducere
Pentru a prezenta conceptul de super-rezolut ¸ie trebuie ca mai ˆ ıntˆ ai s˘ a ˆ ınt ¸elegem ce este
rezolut ¸ia unei imagini, respectiv ce este un pixel. Imaginile digitale sunt create cu ajutorul
unui senzor optic format din celule (fotodiode) ce transform˘ a orice impuls luminos receptat
ˆ ıntr-un semnal electric ce este apoi amplificat ¸ si transformat ˆ ın intensitatea luminoas˘ a a
unui pixel. Cu alte cuvinte un pixel este cea mai mic˘ a unitate component˘ a a unei imagini.
Rezolut ¸ia reprezint˘ a num˘ arul de pixeli dintr-o imagine ¸ si este prezentat˘ a sub forma: num˘ ar
pixeli pe vertical˘ a ×num˘ ar pixeli pe orizontal˘ a, de exemplu 600 ×800. Uneori ea mai apare
¸ si ca produsul dintre cele dou˘ a numere, folosindu-se o supraunitate a pixelului ¸ si anume
Megapixelul, adic˘ a un milion de pixeli. A¸ sadar, cu cˆ at rezolut ¸ia unei imagini este mai mare,
cu atˆ at aceasta reprezint˘ a mai fidel obiectele ce au fost capturate ¸ si cont ¸ine mai mult˘ a
informat ¸ie asupra lor.
Rezolut ¸ia se refer˘ a de asemenea la capacitatea senzorului optic de a m˘ asura pˆ an˘ a ¸ si
cele mai mici obiecte, lucru care este direct dependent de m˘ arimea pixelului. A¸ sadar prin
super-rezolut ¸ie ne referim la ˆ ımbun˘ at˘ at ¸irea rezolut ¸iei unei imagini prin alte metode decˆ at
celehardware pentru o calitate cˆ at mai bun˘ a a imaginii ¸ si pentru a extrage informat ¸ii cˆ at
mai precise asupra obiectului observat.
De¸ si tehnologia care st˘ a la baza captur˘ arii imaginilor digitale se dezvolt˘ a exponent ¸ial, pe
zi ce trece apar noi sisteme optice capabile de a captura o imagine cu o rezolut ¸ie de pˆ an˘ a la
4096×2160 pixeli, ˆ ıns˘ a acestea necesit˘ a o dimensiune mare de spat ¸iu de stocare, lucru ce face
ca problema obt ¸inerii unei imagini cu super-rezolut ¸ie dintr-o imagine cu rezolut ¸ie normal˘ a
sau sc˘ azut˘ a s˘ a fie ˆ ınc˘ a una de actualitate. De asemenea sistemele de supraveghere tind s˘ a
sacrifice rezolut ¸ia ˆ ın favoarea unei durabilit˘ at ¸i ¸ si a unei performant ¸e crescute pe termen lung.
O alt˘ a zon˘ a ˆ ın care se dore¸ ste o imagine cˆ at mai bun˘ a este imagistica satelitar˘ a, do-
rindu-se bineˆ ınt ¸eles o imagine cˆ at mai clar˘ a a zonei studiate. Cˆ and vorbim de astfel de
imagini, puterea de magnificare a satelitului are o limitare, iar cˆ and aceasta este atins˘ a ˆ ınc˘ a
sunt cazuri ˆ ın care se dore¸ ste ˆ ımbun˘ at˘ at ¸irea calit˘ at ¸ii imaginii. Imagistica medical˘ a este de
asemenea un domeniu ˆ ın care se doresc o rezolut ¸ie ¸ si respectiv o calitate a imaginii cˆ at mai
ridicate, pentru a ajunge la un diagnostic corect, iar radiat ¸ia la care este supus pacientul s˘ a
fie minim˘ a. Luˆ and ˆ ın considerare cele de mai sus ˆ ımbun˘ at˘ at ¸irea rezolut ¸iei este ˆ ınc˘ a dorit˘ a
ˆ ın multe domenii, iar prin alte metode decˆ at cele hardware care pot deveni costisitoare ¸ si
care pot ˆ ımbun˘ at˘ at ¸i rezolut ¸ia ˆ ıns˘ a pˆ an˘ a la un anumit punct. Pentru a folosi conceptul de
algoritmi single-frame ˆ ın obt ¸inerea super-rezolut ¸iei este nevoie s˘ a elabor˘ am not ¸iunile single-
frame ¸ simulti-frame . Conceptul de multi-frame const˘ a ˆ ın folosirea a mai multor imagini cu
rezolut ¸ie sc˘ azut˘ a a aceluia¸ si cadru pentru a forma o imagine cu super-rezolut ¸ie. Pentru a
face acest lucru se folose¸ ste de obicei o metod˘ a numit˘ a sub-pixel alignment ce este prezentat˘ a
ˆ ın Figura 1.
Figura 1 demonstreaz˘ a sumar procedeul prin care este obt ¸inut˘ a o imagine ˆ ımbun˘ at˘ at ¸it˘ a
calitativ din trei imagini ale aceluia¸ si cadru. ˆIn partea din stˆ anga se afl˘ a cele trei imagini
init ¸iale, iar cu ajutorul unor tehnici de super-rezolut ¸ie ce includ sub-pixel alignment se obt ¸ine
imaginea din dreapta.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Figure 1: Metoda multi-frame
2 Istoric tehnic
Ast˘ azi, cei mai folosit ¸i senzori de imagine sunt CCD ( charge-coupled devices ) ¸ si CMOS
(complementary metal oxide semiconductors ), iar pentru a obt ¸ine o imagine cu o rezolut ¸ie
ˆ ınalt˘ a una dintre solut ¸ii ar fi s˘ a dezvolt˘ am dipozitive optice mai avansate. O metod˘ a ar fi
reducerea m˘ arimii unui pixel, ˆ ıns˘ a acest lucru afecteaz˘ a cantitatea de lumin˘ a disponibil˘ a,
a¸ sadar ar trebui m˘ arit˘ a senzitivitatea senzorului iar calitatea imaginii va fi afectat˘ a de zgo-
motul de imagine numit shot noise .
Figure 2: Zgomot de imagine
Mai mult decˆ at atˆ at, modele de a¸ sezare a pixelilor non-rectangulare, cum ar fi modelul
hexagonal super CCD de la Fijifilm sau transfer-ortogonal CCD au fost folosite pentru a
ˆ ımbun˘ at˘ at ¸i spatial sampling rate . Alte metode includ m˘ arirea chip-ului sau a lungimii focale,
ˆ ıns˘ a aceasta ar cauza o cre¸ stere ˆ ın capacitant ¸˘ a, respectiv a m˘ arimii ¸ si greut˘ at ¸ii camerelor.
A¸ sadar aceste metode sunt considerate ineficiente datorit˘ a limit˘ arilor impuse de industria
optic˘ a actual˘ a ¸ si de cea a product ¸iei de senzori. ˆIn comparat ¸ie cu CMOS-urile, CCD-urile
au avantaje ˆ ın ceea ce prive¸ ste minimizarea zgomotului, rezolut ¸ia imaginii, sensitivitatea
senzorilor ¸ si dezvoltarea tehnologic˘ a. Din p˘ acate camerele bazate pe CCD au pret ¸uri ridi-
cate a¸ sadar tehnologiile bazate pe CMOS sunt din ce in ce mai investigate. Senzorii CMOS
¸ stiint ¸ifici – sCMOS ofer˘ a o rezolut ¸ie mai mare ¸ si o rat ¸ie semnal-zgomot (SNR) mare, ˆ ıns˘ a
utilizarea practic˘ a r˘ amˆ ane o provocare. Per total, datorit˘ a limit˘ arilor tehnologiilor hardware ,
cercetarea ˆ ımbun˘ at˘ at ¸irii rezolut ¸iei prin metode software este ˆ ınc˘ a o necesitate. Avˆ and ˆ ın
vedere conceptele super-rezolut ¸iei, prima problem˘ a care trebuie adresat˘ a este cea a obt ¸inerii

5
unei imagini cu super-rezolut ¸ie din mai multe imagini observate a c˘ aror rezolut ¸ie este sc˘ azut˘ a.
ˆIn general, dac˘ a exist˘ a destul˘ a informat ¸ie ˆ ın imaginile cu rezolut ¸ie sc˘ azut˘ a, obt ¸inerea unei
imagini cu super-rezolut ¸ie este fezabil˘ a. ˆIns˘ a acest lucru este posibil doar dac˘ a imaginile
observate cu rezolut ¸ie sc˘ azut˘ a nu pot fi obt ¸inute una din cealalt˘ a prin ree¸ santionare ( re-
sampling ) sau transform˘ ari ca translat ¸ii/rotat ¸ii, altfel nu se pot obt ¸ine rezultate eficiente.
Pentru a implementa ˆ ıntr-o aplicat ¸ie conceptul de super-rezolut ¸ie, s-a ˆ ıncercat obt ¸inerea unei
imagini prin modificarea ¸ si controlarea hardware -ului. Senzorii pot fi setati ˆ ın a¸ sa fel ˆ ınc˘ at
s˘ a extrag˘ a informat ¸ii cu un a¸ sa numit sub-pixel displacement sau mai multe ”priviri” asupra
aceleia¸ si scene. Agent ¸ia spat ¸ial˘ a francez˘ a ne poate oferi una dintre cele mai de succes cazuri
ˆ ın domeniul imaginilor prin satelit, aceasta folosind un senzor CCD ˆ ın satelitul SPOT-5 ce
poate ˆ ıncorpora dou˘ a CCD-uri a cˆ ate 12.000 pixeli fiecare. Cele doua CCD-uri sunt desin-
cronizate cu cˆ ate o jum˘ atate de pixel pe vertical˘ a ¸ si orizontal˘ a. Din moment ce ambii senzori
pot captura imagini in acela¸ si moment, se poate obt ¸ine un set de date cu doar o decalare de
jum˘ atate de pixel, informat ¸ie ce poate fi procesat˘ a cu ajutorul unor tehnici de super-rezolut ¸ie
pentru a obt ¸ine o imagine cu o rezolut ¸ie ridicat˘ a calitativ mai bun˘ a. Camerele Leica ADS40
folosesc un mecanism similar celui de pe SPOT-5. Mai mult decˆ at atˆ at, folosind pixeli CCD
compu¸ si din sub-pixeli cu forme ¸ si organiz˘ ari diferite se pot obt ¸ine imagini cu super-rezolut ¸ii
ˆ ımbun˘ at˘ at ¸ite.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
3 Tehnologii  si metode pentru obt inerea imaginilor cu
super-rezolut ie
Urmeaz˘ a s˘ a discut˘ am metodele principale de obt ¸inere a unei imagini cu super-rezolut ¸ie
din mai multe observat ¸ii cˆ at ¸ si dificult˘ at ¸ile ˆ ıntˆ ampinate ˆ ın folosirea lor. Problema principal˘ a
este modul ˆ ın care este folosit˘ a informat ¸ia suplimentar˘ a din multiplele observat ¸ii. ˆIn anul
1964 J.L. Harris, ˆ ın lucrarea sa: ”Diffraction and resolving power” [3] a stabilit o fundat ¸ie
teoretic˘ a pentru abordarea super-rezolut ¸iei introducˆ and teoreme ce pot fi folosite pentru a
rezolva problema difract ¸iei ˆ ıntr-un sistem optic. Douazeci de ani mai tarziu, R.Y. Tsai ¸ si
T.S. Huang [1] au abordat pentru prima dat˘ a ideea de super-rezolut ¸ie pentru a ˆ ımbun˘ at˘ at ¸i
imaginile provenite de la Landsat TM. De atunci super-rezolut ¸ia a devenit un subiect de
interes pentru mult ¸i cercet˘ atori, atˆ at pe plan teoretic cˆ at ¸ si practic. Tehnicile de super-
rezolut ¸ie au fost dezvoltate ¸ si ˆ ımbun˘ at˘ at ¸ite de mai bine de trei decenii, iar progresele f˘ acute
pot fi rezumate dup˘ a cum urmeaz˘ a.
La ˆ ınceput majoritatea metodelor se bazau pe domeniul de frecvent ¸˘ a [1]. Algoritmii
ce se folosesc de domeniul de frecvent ¸˘ a funct ¸ioneaz˘ a prin a crea o leg˘ atur˘ a ˆ ıntre imaginile
cu rezolut ¸ie ˆ ınalt˘ a (HR) ¸ si cele observate cu rezolut ¸ie sc˘ azut˘ a (LR) bazat˘ a pe cˆ ateva baze
teoretice simple ¸ si avˆ and o eficient ¸˘ a computat ¸ional˘ a ridicat˘ a. ˆIns˘ a chiar ¸ si aceste metode au
limi˘ ari ˆ ın ceea ce prive¸ ste procesarea unor imagini cu mi¸ sc˘ ari complexe.
Datorit˘ a inconvenientelor algoritmilor de domeniu de frecvent ¸˘ a, metodele de domeniu
spat ¸ial ( spatial domain ) au devenit principalul subiect [4]. Principalele metode includ itera-
tive back-projection (IBP) [6], projection onto convex sets (POCS) [5], metodele regularizate
¸ si o multitudine de algoritmi hibrid [2]. Primele lucr˘ ari elaborate ofer˘ a descrieri ¸ si explicat ¸ii
ale acestor metode. Printre acestea, metodele regularizate sunt cele mai populare datorit˘ a
eficient ¸ei ¸ si flexibilit˘ at ¸ii, de aceea cele mai recente studii in domeniul super-rezolut ¸iei s-au
axat pe framework-uri regularizate [4]. Din aceast˘ a cauz˘ a o s˘ a ne orient˘ am atent ¸ia c˘ atre
evolut ¸ia metodelor regularizate, ˆ ın special ˆ ın ultimii zece ani. De asemenea o s˘ a facem o
scurt˘ a trecere peste progresul algoritmilor de optimizare si set˘ arii parametrilor ( parameter
setup ).
Modelul observat ional
Modelul observat ¸ional prezint˘ a modul ˆ ın care au fost obt ¸inute imaginile cu rezolut ¸ie sc˘ azut˘ a
(LR) ¸ si modeleaz˘ a parametrii care transform˘ a imaginea cu rezolut ¸ie ˆ ınalt˘ a (HR) ˆ ın imaginea
LR. Modelul observat ¸ional este esent ¸ial ˆ ın obt ¸inerea super-rezolut ¸iei cˆ and vine vorba de un
cadru regularizat. ˆInainte de a ˆ ıncepe procesul reconstruct ¸iei trebuie s˘ a ne ˆ ındrept˘ am atent ¸ia
c˘ atre procesul prin care este obt ¸inut˘ a imaginea. Acesta poate fi influent ¸at de diver¸ si factori
externi cum ar fi mi¸ scarea relativ˘ a, difract ¸ia optic˘ a, zgomotul de imagine sau under-sampling .
ˆIn general lu˘ am ˆ ın considerare ca factori ce influent ¸eaz˘ a imaginea obt ¸inut˘ a zgomotul, efectul
deblur,warping -ul ¸ si down-sampling -ul, ajungˆ and la urm˘ atorul model observat ¸ional:
yk=OkDkBkMkz+nk, (1)
unde sunt folosite Kimagini init ¸iale cu rezolut ¸ie sc˘ azut˘ a. Fie N1k×N2km˘ arimea imag-
inii init ¸iale k, iarL1kN1k×L2kN2km˘ arimea imaginii reconstruite influent ¸at˘ a de factorii de
m˘ arire orizontal˘ a ¸ si vertical˘ a L1krespectiv L2k.ˆIn (1) z este forma vectorial˘ a a imaginii
reconstruite cu o dimensiune de L1kN1kL2kN2k×1, adic˘ a z= [z1, z2,· · ·, zL1kN1kL2kN2k]T, ¸ si

7
yk= [yk;1, yk;2,· · ·, yk;N 1kN2k]Teste vectorul imaginii kobt ¸inute Dkeste matricea de down-
sampling de m˘ arime N1kN2k×L1kN1kL2kN2k,Bkeste operatorul de blurring de m˘ arime
L1kN1kL2kN2k×L1kN1kL2kN2k, iarMkeste matricea de warp ce descrie informat ¸ia de mi¸ scare
(translat ¸ii, rotat ¸ii,etc.). nk(N1kN2k×1) reprezint˘ a zgomotul de imagine. Okeste operatorul
care exclude pixelii neobservabili din imaginea k[7–9]. ˆIn acest fel putem aborda atˆ at prob-
lema super-rezolut ¸iei cˆ at ¸ si pe cea a reconstruct ¸iei p˘ art ¸ilor lips˘ a dac˘ a imaginile init ¸iale sunt
afectate. Din (1) se poate obt ¸ine modelul observat ¸ional pentru super-rezolut ¸ie single-frame
dac˘ a egal˘ am kcu 1. Dac˘ a MksiDksunt excluse acesta devine un model pentru restau-
rarea imaginilor afectate de zgomot, blurring sau informat ¸ie lips˘ a. Mai jos avem o schem˘ a a
modelului observat ¸ional:
Figure 3: Modelul observat ¸ional
Algoritmi de super-rezolut ie
ˆIn continuare vom prezenta principalii algoritmi de obt ¸inere a super-rezolut ¸iei atˆ at single-
frame cˆ at ¸ si multi-frame .
Metode bazate pe interpolare
Interpolarea este procesul de estimare a unor pixeli noi printre pixelii deja obt ¸inut ¸i ai unei
imagini. Aceste tehnici s-au dovedit a fi eficiente ˆ ın multe cazuri practice, fiind unele dintre
cele mai u¸ soare metode de a m˘ ari rezolut ¸ia unei imagini. Multe dintre software -urile com-
erciale, cum ar fi PhotoZoom Pro ,Qimage ,Genuine Fractals sau chiar Photoshop folosesc
metode de interpolare pentru a modifica m˘ arimea unei imagini. Algoritmii de interpolare in-
clud trei mari pa¸ si in obt ¸inerea super-rezolut ¸iei, dup˘ a cum urmeaz˘ a: ˆ ınregistrare, interpolare
¸ si restaurare. Primul pas este procesul de aliniere a tuturor imaginilor obt ¸inute din punct
de vedere geometric, folosind ca referint ¸˘ a o imagine predefinit˘ a numit˘ a imagine de referint ¸˘ a.
Imaginile obt ¸inute pot suferi de rotat ¸ii, translat ¸ii sau sub-pixel displacement , a¸ sadar trebuie
aliniate, astfel ˆ ıncˆ at parametrii de mi¸ scare s˘ a fie aproximat ¸i corect ˆ ınainte de a ˆ ıncerca s˘ a
le unim pentru a crea o imagine cu super-rezolut ¸ie. Estim˘ ari incorecte ale parametrilor de
mi¸ scare pot conduce la o imagine cu super-rezolut ¸ie ce cont ¸ine diverse artefacte vizuale ce
se pot accentua de la o imagine la alta. ˆInregistrarea are loc fie ˆ ın domeniul spat ¸ial fie ˆ ın
domeniul frecvent ¸ei. Domeniul frecvent ¸ei este descris ˆ ın am˘ anunt ˆ ın sect ¸iunea urm˘ atoare.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Domeniul spat ¸ial are de asemenea varii metode de a estima mi¸ scarea, Keren et al. [10] au pro-
pus un algoritm bazat pe seria Taylor ce estimeaz˘ a parametrii de mi¸ scare cu precizie de sub-
pixel. J.R. Bergen ¸ si asociat ¸ii [11] au propus un cadru ierarhic pentru estimarea parametrilor
de mi¸ scare cum ar fi metode planare sau afine. Peleg ¸ si Irani [6] au dezvoltat o modalitate
interactiv˘ a cu multiple rezolut ¸ii pentru estimarea parametrilor de mi¸ scare. Pentru estimarea
acestor parametri unele metode mapeaz˘ a ˆ ıntreaga imagine, iar altele doar anumite caracter-
istici ce sunt comune printre imaginile cu rezolut ¸ie sc˘ azut˘ a [12]. Unele metode estimeaz˘ a
atˆ at imaginea cu super-rezolut ¸ie cˆ at ¸ si parametrii de mi¸ scare folosind metode Bayesiane, una
din aceste metode este explicat˘ a de Hardie et al. [13]. Mai recent, G. Botella ¸ si asociat ¸ii au
prezentat o metod˘ a de aproximare bazat˘ a pe gradient [14].
Pe lˆ ang˘ aˆ ınregistrare, un rol importantˆ ın estimarea unei imagini cu super-rezolut ¸ieˆ ıl joac˘ a
interpolarea. Exist˘ a foarte multe metode de interpolare, iar complexitatea fiec˘ areia const˘ a
ˆ ın num˘ arul de pixeli adiacent ¸i folosit ¸i pentru a estima pixelii nou creat ¸i (intermediari). Cele
mai cunoscute metode de interpolare sunt: cel mai apropiat vecin ( nearest neighbor ), metode
biliniare si bicubice. Cel mai apropiat vecin este cea mai simpl˘ a metod˘ a de interpolare
ce const˘ a ˆ ın folosirea celor mai apropiat ¸i pixeli de pixelul pe care dorim s˘ a ˆ ıl aproxim˘ am.
Aceasta are ˆ ıns˘ a un mare dezavantaj, ¸ si anume tr˘ as˘ aturi liniare sub forma de treapt˘ a vizibile
ˆ ın imaginea cu super-rezolut ¸ie. EXEMPLU POZA URMEAZA IN ANEXA Metoda biliniar˘ a
calculeaz˘ a o medie a celor mai apropiat ¸i 2 ×2 pixeli vecini pentru a estima valoarea pixelului
interpolat. Analog, metoda bicubic˘ a folose¸ ste cei mai apropiat ¸i 4 ×4 pixeli pentru a es-
tima valoarea pixelului interpolat. ˆIn ambele metode pixelii mai apropiat ¸i de pixelul estimat
au un procentaj mai ridicat ˆ ın estimarea acestuia. Deoarece translat ¸iile dintre imaginile cu
rezolut ¸ie sc˘ azut˘ a sunt inegale, este nevoie de metode neuniforme de interpolare pentru a folosi
toate imaginile cu rezolut ¸ie sc˘ azut˘ a ˆ ın cea cu super-rezolut ¸ie. ˆIn 1992 Ur ¸ si Gross [15] au
dezvoltat o metod˘ a de interpolare neuniform˘ a pentru un set de imagini translatate folosind
o teorem˘ a generalizat˘ a de multi-channel sampling . Exist˘ a multe alte metode complexe de
interpolare folosite pentru a redimensiona o singur˘ a imagine, cum ar fi: Cubic B-spline [16],
New Edge-Directed Interpolation (NEDI) [17], ¸ si Edge-Guided Interpolation (EGI) [18]. Pe
scurt, metoda Cubic B-spline cuprinde port ¸iuni ale unei curbe continue ce trece prin an-
umite puncte. Fiecare din acele puncte reprezint˘ a procentaje, iar acele procentaje sunt
coeficient ¸ii unui polinom de gradul trei. Rolul metodei este de a calcula acele procentaje
folosite ulterior pentru a obt ¸ine imaginea cu super-rezolut ¸ie. NEDI [17] este o metod˘ a de
interpolare direct ¸ional adaptiv˘ a bazat˘ a pe covariant ¸˘ a ˆ ın care pixelii interpolat ¸i sunt estimat ¸i
cu coeficient ¸ii locali ai covariant ¸ei imaginii cu rezolut ¸ie sc˘ azut˘ a bazat ¸i pe dualitatea geomet-
ric˘ a dintre covariant ¸a imaginii cu rezolut ¸ie sc˘ azut˘ a ¸ si imaginea cu super-rezolut ¸ie. EGI [18]
divide vecin˘ atatea fiec˘ arui pixel ˆ ın dou˘ a subseturi de observat ¸ie ˆ ın dou˘ a direct ¸ii ortogonale.
Fiecare subset de observat ¸ie aproximeaz˘ a un pixel lips˘ a. Algoritmul apoi contope¸ ste cele
dou˘ a valori aproximate ˆ ıntr-o estimare mai robust˘ a folosind estimarea liniar˘ a MMSE ( min-
imum mean square error ). Alte metode de interpolare cuprind interpolarea Gradient-Based
Adaptive (GBA) [19] ¸ si modelul de interpolare autoregresiv [20]. Aceste metode sunt extrem
de eficiente ¸ si conserv˘ a majoritatea informat ¸iei din imagine, ˆ ıns˘ a timpul de procesare ¸ si costul
computat ¸ional sunt mai mari fat ¸˘ a de metodele clasice.
Pa¸ sii de ˆ ınregistrare, interpolare ¸ si restaurare aferent ¸i metodei de super-rezolut ¸ie pot
fi sust ¸inut ¸i iterativ petru a obt ¸ine o imagine cu super-rezolut ¸ie din mai multe imagini cu
rezolut ¸ie sc˘ azut˘ a prin metoda Iterative Back Projection (IBP) [6]. ˆIn aceast˘ a metod˘ a imag-
inea cu super-rezolut ¸ie este estimat˘ a prin a minimiza iterativ eroarea dintre imaginile cu
rezolut ¸ie sc˘ azut˘ a observate ¸ si cele simulate. Aceast˘ a metod˘ a este foarte simpl˘ a ¸ si u¸ sor de

9
ˆ ınt ¸eles, ˆ ıns˘ a nu ofer˘ a accea¸ si solut ¸ie de fiecare dat˘ a datorit˘ a problemei inverse gre¸ sit formu-
late. Alt˘ a abordare a super-rezolut ¸iei u¸ sor de implementat este Projection Onto Convex Set
(POCS) propus˘ a de Oskoui ¸ si Stark [21]. ˆIn aceast˘ a metod˘ a un set de constrˆ angeri este definit
pentru a restrˆ ange spat ¸iul imaginii cu super-rezolut ¸ie. Seturile de constrˆ angeri sunt convexe
¸ si reprezint˘ a anumite caracteristici ale imaginii cu super-rezolut ¸ie pe care le dorim, cum ar fi
smoothness -ul, pozitivitatea ¸ si reliability -ul. Intersect ¸ia tuturor acestor seturi de caracteristici
reprezint˘ a spat ¸iul de solut ¸ii permisibile. A¸ sadar problema este redus˘ a la a g˘ asi intersect ¸ia
seturilor de constrˆ angeri. Pentru a g˘ asi o astfel de solut ¸ie, un operator de proiect ¸ie este
aflat pentru fiecare set de constrˆ angeri. Acest operator proiecteaz˘ a o estimare a imaginii cu
super-rezolut ¸ie asupra setului de constrˆ angeri asociat. Folosind aceast˘ a modalitate iterativ,
se poate obt ¸ine o solut ¸ie bun˘ a la suprafat ¸a intersect ¸iei celor kseturi de constrˆ angeri convexe.
Algoritmul original nu includea ¸ si zgomotul de observare [21]; a¸ sadar a fost ˆ ımbun˘ at˘ at ¸it de
mult ¸i alt ¸i cercet˘ atori. Tekalp et al. [22] au extins metoda pentru a ˆ ıncorpora zgomotul. Patti
et al. [23] au dus algoritmul ¸ si mai departe ad˘ augˆ and blur-ul, timpul de diafragm˘ a diferit de
zero, zgomot de senzor ¸ si structuri arbitrare de sampling .
Metode ^ n domeniul frecvent ei
O alt˘ a abordare cunoscut˘ a pentru a obt ¸ine o imagine cu super-rezolut ¸ie este domeniul
frecvent ¸ei [1, 25, 26]. Chiar prima tehnic˘ a de super-rezolut ¸ie folosit˘ a de Tsai ¸ si Huang [1]
folosit˘ a pe imaginile obt ¸inute prin satelit a fost bazat˘ a pe domeniul frecvent ¸ei. Mult ¸i alt ¸i
cercet˘ atori au extins aceast˘ a metod˘ a pentru a construi altele. Aceast˘ a metod˘ a presupune
transformarea imaginilor cu rezolut ¸ie sc˘ azut˘ a ˆ ın domeniul Transformatei Fourier Discrete
(DFT), iar imaginea cu super-rezolut ¸ie este estimat˘ a ˆ ın acest domeniu, dup˘ a care este trans-
format˘ a ˆ ınapoi ˆ ın domeniul spat ¸ial.
Tsai ¸ si Huang [1] au presupus c˘ a imaginile de la satelit sunt similare, dar translatate global
¸ si c˘ a pot fi considerate ca fiind imaginile under-sampled ale unei scene statice necunoscut˘ a.
Parametrii de translat ¸ie si aliasing sunt folosit ¸i pentru a determina un set de ecuat ¸ii care leag˘ a
DFT a imaginilor cu rezolut ¸ie sc˘ azut˘ a de transformata Fourier continu˘ a (CFT) a imaginii cu
super-rezolut ¸ie necunoscut˘ a ( Fy=ϕFx;Fyeste DFT a imaginii cu rezolut ¸ie sc˘ azut˘ a y, iar
Fxeste CFT a imaginii cu super-rezolut ¸ie necunoscute x) [24]. Matricea sistemului ϕeste
format˘ a din informat ¸ia de mi¸ scare dintre imaginile cu rezolut ¸ie sc˘ azut˘ a. A¸ sadar problema
super-rezolut ¸iei este redus˘ a la a afla CFT a imaginii cu super-rezolut ¸ie cu ajutorul DFT a
imaginilor cu rezolut ¸ie sc˘ azut˘ a ¸ si a matricei sistemului. Aceast˘ a problem˘ a simplificat˘ a este
rezolvat˘ a de obicei cu ajutorul metodei celor mai mici p˘ atrate [4]. Blur-ul ¸ si zgomotul ˆ ın
timpul obt ¸inerii imaginii au fost ignorate ˆ ın studiul lui Huang si Tsai, ˆ ıns˘ a Kim et al. [27]
¸ si-au extins munca luˆ and in calcul ¸ si aceste efecte. Metoda corel˘ arii este deseori folosit˘ a
pentru a descoperi parametrii de mi¸ scare ˆ ın domeniul frecvent ¸ei. Parametrii de mi¸ scare
sunt determinat ¸i datorit˘ a faptului c˘ a imaginile mutate difer˘ a ˆ ın domeniul frecvent ¸ei doar
printr-o schimbare de faz˘ a [25, 26]. Schimbarea de faz˘ a dintre cele dou˘ a imagini poate fi
obt ¸inut˘ a prin corelarea acestora. Folosind corelarea fazelor atˆ at rotat ¸ia cˆ at ¸ si scalarea imaginii
pot fi transformate ˆ ın mi¸ sc˘ ari verticale sau orizontale. Pentru a minimiza erorile datorit˘ a
aliasing -ului se pot folosi doar anumit ¸i coeficient ¸i Fourier discret ¸i [25]. Dup˘ a ce se estimeaz˘ a
parametrii de ˆ ınregistrare, imaginile cu rezolut ¸ie sc˘ azut˘ a sunt combinate conform relat ¸iei
dintre coeficient ¸ii transformatei Fourier discrete ai imaginilor cu rezolut ¸ie sc˘ azut˘ a ¸ si imaginea
cu super-rezolut ¸ie necunoscut˘ a. Avantajul metodei domeniului de frecvent ¸˘ a este c˘ a aceasta
este u¸ sor de aplicat ¸ si functioneaz˘ a mai bine ˆ ımpotriva aliasing -ului decˆ at metoda domeniului

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
spat ¸ial. Dezavantajul acesteia este c˘ a se limiteaz˘ a la mi¸ scarea global˘ a, a¸ sadar funct ¸ioneaz˘ a
doar pentru translat ¸ii ¸ si rotat ¸ii planare [25]. Mai tˆ arziu transformata Fourier este ˆ ınlocuit˘ a
de Transformata Cosinus Discret˘ a (DCT) [28] ¸ si Transformata Wavelet Discret˘ a (DWT) [29].
Rhee ¸ si Kang [28] au modificat metoda bazat˘ a pe transformata Fourier pentru a folosi
tehnici regularizate de deconvolut ¸ie folosind DCT. Aceast˘ a metod˘ a funct ¸ioneaz˘ a chiar ¸ si
pentru cazurile cu informat ¸ie despre sub-pixeli insuficient˘ a sau cele gre¸ sit formulate. DCT
folose¸ ste doar coeficient ¸i reali, a¸ sadar este mai put ¸in costisitoare din punct de vedere compu-
tat ¸ional decˆ at domeniul Fourier. Nguyen ¸ si Milanfar [29] au folosit interpolare wavelet urmat˘ a
de metoda de restaurare pentru super-rezolut ¸ie. Ace¸ stia au calculat mai ˆ ıntˆ ai coeficient ¸ii de
und˘ a ( wavelet ) ai imaginilor cu rezolut ¸ie sc˘ azut˘ a ¸ si apoi i-au interpolat pentru valorile blu-
rate ˆ ın puncte de pe imaginea cu super-rezolut ¸ie. Prin deconvolut ¸ia valorilor interpolate cu
blur-ul cunoscut se poate estima o imagine cu super-rezolut ¸ie. El-Khamy ¸ si asociat ¸ii [31] au
ˆ ınregistrat toate imaginile cu rezolut ¸ie sc˘ azut˘ a direct ˆ ın domeniul wavelet . Dup˘ a ˆ ınregistrare,
coeficient ¸ii wavelet au fost unit ¸i, iar zgomotul a fost ˆ ınl˘ aturat folosind o metod˘ a de regu-
larizare. Metode de interpolare au fost apoi folosite pentru a obt ¸ine coeficient ¸ii wavelet ai
imaginii cu super-rezolut ¸ie, iar la sfˆ ar¸ sit cu ajutorul unei transformate inverse wavelet s-a
obt ¸inut imaginea cu super-rezolut ¸ie ˆ ın domeniul spat ¸ial. Chappalli ¸ si Bose [32] au imple-
mentat tehnici software de thresholding pentru a ˆ ındep˘ arta zgomotul asociat coeficient ¸ilor
wavelet . Fermuller ¸ si Ji [33, 34] au descompus coeficient ¸ii wavelet ˆ ın dou˘ a p˘ art ¸i folosind o
schem˘ a de rezolut ¸ii multiple. Acei coeficient ¸i au fost apoi interpolat ¸i, filtrat ¸i ¸ si recombinat ¸i
pentru a obt ¸ine imaginea simulat˘ a. Imaginea final˘ a era obt ¸inut˘ a folosind metoda IBP cu
criterii eficiente de regularizare pentru a elimina zgomotul la fiecare pas. Recent, atent ¸ia
cercet˘ atorilor s-a ˆ ındreptat c˘ atre transformarea contourlet , avantajul acesteia fat ¸˘ a de cea
wavelet fiind c˘ a aceasta poate captura muchiile dintr-o imagine ˆ ın orice direct ¸ie, nu doar
orizontal sau vertical [30].
Metode bazate pe regularizare
Problema obt ¸inerii imaginilor cu super-rezolut ¸ie este una al c˘ arei solut ¸ie nu este unic˘ a, dup˘ a
cum s-a putut observa. O alt˘ a metod˘ a de obt ¸inere a acestor imagini este folosind un termen
de regularizare. [35] Aceast˘ a metod˘ a ˆ ıncorporeaz˘ a cuno¸ stint ¸e anterioare asupra imaginilor
cu rezolut ¸ie ˆ ınalt˘ a pentru a rezolva problema super-rezolut ¸iei. Dou˘ a abord˘ ari principale ale
regulariz˘ arii sunt metodele deterministe ¸ si cele stocastice. Metoda determinist˘ a introduce un
termen al regulariz˘ arii care transform˘ a problema subdeterminat˘ a ˆ ın una corect determinat˘ a.
Imaginea cu rezolut ¸ie ˆ ınalt˘ a Xeste estimat˘ a minimizˆ and urm˘ atoarea funct ¸ie de cost:
X= argminN∑
k=1∥yk−HkX∥2+λ∥RX∥2(2)
unde λeste constanta de regularizare, iar Reste termenul de regularizare. Metoda celor mai
mici p˘ atrate folose¸ ste constante de netezime ca a priori .ˆIn acest caz Rdevine filtrul high
pass ce minimizeaz˘ a cantitatea frecvent ¸elor ˆ ınalte din imaginea obt ¸inut˘ a, iar λcontroleaz˘ a
informat ¸ia din frecvent ¸ele ˆ ınalte. O valoare mai mare pentru λpoate netezi imaginea recon-
struit˘ a, lucru ce poate fi benefic dac˘ a sunt disponibile put ¸ine imagini cu rezolut ¸ie sc˘ azut˘ a
sau acestea cont ¸in mult zgomot. Pe de alt˘ a parte, valori mici ale lui λdetermin˘ a obt ¸inerea
unei imagini ce poate cont ¸ine zgomot, lucru ce poate fi trecut cu vederea daca sunt disponi-
bile multe imagini init ¸iale ce au pe deasupra si putin zgomot. [4] Estimatorul celor mai mici

11
p˘ atrate Tikhonov regularizat folose¸ ste norma l2a derivatei de ordin doi a reconstruct ¸iei ima-
ginii cu rezolut ¸ie ˆ ınalt˘ a ca ¸ si termen de regularizare. [36] Norma l2nu asigur˘ a o solut ¸ie unic˘ a.
Farsiu et al. [37] au c˘ autat o alternativ˘ a ˆ ın minimizarea normei l1pentru obt ¸inerea super-
rezolut ¸iei mai rapid. Kim ¸ si Bose [27] propun un algoritm recursiv ponderat bazat pe cele
mai mici p˘ atrate pentru obt ¸inerea super-rezolut ¸iei. Ponderea depinde de cuno¸ stint ¸ele deja
acumulate asupra imaginii, algoritmul oferind o pondere mai mare imaginilor cu rezolut ¸ie
sc˘ azut˘ a ce au SNR mare. Avˆ and ponderi diferite problema devine una general˘ a de estimare
a celor mai mici p˘ atrate. Tot ce mai r˘ amˆ ane de f˘ acut este interpolarea ¸ si restaurarea ˆ ıntr-o
imagine cu super-rezolut ¸ie.
Metoda stocastic˘ a [38–46], mai ales metoda Maximum A-Posteriori (MAP), este cunos-
cut˘ a deoarece ofer˘ a o metod˘ a convenabil˘ a ¸ si flexibil˘ a de a folosi informat ¸ie a priori ¸ si deoarece
creeaz˘ a o leg˘ atur˘ a puternic˘ a ˆ ıntre imaginile observate ¸ si cea cu rezolut ¸ie ˆ ınalt˘ a necunoscut˘ a.
Metoda const˘ a ˆ ın g˘ asirea estim˘ arii MAP a imaginii cu rezolut ¸ie ˆ ınalt˘ a pentru care o proba-
bilitate posteriori P(X|Y) este maxim˘ a [41].
ˆXMAP= argminXP(X|Y) (3)
Folosind teorema lui Bayes, ecuat ¸ia 3 poate fi rescris˘ a dup˘ a cum urmeaz˘ a [41]:
ˆXMAP= argminX[logP(Y|X)] + log P(X) (4)
unde P(Y|X) este funct ¸ia de probabilitate, iar P(X) este prior .Markov Random Field
(MRF) este deseori folosit ca ¸ si model priori , iar funct ¸ia de densitate de probabilitate (PDF)
a zgomotului este folosit˘ a pentru a determina funct ¸ia de probabilitate. Imaginea cu rezolut ¸ie
ˆ ınalt˘ a este obt ¸inut˘ a aflˆ and rezultatul ecuat ¸iei 4.
Printre cele mai folosite modele pentru imaginea priori se num˘ ar˘ a norma TV [38], norma
l1a gradient ¸ilor orizontal ¸ si vertical [39], norma Simultaneous Autoregressive (SAR) [40],
modelul MRF Gaussian [13, 41], modelul MRF Huber [42], modelul MRF ce cont ¸ine o dis-
continuitate adaptiv˘ a [43], modelul non-stat ¸ionar Gaussian pe doua nivele [44] ¸ si modelul
Conditional Random Field (CRF) [45]. Un caz aparte al MAP, ˆ ın care informat ¸ia priori a
imaginii cu rezolut ¸ie ˆ ınalt˘ a nu este dat˘ a se nume¸ ste Maximum Likelihood Estimation (MLE).
Tom ¸ si Katsaggelos [46] au luat ˆ ın considerare folosirea acestei metode pentru obt ¸inerea
super-rezolut ¸iei, ˆ ıns˘ a deoarece este necesar˘ a informat ¸ie a priori datorit˘ a solut ¸iei sistemului
subdeterminat, r˘ amˆ ane o metod˘ a rar folosit˘ a.
ˆIn super-rezolut ¸ia multi-frame , mai multe imagini sunt combinate pentru a obt ¸ine o sin-
gur˘ a imagine cu rezolut ¸ie ˆ ınalt˘ a. ˆIn timpul contopirii acestor imagini cu rezolut ¸ie sc˘ azut˘ a
metode de aproximare a pixelilor sunt folosite, iar acestea pot blura (estompa) imaginea fi-
nal˘ a. A¸ sadar sunt necesare metode de eliminare a blur-ului din imagini [4,41]. Aproximarea
nucleului de blur(blur kernel ) are un rol important ˆ ın obt ¸inerea super-rezolut ¸iei, ˆ ıns˘ a multe
metode folosesc un nucleu deja cunoscut pentru simplitate. Acest nucleu deja ¸ stiut poate
ajuta la estimare unei imagini cu rezolut ¸ie ˆ ınalt˘ a dintr-un set de imagini cu rezolut ¸ie sc˘ azut˘ a,
ˆ ıns˘ a pentru imagini obt ¸inute din practic˘ a, ce au alt blur de mi¸ scare, nucleul de blur poate
fi total diferit [47]. Pentru estimarea nucleului de blurˆ ın cadrul Bayesian sunt propu¸ si nu-
mero¸ si algoritmi. Liu ¸ si Sun [47] au propus recent o metod˘ a Bayesian˘ a ce calculeaz˘ a simultan
nivelul de zgomot, nucleul de blur,blur-ul de mi¸ scare ¸ si imaginea cu rezolut ¸ie ˆ ınalt˘ a. Un al-
goritm de deconvolut ¸ie oarb˘ a poate fi folosit cˆ and nu avem nicio informat ¸ie despre nivelul de
zgomot sau nucleul de blur. Metodele de deconvolut ¸ie oarb˘ a recupereaz˘ a funct ¸ia de blurring
din imaginile cu rezolut ¸ie sc˘ azut˘ a ¸ si aproximeaz˘ a imaginea cu rezolut ¸ie ˆ ınalt˘ a f˘ ar˘ a informat ¸ii

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
init ¸iale asupra imaginii originale sau a blur-ului [48–52]. Sroubek et al. [48] au dezvoltat un
model de deconvolut ¸ie oarb˘ a pe canale multiple pentru super-rezolut ¸ie, unde imaginile cu
rezolut ¸ie sc˘ azut˘ a sunt unite minimizˆ and funct ¸ia de energie E(X, h).
E(X, h) = argminK∑
k=1∥yk−DHkX∥2+αQ(X) +βR(h) (5)
Primul termen din ecuat ¸ie este termenul de fidelitate, iar ceilalt ¸i doi termeni sunt termeni
de regularizare. Q(X) este termenul folosit pentru netezire, iar R(h) este termenul PSF.
A¸ sadar regularizarea este aplicat˘ a atˆ at ˆ ın domeniul de blur, cˆ at ¸ si ˆ ın cel al imaginii. Bai ¸ si
asociat ¸ii [49] au propus o metod˘ a ˆ ın domeniul frecvent ¸ei ce selecteaz˘ a adaptiv parametrul
termenului de regularizare. ˆIn [50–52] metode combinate de deconvolut ¸ie oarb˘ a ¸ si estimator
MAP sunt folosite pentru a estima blur-ul, respectiv imaginea cu rezolut ¸ie ˆ ınalt˘ a.
4 Super-rezolut ie single-frame
Dup˘ a cum am v˘ azut, o multitudine de algoritmi multi-frame pentru obt ¸inerea super-rezolut ¸iei
au fost dezvoltat ¸i, ˆ ıns˘ a ace¸ stia depind foarte mult de precizia aproxim˘ arii parametrilor de
ˆ ınregistrare [53]. Metodele de ˆ ınregistrare au ˆ ın principal constrˆ angeri cauzate de mi¸ scarea
global˘ a, ˆ ıns˘ a componente diferite ale aceleia¸ si scene pot avea mi¸ sc˘ ari total diferite ˆ ın practic˘ a.
ˆIn aceste cazuri metodele de super-rezolut ¸ie multi-frame nu duc la un rezultat favorabil, uneori
imaginile init ¸iale avˆ and o calitate a informat ¸iei mai bun˘ a decˆ at cele cu super-rezolut ¸iei.
Mai mult decˆ at atˆ at informat ¸iile stocate ˆ ın frecvent ¸ele ˆ ınalte ce sunt pierdute ˆ ın timpul
achizit ¸iei imaginilor nu pot fi recuperate folosind tehnici multi-frame . O metod˘ a alternativ˘ a
este folosirea algoritmilor de super-rezolut ¸ie bazat ¸i pe o singur˘ a imagine.
Figure 4: Super-rezolut ¸ie bazat˘ a pe ˆ ınv˘ at ¸areMajoritatea algoritmilor de super-rezolut ¸ie
bazat ¸i pe o singur˘ a imagine folosesc meca-
nisme de ˆ ınv˘ at ¸are ¸ si sunt numit ¸i algoritmi
de super-rezolut ¸ie bazat ¸i pe ˆ ınv˘ at ¸are. Acest
mecanism de ˆ ınv˘ at ¸are extrage informat ¸ia din
frecvent ¸ele ˆ ınalte pierdut˘ a ˆ ın procesul de
capturare a imaginilor folosind surse externe
(training set ) ¸ si une¸ ste aceast˘ a informat ¸ie
cu imaginile cu rezolut ¸ie sc˘ azut˘ a capturate,
obt ¸inˆ andu-se astfel o imagine cu super-
rezolut ¸ie [30]. Acest set de antrenament
(training set ) este format din un num˘ ar mare
de imagini cu rezolut ¸ie ˆ ınalt˘ a ¸ si versiunea
lor simulat˘ a de imagini cu rezolut ¸ie sc˘ azut˘ a.
Eficient ¸a algoritmilor bazat ¸i pe ˆ ınv˘ at ¸are de-
pinde extrem de mult de aceste imagini aflate
ˆ ın setul de antrenament, a¸ sadar acestea tre-
buie alese ˆ ın a¸ sa fel ˆ ıncˆ at s˘ a fie similare
cu imaginile ce urmeaz˘ a a fi capturate ˆ ın
practic˘ a ¸ si s˘ a cont ¸in˘ a informat ¸ii de frecvent ¸˘ a
ˆ ınalt˘ a [30].

13
Figura 4 reprezint˘ a o schem˘ a a algoritmilor de super-rezolut ¸ie bazat ¸i peˆ ınv˘ at ¸are. Metodele
de super-rezolut ¸ie bazate pe ˆ ınv˘ at ¸are cuprind urm˘ atoarele trei etape: extragerea caracteris-
ticilor, ˆ ınv˘ at ¸area ¸ si reconstruct ¸ia.
Etapa de extragere a caracteristicilor
Aceast˘ a etap˘ a presupune extragerea caracteristicilor setului de imagini de antrenament dar ¸ si
ale imaginii de test separat. Init ¸ial imaginile sunt segmentate ˆ ın buc˘ at ¸i mai mici ce sunt apoi
redimensionate ¸ si scalate cu ajutorul unor filtre. Buc˘ at ¸ile din imaginea cu rezolut ¸ie ˆ ınalt˘ a
¸ si corespondentele lor din imaginea cu rezolut ¸ie sc˘ azut˘ a ce a fost obt ¸inut˘ a sunt grupate
ˆ ın perechi. Apoi caracteristicile buc˘ at ¸ilor din setul de antrenament sunt extrase. Analog,
caracteristicile imaginilor de test sunt extrase. ˆIn acest moment exist˘ a cˆ ateva tehnici de
extragere a caracteristicilor ce au fost dezvoltate de diver¸ si cercet˘ atori. De exemplu, ˆ ın
[54–58] un filtru de schimbare a benzii, pe cˆ and ˆ ın [59] sunt folosite atˆ at frecvent ¸ele ˆ ınalte
cˆ at ¸ si cele joase ale imaginilor. Asem˘ an˘ ator, obt ¸inerea derivatelor Gaussiene [60], derivatelor
gradientului [61], piramidei Laplaciene [62] ¸ si piramidei Steerable [63] au fost propuse. Mult ¸i
cercet˘ atori au folosit valorile lumiant ¸ei ca f ¸iind cea mai important˘ a parte a muncii lor [64–71].
Coeficient ¸ii DCT [72], transformarea wavelet [73], transformarea contourlet [30] ¸ si Principle
Component Analysis (PCA) [74] au fost folosite ca ¸ si caracteristici ˆ ın super-rezolut ¸ie bazat˘ a
pe ˆ ınv˘ at ¸are.
Etapa de ^ nv at are
Caracteristicile extrase din setul de antrenament ¸ si cele extrase din imaginile cu rezolut ¸ie
sc˘ azut˘ a capturate sunt egalate (sincronizate) folosind modele de ˆ ınv˘ at ¸are. Asem˘ an˘ ator mod-
elelor de extragere a caracteristicilor, mai multe modele de ˆ ınv˘ at ¸are au fost propuse ˆ ın ultimii
ani. Cele mai cunoscute metode sunt Best Matching [59,61,63,68], MRF [30,54,60,73], Neigh-
bor Embedding [70,75–77] ¸ si Sparse Representation [56–58,64,78–84]. Printre alte metode mai
rar ˆ ıntˆ alnite se num˘ ar˘ a PCA Construction [66], Canonical Correlation Analysis [74], Locally
Linear Embedding Construction [55], Content-based Classification ¸ siClass-specific Predic-
tors [62], Position-patch Construction [67] ¸ si Support Vector Regression [72]. Glasner et
al. [71] au introdus o metod˘ a ce combin˘ a super-rezolut ¸ia bazat˘ a pe ˆ ınv˘ at ¸are cu cea bazat˘ a pe
reconstruct ¸ie. Algoritmul de ˆ ınv˘ at ¸are asociaz˘ a caracteristici ale imaginii cu rezolut ¸ie sc˘ azut˘ a
capturate cu cele ale imaginilor cu rezolut ¸ie sc˘ azut˘ a din setul de antrenament. Deoarece
imaginile cont ¸inute ˆ ın setul de antrenament, respectiv cele cu rezolut ¸ie sc˘ azut˘ a ¸ si cele cu
rezolut ¸ie ˆ ınalt˘ a, sunt organizate ˆ ın perechi, caracteristicile fragmentelor din imaginile cu
rezolut ¸ie ˆ ınalt˘ a ce corespund celor din imaginile cu rezolut ¸ie sc˘ azut˘ a sunt aplicate imaginii
capturate ¸ si sunt alese pentru super-rezolut ¸ie.
Etapa de reconstruct ie
Algoritmii de ˆ ınv˘ at ¸are ¸ si de extragere a caracteristicilor aproximeaz˘ a caracteristicile imag-
inii cu rezolut ¸ie ˆ ınalt˘ a din imaginea capturat˘ a. Aceste caracteristici sunt apoi implemen-
tate asupra fragmentelor din imaginea cu rezolut ¸ie sc˘ azut˘ a pentru a obt ¸ine un fragment cu
rezolut ¸ie ˆ ımbun˘ at˘ at ¸it˘ a. Ultimul pas este de a reuni toate fragmentele ˆ ıntr-o imagine cu super-
rezolut ¸ie [30]. O descriere detaliat˘ a a acestui proces se reg˘ ase¸ ste ˆ ın figura 4. Exist˘ a multe
metode bazate pe ˆ ınv˘ at ¸are dezvoltate pˆ an˘ a acum ˆ ıns˘ a metoda bazat˘ a pe exemple propus˘ a

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
de Kim ¸ si Kwon [85, 86] dep˘ a¸ se¸ ste multe alte metode de ultim˘ a or˘ a. Aceast˘ a metod˘ a se
bazeaz˘ a pe cadrul deja stabilit de Freeman et al. [54] ce stabile¸ ste perechile de fragmente
din imaginile cu rezolut ¸ie ˆ ınalt˘ a, respectiv cele cu rezolut ¸ie sc˘ azut˘ a ˆ ın etapa de antrenament.
ˆIn etapa de ˆ ınv˘ at ¸are fiecare fragment al imaginii cu rezolut ¸ie sc˘ azut˘ a capturat˘ a este com-
parat cu seturile de fragmente ale imaginilor cu rezolut ¸ie sc˘ azut˘ a de antrenament ce erau
deja ˆ ınregistrate ¸ si folosind metoda de c˘ autare al celui mai apropiat vecin se g˘ ase¸ ste cel
mai asem˘ an˘ ator fragment al imaginilor cu rezolut ¸ie sc˘ azut˘ a de antrenament ¸ si se folose¸ ste
imaginea cu rezolut ¸ie ˆ ınalt˘ a asociat˘ a. Totu¸ si, metoda lui Freeman et al. [54] duce deseori
la o imagine cu blurdatorit˘ a algoritmului nearest neighbor . Kim ¸ si Kwon [85] au modificat
aceast˘ a metod˘ a ˆ ınlocuind c˘ autarea celui mai apropiat vecin cu sparse kernel ridge regression .
ˆIn algoritmul lor regresia kernel ridge este folosit˘ a pentru a crea o hart˘ a ˆ ıntre fragmentele
imaginii capturate ¸ si fragmentele perechilor de imagini din setul de antrenament. Aceast˘ a
metod˘ a produce totu¸ si un efect de blur¸ si de rotunjire la frontiere, ˆ ıns˘ a acestea sunt u¸ sor de
eliminat ˆ ın postprocesare [85].
ˆIn ultimii zeci de ani s-au desf˘ a¸ surat studii masive asupra algoritmilor de sparse rep-
resentation .Sparse representation este procedeul de aproximare a unei imagini sau a unui
semnal folosind combin˘ ari liniare a unui set restrˆ ans de semnale elementare numite atomi.
Atomii sunt ale¸ si ori dintr-un set predefinit de funct ¸ii (dict ¸ionar bazat pe analiz˘ a), cum ar fi
Transformarea Discret˘ a Cosinus (DCT), ori ˆ ınv˘ at ¸at ¸i dintr-un set de antrenament (dict ¸ionar
bazat pe ˆ ınv˘ at ¸are). Principalul avantaj al acestor algoritmi este c˘ a coeficient ¸ii reprezent˘ arii
semnalului sunt risipit ¸i, adic˘ a exist˘ a foarte mult ¸i coeficient ¸i ce sunt egali cu zero ¸ si foarte
put ¸ini diferit ¸i de zero. Mai exact, considerˆ and un semnal de timp discret ¸ si finit x∈RN¸ si
un dint ¸ionar complet D∈RNK;N < K . Scopul este s˘ a reprezent˘ am semnalul xfolosind
dict ¸ionarul Dˆ ın a¸ sa fel ˆ ıncˆ at eroarea reprezent˘ arii semnalului ∥Dα−x∥2, unde αeste vec-
torul sparse representation , este minimizat˘ a. Pentru a reprezenta un semnal folosind sparse
representation este necesar s˘ a se rezolve urm˘ atoarea problem˘ a de optimizare [57].
argmin∥α∥0,unde x=Dα (6)
Sparse representation a devenit un domeniu major de cercetare ˆ ın procesarea semnalelor.
Folosind aceast˘ a metod˘ a cˆ at ¸iva cercet˘ atori au propus algoritmi bazat ¸i pe ˆ ınv˘ at ¸are pentru
obt ¸inerea super-rezolut ¸iei [56–58,64,78–84]. Super-rezolut ¸ia bazat˘ a pe sparse representation
calculeaz˘ a aproximarea sparse a fragmentului din imaginea cu rezolut ¸ie sc˘ azut˘ a capturat˘ a
¸ si folose¸ ste coeficient ¸ii aproxim˘ arii pentru a estima fragmentul cu rezolut ¸ie ˆ ınalt˘ a. Aceast˘ a
metod˘ a folose¸ ste dou˘ a dict ¸ionare Dh¸ siDlcompletate concomitent din fragmente cu rezolut ¸ie
ˆ ınalt˘ a ¸ si sc˘ azut˘ a. Exist˘ a o necesitate de a accentua similaritatea codific˘ arii sparse dintre frag-
mentul cu rezolut ¸ie sc˘ azut˘ a ( j=Dlβ) ¸ si cel cu rezolut ¸ie ˆ ınalt˘ a ( l=Dhα). Dict ¸ionarul extras
din fragmentul cu rezolut ¸ie ˆ ınalt˘ a, Dh, este aplicat cu reprezentarea sparse a fragmentului cu
rezolut ¸ie sc˘ azut˘ a ( Dhβ) pentru a obt ¸ine fragmentul cu super-rezolut ¸ie. Zeyde et al. [58] au
aplicat algoritmul de ˆ ınv˘ at ¸are a dict ¸ionarului K-SVD pentru a afla perechea rezolut ¸ie ˆ ınalt˘ a
– rezolut ¸ie sc˘ azut˘ a din dict ¸ionar, lucru ce a m˘ arit performant ¸a acestei metode.
Folosind metoda sparse representation , fragmentul final cu super-rezolut ¸ie al imaginii este
generat din combinarea coeficient ¸ilor sparse ai fragmentului cu rezolut ¸ie sc˘ azut˘ a ¸ si dict ¸ionarul
rezolut ¸iei ˆ ınalte. Eficacitatea metodei depinde atˆ at de coeficient ¸ii sparse ai imaginii cu
rezolut ¸ie sc˘ azut˘ a cˆ at ¸ si de dict ¸ionarul rezolut ¸iei ˆ ınalte [87]. Mult ¸i cercet˘ atori au propus
noi algoritmi pentru a estima mai bine dict ¸ionarul rezolut ¸iei ˆ ınalte ¸ si coeficient ¸ii sparse ai
imaginii cu rezolut ¸ie sc˘ azut˘ a. Zhang ¸ si asociat ¸ii [78] au propus o metod˘ a a ˆ ınv˘ at ¸˘ arii unui
dict ¸ionar dual ce const˘ aˆ ınˆ ınv˘ at ¸area dict ¸ionarului principal ¸ siˆ ınv˘ at ¸area dict ¸ionarului rezidual

15
pentru a recupera informat ¸ia frecvent ¸elor ˆ ınalte pentru rezolut ¸ia ˆ ınalt˘ a principal˘ a ¸ si rezolut ¸ia
ˆ ınalt˘ a rezidual˘ a. Detalii adit ¸ionale pot fi ad˘ augate imaginii cu rezolut ¸ie sc˘ azut˘ a folosind pro-
cesul de ˆ ınv˘ at ¸are double-channel . Deoarece imaginea cu super-rezolut ¸ie final˘ a este obt ¸inut˘ a
din coeficient ¸ii sparse ai imaginii cu rezolut ¸ie sc˘ azut˘ a ¸ si dict ¸ionarul rezolut ¸iei ˆ ınalte ˆ ınv˘ at ¸at,
randamentul metodei depinde atˆ at de coeficient ¸i cˆ at ¸ si de dict ¸ionar. Yang et al. [81] au redus
timpul de execut ¸ie a super-rezolut ¸iei prin sparse representation folosind un model de ˆ ınv˘ at ¸are
prin ret ¸ea neural˘ a pentru interferent ¸˘ a sparse rapid˘ a ¸ si procesarea selectiv˘ a a caracteristicilor
vizuale proeminente. Folosind metodele analitice, dar ¸ si pe cele bazate peˆ ınv˘ at ¸are, Kanakaraj
¸ si Kathiravan [82] au perfect ¸ionat metoda de ˆ ınv˘ at ¸are a dict ¸ionarului.
Dong et al. [83] au propus o metod˘ a de sparse representation bazat˘ a pe grupare, numit˘ a
Adaptive Sparse Domain Selection (ASDS) pentru a ˆ ımbun˘ at˘ at ¸i dict ¸ionarul. Aceast˘ a metod˘ a
presupune adunarea fragmentelor imaginiiˆ ın mai multe grupuri, iar un sub-dict ¸ionar compact
este ˆ ınv˘ at ¸at din fiecare grup. Pentru fiecare fragment al imaginii, cel mai bun sub-dict ¸ionar
poate fi ales, ce poate reconstrui imaginea mai bine decˆ at un dict ¸ionar global. ˆIntr-un alt
studiu Dong et al. [84] au propus interpolarea imaginilor bazat˘ a pe sparse representation
care ˆ ıncorporeaz˘ a auto-similarit˘ at ¸ile nelocale ale imaginii ˆ ın modelul sparse representation .
Termenul de auto-similaritate se refer˘ a la similaritatea valorilor pixelilor din imagine sau a
structurii acestora ˆ ın diverse locuri din imagine. Algoritmul include un model autoregresiv
nelocal ca un nou termen de fidelitate ˆ ın metoda sparse representation , lucru ce reduce
coerent ¸a dintre dict ¸ionare ¸ si face metoda mult mai eficient˘ a. Dong ¸ si asociat ¸ii nu numai
c˘ a au estimat un dict ¸ionar al rezolut ¸iei ˆ ınalte mai bun pentru fiecare fragment al imaginii,
dar au ¸ si folosit auto-similaritatea nelocal˘ a a imaginii pentru a obt ¸ine o aproximare bun˘ a a
coeficient ¸ilor sparse representation ai imaginii cu rezolut ¸ie sc˘ azut˘ a. Recent, Dong et al. au
propus dou˘ a noi metode pentru extragerea coeficient ¸ilor sparse dintr-o imagine cu rezolut ¸ie
sc˘ azut˘ a cˆ at mai apropiat˘ a posibil de imaginea original˘ a folosind constrˆ angeri de diminuare
(sparsity constraints ) nelocale. Acestea sunt Centralized Sparse Representation (CSR) [79] ¸ si
Nonlocally Centralized Sparse Representation (NCSR) [80].
Principalele obstacole ^ n calea reconstruct iei
PLACEHOLDER
5 Comparat ie a performant ei ^ ntre diferite tehnici de
rezolut ie
Metode de m asurare a calit at ii imaginii  si optimizare
Pentru a compara performant ¸a metodelor de super-rezolut ¸ie, Peak-SNR (PSNR) ¸ si Similari-
tatea Structural˘ a (SSIM) dintre imaginea cu super-rezolut ¸ie aproximat˘ a ¸ si cea original˘ a sunt
calculate. PSNR-ul este calculat folosind Mean Square Error (MSE), ce este eroarea medie
dintre imaginea original˘ a ¸ si cea obt ¸inut˘ a prin super-rezolut ¸ie. Fie o imagine m×ncu super-
rezolut ¸ie notat˘ a ˆX(i, j) ¸ si imaginea original˘ a X(i, j), MSE ¸ si PSNR sunt definite dup˘ a cum
urmeaz˘ a:
MSE =1
mnm1∑
i=0n1∑
j=0[X(i, j)−ˆX(i, j)]2(7)

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
PSNR = 20 log10(L√
MSE)
(8)
Index-ul SSIM calculeaz˘ a similaritatea dintre imaginea original˘ a ¸ si cea cu super-rezolut ¸ie
[88]. Acesta ia ˆ ın considerare lumiant ¸a, contrastul ¸ si schimb˘ arile structurale dintre cele dou˘ a
imagini. Index-ul SSIM este calculat dup˘ a cum urmeaz˘ a:
SSIM (x,ˆx) =(2µxµ^x+c1)(2σx^x+c2)
(µ2
x+µ2
^x+c1)(σ2
x+σ2
^x+c2)(9)
unde µx¸ siµ^xsunt mediile, iar σx¸ siσ^xsunt deviat ¸iile standard ale imaginilor original˘ a ¸ si
cea cu super-rezolut ¸ie, σx^xeste covariant ¸a lui X¸ siˆX, c 1, c2sunt constante. SSIM m˘ asoar˘ a
similaritatea dintre dou˘ a imagini. Cˆ and imaginea cu super-rezolut ¸ie este foarte aproape de
cea original˘ a, valoarea SSIM-ului se apropie de 1.
6 Aplicat ii ale super-rezolut iei
PLACEHOLDER
^Imbun at at ire video obi snuit a
PLACEHOLDER
Camere de supraveghere
PLACEHOLDER
Diagnoz a medical a
PLACEHOLDER
Imagini din satelit
PLACEHOLDER

17
Bibliograe
[1]R.Y. Tsai, T.S. Huang, Multi-frame image restoration and registration , Adv. Comput.
Vis. Image Process. 1, 1984.
[2]M. Elad, A. Feuer, Restoration of a single superresolution image from several blurred, noisy
and undersampled measured images , IEEE Trans. Image Process. 6 (1997) 1646-1658.
[3]J.I. Harris, Diffraction and resolving power , J.Opt.Soc.Am. 54 (1964) 931-933
[4]S.C. Park, M.K. Park, M.G. Kang, Super-resolution image reconstruction: a technical
overview , IEEE Signal Process. Mag. 20 (2003) 21-36
[5]N. Nguyen, P. Milanfar, G. Golub, A computationally efficient superresolution image
reconstruction algorithm , IEEE Trans. Image Process. 10(2001) 573-583
[6]M. Irani, S. Peleg, Improving resolution by image registration , CVGIP: Graph. Model.
Image Process. 53 (1991) 231-239
[7]M.K. Ng, H. Shen, E.Y. Lam, et al., A total variation regularization based super-resolution
reconstruction algorithm for digital video , EURASIP J. Adv. Signal Process. 2007 (2007)
[8]H. Shen, X. Li, Q. Cheng, et al., Missing information reconstruction of remote sensing
data: a technical overview , IEEE Geosci. Remote Sens. Mag. 3 (2015)
[9]Y. Zhou, Z. Ye, Y. Xiao, A restoration algorithm for images contaminated by mixed Gaus-
sian plus random-valued impulse noise , J. Vis. Commun. Image Represent 24 (2013)
[10]D. Keren, S. Peleg, R. Brada, Image sequence enhancement using sub-pixel displace-
ments ,Proceedings of IEEE computer society conference on CVPR, Ann Arbor, MI.
(1988),742-746
[11]J.R. Bergen, P. Anandan, K.J. Hanna, R. Hingorani, Hierarchical model-based motion
estimation , Proceedings of 2nd ECCV 1992, lecture notes in computer science (1992),
237-252
[12]D. Capel, A. Zisserman, Computer vision applied to super-resolution , IEEE Signal Pro-
cess Mag. 20 (2003), 75-86
[13]R.C. Hardie, K.J. Barnard, E.E. Armstrong, Joint MAP registration and high-resolution
image estimation using a sequence of undersampled images , IEEE Trans. Image Process.
(1997), 1621-1633
[14]G. Botella, U. Meyer-Baese, A. Garcia, M. Rodriguez, Quantization analysis and en-
hancement of a VLSI gradient-based motion estimation architecture , Digit. Signal Process.
22 (2012), 1174-1187
[15]H. Ur, D. Gross, Improved resolution from sub-pixel shifted pictures ,CVGIP Graph.
Models Image Process.54 (1992), 181-186
[16]X. Zhang, Y. Liu, A computationally efficient super-resolution reconstruction algorithm
based on the hybrid interpolation , J. Comput. (2010), 885-892

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
[17]X. Li, M.T. Orchard, New edge-directed interpolation , IEEE Trans. Image Process.
(2001), 1521-1527
[18]L. Zhang, X. Wu, An edge-guided image interpolation algorithm via directional filtering
and data fusion , IEEE Trans. Image Process. (2006), 2226-2238
[19]J. Chu, J. Liu, J. Qiao, X. Wang, Y. Li, Gradient based adaptive interpolation in super-
resolution image restoration ,IEEE ICSP (2008), 1027-1030
[20]X. Zhang, X. Wu, Image interpolation by adaptive 2-D autoregressive modeling and soft-
decision estimation ,IEEE Trans. Image Process. (2008), 887-896
[21]H. Stark, P. Oskoui, High-resolution image recovery from image-plane arrays, using
convex projections , JOSA A (1989), 1715-1726
[22]A.M. Tekalp, M.K. Ozkan, M.I. Sezan, High-resolution image reconstruction from lower-
resolution image sequences and space-varying image restoration , IEEE ICASSP (1992),
169-172
[23]A.J. Patti, M.I. Sezan, A.M. Tekalp, Super-resolution video reconstruction with arbitrary
sampling lattices and nonzero aperture time , IEEE Trans. Image Process. 6 (1997), 1064-
1076
[24]S. Borman, R. Stevenson, Spatial resolution enhancement of low-resolution image
sequences-a comprehensive review with directions for future research , Lab. Image and
SIgnal Analysis, University of Notre Dame, Tech. rep. (1998)
[25]P. Vandewalle, S. Su, M. Vetterli, A frequency domain approach to registration of aliased
images with application to super-resolution , EURASIP J Appl. Signal Process. (2006), 1-
14
[26]L. Lucchese, G.M. Cortelazzo, A noise-robust frequency domain technique for estimating
planar roto-translations , IEEE Trans. Signal Process. 48 (2000), 1769-1786
[27]S. Kim, N.K. Bose, H.M. Valenzuela, Recursive re-construction of high-resolution image
from noisy under-sampled multi-frames , IEEE Trans. Acoust. Speech Signal Process. 38
(1990), 1013-1027
[28]S. Rhee, M.G. Kang, Discrete cosine transform based regularized high-resolution image
reconstruction algorithm , Opt. Eng. 38 (1999), 1348-1356
[29]N. Nguyen, P. Milanfar, A wavelet-based interpolation-restoration method for super-
resolution(wavelet super-resolution) , Circ. Sys. Signal Process.19, (2000), 321-338
[30]W. Wu, Z. Liu, W. Gueaieb, X. He, Single-image super-resolution based on Markov
random field and contourlet transform , J. Electron. Imag. 20 (2011)
[31]S.E. El-Khamy, M.M. Hadhoud, M.I. Dessouky, B.M. Salam, F.A. El-Samie, Regularized
super-resolution reconstruction of images using wavelet fusion , Opt. Eng. 44 (2005)
[32]M.B. Chappalli, N.K. Bose, Simultaneous noise-filtering and super-resolution with
second-generation wavelets , IEEE Signal Process. Lett. 12 (2005), 772-775

19
[33]H. Ji, C. Fermuller Wavelet-based super-resolution reconstruction: theory and algorithm ,
ECCV (2006), 295-307
[34]H. Ji, C. Fermuller Robust wavelet-based super-resolution reconstruction: theory and
algorithm , IEEE Trans. Pattern Anal. Mach Intell 31 (2009), 649-660
[35]S.P. Kim, W.Y. Su Recursive high-resolution reconstruction of blurred multiframe im-
ages, IEEE Trans. Image Process. 2 (1993), 534-539
[36]E. Plenge, D.H. Poot, M. Bernsen, G. Kotek, G. Houston, P. Wielopolski, et al. Super-
resolution methods in MRI: can they improve the trade-off between resolution, signal-to-
noise ratio, and acquisition time? , Magn. Reson. Med. 68 (2012), 1983-1993
[37]S. Farsiu, M.D. Robinson, M. Elad, P. Milanfar, Fast and robust multiframe super-
resolution , IEEE Trans. Image Process. 13 (2004) 1327-1344
[38]S.D. Babacan, R. Molina, A.K. Katsaggelos, Total Variation super resolution using a
variational approach , 15th IEEE international conference on image processing (2008) 641-
644
[39]S. Villena, M. Vega, R. Molina, A.K. Katsaggelos, Bayesian super-resolution image re-
construction using a l1 prior , 6th International symposium on image and signal processing
and analysis (2009) 152-157
[40]S. Villena, M. Vega, S.D. Babacan, R. Molina, A.K. Katsaggelos, Bayesian combination
of sparse and non-sparse priors in image super-resolution , Digit. Signal Process. 23 (2013)
530-541
[41]J. Tian, K.K. Ma, Stochastic super-resolution image reconstruction , J. Vis. Commun.
Image Represent. 21 (200) 232-244
[42]P. Cheeseman, B. Kanefksy, R. Kraft, J. Stutz, R. Hanson, Super-resolved surface recon-
struction from multiple images , Heidberg G.R., editor. Maximum entropy and bayesian
methods, Netherlands: Springer (1996) 239-308
[43]K.V. Suresh, A.N. Rajagopalan, Robust and computationally efficient super-resolution
algorithm , J. Opt. Soc. Am. 24 (2007) 984-992
[44]S. Belekos, N.P. Galatsanos, A.K. Katsaggelos, Maximum a posteriori video super-
resolution using a new multichannel image prior , IEEE Trans. Image Process. 19 (2010)
1451-1464
[45]D. Kong, M. Han, W. Xu, H. Tao, Y. Gong, A conditional random field model for video
super-resolution , IEEE ICPR (2006) 619-622
[46]B.C. Tom, A.K. Katsaggelos, Reconstruction of a high resolution image from multiple
degraded mis-registered low resolution images , Proc. SPIE vol. 2308 (1994) 971-81
[47]C. Liu, D. Sun, A Bayesian approach to adaptive video super-resolution , IEEE conference
on CVPR (2011) 209-221

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
[48]F. Sroubek, G. Cristobal, J. Flusser, A unified approach to super-resolution and multi-
channel blind deconvolution , IEEE Trans. Image Process. 16 (2007) 2322-2332
[49]Y. Bai, J. Hu, Y. Luo, Self-adaptive blind super-resolution image reconstruction , IEEE
ICSIP (2010) 1208-1212
[50]S.B. Kasturiwala S.A. Ladhake, Super-resolution: a novel application to image restora-
tion, IJCSE 2 (2010) 1659-1664
[51]F. Sroubek, J. Flusser, Resolution enhancement via probabilistic deconvolution of multi-
ple degraded images , Pattern Recogn. Lett. 27 (2006) 287-293
[52]F. Sroubek, J. Flusser, Multichannel blind deconvolution of spatially misaligned images ,
IEEE Trans. Image Process. 14 (2005) 874-883
[53]K. Nasrollahi, T.B. Moeslund, Super-resolution: a comprehensive survey , Mach. Vis.
Appl. 25 (2014) 1423-1468
[54]W.T. Freeman, T.R. Jones, E.C. Pasztor, Example based super-resolution , IEEE Com-
put. Graph. Appl. 22 (2002) 56-65
[55]H. Chang, D.Y. Yeung, Y. Xiong, Super-resolution through neighor embedding , IEEE
comput. soc. conf. comput. vis. pattern recogn. (2003) 729-736
[56]J. Yang, J. Wright, T. Huang, Y. Ma, Image super-resolution as sparse representation
of raw image patches , IEEE CVPR (2008) 1-8
[57]J. Yang, J. Wright, T.S. Huang, Y. Ma, Image super-resolution via sparse representation ,
IEEE Trans. Image Process. 19 (2010) 2861-2873
[58]R. Zeyde, M. Elad, M. Protter, On single image scale-up using sparse-representations ,
Curves and surfaces (2012) 711-730
[59]N. Suetake, M. Sakano, E. Uchino, Image super-resolution based on local self-similarity ,
Opt. Rev. 15 (2008) 26-30
[60]J. Sun, N.N. Zheng, H. Tao, H.Y. Shum, Image hallucination with primal sketch priors ,
IEEE comput. soc. conf. comput. vis. pattern recogn. (2003) 729-736
[61]S. Baker, T. Kanade, Limits on super-resolution and how to break them , IEEE Trans.
Pattern Anal. Mach Intell 24 (2002) 1168-1173
[62]X. Li, K.M. Lam, G. Qiu, L. Shen, S. Wang, Example-based image super-resolution with
class-specific predictors , J. Vis. Commun. Image Represent 20 (2009) 312-322
[63]C. Su, Y. Zhuang, L. Huang, F. Wu, Steerable pyramid-based face hallucination , Pattern
Recogn. 38 (2005) 813-824
[64]W. Dong, G. Shi, L. Zhang, X. Wu, Super-resolution with nonlocal regularized sparse
representation , Proc. SPIE vol. 7744 (2010) 77440H-77440H
[65]G. Shi, W. Dong, x. Wu, L. Zhang, Context based adaptive image resolution upconver-
sion, J. Electron. Imag. 19 (2010) 013008-013008

21
[66]X. Wang, X. Tang, Hallucinating face by eigen transformation , IEEE Trans. Sys. Man.
Cyb. Part C: Appl. Rev. 35 (2005) 425-434
[67]X. Ma, J. Zhang, C. Qi, Hallucinating face by position-patch , Pattern Recogn. 43 (2010)
2224-2236
[68]A. Hertzmann, C.E. Jacobs, N. Oliver, B. Curless, D.H. Salesin, Image analogies , Pro-
ceedings of the 28th annual conference on computer graphics and interactive techniques
(2001) 327-340
[69]K.S. Ni, S. Kumar, N. Vasconcelos, T.Q. Nguyen, Single image super-resolution based
on support vector regression , IEEE ICASSP (2006)
[70]M. Bevilacqua, A. Roumy, C. Guillemot, M.L.A. Morel, Low-complexity single image
super-resolution based on nonnegative neighbor embedding , BMVC (2012) 1-10
[71]D. Glasner, S. Bagon, M. Irani, Super-resolution from a single image , IEEE ICCV (2009)
349-356
[72]K.S. Ni, T.Q. Nguyen, Image super-resolution using support vector regression , IEEE
Trans. Image Process. 16 (2007) 1596-1610
[73]S.F. Lui, J.Y. Wu, H.S. Mao, J.J. Lien, Learning-based super-resolution system using
single facial image and multi-resolution wavelet synthesis , ACCV (2007) 96-105
[74]H. Huang, H. He, X. Fan, J. Zhang, Super-resolution of human face image using canon-
ical correlation analysis , Pattern Recogn. 43 (2010) 2532-2543
[75]X. Gao, K. Zhang, D. Tao, X. Li, Image super-resolution with sparse neighbor embedding ,
IEEE Trans. Image Process. 21 (2012) 3194-3205
[76]J.C.W. Chan, J. Ma, F. Canters, A comparison of super-resolution reconstruction meth-
ods for multi-angle CHRIS/Proba images , Proc. SPIE (2008) 1-11
[77]M. Gong, K. He, J. Zhou, J. Zhang, Single color image super-resolution through neighbor
embedding , JCIS 7 (2011) 49-56
[78]J. Zhang, C. Zhao, R. Xiong, S. Ma, D. Zhao, Image super-resolution via dual-dictionary
learning and sparse representation , IEEE ISCAS (2012) 1688-1691
[79]W. Dong, L. Zhang, G. Shi, Centralized sparse representation for image restoration ,
IEEE ICCV (2011) 1259-1266
[80]W. Dong, L. Zhang, G. Shi,X. Li, Nonlocally centralized sparse representation for image
restoration , IEEE Trans. Image Process 22 (2013) 1620-1630
[81]J. Yang, Z. Wang, Z. Lin, S. Cohen, T. Huang, Coupled dictionary training for image
super-resolution , IEEE Trans. Image Process 21 (2012) 3467-3478
[82]J. Kanakaraj, S. Kathiravan, Super-resolution image reconstruction using sparse param-
eter dictionary framework , Sci. Res. Essays 7 (2012) 586-592

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
[83]W. Dong, L. Zhang, G. Shi, X. Wu, Image deblurring and super-resolution by adap-
tive sparse domain selection and adaptive regularization , IEEE Trans. Image Process. 20
(2011) 1838-1857
[84]W. DOng, L. Zhang, R. Lukac, G. Shi, Sparse representation based image interpolation
with nonlocal autoregressive modeling , IEEE Trans. Image Process. 22 (2013) 1382-1394
[85]K.I. Kim, Y. Kwon, Example-based learning for single image super-resolution and JPEG
artifact removal , Max Planck Institute Biological Cybernetics Tubingen, Germany, Tech-
nical report no. TR-173 (2008)
[86]K.I. Kim, Y. Kwon, Single-image super-resolution using sparse regression and natural
image prior , IEEE Trans. Pattern Anal. Mach. Intell. 32 (2010) 1127-1133
[87]D. Thapa, K. Raahemifar, V. Lakshminarayanan, Comparison of super-resolution algo-
rithms applied to retinal images , J. Biomed. Opt. 19 (2014)
[88]Z. Wang, A.C. Bovik, H.R. Sheikh, E.P. Simoncelli, Image quality assessment: from
error visibility to structural similarity , IEEE Trans. Image Process. 13 (2004) 600-612

Index
artefacte vizuale, 7
CCD, 4
CMOS, 4
fotodiode, 3
imagine, 3
imagine digital˘ a, 3
magnificare, 3
multi-frame, 3
pixel, 3
Rezolut ¸ia, 3
senzori de imagine, 4
shot noise, 4
single-frame, 3
SNR, 4
spatial sampling rate, 4
super-rezolut ¸ie, 3
23