Licență

Program de studii: [626086]

Byadmin ianuarie 1, 2024

UNIVERSITATEA POLITEHNICA DIN BUCURES TI
FACULTATEA DE S TIINT E APLICATE
Program de studii:
Matematic a s i Informatic a Aplicat a^n Inginerie
PROIECT DE DIPLOM A
COORDONATOR
S TIINT IFIC,
Prof. Dr. Vladimir BalanABSOLVENT: [anonimizat] ¸-C˘ at˘ alin Popa
Bucure¸ sti 2017

Aprobat Decan ,
Prof. Univ. Dr. Emil PETRESCU
PROIECT DE DIPLOM A
Aplicat ii ale algoritmilor single-frame ^ n
reconstruct ia imaginilor cu super-rezolut ie
COORDONATOR
S TIINT IFIC,
Prof. Dr. Vladimir BalanABSOLVENT: [anonimizat] ¸-C˘ at˘ alin Popa
Bucure¸ sti 2017

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Cuprins
1 Introducere 4
Generalit˘ at ¸i . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Situat ¸ia actual˘ a a temei de studiu . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Structura lucr˘ arii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2 Imaginea digital a 8
Introducere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Ce este imaginea? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Ce fel de valori sunt ˆ ın imagine? . . . . . . . . . . . . . . . . . . . . . . . . . 8
Care este elementul de baz˘ a al unei imagini? . . . . . . . . . . . . . . . . . . 9
Preluarea imaginilor digitale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Platforme satelitare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Platforme aeriene . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Platforme terestre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Memorarea, transmisia ¸ si compresia imaginilor digitale . . . . . . . . . . . . . . . 10
Memorarea imaginilor digitale . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Transmisia imaginilor digitale . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Compresia imaginilor digitale . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3 Istoric tehnic 14
4 Tehnologii si metode pentru obt inerea imaginilor cu super-rezolut ie 16
Modelul observat ¸ional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Algoritmi de super-rezolut ¸ie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Metode bazate pe interpolare . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Metode ˆ ın domeniul frecvent ¸ei . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Metode bazate pe regularizare . . . . . . . . . . . . . . . . . . . . . . . . . . 20
5 Super-rezolut ie single-frame 22
Etapa de extragere a caracteristicilor . . . . . . . . . . . . . . . . . . . . . . . . . 23
Etapa de ˆ ınv˘ at ¸are . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Etapa de reconstruct ¸ie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Principalele obstacole ˆ ın calea reconstruct ¸iei . . . . . . . . . . . . . . . . . . . . . 25
6 Comparat ie a performant ei ^ ntre diferite tehnici de rezolut ie 25
Metode de m˘ asurare ¸ si optimizare a calit˘ at ¸ii imaginii . . . . . . . . . . . . . . . . 25
7 Super-rezolut ie folosind sparse representation 26
Recuperarea semnalului bazat˘ a pe reprezentare sparse . . . . . . . . . . . . . . . . 26
Notat ¸ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
Constrˆ angeri ale super-rezolut ¸iei . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
Constrˆ angerea de reconstruct ¸ie . . . . . . . . . . . . . . . . . . . . . . . . . 27
Sparsity prior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Super-rezolut ¸ia imaginilor generale folosind Sparsity . . . . . . . . . . . . . . . . . 28
Modelul local folosind reprezentarea sparse . . . . . . . . . . . . . . . . . . . 28
Aplicarea constrˆ angerii de reconstruct ¸ie global˘ a . . . . . . . . . . . . . . . . 30

3
Interpretarea optimiz˘ arii globale . . . . . . . . . . . . . . . . . . . . . . . . . 31
Super-rezolut ¸ie facial˘ a folosind Sparsity . . . . . . . . . . . . . . . . . . . . . . . . 32
Modelul factoriz˘ arii matricei nenule (NMF) . . . . . . . . . . . . . . . . . . . 32
Super-rezolut ¸ie facial˘ a ˆ ın doi pa¸ si . . . . . . . . . . . . . . . . . . . . . . . . 32
8 Completarea perechii de dict ionare 34
ˆInv˘ at ¸area unui singur dict ¸ionar . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
ˆInv˘ at ¸area dict ¸ionarelor simultan . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Reprezentarea caracteristicilor fragmentelor cu rezolut ¸ie sc˘ azut˘ a . . . . . . . . . . 36
9 Aplicarea algoritmului si analiza rezultatelor 38
Super-rezolut ¸ie single image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Super-rezolut ¸ia imaginilor generale . . . . . . . . . . . . . . . . . . . . . . . 38
Super-rezolut ¸ie facial˘ a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Inﬂuent ¸a m˘ arimii dict ¸ionarelor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
10 Aplicat ii ale super-rezolut iei 40
ˆImbun˘ at˘ at ¸ire video obi¸ snuit˘ a . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
Camere de supraveghere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
Diagnoz˘ a medical˘ a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
Imagini din satelit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
Bibliograe 41
Index 47

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
1 Introducere
Generalit at i
Prelucrarea imaginilor digitale este un domeniu complex, dinamic, cu numeroase aplicat ¸ii ˆ ın
diverse domenii. Noile tehnologii folosite ˆ ın industria circuitelor integrate au permis apli-
carea a noi algoritmi ¸ si metode pentru extragerea informat ¸iilor utile din imagine: algoritmi
paraleli, clasiﬁcatoare bazate pe ret ¸ele neuronale, etc. Exist˘ a acum diverse implement˘ ari
de sisteme ˆ ın timp real, bazate pe prelucrarea de imagini, sisteme utilizate ˆ ın industria
militar˘ a, medicin˘ a, sisteme de control automat a proceselor industriale. S-au adus diverse
ˆ ımbun˘ at˘ at ¸iri pentru sisteme de procesare a amprentelor digitale, recunoa¸ sterea formelor, a
fet ¸ei, a textelor. Pentru zonele aglomerate sau de interes strategic au fost proiectate ¸ si im-
plementate sisteme de securitate ¸ si supraveghere bazate pe vederea artiﬁcial˘ a. Prelucrarea
imaginilor digitale reprezint˘ a un domeniu foarte larg, de sine st˘ at˘ ator. Acest domeniu are la
baz˘ a o teorie matematic˘ a riguroas˘ a, bine pus˘ a la punct, care implementat˘ a pe diverse ma¸ sini
de calcul este mare consumatoare de resurse mai ales atunci cˆ and ne referim la utilizarea
ˆ ın timp real a informat ¸iilor extrase din imagini [ ?].ˆIntr-un sens cˆ at mai general, o imagine
este o descriere a variat ¸iei unui parametru pe o suprafat ¸˘ a. Prelucrarea imaginilor poate ﬁ
considerat˘ a ¸ si o ramur˘ a a prelucr˘ arii digitale de semnal. Prelucrarea imaginilor ¸ si ˆ ın general
prelucrarea digital˘ a a semnalelor presupune un consum relativ mare de resurse de calcul ¸ si
memorie. Implementarea algoritmilor speciﬁci se poate face pe sisteme clasice (PC-uri) sau
pe sisteme dedicate de timp real numite procesoare digitale de semnal (DSP = Digital Signal
Processing ) [?].
Prelucrarea imaginilor include mai multe discipline:
•fotogrametria si teledetect ia – constituie tehnici moderne de investigare a insta-
bilit˘ at ¸ilor incipiente ¸ si a alunec˘ arilor de teren pe arii largi prin intermediul ortofoto-
planului (imaginilor) ¸ si al modelului digital al terenului;
•vederea articial a (computer vision, robot vision);
•inteligent a articial a ;
•imagini generate de calculator .
Inteligent ¸a artiﬁcial˘ a ¸ si prelucrarea imaginilor sunt domenii ce se ˆ ıntrep˘ atrund [ ?]. Un
num˘ ar important din algoritmii folosit ¸i la prelucrarea imaginilor utilizeaz˘ a metode ¸ si tehnici
din domeniul inteligent ¸ei artiﬁciale: ret ¸ele neuronale, logica fuzzy. Pe de alt˘ a parte, inteligent ¸a
artiﬁcial˘ a presupune proiectarea ¸ si construirea de sisteme capabile s˘ a realizeze funct ¸ii ale in-
telectului uman:
•ˆ ınv˘ at ¸area prin experient ¸˘ a;
•ˆ ınt ¸elegerea limbajului natural;
•utilizarea unui rat ¸ionament pentru rezolvarea unor probleme sau luarea unor decizii.
Toate acestea presupun ˆ ıns˘ a ¸ si acumularea unei anume cantit˘ at ¸i de informat ¸ie (baza
de cuno¸ stint ¸e, informat ¸ii din mediu etc.) rezultat˘ a ˆ ın urma exploat˘ arii imaginilor digitale.
Aceast˘ a informat ¸ie este preluat˘ a de sistemele inteligente prin intermediul senzorilor ¸ si creaz˘ a

5
o imagine a mediului ˆ ın momentul prelu˘ arii datelor. Din imaginea astfel obt ¸inut˘ a trebuie
extrase informat ¸iile utile. Aceste informat ¸ii sunt stocate ˆ ın cadrul sistemului de informat ¸ii
spat ¸iale sau Sistem Informatic Geograﬁc (GIS). Un GIS este un ansamblu de persoane, echipa-
mente, programe, metode si norme avˆ and ca scop culegerea, validarea, stocarea, analiza ¸ si
vizualizarea datelor geograﬁce [ ?]. Este un instrument implementat pe calculator pentru
realizarea h˘ art ¸ilor ¸ si analiza lucr˘ arilor ce exist˘ a ¸ si a evenimentelor ce se petrec pe p˘ amˆ ant.
Tehnologia GIS combin˘ a operat ¸iile uzuale de baze de date precum integrarea ¸ si analiza statis-
tic˘ a cu avantajele vizualiz˘ arii unice ¸ si analizei geograﬁce oferite de c˘ atre h˘ art ¸i [ ?].
Situat ia actual a a temei de studiu
Tema dezvoltat˘ a poate ﬁ structurat˘ a ˆ ın mai multe componente ¸ si anume:
1.preluarea ¸ si prelucrarea imaginilor digitale;
2.ﬁltrarea neliniar˘ a ˆ ın prelucrarea imaginilor digitale;
3.restabilirea imaginilor.
La o analiz˘ a sumar˘ a a situat ¸iei actuale a temei dezvoltate se observ˘ a diferent ¸e mari ˆ ıntre
situat ¸ia pe plan internat ¸ional ¸ si cea nat ¸ional˘ a. Aceast˘ a diferent ¸˘ a este dat˘ a de:
•o anumit˘ a incoerent ¸˘ a a cadrului legislativ nat ¸ional;
•de faptul c˘ a nu exist˘ a structuri specializate cu sarcini precise ¸ si ﬁnant ¸are sustenabil˘ a;
•de inexistent ¸a unui sistem de informat ¸ii spat ¸iale unitar ¸ si eﬁcient, cu o infrastructur˘ a
tehnologic˘ a ¸ si informatic˘ a modern˘ a ¸ si ment ¸inut˘ a.
Pentru a recupera r˘ amˆ anereaˆ ın urm˘ a este necesar˘ a o standardizare a modului de preluare,
procesare ¸ si stocare a datelor. Problema nu este legat˘ a de asigurarea platformei tehnologice
ci de crearea unitar˘ a a bazei de date ¸ si corelarea bazelor de date existente cu cea nou creat˘ a.
Riscul major, ˆ ın cazul ˆ ın care nu este realizat˘ a o proiectare adecvat˘ a este acela c˘ a poate
genera disfunct ¸ionalit˘ at ¸i, ineﬁcient ¸˘ a, suprapuneri, litigii, cheltuieli inutile ¸ si costuri mari
pentru remedierea acestora. Pentru evitarea acestui risc este necesar˘ a realizarea de norme ¸ si
metodologii unitare ¸ si detaliate. ˆIn acest sens:
•ˆ ın luna mai 2007 a intrat ˆ ın vigoare Directiva 2007/2/CE privind stabilirea infras-
tructurii pentru informat ¸iile spat ¸iale ˆ ın cadrul Comunit˘ at ¸ii Europene (INSPIRE). IN-
SPIRE a fost init ¸iat˘ a din cauza lipsei de coordonare, lipsei standardelor, a datelor ¸ si
restrict ¸iilor politice privind geo-informat ¸iile necesare implement˘ arii politicilor comu-
nitare din domeniul mediului ¸ si al politicilor sau activit˘ at ¸ilor care ar putea avea impact
asupra mediului.
•ˆ ın data de 29 ianuarie 2010 a fost publicat˘ a ˆ ın Monitorul Oﬁcial Ordonant ¸a de Guvern
nr. 66/2010 privind instituirea Infrastructurii Nat ¸ionale pentru Informat ¸ii Spat ¸iale ˆ ın
Romˆ ania ˆ ın vederea implement˘ arii Directivei INSPIRE. Transpunerea acestei directive
are un rol major pentru Romˆ ania, deoarece pune bazele cre˘ arii geo-portalului unic la
nivel nat ¸ional, geo-portalul INSPIRE, prin intermediul c˘ aruia se va asigura accesul la
informat ¸ia spat ¸ial˘ a din Romˆ ania. Portalul va ﬁ creat atˆ at de institut ¸iile statului, cˆ at

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
¸ si de creatorii de date privat ¸i. De asemenea, acest geo-portal va reprezenta punctul
unic de acces la geo-portalul INSPIRE creat la nivel european ¸ si va asigura accesul
la informat ¸ia spat ¸ial˘ a pentru a putea lua decizii mult mai bune ˆ ın cadrul politicilor
de dezvoltare sectorial˘ a, politicilor de mediu, ˆ ın cazul intervent ¸iilor pentru situat ¸ii de
urgent ¸˘ a ¸ si pentru planiﬁcare urban˘ a.
Din punct de vedere al dezvolt˘ arii de tehnici de monitorizare pe plan nat ¸ional putem spune
c˘ a exist˘ a preocup˘ ari ¸ stiint ¸iﬁce, una dintre ele ﬁind chiar premiat˘ a la Salonul Internat ¸ional
de Inventic˘ a de la Hamburg, proiect intitulat TerraRisc. Proiectul TerraRisc (Suport de-
cizional pentru managementul riscului producerii de alunec˘ ari de teren ˆ ıntr-o zon˘ a geograﬁc˘ a
expus˘ a la risc de catastrofe naturale), a fost gˆ andit s˘ a asigure suportul decizional pentru
managementul riscului producerii de alunec˘ ari de teren ˆ ıntr-o zon˘ a geograﬁc˘ a expus˘ a la risc
de catastrofe naturale ¸ si a fost implementat de un consort ¸iu format din:
•Institutul pentru Tehnic˘ a de Calcul (ITC);
•Institutul de Proiectare ˆ ın Automatiz˘ ari (IPA);
•Facultatea de Geologie ¸ si Geoﬁzic˘ a ¸ si Software din cadrul Universit˘ at ¸ii Bucure¸ sti;
•Sisteme Informatice BUCOVINA SA Suceava [ ?].
Structura lucr arii
Lucrarea este structurat˘ a ˆ ın xxxxxx capitole ce abordeaz˘ a din punct de vedere teoretic ¸ si
practic cˆ ateva dintre tehnicile avansate de ﬁltrare neliniar˘ a ˆ ın prelucrarea imaginilor digitale.
Primul capitol, intitulat “Introducere” prezint˘ a concepte fundamentale privind imaginile
digitale ¸ si prelucrarea acestora. Pe lˆ ang˘ a aceasta se prezint˘ a stadiul actual al cunoa¸ sterii atˆ at
pe plan nat ¸ional cˆ at ¸ si internat ¸ional.
Al doilea capitol intitulat “Imaginea digital˘ a” abordeaz˘ a, din punct de vedere teoretic,
pe scurt, not ¸iuni generale legate de imaginea digital˘ a ¸ si anume: deﬁnit ¸ii, propriet˘ at ¸i, tipuri
(clase), moduri de reprezentare a imaginilor, modul de achizit ¸ionare a imaginilor analogice
¸ si transformarea acestora ˆ ın imagine digital˘ a. Sunt prezentate apoi cele mai utilizate mod-
uri de preluare a imaginilor digitale (prin exempliﬁcarea celor mai importante echipamente
existente) ¸ si anume cu ajutorul platformelor satelitare, a platformelor aeriene ¸ si a sistemelor
de scanare terestre. ˆ ın continuare este prezentat pe scurt modul de preluare, memorare,
transmisie ¸ si compresie a imaginilor digitale. Urmeaz˘ a expunerea teoretic˘ a a modului de
prelucrare ¸ si transformare a imaginilor. ˆIn cadrul prezent˘ arii prelucr˘ arii imaginilor digi-
tale se abordeaz˘ a prelucrarea radiometric˘ a ¸ si cea geometric˘ a. Prelucr˘ arile radiometrice sunt
prelucr˘ ari pozit ¸ional invariante, se efectueaz˘ a operat ¸ii asupra nivelului de gri sau culoare a
planului imagine. Aceste prelucr˘ ari sunt speciﬁce calibr˘ arii interne sau externe a senzorilor
de preluare (ˆ ın mod relativ sau absolut) ˆ ınt˘ aririi sau sl˘ abirii contrastului imaginii, ﬁltr˘ arii
sau analizei imaginilor de prelucrat [8]. Conform [9] – problema corect ¸iilor radiometrice ˆ ın
teledetect ¸ie prezint˘ a anumite analogii cu cea a fotogramelor aeriene. S ¸i ˆ ın acest caz are loc un
transfer de energie de la suprafat ¸a p˘ amˆ antului, pˆ an˘ a la nivelul mediului magnetic de stocare
a informat ¸iei. Acest transfer este afectat de efectele perturbatoare ale mediilor traversate:
efectele atmosferei, zgomotul instrumental al senzorului ¸ si zgomotulˆ ınregistr˘ arii la sol. Trans-
form˘ arile geometrice sunt utilizate pentru aducerea la scara dorit˘ a a acestor imagini, precum

7
¸ si pentru modiﬁcarea rezolut ¸iei geometrice a imaginii de prelucrat. ˆ ın ˆ ıncheierea acestui
capitol sunt prezentate din punct de vedere teoretic urm˘ atoarele categorii de transform˘ ari de
imagine: transform˘ ari unitare ortogonale bidimensionale, sinusoidale, transformarea cosinus
discret˘ a, transformarea sinus discret˘ a, transformarea Hartley ¸ si transform˘ ari rectangulare.
Al treilea capitol intitulat “NNNNNNNNNNNNNN” abordeaz˘ a, din punct de vedere teo-
retic, cˆ ateva metode utilizate frecvent nnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnn.
Capitolul patru intitulat “NNNNNNNNNNNNNNN” abordeaz˘ a, din punct de vedere
teoretic, ﬁltrele
Capitolul cinci intitulat “Utilizarea pachetului Matlab/Simulink ˆ ın studiul ﬁltrelor uti-
lizate ˆ ın prelucrarea imaginilor digitale cu super rezolut ¸ie” abordeaz˘ a din punct de vedere
practic aplicabilitatea ﬁltrelor neliniare ˆ ın mediul Matlab.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
2 Imaginea digital a
Introducere
Tehnologia Digilal lmaging (imaginile digitale captate ¸ si prelucrate pe calculator) revolut ¸ioneaz˘ a
continuu arta fotograﬁc˘ a. Majoritatea imaginilor pe care le vedem tip˘ arite au fost create
folosind tehnologii digitale. Prelucrarea digital˘ a se extinde de la un nivel primar al retu¸ s˘ arii
imaginilor noi. pˆ an˘ a la montajele fotograﬁce foarte elaborate ¸ si prelucrate, utilizate curent
ˆ ın industria reclamelor.
Ce este imaginea?
Imaginea este un ansamblu de valori plasate dup˘ a o form˘ a spat ¸ial˘ a de dimenisune suprauni-
tar˘ a (plan, volum, etc, dar nu o dreapta).
Simplist, imaginea poate ﬁ interpretat˘ a ca un tablou sau matrice [ ?].
Figure 1: Reprezentarea unei matrici.
La ˆ ınceput, imaginile sunt semnale, dar nu funct ¸ii temporale, ci funct ¸ii deﬁnite pe un
domeniu spat ¸ial. Orice imagine este o structur˘ a bidimensional˘ a (tablou, matrice) de date.
Un element al imagini se nume¸ ste pixel. Aceste date pot ﬁ numere naturale, reale sau
complexe, reprezentate ˆ ıns˘ a pe un num˘ ar ﬁnit de bit ¸i [ ?]. Dup˘ a tipul datelor din acest˘ a
structur˘ a bidimensional˘ a, imaginile prelucrate pot ﬁ ˆ ımp˘ art ¸ite ˆ ın mai multe categorii:
•imagini scalare, ˆ ın care ﬁecare component˘ a este un scalar:
{imaginile monocrome (ˆ ın care punctele au doar dou˘ a valori posibile, ce corespund
unui cont ¸inut binar al imaginii, ˆ ın general alb-negru) ;
{imaginile alb – negru (cu nivele de gri).
•imagini vectoriale, ˆ ın care ﬁecare component˘ a este un vector de numere. Imaginea
vectorial˘ a este compus˘ a din mai multe straturi de imagini scalare.
{o cazul particular cel mai de interes este acela al imaginilor color, ˆ ın care vectorul
are trei elemente (ce corespund celor trei constituente de baz˘ a ale oric˘ arei culori;
{tot ˆ ın imaginile vectoriale intr˘ a ¸ si imaginile stereo (o pereche de imagini ale
aceleia¸ si scene, luate din unghiuri diferite) ¸ si secvent ¸ele de imagini.

9
Ce fel de valori sunt ^ n imagine?
ˆIntr-o imagine ˆ ıntˆ alnim valori digitale – numere reprezentate cu un num˘ ar ﬁnit de bit ¸i, dup˘ a
un format standard pentru un calculator (digital). Este foarte important s˘ a ¸ stim c˘ a Digital
̸=Numeric . Rezultatul oric˘ arui calcul este numeric, dar nu orice num˘ ar este digital.
Care este elementul de baz a al unei imagini?
Elementul de baz˘ a al unei imagini este pixel. Pixelul, sau unitatea de imagine, este cel mai
mic element de pe o suprafat ¸˘ a de aﬁ¸ sare, c˘ aruia i se poate atribui ˆ ın mod independent o
singur˘ a valoare a intensit˘ at ¸ii sau o culoare. Fiec˘ arui pixel i se va atribui un num˘ ar care va ﬁ
asociat cu o culoare. Entit˘ at ¸ile graﬁce sunt construite din mult ¸imi de pixeli. Prin deﬁnit ¸ie
se alege originea imaginii, cu coordonatele (0,0), ˆ ın colt ¸ul stˆ anga sus a imaginii [ ?].
ˆIn analiza imaginilor digitale, un dispozitiv de achizit ¸ie converte¸ ste imaginea ˆ ıntr-un
num˘ ar discret de pixeli. Fiec˘ arui (x,y) i se atribuie o valoare a culorii ¸ si luminozit˘ at ¸ii.
Stocarea datelor se face ˆ ın matrici de tip ˆ ıntreg.
O imagine digital˘ a are urm˘ atoarele propriet˘ at ¸i:
•rezolut ¸ia unei imagini este num˘ arul de linii ¸ si coloane al matricii ˆ ın care este stocat˘ a
imaginea. Deﬁnit ¸ia unei imagini (engl. ”pixel depth”) indic˘ a num˘ arul de culori sau
nuant ¸e de gri care pot ﬁ distinse ˆ ıntr-o imagine. Deﬁnit ¸ia mai ˆ ınseamn˘ a num˘ arul de
bit ¸i folosit ¸i pentru codiﬁcarea intensit˘ at ¸ii ﬁec˘ arui pixel. Pentru o deﬁnit ¸ie n, un pixel
poate lua 2 nvalori diferite. Spre exemplu, pentru n= 8 un pixel poate lua 256 valori
diferite, ˆ ın domeniul [0,255], pentru n=16 un pixel poate lua 65536 valori diferite ˆ ın
domeniul[0,65535] sau [ -32768, 32767].
•num˘ arul de plane ale unei imagini este num˘ arul de matrici care compun imaginea. O
imagine ˆ ın niveluri de gri sau pseudo-color este compus˘ a dintr-un singur plan, pe cˆ and
o imagine color (engl. ” true color ”) este compus˘ a din trei plane (ro¸ su, verde ¸ si albastru,
RGB).
ˆIn imaginile cu nuant ¸e de gri, cele trei valori ale unui pixel, atribuite culorilor ro¸ su, verde,
albastru sunt combinate pentru a conduce la o singur˘ a valoare. Aceast˘ a valoare este recon-
vertit˘ a ˆ ın ro¸ su/verde/albastru la aﬁ¸ sajul pe monitor. Acest˘ a conversie este efectuat˘ a de o
tabel˘ a de echivalare a nuant ¸elor de gri cu culorile, numit˘ a palet˘ a sau, ˆ ın limba englez˘ a, ” Look
Up Table ” (LUT). ˆIn cazul imaginilor ˆ ın culori ( true color ) intensit˘ at ¸ile pentru culorile de
baz˘ a ro¸ su/verde/albastru sunt codiﬁcate de trei valori diferite. Imaginea este o combinat ¸ie
a trei matrici de pixeli corespunz˘ atoare celor trei componente.
Exist˘ a patru tipuri (clase) de imagini digitale:
1.alb-negru (b/w), cu un bit per pixel;
2.ˆ ın nuant ¸e de gri, 8 bit ¸i per pixel (256 nivele de gri) sau 16 bit ¸i per pixel (65536 nivele
de gri);
3.color (32 biti, cˆ ate 8 pentru ﬁecare culoare de baz˘ a plus ˆ ınc˘ a opt pentru a¸ sa numitul
canal alfa);
4.complexe.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Pentru toate tipurile de imagini exist˘ a mai multe formate de stocare, dup˘ a ﬁrma sau
asociat ¸ia profesional˘ a care le-a deﬁnit (TIFF, GIF, JPG, BMP, TGA, DICOM, etc.). Struc-
tura tipic˘ a a unui sistem de prelucrare ¸ si analiz˘ a a imaginilor este prezentat˘ a ˆ ın ﬁgura 2.
Figure 2: Reprezentarea unei matrici.
Preluarea imaginilor digitale
Imaginile preluate de la mare ˆ ın˘ alt ¸ime (din avion sau satelit) permit utilizatorului o vedere
de ansamblu, iar atunci cˆ and rezolut ¸ia o permite, asigur˘ a ment ¸inerea nivelului de detaliere
necesar pentru aprecierea modiﬁc˘ arilor intervenite ˆ ın natur˘ a.
Platforme satelitare
Satelit ¸ii p˘ amˆ antului, ˆ ın zbor liber, se ment ¸in pe orbite pentru o perioad˘ a de operat ¸ionalitate
de cˆ ateva luni sau ani, ˆ ın funct ¸ie de altitudinea la care opereaz˘ a.
Platforme aeriene
Platformele aeriene sunt platforme aeropurtate (elicopter sau avion) prev˘ azute cu senzori
optico-mecanici sau opto-electronici de mare rezolut ¸ie. Funct ¸ie de pozit ¸ia senzoruluiˆ ın timpul
prelu˘ arii fotogramele pot ﬁ nadirale, ˆ ınclinate sau panoramice. Atunci cˆ and senzorul este un
sistem radar se poate vorbi de radargrametrie iar cˆ and imaginile exploatate sunt holograme,
se vorbe¸ ste de hologrametrie. ˆ ın continuare sunt prezentate cele mai semniﬁcative platforme
aeriene aﬂate ˆ ın exploatare.
Platforme terestre
Platformele terestre pot ﬁ ﬁxe (laser scanner, stat ¸ii totale cu preluare de imagine ¸ si camere
digitale) sau mobile (sisteme integrate de pozit ¸ionare).
Memorarea, transmisia si compresia imaginilor digitale
Memorarea imaginilor digitale
Memorarea digital˘ a pentru aplicat ¸ii de prelucrare de imagini poate ﬁ clasiﬁcat˘ a ˆ ın trei cate-
gorii principale:
•memorarea pe termen scurt pentru nevoile proces˘ arii propriu-zise;

11
•memorarea on-line pentru accesare relativ rapid˘ a a imaginilor;
•memorarea ˆ ın vederea arhiv˘ arii, caracterizat˘ a prin faptul c˘ a accesul la imagini este mai
put ¸in frecvent.
Transmisia imaginilor digitale
Problema comunicat ¸iei ˆ ın prelucrarea digital˘ a de imagini implic˘ a, pe de o parte, comunicarea
local˘ a ˆ ıntre sisteme de prelucrare ¸ si comunicarea la distant ¸e mari, pe de alt˘ a parte. Hard-ul ¸ si
soft-ul pentru comunicat ¸ii locale este oferit, ˆ ın general, de facilit˘ at ¸ile ret ¸elelor de calculatoare,
cu toate c˘ a rata de transmisie necesar˘ a pentru imagini este mult mai mare decˆ at pentru
alte tipuri de transmisii de date. Pentru comunicat ¸ia cu mediul (inclusiv cu utilizatorul
uman), calculatorul electronic dispune de un sistem de intrare care asigur˘ a transferul de date
din exterior c˘ atre unitatea central˘ a de prelucrare (sau c˘ atre memoria principal˘ a) ¸ si de un
sistem de ie¸ sire care realizeaz˘ a transferul de date de la UCP (sau de la memoria principal˘ a)
spre exterior. Sistemele de intrare ¸ si de ie¸ sire (pe scurt I/E sau I/O: Input/Output) includ
o mare diversitate de aparate ¸ si dispozitive grupate sub numele de echipamente periferice.
Transferul de date dintre echipamentele periferice ¸ si calculatorul propriu-zis se realizeaz˘ a prin
intermediul unor conexiuni care asigur˘ a leg˘ atura cu magistralele (bus-urile) calculatorului.
ˆIn funct ¸ie de sensul ˆ ın care se face transferul de date, comunicarea dintre calculator ¸ si
echipamentul periferic poate ﬁ:
•Half duplex, la care transferul se face la un moment dat numai ˆ ıntr-un singur sens (ﬁe
de la calculator la periferic, ﬁe de la periferic la calculator);
•Full duplex, la care transferul se face simultan ˆ ın ambele sensuri;
ˆIn funct ¸ie de num˘ arul de bit ¸i transportat ¸i simultan printr-o conexiune, exist˘ a:
•transmisie paralel˘ a, prin care, la un moment dat, este transportat simultan un grup de
bit ¸i (de regul˘ a, grupul este format din 8 bit ¸i de date, plus unul sau mai mult ¸i bit ¸i de
control);
•transmisie serial˘ a, prin care, la un moment dat, este transportat un singur bit.
Pentru c˘ a bus-ul calculatorului este, de regul˘ a, paralel, transmisia serial˘ a presupune con-
versia din paralel ˆ ın serial ¸ si invers, ceea ce se realizeaz˘ a prin intermediul unui circuit denumit
prescurtat UART (Universal Asynchronous Receiver/Transmitter).
Compresia imaginilor digitale
Termenul de compresie se refer˘ a la totalitatea metodelor ce au drept scop reducerea cantit˘ at ¸ii
de date necesare pentru reprezentarea unei imagini. Compresia este folosit˘ a ˆ ın special pentru
stocarea sau transmiterea imaginilor. S˘ a consider˘ am cazul unei imagini de dimensiune 512 ×
512 pixeli. Dac˘ a aceasta este o imagine ˆ ın tonuri de gri, iar ﬁecare pixel este codat cu 8 bit ¸i,
atunci cantitatea de date necesar˘ a pentru a reprezenta aceast˘ a imagine este: 512 ×512×8 =
29×29×23= 221≈2Mb.
Din acest calcul ne putem da seama c˘ a pentru a stoca o imagine avem nevoie de spat ¸iu
considerabil, iar pentru transmiterea ei avem nevoie de un canal de transmisiune de band˘ a
larg˘ a, de care nu dispunem ˆ ıntotdeauna.
Metodele de compresie se pot clasifca astftel:

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
•Metode de compresie la nivel de pixel – aceste metode nu t ¸in cont de corelat ¸ia care
exist˘ a ˆ ıntre pixelii vecini, codˆ and ﬁecare pixel ca atare. Acest tip de compresie este f˘ ar˘ a
pierdere de informat ¸ie, adic˘ a imaginea init ¸ial˘ a poate ﬁ ref˘ acut˘ a perfect din imaginea
comprimat˘ a. Exemple de astfel de metode:
{codarea Huﬀman;
{codarea LZW (Lempel-Ziv-Walsh);
{codarea RLE (Run Length Encoding).
•Metode de compresie predictive – aceste metode realizeaz˘ a compresia folosind corelat ¸ia
care exist˘ a ˆ ıntre pixelii vecini, dintr-o imagine. Exemple de astfel de metode:
{codarea cu modulat ¸ie “delta”;
{codarea DPCM (Diferent ¸ial Pulse Code Modulation).
•Metode de compresie cu transformate – aceste metode se bazeaz˘ a pe scrierea imaginii
ˆ ıntr-o alt˘ a baz˘ a, prin aplicarea unei transform˘ ari unitare, a.ˆ ı. energia imaginii s˘ a ﬁe
concentrat˘ a ˆ ıntr-un num˘ ar cˆ at mai mic de coeﬁcient ¸i.
•Alte metode de compresie:
{cuantizarea vectorial˘ a;
{codarea folosind fractali;
{codarea hibrid˘ a.

13
******************************************************
******************************************************
********************************************************
*********************************************************
Pentru a prezenta conceptul de super-rezolut ¸ie trebuie ca mai ˆ ıntˆ ai s˘ a ˆ ınt ¸elegem ce este
rezolut ¸ia unei imagini, respectiv ce este un pixel. Imaginile digitale sunt create cu ajutorul
unui senzor optic format din celule (fotodiode) ce transform˘ a orice impuls luminos receptat
ˆ ıntr-un semnal electric ce este apoi ampliﬁcat ¸ si transformat ˆ ın intensitatea luminoas˘ a a unui
pixel [89]. Un pixel poate ﬁ deﬁnit ca ﬁind cea mai mic˘ a unitate component˘ a a unei imagini.
Rezolut ¸ia reprezint˘ a num˘ arul de pixeli dintr-o imagine ¸ si este prezentat˘ a sub forma: num˘ ar
de pixeli pe vertical˘ a ×num˘ ar de pixeli pe orizontal˘ a, de exemplu 600 ×800. Uneori ea
mai apare ¸ si ca produsul dintre cele dou˘ a numere, folosindu-se o supraunitate a pixelului ¸ si
anume Megapixelul, adic˘ a un milion de pixeli [89]. A¸ sadar, cu cˆ at rezolut ¸ia unei imagini este
mai mare, cu atˆ at aceasta reprezint˘ a mai ﬁdel obiectele ce au fost capturate ¸ si cont ¸ine mai
mult˘ a informat ¸ie.
Rezolut ¸ia se refer˘ a de asemenea la capacitatea senzorului optic de a m˘ asura pˆ an˘ a ¸ si cele
mai mici obiecte, lucru care este direct dependent de m˘ arimea pixelului [90]. A¸ sadar prin
super-rezolut ¸ie ne referim la ˆ ımbun˘ at˘ at ¸irea rezolut ¸iei unei imagini prin alte metode decˆ at
celehardware pentru o calitate cˆ at mai bun˘ a a imaginii ¸ si pentru a extrage informat ¸ii cˆ at
mai precise asupra obiectului observat [92].
De¸ si tehnologia care st˘ a la baza captur˘ arii imaginilor digitale se dezvolt˘ a exponent ¸ial, pe
zi ce trece apar noi sisteme optice capabile de a captura o imagine cu o rezolut ¸ie de pˆ an˘ a la
4096×2160 pixeli [93], acestea totu¸ si necesit˘ a o dimensiune mare de spat ¸iu de stocare, lucru
ce face ca problema obt ¸inerii unei imagini cu super-rezolut ¸ie dintr-o imagine cu rezolut ¸ie
normal˘ a sau sc˘ azut˘ a s˘ a ﬁe ˆ ınc˘ a una de actualitate. De asemenea sistemele de supraveghere
tind s˘ a sacriﬁce rezolut ¸ia ˆ ın favoarea unei perioade de funct ¸ionare mai lung˘ a.
O alt˘ a zon˘ a ˆ ın care se dore¸ ste o imagine cˆ at mai bun˘ a este imagistica satelitar˘ a, dorin-
du-se bineˆ ınt ¸eles o imagine cˆ at mai clar˘ a a zonei studiate [94]. Cˆ and vorbim de astfel de
imagini, puterea de magniﬁcare a satelitului are o limitare, iar cˆ and aceasta este atins˘ a ˆ ınc˘ a
sunt cazuri ˆ ın care se dore¸ ste ˆ ımbun˘ at˘ at ¸irea calit˘ at ¸ii imaginii. Imagistica medical˘ a este de
asemenea un domeniu ˆ ın care se doresc o rezolut ¸ie ¸ si respectiv o calitate a imaginii cˆ at mai
ridicate, pentru a ajunge la un diagnostic corect, iar radiat ¸ia la care este supus pacientul
s˘ a ﬁe minim˘ a [96]. Luˆ and ˆ ın considerare cele de mai sus ˆ ımbun˘ at˘ at ¸irea rezolut ¸iei este ˆ ınc˘ a
dorit˘ a ˆ ın multe domenii, iar prin alte metode decˆ at cele hardware care pot deveni costisitoare
¸ si care pot ˆ ımbun˘ at˘ at ¸i rezolut ¸ia ˆ ıns˘ a pˆ an˘ a la un anumit punct. Pentru a folosi conceptul de
algoritmi single-frame ˆ ın obt ¸inerea super-rezolut ¸iei este nevoie s˘ a elabor˘ am not ¸iunile single-
frame ¸ simulti-frame . Conceptul de multi-frame const˘ a ˆ ın folosirea a mai multor imagini cu
rezolut ¸ie sc˘ azut˘ a ale aceluia¸ si cadru pentru a forma o imagine cu super-rezolut ¸ie. Pentru a
face acest lucru se folose¸ ste de obicei o metod˘ a numit˘ a sub-pixel alignment ce este prezentat˘ a
ˆ ın Figura 3 [90].
Figura 3 ilustreaz˘ a sumar procedeul prin care este obt ¸inut˘ a o imagine ˆ ımbun˘ at˘ at ¸it˘ a ca-
litativ din trei imagini ale aceluia¸ si cadru. ˆIn partea din stˆ anga se aﬂ˘ a cele trei imagini
init ¸iale, iar cu ajutorul unor tehnici de super-rezolut ¸ie ce includ sub-pixel alignment se obt ¸ine
imaginea din dreapta.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Figure 3: Metoda multi-frame
3 Istoric tehnic
Ast˘ azi, cei mai folosit ¸i senzori de imagine sunt CCD ( charge-coupled devices ) ¸ si CMOS
(complementary metal oxide semiconductors ) [95, 98], iar pentru a obt ¸ine o imagine cu o
rezolut ¸ie ˆ ınalt˘ a una dintre solut ¸ii ar ﬁ s˘ a dezvolt˘ am dipozitive optice mai avansate. O metod˘ a
ar ﬁ reducerea m˘ arimii unui pixel, ˆ ıns˘ a acest lucru afecteaz˘ a cantitatea de lumin˘ a disponi-
bil˘ a, a¸ sadar ar trebui m˘ arit˘ a senzitivitatea senzorului, iar calitatea imaginii va ﬁ afectat˘ a de
zgomotul de imagine numit shot noise [97].
Figure 4: Zgomot de imagine
Mai mult decˆ at atˆ at, modele de a¸ sezare a pixelilor non-rectangulare, cum ar ﬁ modelul
hexagonal super CCD de la Fijiﬁlm sau modelul transfer-ortogonal CCD au fost folosite
pentru a ˆ ımbun˘ at˘ at ¸i spatial sampling rate [98]. Alte metode includ m˘ arirea chip-ului sau a
lungimii focale, ˆ ıns˘ a aceasta ar cauza o cre¸ stereˆ ın capacitant ¸˘ a, respectiv a m˘ arimii ¸ si greut˘ at ¸ii
camerelor. A¸ sadar aceste metode sunt considerate ineﬁciente datorit˘ a limit˘ arilor impuse de
industria optic˘ a actual˘ a ¸ si de cea a product ¸iei de senzori [4]. ˆIn comparat ¸ie cu CMOS-
urile, CCD-urile au avantaje ˆ ın ceea ce prive¸ ste minimizarea zgomotului, rezolut ¸ia imaginii,
senzitivitatea senzorilor ¸ si dezvoltarea tehnologic˘ a [95]. Din p˘ acate camerele bazate pe CCD
au pret ¸uri ridicate a¸ sadar tehnologiile bazate pe CMOS sunt din ce in ce mai investigate.
Senzorii CMOS ¸ stiint ¸iﬁci – sCMOS ofer˘ a o rezolut ¸ie mai mare ¸ si o rat ¸ie semnal-zgomot
(SNR) mare, ˆ ıns˘ a utilizarea practic˘ a r˘ amˆ ane o provocare. Per total, datorit˘ a limit˘ arilor
tehnologiilor hardware , cercetarea ˆ ımbun˘ at˘ at ¸irii rezolut ¸iei prin metode software este ˆ ınc˘ a o
necesitate. Avˆ andˆ ın vedere conceptele super-rezolut ¸iei, prima problem˘ a care trebuie adresat˘ a

15
este cea a obt ¸inerii unei imagini cu super-rezolut ¸ie din mai multe imagini observate a c˘ aror
rezolut ¸ie este sc˘ azut˘ a. ˆIn general, dac˘ a exist˘ a destul˘ a informat ¸ie ˆ ın imaginile cu rezolut ¸ie
sc˘ azut˘ a, obt ¸inerea unei imagini cu super-rezolut ¸ie este fezabil˘ a [96,99]. ˆIns˘ a acest lucru este
posibil doar dac˘ a imaginile observate cu rezolut ¸ie sc˘ azut˘ a nu pot ﬁ obt ¸inute una din cealalt˘ a
prin ree¸ santionare ( resampling ) sau transform˘ ari ca translat ¸ii/rotat ¸ii, altfel nu se pot obt ¸ine
rezultate eﬁciente. Pentru a implementa ˆ ıntr-o aplicat ¸ie conceptul de super-rezolut ¸ie, s-a
ˆ ıncercat obt ¸inerea unei imagini prin modiﬁcarea ¸ si controlarea hardware -ului. Senzorii pot ﬁ
setati ˆ ın a¸ sa fel ˆ ınc˘ at s˘ a extrag˘ a informat ¸ii cu un a¸ sa numit sub-pixel displacement sau mai
multe ”priviri” asupra aceleia¸ si scene. Agent ¸ia spat ¸ial˘ a francez˘ a ne poate oferi una dintre
cele mai de succes cazuri ˆ ın domeniul imaginilor prin satelit, aceasta folosind un senzor CCD
ˆ ın satelitul SPOT-5 ce poate ˆ ıncorpora dou˘ a CCD-uri a cˆ ate 12.000 pixeli ﬁecare [99]. Cele
dou˘ a CCD-uri sunt desincronizate cu cˆ ate o jum˘ atate de pixel pe vertical˘ a ¸ si orizontal˘ a. Din
moment ce ambii senzori pot captura imagini ˆ ın acela¸ si moment, se poate obt ¸ine un set de
date cu doar o decalare de jum˘ atate de pixel, informat ¸ie ce poate ﬁ procesat˘ a cu ajutorul
unor tehnici de super-rezolut ¸ie pentru a obt ¸ine o imagine cu o rezolut ¸ie ridicat˘ a calitativ mai
bun˘ a. Camerele Leica ADS40 folosesc un mecanism similar celui de pe SPOT-5 [8]. Mai
mult decˆ at atˆ at, folosind pixeli CCD compu¸ si din sub-pixeli cu forme ¸ si organiz˘ ari diferite se
pot obt ¸ine imagini cu super-rezolut ¸ii ˆ ımbun˘ at˘ at ¸ite [100].

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
4 Tehnologii si metode pentru obt inerea imaginilor cu
super-rezolut ie
Urmeaz˘ a s˘ a discut˘ am metodele principale de obt ¸inere a unei imagini cu super-rezolut ¸ie
din mai multe observat ¸ii cˆ at ¸ si diﬁcult˘ at ¸ile ˆ ıntˆ ampinate ˆ ın folosirea lor. Problema principal˘ a
este modul ˆ ın care este folosit˘ a informat ¸ia suplimentar˘ a din multiplele observat ¸ii. ˆIn anul
1964 J.L. Harris, ˆ ın lucrarea sa: ”Diﬀraction and resolving power” [3] a stabilit o fundat ¸ie
teoretic˘ a pentru abordarea super-rezolut ¸iei introducˆ and teoreme ce pot ﬁ folosite pentru a
rezolva problema difract ¸iei ˆ ıntr-un sistem optic. Douazeci de ani mai tarziu, R.Y. Tsai ¸ si
T.S. Huang [1] au abordat pentru prima dat˘ a ideea de super-rezolut ¸ie pentru a ˆ ımbun˘ at˘ at ¸i
imaginile provenite de la Landsat TM. De atunci super-rezolut ¸ia a devenit un subiect de
interes pentru mult ¸i cercet˘ atori, atˆ at pe plan teoretic cˆ at ¸ si practic. Tehnicile de super-
rezolut ¸ie au fost dezvoltate ¸ si ˆ ımbun˘ at˘ at ¸ite de mai bine de trei decenii, iar progresele f˘ acute
pot ﬁ rezumate dup˘ a cum urmeaz˘ a.
La ˆ ınceput majoritatea metodelor se bazau pe domeniul de frecvent ¸˘ a [1]. Algoritmii
ce se folosesc de domeniul de frecvent ¸˘ a funct ¸ioneaz˘ a prin a crea o leg˘ atur˘ a ˆ ıntre imaginile
cu rezolut ¸ie ˆ ınalt˘ a (HR) ¸ si cele observate cu rezolut ¸ie sc˘ azut˘ a (LR) bazat˘ a pe cˆ ateva baze
teoretice simple ¸ si avˆ and o eﬁcient ¸˘ a computat ¸ional˘ a ridicat˘ a. ˆIns˘ a chiar ¸ si aceste metode au
limi˘ ari ˆ ın ceea ce prive¸ ste procesarea unor imagini cu mi¸ sc˘ ari complexe.
Datorit˘ a inconvenientelor algoritmilorˆ ın domeniul frecvent ¸ei, metodeleˆ ın domeniul spat ¸ial
(spatial domain ) au devenit principalul subiect [4]. Principalele metode includ iterative back-
projection (IBP) [6], projection onto convex sets (POCS) [5], metodele regularizate ¸ si o mul-
titudine de algoritmi hibrid [2]. Primele lucr˘ ari elaborate ofer˘ a descrieri ¸ si explicat ¸ii ale aces-
tor metode. Printre acestea, metodele regularizate sunt cele mai populare datorit˘ a eﬁcient ¸ei
¸ si ﬂexibilit˘ at ¸ii, de aceea cele mai recente studii in domeniul super-rezolut ¸iei s-au axat pe
framework -uri regularizate [4]. Din aceast˘ a cauz˘ a o s˘ a ne orient˘ am atent ¸ia c˘ atre evolut ¸ia
metodelor regularizate, ˆ ın special ˆ ın ultimii zece ani. De asemenea o s˘ a facem o scurt˘ a
trecere peste progresul algoritmilor de optimizare si set˘ arii parametrilor ( parameter setup ).
Modelul observat ional
Modelul observat ¸ional prezint˘ a modul ˆ ın care au fost obt ¸inute imaginile cu rezolut ¸ie sc˘ azut˘ a
(LR) ¸ si modeleaz˘ a parametrii care transform˘ a imaginea cu rezolut ¸ie ˆ ınalt˘ a (HR) ˆ ın imaginea
LR. Modelul observat ¸ional este esent ¸ial ˆ ın obt ¸inerea super-rezolut ¸iei cˆ and vine vorba de un
cadru regularizat. ˆInainte de a ˆ ıncepe procesul reconstruct ¸iei trebuie s˘ a ne ˆ ındrept˘ am atent ¸ia
c˘ atre procesul prin care este obt ¸inut˘ a imaginea. Acesta poate ﬁ inﬂuent ¸at de diver¸ si factori
externi cum ar ﬁ mi¸ scarea, difract ¸ia optic˘ a, zgomotul de imagine sau under-sampling -ul.ˆIn
general lu˘ am ˆ ın considerare ca factori ce inﬂuent ¸eaz˘ a imaginea obt ¸inut˘ a zgomotul, efectul de
blur,warping -ul ¸ si down-sampling -ul, ajungˆ and la urm˘ atorul model observat ¸ional:
yk=OkDkBkMkz+nk, (1)
unde sunt folosite kimagini init ¸iale cu rezolut ¸ie sc˘ azut˘ a. Fie N1k×N2km˘ arimea imagi-
nii init ¸iale k, iar L1kN1k×L2kN2km˘ arimea imaginii reconstruite inﬂuent ¸at˘ a de factorii de
m˘ arire orizontal˘ a ¸ si vertical˘ a L1k, respectiv L2k.ˆIn (1) z este forma vectorial˘ a a imaginii
reconstruite cu o dimensiune de L1kN1kL2kN2k×1, adic˘ a z= [z1, z2,···, zL1kN1kL2kN2k]T, ¸ si
yk= [yk;1, yk;2,···, yk;N1kN2k]Teste vectorul imaginii kobt ¸inute. Dkeste matricea de down-

17
sampling de m˘ arime N1kN2k×L1kN1kL2kN2k,Bkeste operatorul de blurring de m˘ arime
L1kN1kL2kN2k×L1kN1kL2kN2k, iarMkeste matricea de warp ce descrie informat ¸ia de mi¸ scare
(translat ¸ii, rotat ¸ii,etc.). nk(N1kN2k×1) reprezint˘ a zgomotul de imagine. Okeste operatorul
care exclude pixelii neobservabili din imaginea k[7–9]. ˆIn acest fel putem aborda atˆ at prob-
lema super-rezolut ¸iei cˆ at ¸ si pe cea a reconstruct ¸iei p˘ art ¸ilor lips˘ a dac˘ a imaginile init ¸iale sunt
afectate. Din (1) se poate obt ¸ine modelul observat ¸ional pentru super-rezolut ¸ie single-frame
dac˘ a egal˘ am kcu 1. Dac˘ a MksiDksunt excluse acesta devine un model pentru restau-
rarea imaginilor afectate de zgomot, blurring sau informat ¸ie lips˘ a. Mai jos avem o schem˘ a a
modelului observat ¸ional:
Figure 5: Modelul observat ¸ional
Algoritmi de super-rezolut ie
ˆIn continuare vom prezenta principalii algoritmi de obt ¸inere a super-rezolut ¸iei atˆ at single-
frame cˆ at ¸ si multi-frame .
Metode bazate pe interpolare
Interpolarea este procesul de estimare a unor pixeli noi printre pixelii deja obt ¸inut ¸i ai unei
imagini. Aceste tehnici s-au dovedit a ﬁ eﬁciente ˆ ın multe cazuri practice, ﬁind unele dintre
cele mai u¸ soare metode de a m˘ ari rezolut ¸ia unei imagini. Multe dintre software -urile com-
erciale, cum ar ﬁ PhotoZoom Pro ,Qimage ,Genuine Fractals sau chiar Photoshop folosesc
metode de interpolare pentru a modiﬁca m˘ arimea unei imagini. Algoritmii de interpolare in-
clud trei mari pa¸ si in obt ¸inerea super-rezolut ¸iei, dup˘ a cum urmeaz˘ a: ˆ ınregistrare, interpolare
¸ si restaurare. Primul pas este procesul de aliniere a tuturor imaginilor obt ¸inute din punct
de vedere geometric, folosind ca referint ¸˘ a o imagine predeﬁnit˘ a numit˘ a imagine de referint ¸˘ a.
Imaginile obt ¸inute pot suferi de rotat ¸ii, translat ¸ii sau sub-pixel displacement , a¸ sadar trebuie
aliniate, astfel ˆ ıncˆ at parametrii de mi¸ scare s˘ a ﬁe aproximat ¸i corect ˆ ınainte de a ˆ ıncerca s˘ a
le unim pentru a crea o imagine cu super-rezolut ¸ie. Estim˘ ari incorecte ale parametrilor de
mi¸ scare pot conduce la o imagine cu super-rezolut ¸ie ce cont ¸ine diverse artefacte vizuale ce
se pot accentua de la o imagine la alta. ˆInregistrarea are loc ﬁe ˆ ın domeniul spat ¸ial ﬁe ˆ ın
domeniul frecvent ¸ei. Domeniul frecvent ¸ei este descris ˆ ın am˘ anunt ˆ ın sect ¸iunea urm˘ atoare.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Domeniul spat ¸ial are de asemenea varii metode de a estima mi¸ scarea, Keren et al. [10] au pro-
pus un algoritm bazat pe seria Taylor ce estimeaz˘ a parametrii de mi¸ scare cu precizie de sub-
pixel. J.R. Bergen ¸ si asociat ¸ii [11] au propus un cadru ierarhic pentru estimarea parametrilor
de mi¸ scare cum ar ﬁ metode planare sau aﬁne. Peleg ¸ si Irani [6] au dezvoltat o modalitate
interactiv˘ a cu multiple rezolut ¸ii pentru estimarea parametrilor de mi¸ scare. Pentru estimarea
acestor parametri unele metode mapeaz˘ a ˆ ıntreaga imagine, iar altele doar anumite caracter-
istici ce sunt comune printre imaginile cu rezolut ¸ie sc˘ azut˘ a [12]. Unele metode estimeaz˘ a
atˆ at imaginea cu super-rezolut ¸ie cˆ at ¸ si parametrii de mi¸ scare folosind metode Bayesiane, una
din aceste metode este explicat˘ a de Hardie et al. [13]. Mai recent, G. Botella ¸ si asociat ¸ii au
prezentat o metod˘ a de aproximare bazat˘ a pe gradient [14].
Pe lˆ ang˘ aˆ ınregistrare, un rol importantˆ ın estimarea unei imagini cu super-rezolut ¸ieˆ ıl joac˘ a
interpolarea. Exist˘ a foarte multe metode de interpolare, iar complexitatea ﬁec˘ areia const˘ a
ˆ ın num˘ arul de pixeli adiacent ¸i folosit ¸i pentru a estima pixelii nou creat ¸i (intermediari). Cele
mai cunoscute metode de interpolare sunt: cel mai apropiat vecin ( nearest neighbor ), metode
biliniare si bicubice. Cel mai apropiat vecin este cea mai simpl˘ a metod˘ a de interpolare
ce const˘ a ˆ ın folosirea celor mai apropiat ¸i pixeli de pixelul pe care dorim s˘ a ˆ ıl aproxim˘ am.
Aceasta are ˆ ıns˘ a un mare dezavantaj, ¸ si anume tr˘ as˘ aturi liniare sub forma de treapt˘ a vizibile
ˆ ın imaginea cu super-rezolut ¸ie. EXEMPLU POZA URMEAZA IN ANEXA Metoda biliniar˘ a
calculeaz˘ a o medie a celor mai apropiat ¸i 2 ×2 pixeli vecini pentru a estima valoarea pixelului
interpolat. Analog, metoda bicubic˘ a folose¸ ste cei mai apropiat ¸i 4 ×4 pixeli pentru a es-
tima valoarea pixelului interpolat. ˆIn ambele metode pixelii mai apropiat ¸i de pixelul estimat
au un procentaj mai ridicat ˆ ın estimarea acestuia. Deoarece translat ¸iile dintre imaginile cu
rezolut ¸ie sc˘ azut˘ a sunt inegale, este nevoie de metode neuniforme de interpolare pentru a folosi
toate imaginile cu rezolut ¸ie sc˘ azut˘ a ˆ ın cea cu super-rezolut ¸ie. ˆIn 1992 Ur ¸ si Gross [15] au
dezvoltat o metod˘ a de interpolare neuniform˘ a pentru un set de imagini translatate folosind
o teorem˘ a generalizat˘ a de multi-channel sampling . Exist˘ a multe alte metode complexe de
interpolare folosite pentru a redimensiona o singur˘ a imagine, cum ar ﬁ: Cubic B-spline [16],
New Edge-Directed Interpolation (NEDI) [17], ¸ si Edge-Guided Interpolation (EGI) [18]. Pe
scurt, metoda Cubic B-spline cuprinde port ¸iuni ale unei curbe continue ce trece prin an-
umite puncte. Fiecare din acele puncte reprezint˘ a procentaje, iar acele procentaje sunt
coeﬁcient ¸ii unui polinom de gradul trei. Rolul metodei este de a calcula acele procentaje
folosite ulterior pentru a obt ¸ine imaginea cu super-rezolut ¸ie. NEDI [17] este o metod˘ a de
interpolare direct ¸ional adaptiv˘ a bazat˘ a pe covariant ¸˘ a ˆ ın care pixelii interpolat ¸i sunt estimat ¸i
cu coeﬁcient ¸ii locali ai covariant ¸ei imaginii cu rezolut ¸ie sc˘ azut˘ a bazat ¸i pe dualitatea geomet-
ric˘ a dintre covariant ¸a imaginii cu rezolut ¸ie sc˘ azut˘ a ¸ si imaginea cu super-rezolut ¸ie. EGI [18]
divide vecin˘ atatea ﬁec˘ arui pixel ˆ ın dou˘ a subseturi de observat ¸ie ˆ ın dou˘ a direct ¸ii ortogonale.
Fiecare subset de observat ¸ie aproximeaz˘ a un pixel lips˘ a. Algoritmul apoi contope¸ ste cele
dou˘ a valori aproximate ˆ ıntr-o estimare mai robust˘ a folosind estimarea liniar˘ a MMSE ( min-
imum mean square error ). Alte metode de interpolare cuprind interpolarea Gradient-Based
Adaptive (GBA) [19] ¸ si modelul de interpolare autoregresiv [20]. Aceste metode sunt extrem
de eﬁciente ¸ si conserv˘ a majoritatea informat ¸iei din imagine, ˆ ıns˘ a timpul de procesare ¸ si costul
computat ¸ional sunt mai mari fat ¸˘ a de metodele clasice.
Pa¸ sii de ˆ ınregistrare, interpolare ¸ si restaurare aferent ¸i metodei de super-rezolut ¸ie pot
ﬁ sust ¸inut ¸i iterativ petru a obt ¸ine o imagine cu super-rezolut ¸ie din mai multe imagini cu
rezolut ¸ie sc˘ azut˘ a prin metoda Iterative Back Projection (IBP) [6]. ˆIn aceast˘ a metod˘ a imag-
inea cu super-rezolut ¸ie este estimat˘ a prin a minimiza iterativ eroarea dintre imaginile cu
rezolut ¸ie sc˘ azut˘ a observate ¸ si cele simulate. Aceast˘ a metod˘ a este foarte simpl˘ a ¸ si u¸ sor de

19
ˆ ınt ¸eles, ˆ ıns˘ a nu ofer˘ a accea¸ si solut ¸ie de ﬁecare dat˘ a datorit˘ a problemei inverse gre¸ sit formu-
late. Alt˘ a abordare a super-rezolut ¸iei u¸ sor de implementat este Projection Onto Convex Set
(POCS) propus˘ a de Oskoui ¸ si Stark [21]. ˆIn aceast˘ a metod˘ a un set de constrˆ angeri este deﬁnit
pentru a restrˆ ange spat ¸iul imaginii cu super-rezolut ¸ie. Seturile de constrˆ angeri sunt convexe
¸ si reprezint˘ a anumite caracteristici ale imaginii cu super-rezolut ¸ie pe care le dorim, cum ar ﬁ
smoothness -ul, pozitivitatea ¸ si reliability -ul. Intersect ¸ia tuturor acestor seturi de caracteristici
reprezint˘ a spat ¸iul de solut ¸ii permisibile. A¸ sadar problema este redus˘ a la a g˘ asi intersect ¸ia
seturilor de constrˆ angeri. Pentru a g˘ asi o astfel de solut ¸ie, un operator de proiect ¸ie este
aﬂat pentru ﬁecare set de constrˆ angeri. Acest operator proiecteaz˘ a o estimare a imaginii cu
super-rezolut ¸ie asupra setului de constrˆ angeri asociat. Folosind aceast˘ a modalitate iterativ,
se poate obt ¸ine o solut ¸ie bun˘ a la suprafat ¸a intersect ¸iei celor kseturi de constrˆ angeri convexe.
Algoritmul original nu includea ¸ si zgomotul de observare [21]; a¸ sadar a fost ˆ ımbun˘ at˘ at ¸it de
mult ¸i alt ¸i cercet˘ atori. Tekalp et al. [22] au extins metoda pentru a ˆ ıncorpora zgomotul. Patti
et al. [23] au dus algoritmul ¸ si mai departe ad˘ augˆ and blur-ul, timpul de diafragm˘ a diferit de
zero, zgomot de senzor ¸ si structuri arbitrare de sampling .
Metode ^ n domeniul frecvent ei
O alt˘ a abordare cunoscut˘ a pentru a obt ¸ine o imagine cu super-rezolut ¸ie este domeniul
frecvent ¸ei [1, 25, 26]. Chiar prima tehnic˘ a de super-rezolut ¸ie folosit˘ a de Tsai ¸ si Huang [1]
folosit˘ a pe imaginile obt ¸inute prin satelit a fost bazat˘ a pe domeniul frecvent ¸ei. Mult ¸i alt ¸i
cercet˘ atori au extins aceast˘ a metod˘ a pentru a construi altele. Aceast˘ a metod˘ a presupune
transformarea imaginilor cu rezolut ¸ie sc˘ azut˘ a ˆ ın domeniul Transformatei Fourier Discrete
(DFT), iar imaginea cu super-rezolut ¸ie este estimat˘ a ˆ ın acest domeniu, dup˘ a care este trans-
format˘ a ˆ ınapoi ˆ ın domeniul spat ¸ial.
Tsai ¸ si Huang [1] au presupus c˘ a imaginile de la satelit sunt similare, dar translatate global
¸ si c˘ a pot ﬁ considerate ca ﬁind imaginile under-sampled ale unei scene statice necunoscut˘ a.
Parametrii de translat ¸ie si aliasing sunt folosit ¸i pentru a determina un set de ecuat ¸ii care leag˘ a
DFT a imaginilor cu rezolut ¸ie sc˘ azut˘ a de transformata Fourier continu˘ a (CFT) a imaginii cu
super-rezolut ¸ie necunoscut˘ a ( Fy=ϕFx;Fyeste DFT a imaginii cu rezolut ¸ie sc˘ azut˘ a y, iar
Fxeste CFT a imaginii cu super-rezolut ¸ie necunoscute x) [24]. Matricea sistemului ϕeste
format˘ a din informat ¸ia de mi¸ scare dintre imaginile cu rezolut ¸ie sc˘ azut˘ a. A¸ sadar problema
super-rezolut ¸iei este redus˘ a la a aﬂa CFT a imaginii cu super-rezolut ¸ie cu ajutorul DFT a
imaginilor cu rezolut ¸ie sc˘ azut˘ a ¸ si a matricei sistemului. Aceast˘ a problem˘ a simpliﬁcat˘ a este
rezolvat˘ a de obicei cu ajutorul metodei celor mai mici p˘ atrate [4]. Blur-ul ¸ si zgomotul ˆ ın
timpul obt ¸inerii imaginii au fost ignorate ˆ ın studiul lui Huang si Tsai, ˆ ıns˘ a Kim et al. [27]
¸ si-au extins munca luˆ and in calcul ¸ si aceste efecte. Metoda corel˘ arii este deseori folosit˘ a
pentru a descoperi parametrii de mi¸ scare ˆ ın domeniul frecvent ¸ei. Parametrii de mi¸ scare
sunt determinat ¸i datorit˘ a faptului c˘ a imaginile mutate difer˘ a ˆ ın domeniul frecvent ¸ei doar
printr-o schimbare de faz˘ a [25, 26]. Schimbarea de faz˘ a dintre cele dou˘ a imagini poate ﬁ
obt ¸inut˘ a prin corelarea acestora. Folosind corelarea fazelor atˆ at rotat ¸ia cˆ at ¸ si scalarea imaginii
pot ﬁ transformate ˆ ın mi¸ sc˘ ari verticale sau orizontale. Pentru a minimiza erorile datorit˘ a
aliasing -ului se pot folosi doar anumit ¸i coeﬁcient ¸i Fourier discret ¸i [25]. Dup˘ a ce se estimeaz˘ a
parametrii de ˆ ınregistrare, imaginile cu rezolut ¸ie sc˘ azut˘ a sunt combinate conform relat ¸iei
dintre coeﬁcient ¸ii transformatei Fourier discrete ai imaginilor cu rezolut ¸ie sc˘ azut˘ a ¸ si imaginea
cu super-rezolut ¸ie necunoscut˘ a. Avantajul metodei domeniului de frecvent ¸˘ a este c˘ a aceasta
este u¸ sor de aplicat ¸ si functioneaz˘ a mai bine ˆ ımpotriva aliasing -ului decˆ at metoda domeniului

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
spat ¸ial. Dezavantajul acesteia este c˘ a se limiteaz˘ a la mi¸ scarea global˘ a, a¸ sadar funct ¸ioneaz˘ a
doar pentru translat ¸ii ¸ si rotat ¸ii planare [25]. Mai tˆ arziu transformata Fourier este ˆ ınlocuit˘ a
de Transformata Cosinus Discret˘ a (DCT) [28] ¸ si Transformata Wavelet Discret˘ a (DWT) [29].
Rhee ¸ si Kang [28] au modiﬁcat metoda bazat˘ a pe transformata Fourier pentru a folosi
tehnici regularizate de deconvolut ¸ie folosind DCT. Aceast˘ a metod˘ a funct ¸ioneaz˘ a chiar ¸ si
pentru cazurile cu informat ¸ie despre sub-pixeli insuﬁcient˘ a sau cele gre¸ sit formulate. DCT
folose¸ ste doar coeﬁcient ¸i reali, a¸ sadar este mai put ¸in costisitoare din punct de vedere compu-
tat ¸ional decˆ at domeniul Fourier. Nguyen ¸ si Milanfar [29] au folosit interpolare wavelet urmat˘ a
de metoda de restaurare pentru super-rezolut ¸ie. Ace¸ stia au calculat mai ˆ ıntˆ ai coeﬁcient ¸ii de
und˘ a ( wavelet ) ai imaginilor cu rezolut ¸ie sc˘ azut˘ a ¸ si apoi i-au interpolat pentru valorile blu-
rate ˆ ın puncte de pe imaginea cu super-rezolut ¸ie. Prin deconvolut ¸ia valorilor interpolate cu
blur-ul cunoscut se poate estima o imagine cu super-rezolut ¸ie. El-Khamy ¸ si asociat ¸ii [31] au
ˆ ınregistrat toate imaginile cu rezolut ¸ie sc˘ azut˘ a direct ˆ ın domeniul wavelet . Dup˘ a ˆ ınregistrare,
coeﬁcient ¸ii wavelet au fost unit ¸i, iar zgomotul a fost ˆ ınl˘ aturat folosind o metod˘ a de regu-
larizare. Metode de interpolare au fost apoi folosite pentru a obt ¸ine coeﬁcient ¸ii wavelet ai
imaginii cu super-rezolut ¸ie, iar la sfˆ ar¸ sit cu ajutorul unei transformate inverse wavelet s-a
obt ¸inut imaginea cu super-rezolut ¸ie ˆ ın domeniul spat ¸ial. Chappalli ¸ si Bose [32] au imple-
mentat tehnici software de thresholding pentru a ˆ ındep˘ arta zgomotul asociat coeﬁcient ¸ilor
wavelet . Fermuller ¸ si Ji [33, 34] au descompus coeﬁcient ¸ii wavelet ˆ ın dou˘ a p˘ art ¸i folosind o
schem˘ a de rezolut ¸ii multiple. Acei coeﬁcient ¸i au fost apoi interpolat ¸i, ﬁltrat ¸i ¸ si recombinat ¸i
pentru a obt ¸ine imaginea simulat˘ a. Imaginea ﬁnal˘ a era obt ¸inut˘ a folosind metoda IBP cu
criterii eﬁciente de regularizare pentru a elimina zgomotul la ﬁecare pas. Recent, atent ¸ia
cercet˘ atorilor s-a ˆ ındreptat c˘ atre transformarea contourlet , avantajul acesteia fat ¸˘ a de cea
wavelet ﬁind c˘ a aceasta poate captura muchiile dintr-o imagine ˆ ın orice direct ¸ie, nu doar
orizontal sau vertical [30].
Metode bazate pe regularizare
Problema obt ¸inerii imaginilor cu super-rezolut ¸ie este una al c˘ arei solut ¸ie nu este unic˘ a, dup˘ a
cum s-a putut observa. O alt˘ a metod˘ a de obt ¸inere a acestor imagini este folosind un termen
de regularizare. [35] Aceast˘ a metod˘ a ˆ ıncorporeaz˘ a cuno¸ stint ¸e anterioare asupra imaginilor
cu rezolut ¸ie ˆ ınalt˘ a pentru a rezolva problema super-rezolut ¸iei. Dou˘ a abord˘ ari principale ale
regulariz˘ arii sunt metodele deterministe ¸ si cele stocastice. Metoda determinist˘ a introduce un
termen al regulariz˘ arii care transform˘ a problema subdeterminat˘ a ˆ ın una corect determinat˘ a.
Imaginea cu rezolut ¸ie ˆ ınalt˘ a Xeste estimat˘ a minimizˆ and urm˘ atoarea funct ¸ie de cost:
X= argminN∑
k=1∥yk−HkX∥2+λ∥RX∥2(2)
unde λeste constanta de regularizare, iar Reste termenul de regularizare. Metoda celor mai
mici p˘ atrate folose¸ ste constante de netezime ca a priori .ˆIn acest caz Rdevine ﬁltrul high
pass ce minimizeaz˘ a cantitatea frecvent ¸elor ˆ ınalte din imaginea obt ¸inut˘ a, iar λcontroleaz˘ a
informat ¸ia din frecvent ¸ele ˆ ınalte. O valoare mai mare pentru λpoate netezi imaginea recon-
struit˘ a, lucru ce poate ﬁ beneﬁc dac˘ a sunt disponibile put ¸ine imagini cu rezolut ¸ie sc˘ azut˘ a
sau acestea cont ¸in mult zgomot. Pe de alt˘ a parte, valori mici ale lui λdetermin˘ a obt ¸inerea
unei imagini ce poate cont ¸ine zgomot, lucru ce poate ﬁ trecut cu vederea daca sunt disponi-
bile multe imagini init ¸iale ce au pe deasupra si putin zgomot. [4] Estimatorul celor mai mici

21
p˘ atrate Tikhonov regularizat folose¸ ste norma l2a derivatei de ordin doi a reconstruct ¸iei ima-
ginii cu rezolut ¸ie ˆ ınalt˘ a ca ¸ si termen de regularizare. [36] Norma l2nu asigur˘ a o solut ¸ie unic˘ a.
Farsiu et al. [37] au c˘ autat o alternativ˘ a ˆ ın minimizarea normei l1pentru obt ¸inerea super-
rezolut ¸iei mai rapid. Kim ¸ si Bose [27] propun un algoritm recursiv ponderat bazat pe cele
mai mici p˘ atrate pentru obt ¸inerea super-rezolut ¸iei. Ponderea depinde de cuno¸ stint ¸ele deja
acumulate asupra imaginii, algoritmul oferind o pondere mai mare imaginilor cu rezolut ¸ie
sc˘ azut˘ a ce au SNR mare. Avˆ and ponderi diferite problema devine una general˘ a de estimare
a celor mai mici p˘ atrate. Tot ce mai r˘ amˆ ane de f˘ acut este interpolarea ¸ si restaurarea ˆ ıntr-o
imagine cu super-rezolut ¸ie.
Metoda stocastic˘ a [38–46], mai ales metoda Maximum A-Posteriori (MAP), este cunos-
cut˘ a deoarece ofer˘ a o metod˘ a convenabil˘ a ¸ si ﬂexibil˘ a de a folosi informat ¸ie a priori ¸ si deoarece
creeaz˘ a o leg˘ atur˘ a puternic˘ a ˆ ıntre imaginile observate ¸ si cea cu rezolut ¸ie ˆ ınalt˘ a necunoscut˘ a.
Metoda const˘ a ˆ ın g˘ asirea estim˘ arii MAP a imaginii cu rezolut ¸ie ˆ ınalt˘ a pentru care o proba-
bilitate posteriori P(X|Y) este maxim˘ a [41].
ˆXMAP= argminXP(X|Y) (3)
Folosind teorema lui Bayes, ecuat ¸ia 3 poate ﬁ rescris˘ a dup˘ a cum urmeaz˘ a [41]:
ˆXMAP= argminX[logP(Y|X)] + log P(X) (4)
unde P(Y|X) este funct ¸ia de probabilitate, iar P(X) este prior .Markov Random Field
(MRF) este deseori folosit ca ¸ si model priori , iar funct ¸ia de densitate de probabilitate (PDF)
a zgomotului este folosit˘ a pentru a determina funct ¸ia de probabilitate. Imaginea cu rezolut ¸ie
ˆ ınalt˘ a este obt ¸inut˘ a aﬂˆ and rezultatul ecuat ¸iei 4.
Printre cele mai folosite modele pentru imaginea priori se num˘ ar˘ a norma TV [38], norma
l1a gradient ¸ilor orizontal ¸ si vertical [39], norma Simultaneous Autoregressive (SAR) [40],
modelul MRF Gaussian [13, 41], modelul MRF Huber [42], modelul MRF ce cont ¸ine o dis-
continuitate adaptiv˘ a [43], modelul non-stat ¸ionar Gaussian pe doua nivele [44] ¸ si modelul
Conditional Random Field (CRF) [45]. Un caz aparte al MAP, ˆ ın care informat ¸ia priori a
imaginii cu rezolut ¸ie ˆ ınalt˘ a nu este dat˘ a se nume¸ ste Maximum Likelihood Estimation (MLE).
Tom ¸ si Katsaggelos [46] au luat ˆ ın considerare folosirea acestei metode pentru obt ¸inerea
super-rezolut ¸iei, ˆ ıns˘ a deoarece este necesar˘ a informat ¸ie a priori datorit˘ a solut ¸iei sistemului
subdeterminat, r˘ amˆ ane o metod˘ a rar folosit˘ a.
ˆIn super-rezolut ¸ia multi-frame , mai multe imagini sunt combinate pentru a obt ¸ine o sin-
gur˘ a imagine cu rezolut ¸ie ˆ ınalt˘ a. ˆIn timpul contopirii acestor imagini cu rezolut ¸ie sc˘ azut˘ a
metode de aproximare a pixelilor sunt folosite, iar acestea pot blura (estompa) imaginea ﬁ-
nal˘ a. A¸ sadar sunt necesare metode de eliminare a blur-ului din imagini [4,41]. Aproximarea
nucleului de blur(blur kernel ) are un rol important ˆ ın obt ¸inerea super-rezolut ¸iei, ˆ ıns˘ a multe
metode folosesc un nucleu deja cunoscut pentru simplitate. Acest nucleu deja ¸ stiut poate
ajuta la estimare unei imagini cu rezolut ¸ie ˆ ınalt˘ a dintr-un set de imagini cu rezolut ¸ie sc˘ azut˘ a,
ˆ ıns˘ a pentru imagini obt ¸inute din practic˘ a, ce au alt blur de mi¸ scare, nucleul de blur poate
ﬁ total diferit [47]. Pentru estimarea nucleului de blurˆ ın cadrul Bayesian sunt propu¸ si nu-
mero¸ si algoritmi. Liu ¸ si Sun [47] au propus recent o metod˘ a Bayesian˘ a ce calculeaz˘ a simultan
nivelul de zgomot, nucleul de blur,blur-ul de mi¸ scare ¸ si imaginea cu rezolut ¸ie ˆ ınalt˘ a. Un al-
goritm de deconvolut ¸ie oarb˘ a poate ﬁ folosit cˆ and nu avem nicio informat ¸ie despre nivelul de
zgomot sau nucleul de blur. Metodele de deconvolut ¸ie oarb˘ a recupereaz˘ a funct ¸ia de blurring
din imaginile cu rezolut ¸ie sc˘ azut˘ a ¸ si aproximeaz˘ a imaginea cu rezolut ¸ie ˆ ınalt˘ a f˘ ar˘ a informat ¸ii

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
init ¸iale asupra imaginii originale sau a blur-ului [48–52]. Sroubek et al. [48] au dezvoltat un
model de deconvolut ¸ie oarb˘ a pe canale multiple pentru super-rezolut ¸ie, unde imaginile cu
rezolut ¸ie sc˘ azut˘ a sunt unite minimizˆ and funct ¸ia de energie E(X, h).
E(X, h) = argminK∑
k=1∥yk−DHkX∥2+αQ(X) +βR(h) (5)
Primul termen din ecuat ¸ie este termenul de ﬁdelitate, iar ceilalt ¸i doi termeni sunt termeni
de regularizare. Q(X) este termenul folosit pentru netezire, iar R(h) este termenul PSF.
A¸ sadar regularizarea este aplicat˘ a atˆ at ˆ ın domeniul de blur, cˆ at ¸ si ˆ ın cel al imaginii. Bai ¸ si
asociat ¸ii [49] au propus o metod˘ a ˆ ın domeniul frecvent ¸ei ce selecteaz˘ a adaptiv parametrul
termenului de regularizare. ˆIn [50–52] metode combinate de deconvolut ¸ie oarb˘ a ¸ si estimator
MAP sunt folosite pentru a estima blur-ul, respectiv imaginea cu rezolut ¸ie ˆ ınalt˘ a.
5 Super-rezolut ie single-frame
Dup˘ a cum am v˘ azut, o multitudine de algoritmi multi-frame pentru obt ¸inerea super-rezolut ¸iei
au fost dezvoltat ¸i, ˆ ıns˘ a ace¸ stia depind foarte mult de precizia aproxim˘ arii parametrilor de
ˆ ınregistrare [53]. Metodele de ˆ ınregistrare au ˆ ın principal constrˆ angeri cauzate de mi¸ scarea
global˘ a, ˆ ıns˘ a componente diferite ale aceleia¸ si scene pot avea mi¸ sc˘ ari total diferite ˆ ın practic˘ a.
ˆIn aceste cazuri metodele de super-rezolut ¸ie multi-frame nu duc la un rezultat favorabil, uneori
imaginile init ¸iale avˆ and o calitate a informat ¸iei mai bun˘ a decˆ at cele cu super-rezolut ¸iei.
Mai mult decˆ at atˆ at informat ¸iile stocate ˆ ın frecvent ¸ele ˆ ınalte ce sunt pierdute ˆ ın timpul
achizit ¸iei imaginilor nu pot ﬁ recuperate folosind tehnici multi-frame . O metod˘ a alternativ˘ a
este folosirea algoritmilor de super-rezolut ¸ie bazat ¸i pe o singur˘ a imagine.
Figure 6: Super-rezolut ¸ie bazat˘ a pe ˆ ınv˘ at ¸areMajoritatea algoritmilor de super-rezolut ¸ie
bazat ¸i pe o singur˘ a imagine folosesc meca-
nisme de ˆ ınv˘ at ¸are ¸ si sunt numit ¸i algoritmi
de super-rezolut ¸ie bazat ¸i pe ˆ ınv˘ at ¸are. Acest
mecanism de ˆ ınv˘ at ¸are extrage informat ¸ia din
frecvent ¸ele ˆ ınalte pierdut˘ a ˆ ın procesul de
capturare a imaginilor folosind surse externe
(training set ) ¸ si une¸ ste aceast˘ a informat ¸ie
cu imaginile cu rezolut ¸ie sc˘ azut˘ a capturate,
obt ¸inˆ andu-se astfel o imagine cu super-
rezolut ¸ie [30]. Acest set de antrenament
(training set ) este format din un num˘ ar mare
de imagini cu rezolut ¸ie ˆ ınalt˘ a ¸ si versiunea
lor simulat˘ a de imagini cu rezolut ¸ie sc˘ azut˘ a.
Eﬁcient ¸a algoritmilor bazat ¸i pe ˆ ınv˘ at ¸are de-
pinde extrem de mult de aceste imagini aﬂate
ˆ ın setul de antrenament, a¸ sadar acestea tre-
buie alese ˆ ın a¸ sa fel ˆ ıncˆ at s˘ a ﬁe similare
cu imaginile ce urmeaz˘ a a ﬁ capturate ˆ ın
practic˘ a ¸ si s˘ a cont ¸in˘ a informat ¸ii de frecvent ¸˘ a
ˆ ınalt˘ a [30].

23
Figura 6 reprezint˘ a o schem˘ a a algoritmilor de super-rezolut ¸ie bazat ¸i peˆ ınv˘ at ¸are. Metodele
de super-rezolut ¸ie bazate pe ˆ ınv˘ at ¸are cuprind urm˘ atoarele trei etape: extragerea caracteris-
ticilor, ˆ ınv˘ at ¸area ¸ si reconstruct ¸ia.
Etapa de extragere a caracteristicilor
Aceast˘ a etap˘ a presupune extragerea caracteristicilor setului de imagini de antrenament dar ¸ si
ale imaginii de test separat. Init ¸ial imaginile sunt segmentate ˆ ın buc˘ at ¸i mai mici ce sunt apoi
redimensionate ¸ si scalate cu ajutorul unor ﬁltre. Buc˘ at ¸ile din imaginea cu rezolut ¸ie ˆ ınalt˘ a
¸ si corespondentele lor din imaginea cu rezolut ¸ie sc˘ azut˘ a ce a fost obt ¸inut˘ a sunt grupate
ˆ ın perechi. Apoi caracteristicile buc˘ at ¸ilor din setul de antrenament sunt extrase. Analog,
caracteristicile imaginilor de test sunt extrase. ˆIn acest moment exist˘ a cˆ ateva tehnici de
extragere a caracteristicilor ce au fost dezvoltate de diver¸ si cercet˘ atori. De exemplu, ˆ ın
[54–58] un ﬁltru de schimbare a benzii, pe cˆ and ˆ ın [59] sunt folosite atˆ at frecvent ¸ele ˆ ınalte
cˆ at ¸ si cele joase ale imaginilor. Asem˘ an˘ ator, obt ¸inerea derivatelor Gaussiene [60], derivatelor
gradientului [61], piramidei Laplaciene [62] ¸ si piramidei Steerable [63] au fost propuse. Mult ¸i
cercet˘ atori au folosit valorile lumiant ¸ei ca f ¸iind cea mai important˘ a parte a muncii lor [64–71].
Coeﬁcient ¸ii DCT [72], transformarea wavelet [73], transformarea contourlet [30] ¸ si Principle
Component Analysis (PCA) [74] au fost folosite ca ¸ si caracteristici ˆ ın super-rezolut ¸ie bazat˘ a
pe ˆ ınv˘ at ¸are.
Etapa de ^ nv at are
Caracteristicile extrase din setul de antrenament ¸ si cele extrase din imaginile cu rezolut ¸ie
sc˘ azut˘ a capturate sunt egalate (sincronizate) folosind modele de ˆ ınv˘ at ¸are. Asem˘ an˘ ator mod-
elelor de extragere a caracteristicilor, mai multe modele de ˆ ınv˘ at ¸are au fost propuse ˆ ın ultimii
ani. Cele mai cunoscute metode sunt Best Matching [59,61,63,68], MRF [30,54,60,73], Neigh-
bor Embedding [70,75–77] ¸ si Sparse Representation [56–58,64,78–84]. Printre alte metode mai
rar ˆ ıntˆ alnite se num˘ ar˘ a PCA Construction [66], Canonical Correlation Analysis [74], Locally
Linear Embedding Construction [55], Content-based Classiﬁcation ¸ siClass-speciﬁc Predic-
tors [62], Position-patch Construction [67] ¸ si Support Vector Regression [72]. Glasner et
al. [71] au introdus o metod˘ a ce combin˘ a super-rezolut ¸ia bazat˘ a pe ˆ ınv˘ at ¸are cu cea bazat˘ a pe
reconstruct ¸ie. Algoritmul de ˆ ınv˘ at ¸are asociaz˘ a caracteristici ale imaginii cu rezolut ¸ie sc˘ azut˘ a
capturate cu cele ale imaginilor cu rezolut ¸ie sc˘ azut˘ a din setul de antrenament. Deoarece
imaginile cont ¸inute ˆ ın setul de antrenament, respectiv cele cu rezolut ¸ie sc˘ azut˘ a ¸ si cele cu
rezolut ¸ie ˆ ınalt˘ a, sunt organizate ˆ ın perechi, caracteristicile fragmentelor din imaginile cu
rezolut ¸ie ˆ ınalt˘ a ce corespund celor din imaginile cu rezolut ¸ie sc˘ azut˘ a sunt aplicate imaginii
capturate ¸ si sunt alese pentru super-rezolut ¸ie.
Etapa de reconstruct ie
Algoritmii de ˆ ınv˘ at ¸are ¸ si de extragere a caracteristicilor aproximeaz˘ a caracteristicile imag-
inii cu rezolut ¸ie ˆ ınalt˘ a din imaginea capturat˘ a. Aceste caracteristici sunt apoi implemen-
tate asupra fragmentelor din imaginea cu rezolut ¸ie sc˘ azut˘ a pentru a obt ¸ine un fragment cu
rezolut ¸ie ˆ ımbun˘ at˘ at ¸it˘ a. Ultimul pas este de a reuni toate fragmentele ˆ ıntr-o imagine cu super-
rezolut ¸ie [30]. O descriere detaliat˘ a a acestui proces se reg˘ ase¸ ste ˆ ın ﬁgura 6. Exist˘ a multe
metode bazate pe ˆ ınv˘ at ¸are dezvoltate pˆ an˘ a acum ˆ ıns˘ a metoda bazat˘ a pe exemple propus˘ a

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
de Kim ¸ si Kwon [85, 86] dep˘ a¸ se¸ ste multe alte metode de ultim˘ a or˘ a. Aceast˘ a metod˘ a se
bazeaz˘ a pe cadrul deja stabilit de Freeman et al. [54] ce stabile¸ ste perechile de fragmente
din imaginile cu rezolut ¸ie ˆ ınalt˘ a, respectiv cele cu rezolut ¸ie sc˘ azut˘ a ˆ ın etapa de antrenament.
ˆIn etapa de ˆ ınv˘ at ¸are ﬁecare fragment al imaginii cu rezolut ¸ie sc˘ azut˘ a capturat˘ a este com-
parat cu seturile de fragmente ale imaginilor cu rezolut ¸ie sc˘ azut˘ a de antrenament ce erau
deja ˆ ınregistrate ¸ si folosind metoda de c˘ autare al celui mai apropiat vecin se g˘ ase¸ ste cel
mai asem˘ an˘ ator fragment al imaginilor cu rezolut ¸ie sc˘ azut˘ a de antrenament ¸ si se folose¸ ste
imaginea cu rezolut ¸ie ˆ ınalt˘ a asociat˘ a. Totu¸ si, metoda lui Freeman et al. [54] duce deseori
la o imagine cu blurdatorit˘ a algoritmului nearest neighbor . Kim ¸ si Kwon [85] au modiﬁcat
aceast˘ a metod˘ a ˆ ınlocuind c˘ autarea celui mai apropiat vecin cu sparse kernel ridge regression .
ˆIn algoritmul lor regresia kernel ridge este folosit˘ a pentru a crea o hart˘ a ˆ ıntre fragmentele
imaginii capturate ¸ si fragmentele perechilor de imagini din setul de antrenament. Aceast˘ a
metod˘ a produce totu¸ si un efect de blur¸ si de rotunjire la frontiere, ˆ ıns˘ a acestea sunt u¸ sor de
eliminat ˆ ın postprocesare [85].
ˆIn ultimii zeci de ani s-au desf˘ a¸ surat studii masive asupra algoritmilor de sparse rep-
resentation .Sparse representation este procedeul de aproximare a unei imagini sau a unui
semnal folosind combin˘ ari liniare a unui set restrˆ ans de semnale elementare numite atomi.
Atomii sunt ale¸ si ori dintr-un set predeﬁnit de funct ¸ii (dict ¸ionar bazat pe analiz˘ a), cum ar ﬁ
Transformarea Discret˘ a Cosinus (DCT), ori ˆ ınv˘ at ¸at ¸i dintr-un set de antrenament (dict ¸ionar
bazat pe ˆ ınv˘ at ¸are). Principalul avantaj al acestor algoritmi este c˘ a coeﬁcient ¸ii reprezent˘ arii
semnalului sunt risipit ¸i, adic˘ a exist˘ a foarte mult ¸i coeﬁcient ¸i ce sunt egali cu zero ¸ si foarte
put ¸ini diferit ¸i de zero. Mai exact, considerˆ and un semnal de timp discret ¸ si ﬁnit x∈RN¸ si
un dint ¸ionar complet D∈RNK;N < K . Scopul este s˘ a reprezent˘ am semnalul xfolosind
dict ¸ionarul Dˆ ın a¸ sa fel ˆ ıncˆ at eroarea reprezent˘ arii semnalului ∥Dα−x∥2, unde αeste vec-
torul sparse representation , este minimizat˘ a. Pentru a reprezenta un semnal folosind sparse
representation este necesar s˘ a se rezolve urm˘ atoarea problem˘ a de optimizare [57].
argmin∥α∥0,unde x=Dα (6)
Sparse representation a devenit un domeniu major de cercetare ˆ ın procesarea semnalelor.
Folosind aceast˘ a metod˘ a cˆ at ¸iva cercet˘ atori au propus algoritmi bazat ¸i pe ˆ ınv˘ at ¸are pentru
obt ¸inerea super-rezolut ¸iei [56–58,64,78–84]. Super-rezolut ¸ia bazat˘ a pe sparse representation
calculeaz˘ a aproximarea sparse a fragmentului din imaginea cu rezolut ¸ie sc˘ azut˘ a capturat˘ a
¸ si folose¸ ste coeﬁcient ¸ii aproxim˘ arii pentru a estima fragmentul cu rezolut ¸ie ˆ ınalt˘ a. Aceast˘ a
metod˘ a folose¸ ste dou˘ a dict ¸ionare Dh¸ siDlcompletate concomitent din fragmente cu rezolut ¸ie
ˆ ınalt˘ a ¸ si sc˘ azut˘ a. Exist˘ a o necesitate de a accentua similaritatea codiﬁc˘ arii sparse dintre frag-
mentul cu rezolut ¸ie sc˘ azut˘ a ( j=Dlβ) ¸ si cel cu rezolut ¸ie ˆ ınalt˘ a ( l=Dhα). Dict ¸ionarul extras
din fragmentul cu rezolut ¸ie ˆ ınalt˘ a, Dh, este aplicat cu reprezentarea sparse a fragmentului cu
rezolut ¸ie sc˘ azut˘ a ( Dhβ) pentru a obt ¸ine fragmentul cu super-rezolut ¸ie. Zeyde et al. [58] au
aplicat algoritmul de ˆ ınv˘ at ¸are a dict ¸ionarului K-SVD pentru a aﬂa perechea rezolut ¸ie ˆ ınalt˘ a
– rezolut ¸ie sc˘ azut˘ a din dict ¸ionar, lucru ce a m˘ arit performant ¸a acestei metode.
Folosind metoda sparse representation , fragmentul ﬁnal cu super-rezolut ¸ie al imaginii este
generat din combinarea coeﬁcient ¸ilor sparse ai fragmentului cu rezolut ¸ie sc˘ azut˘ a ¸ si dict ¸ionarul
rezolut ¸iei ˆ ınalte. Eﬁcacitatea metodei depinde atˆ at de coeﬁcient ¸ii sparse ai imaginii cu
rezolut ¸ie sc˘ azut˘ a cˆ at ¸ si de dict ¸ionarul rezolut ¸iei ˆ ınalte [87]. Mult ¸i cercet˘ atori au propus
noi algoritmi pentru a estima mai bine dict ¸ionarul rezolut ¸iei ˆ ınalte ¸ si coeﬁcient ¸ii sparse ai
imaginii cu rezolut ¸ie sc˘ azut˘ a. Zhang ¸ si asociat ¸ii [78] au propus o metod˘ a a ˆ ınv˘ at ¸˘ arii unui
dict ¸ionar dual ce const˘ aˆ ınˆ ınv˘ at ¸area dict ¸ionarului principal ¸ siˆ ınv˘ at ¸area dict ¸ionarului rezidual

25
pentru a recupera informat ¸ia frecvent ¸elor ˆ ınalte pentru rezolut ¸ia ˆ ınalt˘ a principal˘ a ¸ si rezolut ¸ia
ˆ ınalt˘ a rezidual˘ a. Detalii adit ¸ionale pot ﬁ ad˘ augate imaginii cu rezolut ¸ie sc˘ azut˘ a folosind pro-
cesul de ˆ ınv˘ at ¸are double-channel . Deoarece imaginea cu super-rezolut ¸ie ﬁnal˘ a este obt ¸inut˘ a
din coeﬁcient ¸ii sparse ai imaginii cu rezolut ¸ie sc˘ azut˘ a ¸ si dict ¸ionarul rezolut ¸iei ˆ ınalte ˆ ınv˘ at ¸at,
randamentul metodei depinde atˆ at de coeﬁcient ¸i cˆ at ¸ si de dict ¸ionar. Yang et al. [81] au redus
timpul de execut ¸ie a super-rezolut ¸iei prin sparse representation folosind un model de ˆ ınv˘ at ¸are
prin ret ¸ea neural˘ a pentru interferent ¸˘ a sparse rapid˘ a ¸ si procesarea selectiv˘ a a caracteristicilor
vizuale proeminente. Folosind metodele analitice, dar ¸ si pe cele bazate peˆ ınv˘ at ¸are, Kanakaraj
¸ si Kathiravan [82] au perfect ¸ionat metoda de ˆ ınv˘ at ¸are a dict ¸ionarului.
Dong et al. [83] au propus o metod˘ a de sparse representation bazat˘ a pe grupare, numit˘ a
Adaptive Sparse Domain Selection (ASDS) pentru a ˆ ımbun˘ at˘ at ¸i dict ¸ionarul. Aceast˘ a metod˘ a
presupune adunarea fragmentelor imaginiiˆ ın mai multe grupuri, iar un sub-dict ¸ionar compact
este ˆ ınv˘ at ¸at din ﬁecare grup. Pentru ﬁecare fragment al imaginii, cel mai bun sub-dict ¸ionar
poate ﬁ ales, ce poate reconstrui imaginea mai bine decˆ at un dict ¸ionar global. ˆIntr-un alt
studiu Dong et al. [84] au propus interpolarea imaginilor bazat˘ a pe sparse representation
care ˆ ıncorporeaz˘ a auto-similarit˘ at ¸ile nelocale ale imaginii ˆ ın modelul sparse representation .
Termenul de auto-similaritate se refer˘ a la similaritatea valorilor pixelilor din imagine sau a
structurii acestora ˆ ın diverse locuri din imagine. Algoritmul include un model autoregresiv
nelocal ca un nou termen de ﬁdelitate ˆ ın metoda sparse representation , lucru ce reduce
coerent ¸a dintre dict ¸ionare ¸ si face metoda mult mai eﬁcient˘ a. Dong ¸ si asociat ¸ii nu numai
c˘ a au estimat un dict ¸ionar al rezolut ¸iei ˆ ınalte mai bun pentru ﬁecare fragment al imaginii,
dar au ¸ si folosit auto-similaritatea nelocal˘ a a imaginii pentru a obt ¸ine o aproximare bun˘ a a
coeﬁcient ¸ilor sparse representation ai imaginii cu rezolut ¸ie sc˘ azut˘ a. Recent, Dong et al. au
propus dou˘ a noi metode pentru extragerea coeﬁcient ¸ilor sparse dintr-o imagine cu rezolut ¸ie
sc˘ azut˘ a cˆ at mai apropiat˘ a posibil de imaginea original˘ a folosind constrˆ angeri de diminuare
(sparsity constraints ) nelocale. Acestea sunt Centralized Sparse Representation (CSR) [79] ¸ si
Nonlocally Centralized Sparse Representation (NCSR) [80].
Principalele obstacole ^ n calea reconstruct iei
PLACEHOLDER
6 Comparat ie a performant ei ^ ntre diferite tehnici de
rezolut ie
Metode de m asurare si optimizare a calit at ii imaginii
Pentru a compara performant ¸a metodelor de super-rezolut ¸ie, Peak-SNR (PSNR) ¸ si Similari-
tatea Structural˘ a (SSIM) dintre imaginea cu super-rezolut ¸ie aproximat˘ a ¸ si cea original˘ a sunt
calculate. PSNR-ul este calculat folosind Mean Square Error (MSE), ce este eroarea medie
dintre imaginea original˘ a ¸ si cea obt ¸inut˘ a prin super-rezolut ¸ie. Fie o imagine m×ncu super-
rezolut ¸ie notat˘ a ˆX(i, j) ¸ si imaginea original˘ a X(i, j), MSE ¸ si PSNR sunt deﬁnite dup˘ a cum
urmeaz˘ a:
MSE =1
mnm1∑
i=0n1∑
j=0[X(i, j)−ˆX(i, j)]2(7)

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
PSNR = 20 log10(L√
MSE)
(8)
Index-ul SSIM calculeaz˘ a similaritatea dintre imaginea original˘ a ¸ si cea cu super-rezolut ¸ie
[88]. Acesta ia ˆ ın considerare lumiant ¸a, contrastul ¸ si schimb˘ arile structurale dintre cele dou˘ a
imagini. Index-ul SSIM este calculat dup˘ a cum urmeaz˘ a:
SSIM (x,ˆx) =(2µxµ^x+c1)(2σx^x+c2)
(µ2
x+µ2
^x+c1)(σ2
x+σ2
^x+c2)(9)
unde µx¸ siµ^xsunt mediile, iar σx¸ siσ^xsunt deviat ¸iile standard ale imaginilor original˘ a ¸ si
cea cu super-rezolut ¸ie, σx^xeste covariant ¸a lui X¸ siˆX, c 1, c2sunt constante. SSIM m˘ asoar˘ a
similaritatea dintre dou˘ a imagini. Cˆ and imaginea cu super-rezolut ¸ie este foarte aproape de
cea original˘ a, valoarea SSIM-ului se apropie de 1.
7 Super-rezolut ie folosind sparse representation
Recuperarea semnalului bazat a pe reprezentare sparse
Problema ˆ ın obt ¸inerea unei imagini cu rezolut ¸ie ˆ ınalt˘ a dintr-o imagine cu rezolut ¸ie sc˘ azut˘ a
este subiectul acestei lucr˘ ari. Similar metodelor bazate pe ˆ ınv˘ at ¸are prezentate anterior,
principalele surse de informat ¸ie sunt fragmentele imaginii capturate, ˆ ıns˘ a ˆ ın loc s˘ a lucr˘ am
cu perechile de fragmente obt ¸inute din imaginile cu rezolut ¸ie sc˘ azut˘ a ¸ si cele cu rezolut ¸ie
ˆ ınalt˘ a [56], abord˘ am o reprezentare compact˘ a a acestor perechi pentru informat ¸ia a priori ,
ˆ ımbun˘ at˘ at ¸ind ˆ ın acest fel timpul de execut ¸ie. Aceast˘ a abordare este propus˘ a datorit˘ a des-
coperirilor f˘ acute ˆ ın cercetarea semnalelor sparse ce dovede¸ ste c˘ a se pot obt ¸ine relat ¸ii de
liniaritare ˆ ıntre semnalele rezolut ¸iei ˆ ınalte folosind proiect ¸iile lor cu rezolut ¸ie sc˘ azut˘ a [ ?,?].
FieD∈RnKun dict ¸ionar complet cu Ksurse ¸ si un semnal x∈Rnce poate ﬁ reprezentat
ca o combinat ¸ie liniar˘ a sparse ce respect˘ a D. Adic˘ a semnalul xpoate ﬁ scris ca x=Dα0,
unde α0∈RKeste un vector cu foarte put ¸ine elemente ( ≪K) nenule. ˆIn practic˘ a se poate
observa un set limitat de m˘ asur˘ atori yale lui x:
y=Lx=LDα0, (10)
unde L∈Rkn, cu k < n , este matricea de proiect ¸ie. ˆIn contextul super-rezolut ¸iei
prezentat, xeste o imagine cu rezolut ¸ie ˆ ınalt˘ a (sau un fragment de imagine), iar yeste
corespondenta sa cu rezolut ¸ie sc˘ azut˘ a. Dac˘ a dict ¸ionarul Deste complet, ecuat ¸ia x=Dα
este subdeterminat˘ a pentru coeﬁcient ¸ii αnecunoscut ¸i. Ecuat ¸ia y=LDαeste cu atˆ at mai
mult subdeterminat˘ a. Totu¸ si, sub condit ¸ii favorabile, solut ¸ia sparse α0a acestei ecuat ¸ii va ﬁ
unic˘ a. Mai mult decˆ at atˆ at, dac˘ a Dsatisface o condit ¸ie de izometrie potrivit˘ a, atunci pentru
o varietate de matrici L, orice reprezentare liniar˘ a a unui fragment cu rezolut ¸ie ˆ ınalt˘ a x, ˆ ın
concordant ¸˘ a cu Dpoate ﬁ recuperat (aproape) perfect din fragmentul cu rezolut ¸ie sc˘ azut˘ a a
imaginii [ ?,?].
Reprezentarea sparse a fost aplicat˘ a cu succes ˆ ın multe alte probleme inverse ˆ ın proce-
sarea imaginilor, cum ar ﬁ eliminarea zgomotului [2] ¸ si restaurarea imaginilor [ ?], deseori
ˆ ımbun˘ at˘ at ¸ind cele mai noi metode. De exemplu, ˆ ın [2], autorii folosesc algoritmul K-SVD [ ?]
pentru a ˆ ınv˘ at ¸a un dict ¸ionar complet din fragmentele unor imagini naturale ¸ si s˘ a ˆ ıl aplice cu
succes ˆ ın problema elimin˘ arii zgomotului din imagini. ˆIn metoda prezentat˘ a ˆ ın aceast˘ a lu-
crare, nu se calculeaz˘ a direct reprezentarea sparse a fragmentului cu rezolut ¸ie ˆ ınalt˘ a. Metoda

27
presupune folosirea a dou˘ a dict ¸ionare cuplate, Dhpentru fragmente cu rezolut ¸ie ˆ ınalt˘ a, iar
Dlpentru fragmente cu rezolut ¸ie sc˘ azut˘ a. Reprezentarea sparse a unui fragment cu rezolut ¸ie
sc˘ azut˘ a, ˆ ın ceea ce prive¸ ste dict ¸ionarul Dlo s˘ a ﬁe folosit˘ a direct pentru a recupera fragmentul
cu rezolut ¸ie ˆ ınalt˘ a corespunz˘ ator din Dh. Se poate obt ¸ine o solut ¸ie local˘ a consistent˘ a dac˘ a
fragmentele imaginii sunt suprapuse ¸ si o condit ¸ie ca zonele ce se suprapun din fragmentele
cu super-rezolut ¸ie s˘ a se potriveasc˘ a este impus˘ a. Spre deosebire de algoritmul K-SVD, se
ˆ ıncearc˘ a ˆ ınv˘ at ¸area celor dou˘ a dict ¸ionare ˆ ıntr-un mod probabilistic similar cu cel prezentat
ˆ ın [?]. Pentru a impune ca perechile de fragmente ale imaginilor sa aib˘ a acelea¸ si reprezent˘ ari
sparse ce respect˘ a Dh¸ siDl, cele dou˘ a dict ¸ionare sunt ˆ ınv˘ at ¸ate simultan, concatenˆ andu-le
folosind normalizarea. Dict ¸ionarele compacteˆ ınv˘ at ¸ate vor ﬁ aplicate atˆ at asupra unor imagini
generale, cˆ at ¸ si asupra imaginilor faciale pentru a demonstra eﬁcient ¸a acestei metode.
Comparativ cu metodele bazate pe fragmente, acest algoritm are nevoie doar de cele
dou˘ a dict ¸ionare compacte ˆ ınv˘ at ¸ate, ˆ ın loc de o baz˘ a de date cu fragmente de antrenament
masiv˘ a. Calculele, bazate ˆ ın mare pe programare liniar˘ a sau optimizare convex˘ a este mult
mai eﬁcient˘ a ¸ si scalabil˘ a, fat ¸˘ a de [54, 55, 60]. Recuperarea reprezent˘ arii sparse este f˘ acut˘ a
folosind dict ¸ionarul rezolut ¸iei sc˘ azute, dict ¸ionarul rezolut ¸ieiˆ ınalte ﬁind folosit pentru a calcula
imaginea cu rezolut ¸ie ˆ ınalt˘ a ﬁnal˘ a. Reprezentarea sparse calculat˘ a selecteaz˘ a adaptiv cele
mai relevante baze ale fragmentelor din dict ¸ionar, ce reprezint˘ a cˆ at mai bine fragmentul cu
rezolut ¸ie sc˘ azut˘ a ce trebuie procesat. Aceast˘ a abordare duce la o performant ¸˘ a ridicat˘ a, atˆ at
calitativ cˆ at ¸ si cantitativ ¸ si genereaz˘ a texturi mai clare ¸ si frontiere mai evident ¸iate, comparat
cu metode [55] care folosesc un num˘ ar ﬁx de vecini apropiat ¸i. ˆIn plus, reprezentarea sparse
este eﬁcient˘ a ˆ ımpotriva zgomotului de imagine [2], a¸ sadar acest algoritm elimin˘ a ¸ si zgomotul,
pe cˆ and alte metode nu pot obt ¸ine super-rezolut ¸ia ¸ si elimina zgomotul ˆ ın acela¸ si timp.
Notat ii
Sunt notate cu X¸ siYimaginile cu rezolut ¸ie ˆ ınalt˘ a, respectiv cele cu rezolut ¸ie sc˘ azut˘ a, iar
cux¸ siyfragmentele cu rezolut ¸ie ˆ ınalt˘ a, respectiv cele cu rezolut ¸ie sc˘ azut˘ a. Se folose¸ ste D
pentru a reprezenta dict ¸ionarul pentru codarea sparse , iarDheste dict ¸ionarul fragmentelor
cu rezolut ¸ie ˆ ınalt˘ a ¸ si Dlcel al fragmentelor cu rezolut ¸ie sc˘ azut˘ a. Literele mici ˆ ıngro¸ sate
reprezint˘ a vectori. Literele mici neˆ ıngro¸ sate reprezint˘ a scalari. Literele mari neˆ ıngro¸ sate
reprezint˘ a matrici, de exemplu Deste folosit˘ a ca matrice de scalare.
Constr^ angeri ale super-rezolut iei
Problema super rezolut ¸iei este: dat˘ a ﬁind o imagine cu rezolut ¸ie sc˘ azut˘ a Y, s˘ a se recupereze
o imagine Xcu o rezolut ¸ie mai ridicat˘ a al aceluia¸ si cadru. Dou˘ a constrˆ angeri sunt formulate
pentru a ajuta la rezolvarea acestei probleme: 1) constrˆ angerea de reconstruct ¸ie, ce impune ca
imaginea Xrecuperat˘ a s˘ a ﬁe ˆ ın concodrant ¸˘ a cu imaginea de intrare Y¸ si s˘ a respecte modelul
observat ¸ional al imaginii; iar 2) sparsity prior , ce presupune ca fragmentele cu rezolut ¸ie ˆ ınalt˘ a
s˘ a ﬁe reprezentate sparse ˆ ıntr-un dict ¸ionar complet ales ¸ si c˘ a reprezent˘ arile lor sparse pot ﬁ
recuperate din imaginea original˘ a a c˘ arei rezolut ¸ie este sc˘ azut˘ a.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Constr^ angerea de reconstruct ie
Imaginea cu rezolut ¸ie sc˘ azut˘ a observat˘ a Yeste o versiune scalat˘ a ¸ si estompat˘ a a imaginii cu
rezolut ¸ie ˆ ınalt˘ a X:
Y=SHX. (11)
Aici, Hreprezint˘ a un ﬁltru de estompare ( blur), iar Seste operatorul de scalare.
Problema super-rezolut ¸iei este totu¸ si una subdeterminat˘ a , deoarece pentru o imagine
primit˘ a ca intrare Y, exist˘ a o inﬁnitate de imagini cu reyoluˆ ac tie ˆ ınalt˘ a Xce satisfac
constrˆ angerea de mai sus. Pentru a regulariza problema folosim prior -ul urm˘ ator asupra
fragmentelor xdinX.
Sparsity prior
Fragmentele xale imaginii cu rezolut ¸ie ˆ ınalt˘ a Xpot ﬁ reprezentate ca o combinat ¸ie liniar˘ a
sparse ˆ ıntr-un dict ¸ionar Dhformat din fragmente cu rezolut ¸ie ˆ ınalt˘ a extrase din imagini de
antrenament:
x≈Dhαpentru α∈RKcu∥α∥0≪K. (12)
Reprezentarea sparse αeste obt ¸inut˘ a reprezentˆ and fragmentele yale imaginii de intrare
Y, respectˆ and dict ¸ionarul rezolut ¸iei sc˘ azute Dl, antrenat simultan cu Dh.
Aceast˘ a metod˘ a poate ﬁ aplicat˘ a atˆ at asupra imaginilor generale cˆ at ¸ si asupra celor faciale.
Pentru super-rezolut ¸ia imaginilor generale, problema este ˆ ımp˘ art ¸it˘ a ˆ ın dou˘ a p˘ art ¸i. Prima,
dup˘ a cum este sugerat de c˘ atre sparsity prior -ul din Ecuat ¸ia 12, este g˘ asirea reprezent˘ arii
sparse pentru ﬁecare fragment local, respectˆ and compatibilitatea dintre vecini. Apoi, folosind
rezultatul obt ¸inut la primul pas, regulariz˘ am ¸ si perfect ¸ion˘ am ˆ ıntreaga imagine folosind con-
strˆ angerea de reconstruct ¸ie prezentat˘ a ˆ ın Eciat ¸ia 11. Aceast˘ a metod˘ a presupune folosirea
unui model local din sparsity prior pentru a recupera frecvent ¸ele ˆ ınalte pierdute ce core-
spund detaliilor locale. Modelul global din constrˆ angerea de reconstruct ¸ie este apoi aplicat
pentru a elimina posibilele artefacte provenite din prima etap˘ a ¸ si pentru a face imaginea mai
natural˘ a ¸ si consistent˘ a.
Imaginile faciale difer˘ a de cele generale deoarece acestea au o anumit˘ a structur˘ a, a¸ sadar
constrˆ angerile de reconstruct ¸ie sunt mai eﬁciente pe un astfel de spat ¸iu. Pentru super-re-
zolut ¸ie facial˘ a cei doi pa¸ si prezentat ¸i mai sus sunt inversat ¸i pentru a proﬁta de avantajul
oferit de structura fet ¸ei. Mai ˆ ıntˆ ai este g˘ asit un subspat ¸iu potrivit pentru fet ¸ele umane ¸ si
sunt aplicate constrˆ angerile de reconstruct ¸ie pentru a recupera o imagine cu o rezolut ¸ie medie.
Apoi detaliile locale sunt recuperate folosind sparsity prior -ul pentru fragmentele imaginii.
Super-rezolut ia imaginilor generale folosind Sparsity
Modelul local folosind reprezentarea sparse
Asem˘ an˘ ator metodelor bazate pe fragmente, algoritmul propus presupune obt ¸inerea unui
fragment cu rezolut ¸ie ˆ ınalt˘ a dintr-un fragment cu rezolut ¸ie sc˘ azut˘ a ce apart ¸ine imaginii cap-
turate. Pentru aceast˘ a metod˘ a sunt necesare dou˘ a dict ¸ionare Dh¸ siDlce sunt completate
simultan ¸ si au aceea¸ si reprezentare sparse pentru ﬁecare pereche de fragmente cu rezolut ¸ie
ˆ ınalt˘ a, respectiv sc˘ azut˘ a. Se calculeaz˘ a valoarea medie a pixelilor pentru ﬁecare fragment,

29
astfel ˆ ıncˆ at dict ¸ionarul s˘ a reprezinte o anumit˘ a textur˘ a ¸ si nu o intensitate absolut˘ a. ˆIn pro-
cesul de reconstruct ¸ie valoarea medie pentru ﬁecare fragment al imaginii cu rezolut ¸ie ˆ ınalt˘ a
este obt ¸inut˘ a folosind versiunea cu rezolut ¸ie sc˘ azut˘ a a aecstuia.
Pentru ﬁecare fragment al imaginii capturate yse g˘ ase¸ ste o reprezentare sparse ce este
ˆ ın concordant ¸˘ a cu dict ¸ionarul Dl. Pentru obt ¸inerea fragmentului cu rezolut ¸ie ˆ ınalt˘ a x, cores-
pondentul cu rezolut ¸ie ˆ ınalt˘ a al acestuia, ce poate ﬁ g˘ asit ˆ ın dict ¸ionarul Dheste aﬂat. Prob-
lema g˘ asirii unei reprezent˘ ari sparse a luiypoate ﬁ formulat˘ a dup˘ a cum urmeaz˘ a:
min∥α∥0a.ˆ ı.∥FDlα−Fy∥2
2≤ϵ, (13)
unde Feste un operator (liniar) de extragere a caracteristicilor. Principalul obiectiv al
luiFeste de a oferi o constant˘ a ce arat˘ a cˆ at de bine este aproximat yde c˘ atre coeﬁcient ¸ii α.
ˆIn mod normal se caut˘ a un αce satisface∥Dlα−y∥2≤ϵ, ˆ ıns˘ a pentru super-rezolut ¸ie este
mai eﬁcient s˘ a ˆ ınlocuim norma 2 cu o norm˘ a p˘ atrat˘ a ∥·∥ FTFce elimin˘ a erorile de frecvent ¸˘ a
ˆ ınalt˘ a proeminente. Alegerea lui Fva ﬁ discutat˘ a ˆ ın una din sect ¸iunile ce urmeaz˘ a. De¸ si
problema optimiz˘ arii prezentat˘ a ˆ ın 13 este ˆ ın general una nedeterminat˘ a, rezultate obt ¸inute
de [?,?] sugereaz˘ a c˘ a, atˆ at timp cˆ at coeﬁcient ¸ii αsunt suﬁcient ¸i de sparse , ace¸ stia pot ﬁ aﬂat ¸i
minimizˆ and norma l1dup˘ a cum urmeaz˘ a:
min∥α∥1a.ˆ ı.∥FDlα−FY∥2
2≤ϵ. (14)
Multiplicatorii Lagrange ofer˘ a o formul˘ a echivalent˘ a,
min
∥FDlα−Fy∥2
2+λ∥α∥1, (15)
unde λeste termenul ce controleaz˘ a cˆ at de ﬁdel˘ a s˘ a ﬁe aproximarea lui y¸ si cˆ at de sparse
s˘ a ﬁe solut ¸ia. Aceast˘ a metod˘ a de a regulariza regresia liniar˘ a folosind norma l1este cunoscut˘ a
ˆ ın statistic˘ a drept lasoul [?].
Rezolvarea Ecuat ¸iei 15 individual pentru ﬁecare fragment local al imaginii nu asigur˘ a
compatibilitatea dintre fragmentele vecine. Aceast˘ a compatibilitate este impus˘ a folosind
un algoritm one-pass similar cu cel propus de Freeman [54]. Desigur c˘ a exist˘ a mai multe
metode de a impune aceast˘ a compatibilitate, de exemplu Chang et. al. [55] propun ca
valorile regiunilor ce se suprapun s˘ a ﬁe mediate, ceea ce duce desigur la un efect de estompare
asupra imaginii ﬁnale. Un alt algoritm este cel greedy one-pass [54] care ofer˘ a aproximativ
acelea¸ si rezultate ca utilizarea modelului MRF complet [ ?]. Algoritmul propus nu se bazeaz˘ a
pe modelul MRF, dar se aseam˘ an˘ a acestuia datoruit˘ a utiliz˘ arii fragmentelor de imagine cu
rezolut ¸ie ˆ ınalt˘ a reconstruite precedent asupra regiunilor ce se suprapun. Fragmentele sunt
procesate folosind scanarea de tip raster a imaginii, adic˘ a de la stˆ anga la dreapta ¸ si de
sus ˆ ın jos. Ecuat ¸ia 14 este modiﬁcat˘ a astfel ˆ ıncˆ at reconstruct ¸ia cu super-rezolut ¸ie Dhαa
fragmentului ys˘ a ﬁe constrˆ ans˘ a pentru a respecta fragmentele cu super-rezolut ¸ie adiacente
obt ¸inute la pasul anterior. Problema optimiz˘ arii ce rezult˘ a din aceste constrˆ angeri este:
min∥α∥1a.ˆ ı.∥FDlα−FY∥2
2≤ϵ1,
∥PDhα−ω∥2
2≤ϵ2, (16)
unde matricea Pextrage regiunea suprapunerii dintre fragmentul curent ¸ si imaginea cu
rezolut ¸ie ˆ ınalt˘ a obt ¸inut˘ a la pasul precedent, iar ωcont ¸ine valorile imaginii cu rezolut ¸ie ˆ ınalt˘ a
reconstruit˘ a anterior ˆ ın zona suprapunerii.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Ecuat ¸ia 16 poate ﬁ reformulat˘ a ca
min
∥˜Dα−˜y∥2
2+λ∥α∥1, (17)
unde ˜D=
FDl
βPDh
¸ si˜y=
Fy
βω
.
Parametrul βcontroleaz˘ a compromisul dintre g˘ asirea unui fragment cu rezolut ¸ie ˆ ınalt˘ a
care este compatibil cu vecinii ¸ si respectarea fragmentului cu rezolut ¸ie sc˘ azut˘ a init ¸ial. Pentru
a simpliﬁca problema, alegem β= 1 ˆ ın toate simul˘ arile. Dat˘ a ﬁind solut ¸ia optimal˘ a pentru
Ecuat ¸ia 17, α, fragmentul cu super-rezolut ¸ie poate ﬁ calculat ca x=Dhα.
Aplicarea constr^ angerii de reconstruct ie global a
Se poate observa c˘ a Ecuat ¸ia 14 ¸ si Ecuat ¸ia 16 nu necesit˘ a o egalitate strict˘ a ˆ ıntre fragmentul
cu rezolut ¸ie sc˘ azut˘ a y¸ ¸ si reconstruct ¸ia acestuia Dlα. Datorit˘ a acestui fapt ¸ si al zgomotului de
imagine, imaginea cu rezolut ¸ie ˆ ınalt˘ a X0obt ¸inut˘ a prin metoda sparse representation poate
s˘ a nu veriﬁce ˆ ın totalitate constrˆ angerea de reconstruct ¸ie din Ecuat ¸ia 11. Aceast˘ a problem˘ a
este eliminat˘ a proiectˆ and X0asupra spat ¸iului solut ¸iilor SHX=Y, adic˘ a
X= arg min
X∥SHX−Y∥2
2+c∥X−X0∥2
2. (18)
Algoritmul 1 : Super-rezolut ¸ie folosind sparse representation
1:Intrare: dict ¸ionarele Dh,Dl¸ si o imagine cu rezolut ¸ie sc˘ azut˘ a Y.
2: Pentru ﬁecare fragment 3 ×3ydinY, ˆ ıncepˆ and cu colt ¸ul stˆ anga sus, cu o suprapunere
de 1 pixel ˆ ın ﬁecare direct ¸ie,
◦Se calculeaz˘ a media pixelilor din fragmentul y¸ si o not˘ am cu m.
◦Se rezolv˘ a problema optimiz˘ arii cu ˜D¸ si˜yprezentate ˆ ın Ecuat ¸ia 17:
min ∥˜Dα−˜y∥22+λ∥α∥1.
◦Se genereaz˘ a fragmentul cu rezolut ¸ie ˆ ınalt˘ a x=Dhα.Se pune fragmentul x+m
ˆ ıntr-o imagine cu rezolut ¸ie ˆ ınalt˘ a X0.
3: Sfˆ ar¸ sit.
4: Folosind metoda gradient descent se g˘ ase¸ ste cea mai apropiat˘ a imagine de X0care
satisface constrˆ angerea de reconstruct ¸ie:
X= arg min
X∥SHX−Y∥2
2+c∥X−X0∥2
2.
5:Ie sire: imaginea cu super-rezolut ¸ie X.
Solut ¸ia acestei probleme de optimizare poate ﬁ calculat˘ a folosind metoda gradient descent .
Ecuat ¸ia acestei metode iterative este:
Xt+1=Xt+ν[HTST(Y−SHXt) + (X−X0)], (19)

31
unde Xteste estimarea imaginii cu rezolut ¸ie ˆ ınalt˘ a dup˘ a titerat ¸ii, iar νeste m˘ arimea
pasului metodei gradient descent .
Imaginea rezultat˘ a Xdup˘ a aplicarea optimiz˘ arii de mai sus este considerat˘ a imaginea
cu super-rezolut ¸ie ﬁnal˘ a. Aceasta este cˆ at de aproape posibil de imaginea X0¸ si ˆ ın acela¸ si
timp respect˘ a constrˆ angerea de reconstruct ¸ie. Tot acest proces de obt ¸inere a super-rezolut ¸iei
este prezentat ˆ ın Algoritmul 1.
Interpretarea optimiz arii globale
Algoritmul prezentat anterior poate ﬁ perceput ca un caz aparte a unei probleme inverse ˆ ın
procesarea imaginilor, ce folose¸ ste ca ¸ si cadru general sparse representation . Idei asem˘ an˘ atoare
au fost implementate ˆ ın compresia imaginilor, eliminarea zgomotului din acestea [2], sau
restaurarea imaginilor [ ?]. Pe lˆ ang˘ a plasarea problemei prezentate ˆ ıntr-un cadru mai amplu,
aceste observat ¸ii sugereaz˘ a posibilitatea ˆ ımbun˘ at˘ at ¸irii performant ¸elor, o dat˘ a cu cre¸ sterea
complexit˘ at ¸ii computat ¸ionale.
Dac˘ a ar ﬁ disponibile destule resurse computat ¸ionale, ar putea ﬁ aproximate simultan
toate fragmentele dintr-o imagine. Mai mult decˆ at atˆ at, ˆ ıntreaga imagine cu rezolut ¸ie ˆ ınalt˘ a
Xpoate ﬁ tratat˘ a ca o variabil˘ a. ˆIn loc de a impune ca Xs˘ a ﬁe reprodus˘ a perfect de
coeﬁcient ¸ii sparse α, putem penaliza diferent ¸a dintre X¸ si imaginea cu rezolut ¸ie ˆ ınalt˘ a dat˘ a de
ace¸ sti coeﬁcient ¸i, acceptˆ and astfel unele solut ¸ii care nu sunt perfect sparse , dar care respect˘ a
mai bine constrˆ angerea de reconstruct ¸ie. Acest lucru conduce la urm˘ atoarea problem˘ a de
optimizare:
X= arg min
X;fijg{∥SHX−Y∥2
2+λ∑
i;j∥αij∥0
+γ∑
i;j∥Dhαij−PijX∥2
2+τρ(X)}. (20)
Aici, αijreprezint˘ a coeﬁcient ¸ii ce corespund fragmentului ( i, j) din X, iarPijeste o ma-
trice de proiect ¸ie ce selecteaz˘ a fragmentul ( i, j) din X. O funct ¸ie ρ(X) ˆ ınglobeaz˘ a informat ¸ia
prior asupra imaginii cu rezolut ¸ie ˆ ınalt˘ a. Aeast˘ a funct ¸ie poate s˘ a depind˘ a de categoria imag-
inii sau poate avea o form˘ a general˘ a, ca ¸ si termen al regulariz˘ arii (de exemplu: Huber MRF,
variat ¸ia total˘ a, variat ¸ia total˘ a bilateral˘ a).
Algoritmul 1 poate ﬁ interpretat ca o aproximare eﬁcient˘ a din punct de vedere cumputat ¸ional
a Ecuat ¸iei 20. Pasul sparse representation genereaz˘ a coeﬁcient ¸ii αminimizˆ and suma dintre
al doilea ¸ si al treilea termen din Ecuat ¸ia 20. Termenul sparse∥αij∥0este relaxat la∥αij∥1,
iar termenul ﬁdelut˘ at ¸ii rezolut ¸iei ˆ ınalte ∥Dhαij−PijX∥2este aproximat prin versiunea sa
pentru rezolut ¸ie sc˘ azut˘ a ∥FDlαij−Fyij∥2.
Se poate observa c˘ a atunci cˆ and coeﬁcient ¸ii αsunt ﬁxat ¸i, al treilea termen din Ecuat ¸ia 20
penalizeaz˘ a diferent ¸a dintre imaginea cu super-rezolut ¸ie X¸ si reconstruct ¸ia dat˘ a de coeﬁcient ¸ii:∑
i;j∥Dhαij−PijX∥22≈ ∥X0−X∥22. A¸ sadar, pentru valori mici ale lui γ, pasul back-
projection din Algoritmul 1 minimizeaz˘ a suma dintre primul ¸ si al treilea termen al Ecuat ¸iei
20.
Totu¸ si, Algoritmul 1 nu include ¸ si alt˘ a informat ¸ie prior ˆ ın afar˘ a de cˆ at de sparse sunt
coeﬁcient ¸ii reprezent˘ arii, de exemplu, ρ(X) este absent ˆ ın calculul aproxim˘ arii. ˆIn practic˘ a
se poate observa c˘ a, folosind un dict ¸ionar potrivit, informat ¸ia prior poate ﬁ doar cea legat˘ a
desparsity , aceast˘ a informat ¸ie ﬁind suﬁcient˘ a pentru a obt ¸ine o super-rezolut ¸ie bun˘ a. Dac˘ a

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
totu¸ si mai exist˘ a ¸ si alte informat ¸ii legate de semnalul rezolut ¸iei ˆ ınalte acestea pot ﬁ incluse
ˆ ın pasul reconstruct ¸iei globale al algoritmului.
Super-rezolut ie facial a folosind Sparsity
ˆImbun˘ at˘ at ¸irea calit˘ at ¸ii ¸ si clarit˘ at ¸ii imaginilor ce cont ¸in fet ¸e este deseori dorit˘ a, ˆ ın special
ˆ ın domeniul supravegherii video, unde mereu distant ¸a dintre camer˘ a ¸ si obiectul (persoana)
de interes este mare. Spre deosebire de super-rezolut ¸ia imaginilor generalizat˘ a prezentat˘ a
anterior, imaginile ce cont ¸in fet ¸e au anumite caracteristici ce fac super-rezolut ¸ia s˘ a ﬁe mai
u¸ sor de obt ¸inut. A¸ sadar, pentru super-rezolut ¸ie facial˘ a se poate lucra cu o imagine de intrare
ce are o rezolut ¸ie chiar mai sc˘ azut˘ a dec˘ at cea din cazul general. Ideea de baz˘ a este de a
folosi ˆ ıntˆ ai prior -ul oferit de structura fet ¸ei pentru a aduce imaginea la o rezolut ¸ie medie
rezonabil˘ a, iar apoi implementarea modelului sparse local pentru a recupera detaliile. Mai
exact, solut ¸ia poate ﬁ ˆ ımp˘ art ¸it˘ a ˆ ın dou˘ a etape: 1) modelul global: folosind constrˆ angerea de
reconstruct ¸ie se obt ¸ine o imagine facial˘ a cu o rezolut ¸ie medie, aceast˘ a solut ¸ie este c˘ autat˘ a
doar ˆ ın subspat ¸iul fet ¸elor; iar 2) modelul local: folosind modelul sparse local, se recupereaz˘ a
detaliile imaginii ¸ si se obt ¸ine rezolut ¸ia dorit˘ a.
Modelul factoriz arii matricei nenule (NMF)
Pentru super-rezolut ¸ie, cea mai folosit˘ a metod˘ a pentru modelarea fet ¸ei umane este principal
component analysis (PCA), ce alege un subspat ¸iu de dimensiuni mici ce captureaz˘ a cˆ at mai
mult posibil din valorile variant ¸ei. Totu¸ si, bazele PCA sunt holistice ¸ si tind s˘ a genereze
fet ¸e netede asem˘ an˘ atoare mediei. Mai mult decˆ at atˆ at, deoarece componentele principale ale
reprezent˘ arii pot avea valori negative, reconstruct ¸ia PCA este deseori greu de interpretat.
De¸ si fet ¸ele sunt obiecte cu multe particularit˘ at ¸i, acestea au cˆ ateva p˘ art ¸i comune, cum
ar ﬁ ochii, sprˆ ancenele, nasul, gura ¸ si b˘ arbia. Nonnegative matrix factorization (NMF) [ ?]
propune reprezentarea semnalelor din imagine ca o combinat ¸ie cumulativ˘ a de caracteristici
locale. Pentru a g˘ asi un astfel de subspat ¸iu, NMF poate ﬁ formulat˘ a ca urm˘ atoarea problem˘ a
de optimizare:
arg min
U;V∥X−UV∥22cuU≥0, V≥0, (21)
unde X∈Rnmeste matricea de date, U∈Rnreste matricea baz˘ a ¸ si V∈Rrmeste
matricea coeﬁcient ¸ilor. ˆIn acest context, Xeste construit˘ a dintr-un set de imagini faciale
de antrenament, a c˘ aror rezolut ¸ie este ˆ ınalt˘ a ¸ si care sunt deja aliniate ca ¸ si vectori coloan˘ a.
Num˘ arul de baze rpoate ﬁ ales ca n∗m/(n+m), num˘ ar care este mai mic decˆ at n¸ sim¸ si
duce la o reprezentare mai compact˘ a. Se poate ar˘ ata c˘ a un minim local al Ecuat ¸iei 21 poate
ﬁ obt ¸inut dac˘ a aplic˘ am urm˘ atoarele reguli:
Vij←− Vij(UTX)ij
(UTUV)ij
Uki←− Uki(XVT)ki
(UV VT)ki, (22)
unde 1≤i≤r,1≤j≤m¸ si 1≤k≤n. Matricea baz˘ a Uastfel obt ¸inut˘ a este deseori ¸ si
sparse .

33
Super-rezolut ie facial a ^ n doi pa si
FieX¸ siYreprezent˘ arile cu rezolut ¸ie ˆ ınalt˘ a, respectiv cu rezolut ¸ie sc˘ azut˘ a ale unei fet ¸e. Se
obt ¸ine YdinXnetezind ¸ si scalˆ and conform Ecuat ¸iei 11. Se dore¸ ste recuperarea imaginii
Xdin imaginea Y.ˆIn acest context se poate considera c˘ a Ya fost deja aliniat˘ a conform
bazei de date de antrenament, ori prin selectarea manual˘ a a punctelor cheie din imagine, ori
folosind un algoritm de detect ¸ie a fet ¸ei, cum ar ﬁ cel folosit ˆ ın [ ?]. Se poate obt ¸ine solut ¸ia
optimal˘ a pentru Xfolosind criteriul maximum a posteriori (MAP):
X= arg max
Xp(Y|X)p(X). (23)
Aici, p(Y|X) modeleaz˘ a procesul de observare a imaginii, de obicei presupunˆ and existent ¸a
zgomotului Gaussian ˆ ın observat ¸ia Y,p(Y|X) = 1 /Zexp(−∥SHU c−Y∥22/(2∗σ2)) cu Zca
factor de normalizare ¸ si p(X) un prior al imaginii cu rezolut ¸ie ˆ ınalt˘ a X, de obicei sub forma
exponent ¸ial˘ a p(X) = exp(−cρ(X)). Folosind regulile din Ecuat ¸ia 22 putem obt ¸ine matricea
baz˘ a U, ce este compus˘ a din baze sparse . Fie Ω un subspat ¸iu al imaginilor faciale acoperit
deU.ˆIn acest subspat ¸iu Ω, problema super-rezolut ¸iei prezentat˘ a ˆ ın Ecuat ¸ia 23 poate ﬁ
formulat˘ a folosind constrˆ angerile de reconstruct ¸ie ca:
c= arg min
c∥SHU c−Y∥2
2+ηρ(Uc) cu c≥0, (24)
unde ρ(Uc) este un termen prior ce regularizeaz˘ a solut ¸ia cu rezolut ¸ie ˆ ınalt˘ a, c∈Rr1este
vectorul coeﬁcient folosit pentru estimarea imaginii faciale cu rezolut ¸ie ˆ ınalt˘ a ¸ si care apart ¸ine
subspat ¸iului Ω, iar ηeste un parametru folosit pentru a echilibra ﬁdelitatea reconstruct ¸iei ¸ si
informat ¸ia din prior .ˆIn aceast˘ a lucrare este folosit o imagine prior generic˘ a ce impune ca
solut ¸ia s˘ a ﬁe neted˘ a. Folosind o matrice pentru high pass ﬁltering notat˘ a cu Γ, forma ﬁnal˘ a
a Ecuat ¸iei 24 este:
c= arg min
c∥SHU c−Y∥2
2+η∥ΓUc∥2cuc≥0. (25)
Imaginea cu rezolut ¸ie medie ˆXeste estimat˘ a de Uc. Termenul prior din Ecuat ¸ia 25 reduce
componentele cu frecvent ¸˘ a ˆ ınalt˘ a, rezultˆ and o imagine ﬁnal˘ a cu o netezime mai puternic˘ a.
Acest lucru este rectiﬁcat folosind modelul fragmentelor locale bazat pe sparse representation
ment ¸ionat anterior. Tot acest algoritm este rezumat ˆ ın Algoritmul 2 prezentat mai jos.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
Algoritmul 2 : Reconstruct ¸ia imaginilor faciale folosind sparse representation
1:Intrare: matricea baz˘ a sparse U, dict ¸ionarele Dh¸ siDl, o imagine facial˘ a cu rezolut ¸ie
sc˘ azut˘ a ce a fost deja aliniat˘ a Y.
2: G˘ asirea unei imagini faciale netede ˆXdin subspat ¸iul acoperit de Ufolosind urm˘ atorii
pa¸ si:
◦Se rezolv˘ a problema optimiz˘ arii din Ecuat ¸ia 25:
arg min c∥SHU c−Y∥22+η∥ΓUc∥2cuc≥0.
◦ˆX=Uc
3: Pentru ﬁecare fragment ydinˆX, ˆ ıncepˆ and cu cel din colt ¸ul stˆ anga sus ¸ si
suprapunˆ andu-le cu cˆ ate un pixel ˆ ın ﬁecare direct ¸ie,
◦Se calculeaz˘ a ¸ si se noteaz˘ a cu mvaloarea medie a pixelilor din y.
◦Se rezolv˘ a problema optimiz˘ arii cu ˜D¸ si˜ydeﬁnite ˆ ın Ecuat ¸ia 17:
min ∥˜Dα−˜y∥22+λ∥α∥1.
◦Se genereaz˘ a fragmentul cu rezolut ¸ieˆ ınalt˘ a x=Dhα+m. Fragmentul xeste introdus
ˆ ın imaginea cu rezolut ¸ie ˆ ınalt˘ a X.
4:Ie sire: imaginea facial˘ a cu super-rezolut ¸ie X.
8 Completarea perechii de dict ionare
ˆIn capitolul precedent a fost prezentat˘ a regularizarea problemei super-rezolut ¸iei folosind
prior -ul sparse conform c˘ aruia ﬁecare pereche de fragmente cu rezolut ¸ie ˆ ınalt˘ a, respectiv
rezolut ¸ie sc˘ azut˘ a are aceea¸ si reprezentare sparse impus˘ a de dict ¸ionarele Dh¸ siDl. O metod˘ a
simpl˘ a de a obt ¸ine cele dou˘ a dict ¸ionare este de a e¸ santiona perechi de fragmente ale ima-
ginilor direct, p˘ astrˆ and ˆ ın acest fel corespondent ¸a dintre fragmentul cu rezolut ¸ie ˆ ınalt˘ a ¸ si cel
cu rezolut ¸ie sc˘ azut˘ a [56]. Totu¸ si, o astfel de metod˘ a duce la obt ¸inerea unor dict ¸ionare volu-
minoase, a¸ sadar un cost computat ¸ional ridicat. Acest capitol prezint˘ a o metod˘ a mai eﬁcient˘ a
de a obt ¸ine o pereche de dict ¸ionare mai compact˘ a pentru a mic¸ sora volumul de calcule.
^Inv at area unui singur dict ionar
Problema sparse este cea a g˘ asirii unei reprezent˘ ari sparse a semnalelor, ce respect˘ a un
dict ¸ionar complet D. Dict ¸ionarul este de obicei construit folosind un set de exemple de
antrenament X={x1, x2, …, x t}.ˆIn general, un dict ¸ionar compact care s˘ a garanteze c˘ a
reprezentarea sparse din Ecuat ¸ia 13 poate ﬁ obt ¸inut˘ a din minimizarea l1ˆ ın Ecuat ¸ia 14 este
greu de obt ¸inut. Din fericire mult ¸i algoritmi sparse prezentat ¸i anterior sunt eﬁcient ¸i ˆ ın prac-
tic˘ a. Pentru exemplele prezentate ˆ ın aceast˘ a lucrare se folose¸ ste urm˘ atoarea formulare:
D= arg min
D;Z∥X−DZ∥2
2+λ∥Z∥1cu∥Di∥2
2≤1, i= 1,2, …, K, (26)
unde norma l1∥Z∥1este folosit˘ a pentru a impune sparsity -ul, iar constrˆ angerile normei l2
asupra coloanelor lui Delimin˘ a ambiguitatea scal˘ arii. F˘ ar˘ a aceste constrˆ angeri costul poate
ﬁ mereu redus ˆ ımp˘ art ¸ind Zlac > 1 ¸ si ˆ ınmult ¸ind Dcuc > 1. Aceast˘ a formulare a fost

35
studiat˘ a intensiv ˆ ın [ ?,?,?]. Ecuat ¸ia 26 nu este convex˘ a ˆ ın D¸ siZˆ ın acela¸ si timp, dar este
convex˘ a ˆ ın una din ele cˆ and cealalt˘ a este ﬁxat˘ a. Optimizarea este f˘ acut˘ a alternativ asupra
luiD¸ siZ:
1. Se init ¸ializeaz˘ a Dcu o matrice Gaussian˘ a oarecare, ce are ﬁecare coloan˘ a normalizat˘ a.
2. Se ﬁxeaz˘ a D¸ si se actualizeaz˘ a Zdup˘ a cum urmeaz˘ a:
Z= arg min
Z∥X−DZ∥2
2+λ∥Z∥1, (27)
ce poate ﬁ rezolvat˘ a eﬁcient folosind programarea liniar˘ a.
3. Se ﬁxeaz˘ a Z¸ si se actualizeaz˘ a Ddup˘ a cum urmeaz˘ a:
D= arg min
D∥X−DZ∥2
2cu∥Di∥2
2≤1, i= 1,2, …, K, (28)
ce poate ﬁ rezolvat˘ a folosind multe pachete de optimizare bazate pe programare p˘ atratic˘ a.
4. Se reitereaz˘ a pa¸ sii 2) ¸ si 3) pˆ an˘ a acestea converg. ˆIn aplicat ¸ia Matlab prezentat˘ a s-a
folosit un pachet Matlab dezvoltat ˆ ın [ ?].
^Inv at area dict ionarelor simultan
Date ﬁind perechile de fragmente ale imaginilor e¸ santionate P={Xh, Yl}, unde Xh=
{x1, x2, …, x n}este setul fragmetelor din imaginea cu rezolut ¸ie ˆ ınalt˘ a, iar Yl={y1, y2, …, y n}
este setul fragmentelor cu rezolut ¸ie sc˘ azut˘ a corespunz˘ atoare. Scopul este de a forma cele
dou˘ a dict ¸ionare pentru fragmentele cu rezolut ¸ie ˆ ınalt˘ a, respectiv cele cu rezolut ¸ie sc˘ azut˘ a,
astfel ˆ ıncˆ at reprezentarea sparse a fragmentului cu rezolut ¸ie ˆ ınalt˘ a s˘ a ﬁe la fel ca cea a
fragmentului cu rezolut ¸ie sc˘ azut˘ a corespunz˘ ator. Aceasta este o problem˘ a diﬁcil˘ a datorit˘ a
modelului subdeterminat al super-rezolut ¸iei. Problemele cod˘ arii sparse individuale pentru
fragmentele cu rezolut ¸ie ˆ ınalt˘ a ¸ si cele cu rezolut ¸ie sc˘ azut˘ a sunt:
Dh= arg min
fDhZg∥Xh−DhZ∥2
2+λ∥Z∥1, (29)
respectiv
Dl= arg min
fDlZg∥Yl−DlZ∥2
2+λ∥Z∥1. (30)
Aceste ecuat ¸ii sunt unite pentru a fort ¸a reprezent˘ arile cu rezolut ¸ieˆ ınalt˘ a ¸ si cele cu rezolut ¸ie
joas˘ a s˘ a aib˘ a acela¸ si cod, astfel obt ¸inˆ and:
min
fDhDlZg1
N∥Xh−DhZ∥2
2+1
M∥Yl−DlZ∥2
2+λ(1
N+1
M)∥Z∥1, (31)

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
unde N¸ siMsunt dimensiunile fragmentelor imaginilor cu rezolut ¸ie ˆ ınalt˘ a, respectiv a
celor cu rezolut ¸ie sc˘ azut˘ a, ˆ ın form˘ a vectorial˘ a. Aici, 1 /N¸ si 1/Mechilibreaz˘ a cei doi termeni
de cost din Ecuat ¸ia 29 ¸ si Ecuat ¸ia 30.
Ecuat ¸ia 31 poate ﬁ rescris˘ a ca:
min
fDhDlZg∥Xc−DcZ∥2
2+λ(1
N+1
M)∥Z∥1, (32)
sau
min
fDhDlZg∥Xc−DcZ∥2
2+ˆλ∥Z∥1. (33)
Unde
Xc=
1√
NXh
1√
MYl
,Dc=
1√
NDh
1√
MDl
. (34)
A¸ sadar, putem folosi aceea¸ si metod˘ a de ˆ ınv˘ at ¸are folosit˘ a ˆ ın cazul unui singur dict ¸ionar ¸ si
pentru a antrena dou˘ a dict ¸ionare ˆ ın scopul super-rezolut ¸iei. A se observa c˘ a, deoarece sunt
folosite caracteristici ale fragmentelor imaginilor cu rezolut ¸ie sc˘ azut˘ a, Dh¸ siDlnu sunt conec-
tate simplu printr-o transformare liniar˘ a; dac˘ a acesta ar ﬁ fost cazul, procesul de antrenare
din Ecuat ¸ia 33 ar depinde doar fragmentele imaginilor cu rezolut ¸ie ˆ ınalt˘ a (detaliile sunt
prezentate ˆ ın sect ¸iunea ce urmeaz˘ a).
Figura 7 ilustreaz˘ a dict ¸ionarul completat folosind Ecuat ¸ia 33 pentru imagini generale.
Vizualizarea dict ¸ionarului este un bun mod de a observa anumite modele ( patterns ) ˆ ın frag-
mentele de imagini, cum ar ﬁ orientarea muchiilor, lucru posibil datorit˘ a compactit˘ at ¸ii aces-
tuia ¸ si care nu ar ﬁ fost la fel de u¸ sor de observat folosind doar fragmentele e¸ santionate.
Figure 7: Dict ¸ionarul fragmentelor cu rezolut ¸ie ˆ ınalt˘ a obt ¸inut din Ecuat ¸ia 33 folosind 100,000
de fragmente cu rezolut ¸ie ˆ ınalt˘ a ¸ si rezolut ¸ie sc˘ azut˘ a extrase din imagini generale. Sunt
obt ¸inut ¸e 512 p˘ art ¸i ale dict ¸ionarului, ﬁecare parte avˆ and m˘ arimea 9 ×9.

37
Reprezentarea caracteristicilor fragmentelor cu rezolut ie sc azut a
ˆIn ecuat ¸ia 13 este folosit un operator de extragere a caracteristicilor, F, pentru a asigura cal-
culul coeﬁcient ¸ilor ˆ ın a¸ sa fel ˆ ıncˆ at ace¸ stia s˘ a acopere partea cea mai relevant˘ a a semnalului
rezolut ¸iei sc˘ azute, avˆ and a¸ sadar o aproximare mai bun˘ a a fragmentului cu rezolut ¸ie ˆ ınalt˘ a.
ˆIn general Feste un ﬁltru high-pass . Aceast˘ a optiune este aleas˘ a deoarece este cunoscut c˘ a
oamenii sunt mai sensibili la cont ¸inutul cu frecvent ¸e ˆ ınalte ale unei imagini. De asemenea,
cont ¸inutul cu frecvent ¸˘ a ˆ ınalt˘ a al imaginilor cu rezolut ¸ie sc˘ azut˘ a este probabil cea mai im-
portant˘ a parte ˆ ın obt ¸inerea cont ¸inutului cu frecvent ¸e ˆ ınalte pierdut al imaginii cu rezolut ¸ie
ˆ ınalt˘ a.
ˆIn literatura de specialitate cercet˘ atorii au sugerat extragerea anumitor caracteristici ale
fragmentelor cu rezolut ¸ie sc˘ azut˘ a pentru a ˆ ımbun˘ at˘ at ¸i acuratet ¸ea aproxim˘ arii imaginii cu
super-rezolut ¸ie. Freeman et al. [54] au folosit un ﬁltru high-pass pentru a extrage ca ¸ si
caracteristic˘ a a unui fragment informat ¸ia despre muchii din fragmentele cu rezolut ¸ie sc˘ azut˘ a.
Sun et al. [60] au folosit un set de derivate ale ﬁltrului Gaussian pentru a extrage frontierele
din fragmentele cu rezolut ¸ie sc˘ azut˘ a. Chang et al. [55] au folosit gradientul de ordinul ˆ ıntˆ ai
¸ si pe cel de ordin doi ale fragmentelor ca ¸ si reprezentare.
Metoda prezentat˘ a folose¸ ste de asemenea derivate de ordinul ˆ ıntˆ ai ¸ si doi ca ¸ si caracteristici
ale fragmentului cu rezolut ¸ie sc˘ azut˘ a datorit˘ a eﬁcient ¸ei ¸ si simplit˘ at ¸ii lor. Cele patru ﬁltre
1-D folosite pentru a extrage derivatele sunt:
f1= [−1,0,1], f 2=f1T,
f3= [1,0,−2,0,1], f 4=f3T, (35)
unde fTeste transpusa lui f. Aplicˆ and aceste patru ﬁltre duce la obt ¸inerea a patru
vectori de caracteristici pentru ﬁecare fragment. Ace¸ sti patru vectori sunt concatenat ¸i ˆ ıntr-
un singur vector ce reprezint˘ a caracteristica ﬁnal˘ a a acelui fragment cu rezolut ¸ie sc˘ azut˘ a.
Totu¸ si ˆ ın metoda prezentat˘ a cele patru ﬁltre nu sunt aplicate direct asupra fragmentelor cu
rezolut ¸ie sc˘ azut˘ a, ci sunt aplicate direct imaginilor de antrenament. ˆIn acest fel, pentru ﬁecare
imagine cu rezolut ¸ie sc˘ azut˘ a de antrenament se obt ¸in patru h˘ art ¸i ale gradientului ( gradient
maps ). La ﬁnal se extrag patru fragmente cu aceea¸ si locat ¸ie din acele h˘ art ¸i ale gradientului
¸ si sunt concatenate ˆ ın vectorul caracteristicilor ﬁnal. A¸ sadar reprezentarea caracteristicilor
pentru ﬁecare fragment cu rezolut ¸ie sc˘ azut˘ a cont ¸ine ¸ si informat ¸ia legat˘ a de pixelii vecini,
lucru ce duce la o compatibilitate ˆ ıntre vecini mult mai mare, ceea ce este de asemenea dorit
ˆ ın cadrul algoritmului de reconstruct ¸ie.
ˆIn practic˘ a s-a observat c˘ a este mai eﬁcient s˘ a se extrag˘ a caraceristicile din versiunea
m˘ arit˘ a (scalat˘ a) a imaginii cu rezolut ¸ie sc˘ azut˘ a ˆ ın locul celei originale. A¸ sadar, mai ˆ ıntˆ ai
imaginea cu rezolut ¸ie sc˘ azut˘ a este m˘ arit˘ a cu un factor de doi folosind bicubic interpolation
¸ si apoi sunt extrase caracteristicile din aceasta. Este folosit un factor al scal˘ arii de doi
din considerente dimensionale. De exemplu, pentru fragmente 3 ×3 ale imaginii cu rezolut ¸ie
sc˘ azut˘ a, m˘ arind imaginea cu un factor al scal˘ arii de doi, caracteristica ﬁnal˘ a (vectorul) pentru
acel fragment cu nou˘ a pixeli ar ﬁ de dimensiune 6 ×6×4 = 144. Deoarece ¸ stim dimensiunea
scal˘ arii este u¸ sor s˘ a facem leg˘ atura dintre fragmentele cu rezolut ¸ie ˆ ınalt˘ a ale imaginii ¸ si
fragmentele cu rezolut ¸ie sc˘ azut˘ a scalate. Datorit˘ a modului de extragere a caracteristicilor din
fragmentele cu rezolut ¸ie sc˘ azut˘ a ale imaginii, cele dou˘ a dict ¸ionare Dl¸ siDhnu sunt conectate
liniar, ceea ce face ca procesul de ˆ ınv˘ at ¸are simultan˘ a din Ecuat ¸ia 33 s˘ a ﬁe rezonabil.

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
9 Aplicarea algoritmului si analiza rezultatelor
ˆIn acest capitol sunt prezentate rezultatele obt ¸inute ˆ ın urma aplic˘ arii algoritmului pentru
obt ¸inerea super-rezolut ¸iei prezentat anterior, atˆ at asupra imaginilor generale cˆ at ¸ si asupra
celor faciale. Sunt prezentat ¸i apoi cˆ ativa factori de inﬂuent ¸˘ a asupra algoritmului prezentat,
cum ar ﬁ m˘ arimea dict ¸ionarului, imagini de intrare ce cont ¸in zgomot ¸ si constrˆ angerile de
reconstruct ¸ie global˘ a.
ˆIn experimentele prezentate imaginea cu rezolut ¸ie sc˘ azut˘ a ce este primit˘ a la intrare este
m˘ arit˘ a cu un factor de trei pentru imaginile generale ¸ si un factor de patru pentru cele faciale,
acesta ﬁind modul obi¸ snuit ˆ ın super-rezolut ¸ia single frame . Pentru super-rezolut ¸ia imaginilor
generale, fragmentele imaginilor cu rezolut ¸ie sc˘ azut˘ a sunt de dimensiune 3 ×3 (ce sunt m˘ arite
la 6×6) ¸ si se suprapun cu un pixel fat ¸˘ a de ﬁecare fragment vecin, iar corespondentul acestui
fragment este cel cu rezolut ¸ie ˆ ınalt˘ a de dimensiune 9 ×9 cu o suprapunere de trei pixeli.
Pentru super-rezolut ¸ia facial˘ a sunt alese fragmente de dimensiuni 5 ×5 atˆ at pentru imaginile
cu rezolut ¸ie sc˘ azut˘ a, cˆ at ¸ si pentru cele cu rezolut ¸ie ˆ ınalt˘ a. Pentru imaginile color algoritmul
prezentat este aplicat doar asupra canalului iluminant ¸ei, deoarece oamenii sunt mai sensibili
la schimb˘ ari de aceast˘ a natur˘ a. Straturile culorilor (Cb, Cr) sunt apoi interpolate folosind
plain bicubic interpolation . Rezultatele diferitelor metode sunt evaluate atˆ at vizual, cˆ at ¸ si
calitativ folosind root mean square error (RMSE). De¸ si RMSE este des folosit˘ a ˆ ın procesarea
imaginilor, nu este foare eﬁcient˘ a ˆ ın evaluarea calit˘ at ¸ii vizuale a imaginii [ ?]. Deoarece este
modiﬁcat canalul iluminant ¸ei, RMSE-ul este de asemenea raportat doar la acest canal.
Super-rezolut ie single image
Super-rezolut ia imaginilor generale
Metodele prezentate sunt aplicate asupra imaginilor generale, cum ar ﬁ cele cu ﬂori, cl˘ adiri ¸ si
fet ¸e umane. Cele dou˘ a dict ¸ionare pentru fragmentele cu rezolut ¸ie ˆ ınalt˘ a, respectiv rezolut ¸ie
sc˘ azut˘ a sunt antrenate folosind 100,000 de perechi de fragmente e¸ santionate din imagini
naturale ce sunt desc˘ arcate de pe Internet. M˘ arimea dict ¸ionarului este ﬁxat˘ a la 1024 ˆ ın toate
experimentele, ce ofer˘ a un echilibru din punct de vedere computat ¸ional ¸ si al calit˘ at ¸ii imaginii.
ˆIn urm˘ atoarea sect ¸iune sunt prezentatele efectele diferitelor m˘ arimi ale dict ¸ionarelor asupra
super-rezolut ¸iei. ˆIn algoritmul super-rezolut ¸iei prezentat ˆ ın Ecuat ¸ia 17, alegerea valorii lui λ
depinde de nivelul de zgomot din imaginea de intrare. Pentru imagini generale cu zgomot
sc˘ azut, este ales λ= 0.01 ˆ ın toate experimentele deoarece ofer˘ a rezultate favorabile.
Imaginea XXXX compar˘ a ie¸ siri ale metodei propuse cu cele ale metodei neighborhood
embedding [55]. Metoda neighborhood embedding este asem˘ an˘ atoare cu cea propus˘ a deoarece
ambele folosesc ponderile combinat ¸iilor liniare obt ¸inute din fragmentul cu rezolut ¸ie sc˘ azut˘ a
pentru a general fragmentul cu rezolut ¸ie ˆ ınalt˘ a dorit. Spre deosebire de metoda propus˘ a,
metoda neighborhood embedding folose¸ ste un num˘ ar ﬁx ( k) de vecini pentru a stabili bazele
reconstruct ¸iei ¸ si nu include o etap˘ a de antrenare a dict ¸ionarului. Pentru o comparat ¸ie corect˘ a
sunt folosite 100,000 de fragmente pentru neighbor embedding ¸ si sunt ˆ ıncercate diverse valori
ale lui kpentru a obt ¸ine cele mai bune rezultate din punct de vedere vizual. Folosind o
pereche de dict ¸ionare compacte, metoda propus˘ a este mai rapid˘ a ¸ si genereaz˘ a rezultate mai
clare din punct de vedere al muchiilor ( sharp edges ). Se poate observa ˆ ın imaginea XXXX
diferent ¸a dintre diverse metode ¸ si cea propus˘ a, cum ar ﬁ textura frunzelor sau pistruii de pe
nasul fetei.

39
ˆIn ﬁgura XXXX metoda propus˘ a este comparat˘ a cu unele dintre cele mai bune metode
existente, imaginea de intrare ﬁind cea a Partenonului ce a fost folosit˘ a ¸ si de Dai et al.
ˆ ın [?]. Algoritmii cu care este comparat˘ a metoda propus˘ a sunt: back projection [6],neighbor
embedding [55] ¸ si metoda propus˘ a recent ce se bazeaz˘ a pe un prior ˆ ınv˘ at ¸at ce impune muchii
netede [ ?]. Imaginea rezultat˘ a folosind back projection are muchiile zimt ¸ate, iar metoda
neighbor embedding genereaz˘ a muchii mai netede pe alocuri dar estompeaz˘ a textura fat ¸adei
templului. Metoda propus˘ a de Dai et al. [ ?] ofer˘ a o reconstruct ¸ie mai bun˘ a, dar cauzeaz˘ a
aparit ¸ia ˆ ın imagine a unei neteziri care nu este prezent˘ a ˆ ın imaginea rezultat˘ a din algoritmul
propus.
Super-rezolut ie facial a
ˆIn aceast˘ a sect ¸iune metoda propus˘ a este aplicat˘ a asupra undei imagini frontale ale unei fet ¸e
umane. Imaginile faciale folositeˆ ın experimentele prezentate sunt desc˘ arcate din baza de date
FRGC (Face Recognition Grand Challenge) Versiunea 1.0 [ ?]. Toate fet ¸ele au fost aliniate
ˆ ın funct ¸ie de pozit ¸ia ochilor folosind un algoritm automat de aliniere ¸ si apoi decupate la
m˘ arimea de 100×100 pixeli. Pentru a aﬂa subspat ¸iul fet ¸elor Ω cuprins de W, sunt selectate
540 de imagini faciale ca ¸ si imagini de antrenament, ce includ ambele sexe, diverse rase, vˆ arste
¸ si expresii faciale (Imaginea ??). Pentru a preg˘ ati perechea de dict ¸ionare ce este necesar˘ a ˆ ın
algoritmul propus sunt de asemenea e¸ santionate 100,000 de perechi de fragmente din acele
imagini ¸ si sunt construite dict ¸ionarele cu o m˘ arime de 1024. Treizeci de imagini faciale (ale
persoanelor care nu sunt ˆ ın setul de antrenament) sunt alese ca ¸ si imagini de test, acestea
sunt estompate ¸ si scalate la m˘ arimea de 25 ×25 de pixeli.
POZAA XXXXXXXXXXXXXXXXXXXXXX
Dup˘ a cum am ment ¸ionat anterior, super-rezolut ¸ia imaginilor faciale poate ﬁ aplicat˘ a
ˆ ın cazuri mai complicate decˆ at cele ale super-rezolut ¸iei generale, datorit˘ a structurii fet ¸ei
umane. ˆIntr-adev˘ ar nu este u¸ sor s˘ a m˘ arim de patru ori imaginea cu rezolut ¸ie sc˘ azut˘ a a
c˘ arei dimensiune este de 25 ×25 folosind metoda general˘ a pentru super-rezolut ¸ie. ˆIn primul
rˆ and, procesul de scalare (mic¸ sorare) duce la pierderea unei cantit˘ at ¸i mare de informat ¸ii,
ceea ce face ca obt ¸inerea unui fragment cu rezolut ¸ie ˆ ınalt˘ a de dimensiune 12 ×12 dintr-un
fragment de dimensiune 3 ×3 s˘ a ﬁe diﬁcil˘ a. ˆIn al doilea rˆ and, rezolut ¸ia imaginii de intrare
este atˆ at de mic˘ a ˆ ıncˆ at structurile fet ¸ei care sunt utile ˆ ın obt ¸inerea super-rezolut ¸iei (cum ar
ﬁ muchiile ¸ si colt ¸urile) sunt restrˆ anse la doar cˆ at ¸iva pixeli. Abordarea ˆ ın doi pa¸ si pentru
super-rezolut ¸ia imaginilor faciale poate totu¸ si s˘ a compenseze informat ¸ia pierdut˘ a ˆ ın primul
pas folosind structura facial˘ a ¸ si c˘ autˆ and o solut ¸ie ˆ ın subspat ¸iul fet ¸elor, impunˆ and anumite
constrˆ angeri ale reconstruct ¸iei. Modelul local din reprezentarea sparse poate ﬁ apoi modiﬁcat
pentru a ˆ ımbun˘ at˘ at ¸i muchiile ¸ si texturile pentru a obt ¸ine rezultate mai clare. Metoda pentru
imaginile generale este de asemenea aplicat˘ a asupra acestor imagini ¸ si diferent ¸a dintre cele
dou˘ a metode poate ﬁ observat˘ a ˆ ın Imaginea XXXXXXXXXX
Deoarece rezolut ¸ia imaginii de intrare este una foarte mic˘ a, aplicarea algoritmului pentru
imagini generale asupra acestui tip de imagini nu duce la ni¸ ste rezultate foarte pl˘ acute vizual.
ˆIn experimentele prezentate valoarea lui λeste setat˘ a la λ= 0.01. Metoda prezentat˘ a
este comparat˘ a cu bicubic interpolation [?] ¸ siback projection [6]. Rezultatele pot ﬁ studiate ˆ ın
Figura ??, unde se poate observa c˘ a metoda propus˘ a duce la o calitate mai ridicat˘ a a imaginii
cu super-rezolut ¸ie. Din coloanele patru ¸ si cinci se poate observa c˘ a metoda fragmentelor locale
bazat˘ a pe sparse representation ˆ ımbun˘ at˘ at ¸e¸ ste ¸ si mai mult texturile ¸ si muchiile.
POZA XXXXXXXXXXXXXXXXXX

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
In
uent a m arimii dict ionarelor
Rezultatele experimentale ilustrate mai sus arat˘ a c˘ a prior-ul sparsity pentru fragmentele
imaginii este foarte eﬁcient ˆ ın ceea ce prive¸ ste regularizarea problemei subdeterminate a
super-rezolut ¸iei. ˆIn aceste rezultate m˘ arimea dict ¸ionarului este ﬁxat˘ a la 1024. Intuitiv, un
dict ¸ionar mai mare duce la un rezultat mai bun al super-rezolut ¸iei (acest aspect poate ﬁ dus
la extrem, iar dict ¸ionarul s˘ a ﬁe format chiar din fragmentele e¸ santionate, metod˘ a prezentat˘ a
ˆ ın [56]), ˆ ıns˘ a un dict ¸ionar foarte mare implic˘ a ¸ si o putere computat ¸ional˘ a foarte mare. Aceast˘ a
sect ¸iune prezint˘ a efectul m˘ arimii dict ¸ionarului asupra super-rezolut ¸iei imaginilor generale.
Din cele 100,000 de fragmente e¸ santionate sunt create patru dict ¸ionare de m˘ arimi 256, 512,
1024, 2048 ¸ si sunt aplicate asupra aceleia¸ si imagini de intrare. De asemenea se mai utilizeaz˘ a
¸ si un dict ¸ionar format din toate cele 100,000 de fragmente pentru a putea compara calitatea
imaginiiˆ ın cazul dus la extrem. Rezultatele sunt evaluate atˆ at vizual, cˆ at ¸ si cantitativ folosind
RMSE.
TABEL REZULTATE
POZA LENA
Figura LENA ilustreaz˘ a rezultatele aplic˘ arii dict ¸ionarelor de diferite m˘ arimi asupra imag-
inii cu Lena. De¸ si nu exist˘ a diferent ¸e foarte mari din punct de vedere vizual ˆ ıntre rezultatele
obt ¸inute folosind dict ¸ionarele de diverse m˘ arimi, de la 256 la 2048 ¸ si chiar ¸ si toate fragmentele
e¸ santionate ca dict ¸ionar, se poate observa o mic¸ sorare a num˘ arului artefactelor vizuale ˆ ın
cazul dict ¸ionarelor mai mari. Tabelul XXX cont ¸ine rezultatele calculului RMSE-ului imag-
inilor obt ¸inute folosind dict ¸ionarele prezentate anterior. Dup˘ a cum se poate observa ¸ si ˆ ın
tabel, folosind un dict ¸ionar mai mare se obt ¸ine o valoare mai mic˘ a a RMSE-ului, iar toate
dict ¸ionarele duc la o valoare a RMSE-ului mai mic˘ a decˆ at cea din cazul metodei bicubic
interpolation . Totu¸ si, num˘ arul calculelor este direct proport ¸ional cu m˘ arimea dict ¸ionarelor,
iar dict ¸ionarele foarte mari vor duce la calcule numeroase ¸ si un timp de procesare mai mare.
10 Aplicat ii ale super-rezolut iei
PLACEHOLDER
^Imbun at at ire video obi snuit a
PLACEHOLDER
Camere de supraveghere
PLACEHOLDER
Diagnoz a medical a
PLACEHOLDER
Imagini din satelit
PLACEHOLDER

41
Bibliograe
[1]R.Y. Tsai, T.S. Huang, Multi-frame image restoration and registration , Adv. Comput.
Vis. Image Process. 1, 1984.
[2]M. Elad, A. Feuer, Restoration of a single superresolution image from several blurred, noisy
and undersampled measured images , IEEE Trans. Image Process. 6 (1997) 1646-1658.
[3]J.I. Harris, Diﬀraction and resolving power , J.Opt.Soc.Am. 54 (1964) 931-933
[4]S.C. Park, M.K. Park, M.G. Kang, Super-resolution image reconstruction: a technical
overview , IEEE Signal Process. Mag. 20 (2003) 21-36
[5]N. Nguyen, P. Milanfar, G. Golub, A computationally eﬃcient superresolution image
reconstruction algorithm , IEEE Trans. Image Process. 10(2001) 573-583
[6]M. Irani, S. Peleg, Improving resolution by image registration , CVGIP: Graph. Model.
Image Process. 53 (1991) 231-239
[7]M.K. Ng, H. Shen, E.Y. Lam, et al., A total variation regularization based super-resolution
reconstruction algorithm for digital video , EURASIP J. Adv. Signal Process. 2007 (2007)
[8]H. Shen, X. Li, Q. Cheng, et al., Missing information reconstruction of remote sensing
data: a technical overview , IEEE Geosci. Remote Sens. Mag. 3 (2015)
[9]Y. Zhou, Z. Ye, Y. Xiao, A restoration algorithm for images contaminated by mixed Gaus-
sian plus random-valued impulse noise , J. Vis. Commun. Image Represent 24 (2013)
[10]D. Keren, S. Peleg, R. Brada, Image sequence enhancement using sub-pixel displace-
ments ,Proceedings of IEEE computer society conference on CVPR, Ann Arbor, MI.
(1988),742-746
[11]J.R. Bergen, P. Anandan, K.J. Hanna, R. Hingorani, Hierarchical model-based motion
estimation , Proceedings of 2nd ECCV 1992, lecture notes in computer science (1992),
237-252
[12]D. Capel, A. Zisserman, Computer vision applied to super-resolution , IEEE Signal Pro-
cess Mag. 20 (2003), 75-86
[13]R.C. Hardie, K.J. Barnard, E.E. Armstrong, Joint MAP registration and high-resolution
image estimation using a sequence of undersampled images , IEEE Trans. Image Process.
(1997), 1621-1633
[14]G. Botella, U. Meyer-Baese, A. Garcia, M. Rodriguez, Quantization analysis and en-
hancement of a VLSI gradient-based motion estimation architecture , Digit. Signal Process.
22 (2012), 1174-1187
[15]H. Ur, D. Gross, Improved resolution from sub-pixel shifted pictures ,CVGIP Graph.
Models Image Process.54 (1992), 181-186
[16]X. Zhang, Y. Liu, A computationally eﬃcient super-resolution reconstruction algorithm
based on the hybrid interpolation , J. Comput. (2010), 885-892

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
[17]X. Li, M.T. Orchard, New edge-directed interpolation , IEEE Trans. Image Process.
(2001), 1521-1527
[18]L. Zhang, X. Wu, An edge-guided image interpolation algorithm via directional ﬁltering
and data fusion , IEEE Trans. Image Process. (2006), 2226-2238
[19]J. Chu, J. Liu, J. Qiao, X. Wang, Y. Li, Gradient based adaptive interpolation in super-
resolution image restoration ,IEEE ICSP (2008), 1027-1030
[20]X. Zhang, X. Wu, Image interpolation by adaptive 2-D autoregressive modeling and soft-
decision estimation ,IEEE Trans. Image Process. (2008), 887-896
[21]H. Stark, P. Oskoui, High-resolution image recovery from image-plane arrays, using
convex projections , JOSA A (1989), 1715-1726
[22]A.M. Tekalp, M.K. Ozkan, M.I. Sezan, High-resolution image reconstruction from lower-
resolution image sequences and space-varying image restoration , IEEE ICASSP (1992),
169-172
[23]A.J. Patti, M.I. Sezan, A.M. Tekalp, Super-resolution video reconstruction with arbitrary
sampling lattices and nonzero aperture time , IEEE Trans. Image Process. 6 (1997), 1064-
1076
[24]S. Borman, R. Stevenson, Spatial resolution enhancement of low-resolution image
sequences-a comprehensive review with directions for future research , Lab. Image and
SIgnal Analysis, University of Notre Dame, Tech. rep. (1998)
[25]P. Vandewalle, S. Su, M. Vetterli, A frequency domain approach to registration of aliased
images with application to super-resolution , EURASIP J Appl. Signal Process. (2006), 1-
14
[26]L. Lucchese, G.M. Cortelazzo, A noise-robust frequency domain technique for estimating
planar roto-translations , IEEE Trans. Signal Process. 48 (2000), 1769-1786
[27]S. Kim, N.K. Bose, H.M. Valenzuela, Recursive re-construction of high-resolution image
from noisy under-sampled multi-frames , IEEE Trans. Acoust. Speech Signal Process. 38
(1990), 1013-1027
[28]S. Rhee, M.G. Kang, Discrete cosine transform based regularized high-resolution image
reconstruction algorithm , Opt. Eng. 38 (1999), 1348-1356
[29]N. Nguyen, P. Milanfar, A wavelet-based interpolation-restoration method for super-
resolution(wavelet super-resolution) , Circ. Sys. Signal Process.19, (2000), 321-338
[30]W. Wu, Z. Liu, W. Gueaieb, X. He, Single-image super-resolution based on Markov
random ﬁeld and contourlet transform , J. Electron. Imag. 20 (2011)
[31]S.E. El-Khamy, M.M. Hadhoud, M.I. Dessouky, B.M. Salam, F.A. El-Samie, Regularized
super-resolution reconstruction of images using wavelet fusion , Opt. Eng. 44 (2005)
[32]M.B. Chappalli, N.K. Bose, Simultaneous noise-ﬁltering and super-resolution with
second-generation wavelets , IEEE Signal Process. Lett. 12 (2005), 772-775

43
[33]H. Ji, C. Fermuller Wavelet-based super-resolution reconstruction: theory and algorithm ,
ECCV (2006), 295-307
[34]H. Ji, C. Fermuller Robust wavelet-based super-resolution reconstruction: theory and
algorithm , IEEE Trans. Pattern Anal. Mach Intell 31 (2009), 649-660
[35]S.P. Kim, W.Y. Su Recursive high-resolution reconstruction of blurred multiframe im-
ages, IEEE Trans. Image Process. 2 (1993), 534-539
[36]E. Plenge, D.H. Poot, M. Bernsen, G. Kotek, G. Houston, P. Wielopolski, et al. Super-
resolution methods in MRI: can they improve the trade-oﬀ between resolution, signal-to-
noise ratio, and acquisition time? , Magn. Reson. Med. 68 (2012), 1983-1993
[37]S. Farsiu, M.D. Robinson, M. Elad, P. Milanfar, Fast and robust multiframe super-
resolution , IEEE Trans. Image Process. 13 (2004) 1327-1344
[38]S.D. Babacan, R. Molina, A.K. Katsaggelos, Total Variation super resolution using a
variational approach , 15th IEEE international conference on image processing (2008) 641-
644
[39]S. Villena, M. Vega, R. Molina, A.K. Katsaggelos, Bayesian super-resolution image re-
construction using a l1 prior , 6th International symposium on image and signal processing
and analysis (2009) 152-157
[40]S. Villena, M. Vega, S.D. Babacan, R. Molina, A.K. Katsaggelos, Bayesian combination
of sparse and non-sparse priors in image super-resolution , Digit. Signal Process. 23 (2013)
530-541
[41]J. Tian, K.K. Ma, Stochastic super-resolution image reconstruction , J. Vis. Commun.
Image Represent. 21 (200) 232-244
[42]P. Cheeseman, B. Kanefksy, R. Kraft, J. Stutz, R. Hanson, Super-resolved surface recon-
struction from multiple images , Heidberg G.R., editor. Maximum entropy and bayesian
methods, Netherlands: Springer (1996) 239-308
[43]K.V. Suresh, A.N. Rajagopalan, Robust and computationally eﬃcient super-resolution
algorithm , J. Opt. Soc. Am. 24 (2007) 984-992
[44]S. Belekos, N.P. Galatsanos, A.K. Katsaggelos, Maximum a posteriori video super-
resolution using a new multichannel image prior , IEEE Trans. Image Process. 19 (2010)
1451-1464
[45]D. Kong, M. Han, W. Xu, H. Tao, Y. Gong, A conditional random ﬁeld model for video
super-resolution , IEEE ICPR (2006) 619-622
[46]B.C. Tom, A.K. Katsaggelos, Reconstruction of a high resolution image from multiple
degraded mis-registered low resolution images , Proc. SPIE vol. 2308 (1994) 971-81
[47]C. Liu, D. Sun, A Bayesian approach to adaptive video super-resolution , IEEE conference
on CVPR (2011) 209-221

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
[48]F. Sroubek, G. Cristobal, J. Flusser, A uniﬁed approach to super-resolution and multi-
channel blind deconvolution , IEEE Trans. Image Process. 16 (2007) 2322-2332
[49]Y. Bai, J. Hu, Y. Luo, Self-adaptive blind super-resolution image reconstruction , IEEE
ICSIP (2010) 1208-1212
[50]S.B. Kasturiwala S.A. Ladhake, Super-resolution: a novel application to image restora-
tion, IJCSE 2 (2010) 1659-1664
[51]F. Sroubek, J. Flusser, Resolution enhancement via probabilistic deconvolution of multi-
ple degraded images , Pattern Recogn. Lett. 27 (2006) 287-293
[52]F. Sroubek, J. Flusser, Multichannel blind deconvolution of spatially misaligned images ,
IEEE Trans. Image Process. 14 (2005) 874-883
[53]K. Nasrollahi, T.B. Moeslund, Super-resolution: a comprehensive survey , Mach. Vis.
Appl. 25 (2014) 1423-1468
[54]W.T. Freeman, T.R. Jones, E.C. Pasztor, Example based super-resolution , IEEE Com-
put. Graph. Appl. 22 (2002) 56-65
[55]H. Chang, D.Y. Yeung, Y. Xiong, Super-resolution through neighor embedding , IEEE
comput. soc. conf. comput. vis. pattern recogn. (2003) 729-736
[56]J. Yang, J. Wright, T. Huang, Y. Ma, Image super-resolution as sparse representation
of raw image patches , IEEE CVPR (2008) 1-8
[57]J. Yang, J. Wright, T.S. Huang, Y. Ma, Image super-resolution via sparse representation ,
IEEE Trans. Image Process. 19 (2010) 2861-2873
[58]R. Zeyde, M. Elad, M. Protter, On single image scale-up using sparse-representations ,
Curves and surfaces (2012) 711-730
[59]N. Suetake, M. Sakano, E. Uchino, Image super-resolution based on local self-similarity ,
Opt. Rev. 15 (2008) 26-30
[60]J. Sun, N.N. Zheng, H. Tao, H.Y. Shum, Image hallucination with primal sketch priors ,
IEEE comput. soc. conf. comput. vis. pattern recogn. (2003) 729-736
[61]S. Baker, T. Kanade, Limits on super-resolution and how to break them , IEEE Trans.
Pattern Anal. Mach Intell 24 (2002) 1168-1173
[62]X. Li, K.M. Lam, G. Qiu, L. Shen, S. Wang, Example-based image super-resolution with
class-speciﬁc predictors , J. Vis. Commun. Image Represent 20 (2009) 312-322
[63]C. Su, Y. Zhuang, L. Huang, F. Wu, Steerable pyramid-based face hallucination , Pattern
Recogn. 38 (2005) 813-824
[64]W. Dong, G. Shi, L. Zhang, X. Wu, Super-resolution with nonlocal regularized sparse
representation , Proc. SPIE vol. 7744 (2010) 77440H-77440H
[65]G. Shi, W. Dong, x. Wu, L. Zhang, Context based adaptive image resolution upconver-
sion, J. Electron. Imag. 19 (2010) 013008-013008

45
[66]X. Wang, X. Tang, Hallucinating face by eigen transformation , IEEE Trans. Sys. Man.
Cyb. Part C: Appl. Rev. 35 (2005) 425-434
[67]X. Ma, J. Zhang, C. Qi, Hallucinating face by position-patch , Pattern Recogn. 43 (2010)
2224-2236
[68]A. Hertzmann, C.E. Jacobs, N. Oliver, B. Curless, D.H. Salesin, Image analogies , Pro-
ceedings of the 28th annual conference on computer graphics and interactive techniques
(2001) 327-340
[69]K.S. Ni, S. Kumar, N. Vasconcelos, T.Q. Nguyen, Single image super-resolution based
on support vector regression , IEEE ICASSP (2006)
[70]M. Bevilacqua, A. Roumy, C. Guillemot, M.L.A. Morel, Low-complexity single image
super-resolution based on nonnegative neighbor embedding , BMVC (2012) 1-10
[71]D. Glasner, S. Bagon, M. Irani, Super-resolution from a single image , IEEE ICCV (2009)
349-356
[72]K.S. Ni, T.Q. Nguyen, Image super-resolution using support vector regression , IEEE
Trans. Image Process. 16 (2007) 1596-1610
[73]S.F. Lui, J.Y. Wu, H.S. Mao, J.J. Lien, Learning-based super-resolution system using
single facial image and multi-resolution wavelet synthesis , ACCV (2007) 96-105
[74]H. Huang, H. He, X. Fan, J. Zhang, Super-resolution of human face image using canon-
ical correlation analysis , Pattern Recogn. 43 (2010) 2532-2543
[75]X. Gao, K. Zhang, D. Tao, X. Li, Image super-resolution with sparse neighbor embedding ,
IEEE Trans. Image Process. 21 (2012) 3194-3205
[76]J.C.W. Chan, J. Ma, F. Canters, A comparison of super-resolution reconstruction meth-
ods for multi-angle CHRIS/Proba images , Proc. SPIE (2008) 1-11
[77]M. Gong, K. He, J. Zhou, J. Zhang, Single color image super-resolution through neighbor
embedding , JCIS 7 (2011) 49-56
[78]J. Zhang, C. Zhao, R. Xiong, S. Ma, D. Zhao, Image super-resolution via dual-dictionary
learning and sparse representation , IEEE ISCAS (2012) 1688-1691
[79]W. Dong, L. Zhang, G. Shi, Centralized sparse representation for image restoration ,
IEEE ICCV (2011) 1259-1266
[80]W. Dong, L. Zhang, G. Shi,X. Li, Nonlocally centralized sparse representation for image
restoration , IEEE Trans. Image Process 22 (2013) 1620-1630
[81]J. Yang, Z. Wang, Z. Lin, S. Cohen, T. Huang, Coupled dictionary training for image
super-resolution , IEEE Trans. Image Process 21 (2012) 3467-3478
[82]J. Kanakaraj, S. Kathiravan, Super-resolution image reconstruction using sparse param-
eter dictionary framework , Sci. Res. Essays 7 (2012) 586-592

Lucrare de diplom˘ a Ionut ¸-C˘ at˘ alin POPA
[83]W. Dong, L. Zhang, G. Shi, X. Wu, Image deblurring and super-resolution by adap-
tive sparse domain selection and adaptive regularization , IEEE Trans. Image Process. 20
(2011) 1838-1857
[84]W. DOng, L. Zhang, R. Lukac, G. Shi, Sparse representation based image interpolation
with nonlocal autoregressive modeling , IEEE Trans. Image Process. 22 (2013) 1382-1394
[85]K.I. Kim, Y. Kwon, Example-based learning for single image super-resolution and JPEG
artifact removal , Max Planck Institute Biological Cybernetics Tubingen, Germany, Tech-
nical report no. TR-173 (2008)
[86]K.I. Kim, Y. Kwon, Single-image super-resolution using sparse regression and natural
image prior , IEEE Trans. Pattern Anal. Mach. Intell. 32 (2010) 1127-1133
[87]D. Thapa, K. Raahemifar, V. Lakshminarayanan, Comparison of super-resolution algo-
rithms applied to retinal images , J. Biomed. Opt. 19 (2014)
[88]Z. Wang, A.C. Bovik, H.R. Sheikh, E.P. Simoncelli, Image quality assessment: from
error visibility to structural similarity , IEEE Trans. Image Process. 13 (2004) 600-612
[89] https://en.wikipedia.org/wiki/Pixel
[90]L. Yue, H. Shen, J. Li, Q. Yuan, H. Zhang, L. Zhang, Image super-resolution: The
techniques, applications and future , IEEE Trans. Image Process. 25 (2016)
[91]D. Thapa, K. Raahemifar, W.R. Bobier, V. Lakshminarayanan, A performance compar-
ison among diﬀerent super-resolution techniques , IEEE Trans. Image Process. 24 (2015)
[92] https://en.wikipedia.org/wiki/Super-resolution_imaging
[93] https://en.wikipedia.org/wiki/4K_resolution
[94]K. Murthy, M. Shearn, B.D. Smiley, et. al., SkySat-1: very high-resolution imagery from
a small satellite , Sens. Syst. General Satell. XVII (2014)
[95]M. Pierre, Detection of visible photons in CCD and CMOS: a comparative view , Nucl.
Instrum. Methods Phys. Res. Sect. A: Accel., Spectrom., Detect. Assoc. Equip. 504 (2003)
199-212
[96]H. Greenspan, Super-resolution in medical imaging , Comput. J. 52 (2009) 43-63
[97] https://en.wikipedia.org/wiki/Shot_noise
[98]B. Shi, H. Zhao, M. Ben-Ezra, et al., Sub-pixel layout for super-resolution with images
in the octic group , Proceedings of the European Conference on Computer Vision, ECCV,
Springer (2014) 250-264
[99]C. Latry, B. Rouge, Super resolution: quincunx sampling and fusion processing , Pro-
ceedings of the International Geoscience and Remote Sensing Symposium (IGARSS),
Toulouse, France (2003) 315-317
[100] B. Burke, P. Jorden, P. Vu, Overview paper-CCD technology , Scientiﬁc detectors for
astronomy 2005, Springer (2006) 225-264

Index
spatial sampling rate, 14
charge-coupled devices, 14
complementary metal oxide semiconductors,
14
artefacte vizuale, 17
CCD, 14
CMOS, 14
fotodiode, 13
imagine, 13
imagine digital˘ a, 13
magniﬁcare, 13
Megapixel, 13
multi-frame, 13
pixel, 13
rat ¸ie semnal-zgomot, 14
Rezolut ¸ia, 13
senzori de imagine, 14
shot noise, 14
single-frame, 13
SNR, 14
super-rezolut ¸ie, 13
47

Copyright Notice

© Licențiada.org respectă drepturile de proprietate intelectuală și așteaptă ca toți utilizatorii să facă același lucru. Dacă consideri că un conținut de pe site încalcă drepturile tale de autor, te rugăm să trimiți o notificare DMCA.

Acest articol: Program de studii: [626086] (ID: 626086)

Dacă considerați că acest conținut vă încalcă drepturile de autor, vă rugăm să depuneți o cerere pe pagina noastră Copyright Takedown.

Licență

•Alternativa care pune in dificultate o persoana, care trebuie sa faca o alegere; •Situatie cu doua iesiri, ambele defavorabile; •Rationament sau… [609000]

DILEMA PRIZONIERULUI DILEMA : •Alternativa care pune in dificultate o persoana, care trebuie sa faca o alegere; •Situatie cu doua iesiri, ambele defavorabile; •Rationament sau problema cu doua solutii din care doar una trebuie aleasa. PRIZONIER: •Deținut, persoană arestată, întemnițată, lipsită de libertate ; •Captiv, combatant al unei părți beligerante capturat de inamic, poate fi…

Read More •Alternativa care pune in dificultate o persoana, care trebuie sa faca o alegere; •Situatie cu doua iesiri, ambele defavorabile; •Rationament sau… [609000]
Licență

Fakultät für Wirtschaftswissenschaften und Unternehmensführung Unternehmensführung in deutscher Sprache Lizenzarbeit Absolvent , Andrei BLAGA… [608044]

BAB EȘ-BOLYAI UNIV ERSITÄT Fakultät für Wirtschaftswissenschaften und Unternehmensführung Unternehmensführung in deutscher Sprache Lizenzarbeit Absolvent: [anonimizat], Asistent univ. dr. Tudor IRIMIA Ș 2019 BABEȘ -BOLYAI UNIVERSITÄT Fakultät für Wirtschaftswissenschaften und Unternehmensführung Unternehmensführung in deutscher Sprache Lizenzarbeit Das Geld – Vergangenheit und Zukunft Überlegungen anhand der Kryptowährung Bitcoin Absolvent: [anonimizat], Asistent univ. dr. Tudor IRIMIA Ș…

Read More Fakultät für Wirtschaftswissenschaften und Unternehmensführung Unternehmensführung in deutscher Sprache Lizenzarbeit Absolvent , Andrei BLAGA… [608044]
Licență

FORMA DE ÎNVĂȚĂMÂNT: Învățământ cu frecvență [306910]

UNIVERSITATEA DIN ORADEA FACULTATEA DE INGINERIE MANAGERIALĂ ȘI TEHNOLOGICĂ DOMENIUL: Inginerie și management PROGRAMUL DE STUDIU: Inginerie economică și management pentru afaceri FORMA DE ÎNVĂȚĂMÂNT: Învățământ cu frecvență REPROIECTAREA ”CAPULUI DE PULVERIZARE ROTATIV 360ș ”LA SC NIOB FLUID SRO REPUBLICA CEHĂ COORDONATOR ȘTIINȚIFIC Prof. dr.ing. [anonimizat]: [anonimizat] 2020 Rezumat Lucrarea de față având titlul ”Reproiectarea…

Read More FORMA DE ÎNVĂȚĂMÂNT: Învățământ cu frecvență [306910]
Licență

Curriculum vitae [615420]

Curriculum vitae INFORMAȚII PERSONALE Lia-Olguta Vasilescu Ale. Astrei nr. 3, Craiova (România) [anonimizat] Sexul Feminin | Data nașterii 18/11/1974 | Naționalitatea română EXPERIENȚA PROFESIONALĂ redactor Craiova (România) 04/01/2017–20/11/2018 Ministru al Muncii i Justi iei Sociale ș ț 29/06/2012–19/12/2016 Primar al Municipiului Craiova 15/12/2008–29/06/2012 Membru al Senatului României 20/12/2016–Prezent Membru al Camerei Deputa ilor a României…

Read More Curriculum vitae [615420]
Licență

Eduard Jakabházi Sinz Iulian Gabriel [602021]

1 UNIVERSITATEA DE VEST DIN TIMIȘOARA FACULTATEA DE ARTE ȘI DESIGN Departamentul: DESIGN și ARTE APLICATE Specializarea: DESIGN LUCRARE DE LICENȚĂ MANUAL DE IDENTITATE VIZUALĂ AL FIRMEI IG AUTO CONCEPT DESIGN Coordonator: Absolvent: [anonimizat]ázi Sinz Iulian Gabriel Timișoara 2015 2 Cuprins Introducere Capitolul 1. Elemente de identitate vizuală 1.1. Denumire 1.2. Sloganul 1.3. Logoul 1.4….

Read More Eduard Jakabházi Sinz Iulian Gabriel [602021]
Licență

Prof./Conf. univ. dr. camelia mihaela pintea Cuprins Introducere Capitolul 1 Ce este un software matematic? Noțiunea de “Software matematic” se… [311318]

Prof./Conf. univ. dr. camelia mihaela pintea Cuprins Introducere Capitolul 1 Ce este un software matematic? Noțiunea de “Software matematic” se referă la proiectarea și utilizarea unor sisteme soft destinate rezolvării unor probleme ce apar în știință și tehnică. Aceste sisteme sunt concepute astfel incât să asiste utilizatorul în efectuarea unor calcule complicate și/ sau voluminoase…

Read More Prof./Conf. univ. dr. camelia mihaela pintea Cuprins Introducere Capitolul 1 Ce este un software matematic? Noțiunea de “Software matematic” se… [311318]