Procesarea de Imagini

Universitatea “Politehnica” din București

Facultatea de Electronică, Telecomunicații și Tehnologia Informației

Titlul complet al temei

( va corespunde celui din Anexa 1, la care se poate adăuga un subtitlu)

Proiect de diplomă

prezentat ca cerință parțială pentru obținerea titlului de

Inginer în domeniul domeniul**

programul de studii de licență program***

CUPRINS

Introducere

Capitolul I

Titlu cap 1

Capitolul al II-lea

Lista acronimelor

SIFT-Scale Invariant Feature Transform

SUA-Statele unite ale Americii

UAV

GPS

IR

DSLR

Introducere

Motivul alegerii temei

Am ales această temă pentru că sunt pasionat de procesare de imagini.Această pasiune a venit in urma efectuării practicii la FotoNation, la sfârșitul anului III.Un alt motiv pentru care am ales să fac licența in acest domeniu este că mi se pare de viitor si vreau să mă dezvolt ca inginer.

Prima a utilizare a dronelor a fost in domeniul militar.Ulterior acestea au fost folosite si în scopuri civile.

Algoritmul meu are 2 obiective:

Sa combine secvența de frame-uri din film într-o singură poză;

Calcularea unei hărți de înălțime a obiectelor peste care trece drone

DRONE – Scurt istoric

Vehiculele aeriene fără pilot(UAV), „dronele”, reprezintă cea mai importantă inovație din domeniul militar realizată în ultimii ani. Dacă până recent, dronele erau folosite doar în teatrele de război, ele ar putea deveni foarte curând omniprezente. De la agricultură și arheologie până la jurnalism, dronele au potentialul să modifice numeroase domenii în deceniile următoare, marcând o schimbare fără precedent în viața noastră de zi cu zi.

Pentru că dronele prezintă numeroase avantaje față de aeronavele cu pilot, ele au devenit o armă esențială în arsenalul armatei americane. În 2001, când SUA a declarat starea de război în urma atacului terorist din 11 septembrie, armata americană deținea 50 de drone. Astăzi, numărul acestora se ridică la 7.500, iar oficialii americani intenționează să extindă rețeaua globală de drone, urmând să investeasca masiv in acest proiect în dauna programelor convenționale.

Rand pe rand,tări din întreaga lume urmează modelul american si fac din drona o componentă esențială a forțelor armate. Domeniul militar nu este, însă, singurul ce sufera transformări majore ca urmare a apariției dronelor. Aceste aeronave fără pilot încep să fie folosite în tot mai multe domenii.

Drona – „ochiul din cer” care vede tot

Utilizările civile ale dronelor

Dacă inițial dronele erau fabricate în exclusivitate de companiile din domeniul apărării, costul acestora ridicându-se la câteva milioane de dolari, astăzi există pe piață numeroase variante, inclusiv drone mici și ieftine, ce pot fi controlate cu ajutorul smartphone-ului.

Ca urmare a costului redus al achiziționării unei drone simple (sau al construirii ei), aceste aeronave fără pilot încep să fie folosite tot mai mult și în afara forțelor armate.

Dronele sunt deja folosite pentru paza granițelor SUA și urmează să fie folosite în scurt timp și de organizațiile de pompieri (spre exemplu, pentru a lupta împotriva incendiilor de pădure).

Dronele în alte domenii

În Uniunea Europeană există deja planuri pentru folosirea dronelor în scopul monitorizării modului de utilizare a subvențiilor de către agricultori. În 2011, Uniunea Europeană a plătit 44 de miliarde euro ca subvenții agricole, iar conform legilor comunitare trebuie inspectate anual cel puțin 5% din suprafețele cultivate cu ajutorul acestor fonduri.

Jurnalismul actual –bazat pe ajutorul dronelor

Un alt domeniu in care dronele au potential să-l modifice este cel al jurnalismului. În Statele Unite, țara cu cel mai mare numar de drone, facultățile de jurnalism au început deja să ii pregătească pe studenți pentru această nouă fata a meseriei de ziarist.

Cu ajutorul dronelor se pot obține imagini inaccesibile reporterilor aflați la sol, iar prețul acestor aeronave este unul rezonabil. Recent, dronele au fost folosite pentru a capta imagini în timpul protestelor desfășurate în capitala rusă, Moscova, împotriva fraudelor electorale.

Este legal zborul dronelor din punctul de vedere al intimitatii?

Unii activiști se tem că răspândirea dronelor va conduce la încălcarea dreptului la intimitate.

Seful Google, Eric Schmidt, a cerut reglementarea utilizării dronelor in scopuri civile, pe fondul preocupărilor cu privire la securitate si respectarea vietii private.

Versiunea in miniatură a aparatelor folosite de armată ar putea ajunge in mâini nepotrivite si ar putea fi folosită, de exemplu, pentru spionarea vecinilor, a afirmat Schmidt intr-un interviu acordat The Guardian, preluat de BBC.

De asemenea, președintele companiei care deține cel mai mare motor de căutare pe Internet din lume a avertizat ca noile dispozitive ar putea fi utilizate si de către teroriști.

Desi nu contestă necesitatea existenței dronelor in armată, Schmidt susține că nu ar trebui ca posibilitatea de a purta un razboi sa fie la indemâna fiecărei ființe umane.

Din acest motiv, șeful Google cere reglementarea prin lege a utilizării dronelor in spațiul vieții civile.

Avantajele unei filmari aeriene din dronă:

Filmarea aeriană din dronă este spectaculoasă, fiind implicate costuri mult mai scăzute decât prin metodele clasice

Posibilitatea inspectării tehnice a suprafețelor mari si a zonelor greu accesibile

Permite măsuratori cu senzori multispectrali si infra-roșu (IR)

Filmarea ofera o imagine de ansamblu a obiectivului, utilităților si căilor de acces de lângă obiectiv

Drone-Exemple

http://adevarul.ro/tech/gadget/video-cinci-drone-poti-cumpara-folosi-cateva-minidrone-vehicule-25000-euro-1_522337b1c7b855ff56341f58/index.html#

http://www.roboutique.ro/catalog/drone-645613?gclid=CI_k2dmkm8QCFQX3wgodwaMA4A

1.Aibot X6

http://www.geo-matching.com/products/id2182-aibot-x6.html

Este o dronă profesională și poate susține chiar aparate DSLR. Se controlează cu ajutorul unei tablete. Susține o greutate de 2,5 kilograme și funcționează cu șase rotoare. Ajunge la o viteză de 50 de kilometri pe oră și poate fi programată pentru anumite rute. Bateria tine cam 30 minute.Evident, nu e ieftină: 25.000 de euro.Este specifica pentru topografie si inspectii industriale.Poate realiza ortofotografii si modele 3D cu o acuratete foarte mare.

2. DJI Phantom

http://teamdronat.ro/drona/

Este varianta optimă. Ușor de controlat, are GPS și stă singură în aer dacă iei mâinile de pe telecomandă. Își salvează automat poziția de start pentru cazul în care își pierde legătura cu telecomanda și se întoarce singură la bază. Bateria susține un zbor de 10 minute fără gimbal.

Varianta DJI Phantom 2 Vision este varianta cu cameră proprie și cu un sistem de conectare a unui smartphone pentru imagini live. Bateria ține cam 20 de minute și asta ar putea să constituie un avantaj. Din păcate camera nu are stabilizare.Există un sistem de stabilizare al camerei dar nu este inclus in prețul standard.Acest sistem împreună cu o camera GoPro Hero 3 costă in jur de 2300 lei.Prețul total al dronei echipată complet ajunge la aproximativ 5000 lei.

-Design atractiv, robust si compact

– Gata de zbor, cu radiocomandă inclusa

– Stabil si totusi agil,usor de pilotat

– Conține două module de control a zborului (NAZA-M si GPS) si permite inclusiv zborul la punct fix

– Intelligent Orientation Control (IOC)

– Failsafe si Auto-Return-to-Home si aterizare automată

– Protecție la tensiune scăzută

– Viteză maximă de zbor 10 m/s

– LED-uri luminoase pentru orientare in timpul zborului

– Include suport pentru camera GOPRO (camera nu este inclusă)

– Timp de zbor: 10 – 15 minute

3.Parrot A.R. Drone

Probabil cea mai cunoscută dronă din momentul de față este Parrot A.R.Drone.In moementul de fata se vinde cea de-a II-a generatie si poate si controlata de pe un smartphone care utilizeaza iOS sau Android ca sistem de operare.Pe telefon ne apare un film cu ce vede drona in timp real și stim exact unde să o orientăm. Totul e ca într-un joc. Oficial ea este distribuită în România de către Orange, la un preț de 350 euro. Drona poate înregistra HD, salvează imaginile prin Wi-Fi sau prin USB și face poze. Are un procesor de 1 Ghz, Cortex A8, o memorie RAM de 1 GB, un accelerometru pe 3 axe și un giroscop pe 3 axe. Fuzelajul este construit din polipropilenă expandabilă, acest lucru făcând-o sensibilă la posibile căzături.

În perioada de practică am lucrat cu această dronă si am constatat că are un mare dezavantaj si anume camera de jos care are o calitate slabă.

Unul dintre avantajele acestei dronei este ca aceasta este foarte stabila in momentul zborului.

Senzori folosiți pe drone

Sonar(Sound Navigation and ranging ) –Este un senzor care măsoară distanța până la obiecte.Acesta trimite unde sonore si recepționează undele reflectate de obiecte.

Barometru este un instrument de măsură a presiunii atmosferice.

Accelerometru este un senzor care măsoară accelerația, pe baza inertiei corpurilor.

El are în vedere în permanență coordonatele dronei (pe axele x, y și z) și va calcula accelerațiile determinate de fiecare mișcare.

Magnetometru este un instrument de măsură a câmpului magnetic in vecinătatea instrumentului.Magnetometrul este folosit si pentru detecție de metale.Are o arie de detecție mult mai mare decât a unui detector de metale.De câțiva ani pot fi incorporate in circuite integrate si sunt folosite ca busolă în telefoane mobile si tablete.

Giroscopul este un corp solid căruia i se imprimă o mișcare de rotație (în jurul unei axe de simetrie, de obicei), având scopul de a indica o anumită direcție (fixă în spațiu).

Giroscoapele se utilizează pentru măsurarea înclinărilor, direcțiilor, vitezelor unghiulare,accelerațiilor liniare si unghiulare, cuplurilor, vibrațiilor, etc.

Altimetru este un instrument care măsoară altitudinea față de un nivel de referință.De fapt,se bazează pe datele returnate de un barometru dar cu indicații in unităti de înălțime.

Optical flow-Senzor pentru mișcarea si detecția obiectelor.Se bazează pe studiul a 2 cadre consecutive.Ajută la stabilizarea dronei pe orizontală.

1.Capitolul I

Prezentarea camerei foto/video si parametri acesteia

Distanta focala

Distanta focala reprezinta distanta fizica dintre centrul lentilei si centrul senzorului digital al aparatului de fotografiat.De obicei,in telefon lentila este fixa.

Apertura(F-Number)

Apertura reprezinta cat de mult este deschisa diafragma lentilei si se traduce in cat de multa lumina ajunge pe senzorul camerei foto.Cu cat diafragma este mai deschisa cu atat mai multa lumina ajunge pe senzor si invers.

Acest numar se calculeaza prin impartirea diametrului orificiului de intrare al luminii prin diafragma la distanta focala a obiectivului.De exemplu pentru un obiectiv cu focala de 100 mm si o deschidere a diafragmei de 25 mm rezulta un numar f/4.

Profunzime de camp

Profunzimea de camp este un termen fotografic care se refera la o zona cu un grad acceptabil de claritate.In fata si in spatele punctului de focalizare se afla o zona care este clara.

Aceasta zona de numeste profunzime de camp.In spatele si in fata acestei zone este o zona unde punctele nu mai sunt clare ci sunt blurate.

Profunzimea de camp este determinata de dimensiunea orificiului.Cu cat orificiul este mai mare (stanga-sus), cu atat profunzimea de camp este mai scazuta.Cu cat orificiul este mai mic cu atat profunzimea de camp este mai mare.

ISO

ISO este sensibilitatea senzorului la lumina.Acest lucru ne poate ajuta cand lumina din mediul inconjurator este slaba.In acest caz,putem mari ISO si atunci se amplifica cantitatea de lumina ajunsa pe senzor.De obicei camerele din telefon au ISO setat pe automat, dar acesta poate fi modificat intre 100 si 1600(vorbind de camerele din telefoane pentru ca in cazul DSLR-ului ,ISO poate ajunge si la o valoare de 12800).

De mentionat este faptul ca atunci cand crestem ISO ,crestem si cantitatea de zgomot.Practic prin cresterea ISO-ului crestem raportul semnal/zgomot.

Sensibilitatea ISO se alege in functie de conditiile de iluminare.

Timpul de expunere

Timpul de expunere controleaza cantitatea de lumina care trece prin obiectiv si ajunge la senzor.Cu alte cuvinte, putem controla cantitatea de lumina ajunsa pe senzor prin setarea declansarii obturatoarelor(„cortinelor”).

Valoarea acestuia poate varia intre cateva secunde si 1/1000s la un aparat de fotografiat performant,iar daca vorbim de un telefon acest timp are o gama mult mai mica si poate fi modificat doar pe Android 5.Pentru telefoanele mai vechi acest timp este 1/30s.

Un alt aspect al timpului de expunere ce trebuie precizat este ca acesta este corelat cu miscare obiectelor.Daca timpul de expunere este mic(stanga-jos) atunci obiectul poate aparea static ,desi el este mobil in realitate(dreapta-jos),fapt evidentiat printr-un timp de expunere mare.Printr-un timp de expunere mic putem elimina si faptul ca am facut o poza cu aparatul in mana,fara trepied.

Expunerea

In fotografie, expunerea este o combinatie de 3 termeni(timpul de expunere, valoarea aperturii si sensibilitatea ISO).

Desi 2 combinatii diferite ale celor 3 parametri de mai sus pot da o aceeasi expunere,nu inseamna ca obtinem neaparat o aceeasi poza. Mai jos avem un exemplu de 2 astfel de combinatii:

f/2.8 1/125 400ISO (+1-1+0=0)

f/2.8 1/250 800ISO (+1-2+1=0)

Trebuie mentionat ca aceeasi expunere am fi putut sa o obtinem cu combinatia:

f/4 1/125 800ISO (0-1+1=0)

Explicatia pentru care apertura nu este f/5.6 este ca lumina care ajunge pe senzor nu este direct proportionala cu diametrul diafragmei.

Formula dupa care se calculeaza aceasta valoare este:

EV= unde:

N=Apertura(F-number) ; t=timpul de expunere(in secunde)

1.7. Cum se formeaza imaginea pe senzor

2.Capitolul al II-lea

2.Descrierea algoritmilor cunoscuti pentru detectie de colturi

Un colt poate fi definit ca o intersectie de margini.Detectia de colturi este o abordare folosita pentru a extrage anumite tipuri de caracteristici si pentru a deduce continutul unei imagini.

Diversi algoritmi pentru detectie de colturi sunt folositi frecvent pentru a detecta miscarea, urmarire video, lipire de mai multe poze pentru a creea o imagina panoramica, recunoastere de obiecte,et cetera.

2.1. Harris

Ceea ce face un colt atat de important este faptul ca el reprezinta un punct in care cele 2 directii in care aceste 2 margini se schimba.Asadar, gradientul unei imagini(pe ambele directii) are o variatie mare, care poate fi folosit in detectia colturilor.

Este o metoda invarianta la rotatie.Acest lucru este evident deoarece un colt este un colt chiar daca rotim imaginea.

2.1.1.Gradientul unei imagini

„În calculul vectorial, gradientul unui câmp scalar este un câmp vectorial ai cărui vectori sunt îndreptați, în fiecare punct, în direcția celei mai mari rate de creștere a câmpului scalar, și al cărui modul este cea mai mare rată de schimbare.„

Exemplu:

Avem un deal pentru care stim in fiecare punct (x,y) inaltimea sa H(x,y) deasupra nivelului marii.Gradientul inaltimii H in fiecare punct va fi un vector care ne arata directia in care panta este cea mai abrupta in acel punct.In schimb,modulul vectorului (magnitudinea vectorului) ne spune cat de abrupta este panta in punctul respectiv.

Pentru o imagine, vectorul gradient reprezinta directia si marimea variatiei de intensitate luminoasa intr-un punct al imaginii.

Gradientul este definit in functie de derivatele partiale ale functii imagine, f(x,y).

Vectorul gradient este perpendicular pe directia frontierei.

Imaginea initiala

Putem observa mai jos cum arata magnitudinea gradientului si directia acestuia pentru imaginea de mai sus.Punctele de margine dintr-o imagine sunt identificate calculand gradientul in fiecare pixel si apoi se vor selecta doar acei pixeli pentru care amplitudinea gradientului este mai mare decat un anumit prag.

Magnitudinea gradientului Directia gradientului

2.2 SIFT(Scale Invariant Feature Transform)

Mai sus am luat in calcul o variatie a scalei intre 2 imagini ale aceluiasi colt.Putem observa ca acel colt din stanga(intr-o fereastra mica), nu mai este colt atunci cand este marit(in aceeasi fereastra).Metoda Harris pentru detectie de puncte nu este inviarianta la scala.

In anul 2004,D.Lowe ,profesor la University of British Columbia,a venit cu un nou algoritm(SIFT) in lucrarea sa(„Distinctive Image Features from Scale-Invariant Keypoints”), care extrage punctele cheie si calculeaza descriptorii acestora.

2.2 SURF(Speeded up robust feature)

SURF este o metoda de detectie locala de caracteristici care poate fi folosita pentru recunoastere de obiecte sau reconstructie 3D.Este partial inspirata din metoda SIFT.

Versiunea standard SURF este de cateva ori mai rapida decat SIFT si autorii acesteia spun ca este mai robusta decat SIFT cand vine vorba despre transformari diferite ale imaginilor.

3.Capitolul al III-lea

3.1.Ce este o imagine?

O imagine poate fi bidimensionala precum o fotografie, o captura de ecran sau tridimensionala precum o holograma.Ea poate fi capturata cu ajutorul unor dispozitive (aparate de fotografiat ,oglinzi , lentile, telescop, microscop) sau cu obiecte naturale precum ochiul uman.

O imagine este salvata in memoria unui calculator ca o matrice daca vorbim de o imagine cu nivele de gri.In fiecare punct (x,y) al matricei este salvata o anumita valoare.De exemplu pentru un format pe 8 biti,vom avea o gama de 256 de valori posibile pentru fiecare pixel(picture element).0 reprezinta culoarea negru,255 reprezinta culoarea alb iar intre aceste valori avem 1-254 nivele de gri(gri din ce in ce mai deschis).

Daca vorbim de o imagine color atunci lucrurile stau putin diferit.Sunt salvate 3 matrice in memorie.Cate una pentru fiecare plan de culoare(RGB).Practic cele 3 valori din fiecare plan se suprapun si va rezulta o culoare.

Modelul de culoare RGB este cel mai cunoscut.

Este un model aditiv in care cele 3 culori(rosu,verde si albastru)

sunt combinate intr-o multime de moduri pentru a obtine o

gama larga de culori.

Figura 1

3.2.Ce este un „pixel”?

Intr-o imagine digitala, un pixel este un punct fizic.El este cea mai mica unitate adresabila si controlabila din multimea de puncte alea unei imagini cu structura de matrice.Adresa lui corespunde coordonatelor sale fizice.

Pixelul poate fi folosit ca unitate de masura(pixeli/inch).Putem vedea forma patratica daca marim destul de mult imaginea respectiva.

Denumirea de „pixel” vine din alaturarea a 2 cuvinte provenite din limba engleza.Pix(picture) si el(element) sunt cuvintele din care s-a format acest termen.Cuvantul pixel a fost prima oara publicat in

Figura 2

anul 1965 de catre Frederic C. Billingsley, un inginer american care si-a petrecut cea mai mare parte din cariera dezvoltand tehnici de procesare de imagini digitale, ajutand la urmarirea mai multor planete.

4.Capitolul al IV-lea

Fotografia panoramica

Fotografia panoramica este o tehnica fotografica care foloseste echipamente speciale sau programe speciale.Aceata tehnica este folosita pentru a captura imagini cu un unghi vizual foarte larg.

De obicei multi confunda termenul de „panorama” cu cel de „wide-angle”.Aceasta confunzie apare pentru ca formal este aproximativ acelasi lucru, dar „wide-angle” se refera la un anumit tip de lentila.Folosind aceasta lentila nu inseamna neaparat ca putem face o fotografie panormamica.

O imagine care arata un camp vizual aproximativ sau mai mare decat cel uman(75-160 grade) poate fi numita panoramica.Acest lucru se traduce printr-o raport de aspect de 2:1 sau mai mare.Unele imagini panoramice au un raport de aspect de 4:1 ,uneori chiar de 10:1, acoperind un unghi de vizualizare de pana la 360 grade.

Cei mai importanti factori in definirea unei fotografii panoramice in adevaratul sens al cuvantului sunt raportul de aspect si campul vizual acoperit.

Figure 4

Capitolul al V-lea

Descrierea algoritmului

De ce consider utila aceasta aplicatie?

Daca ne dorim o imagine de ansamblu a unui peisaj desi suntem foarte apropiati de subiect atunci trebuie sa ne departam de acesta.Uneori aceasta miscare nu este posibila, deoarece ne putem afla intr-o cladire sau suntem in varful unui munte si vrem sa facem o poza a intregului peisaj.In urma acestor nevoi a aparut conceptul de panorama.Aceasta poate fi facut printr-o lentila “wide-angle” sau software prin combinarea mai multor frame-uri.Avantajul solutiei software este ca este mult mai ieftin sa faci o astfel de imagine panoramica dupa ce pozele au fost facute decat sa cumperi o lentila “wide-angle” care este foarte scumpa.De altfel, dupa cum am spus si mai sus in lucrarea de fata, o fotografie capturata cu o astfel de lentila nu este neaparat una panoramica.In niciun caz nu putem realiza o imagine care acopera un unghi vizual de 360 grade, indiferent de ce lentila folosim.In schimb putem contrui una folosind postprocesarea sau unind mai multe cadre chiar in timp real.

Pe de alta parte, vorbind despre partea a 2-a a algoritmului si anume crearea unei harti a inaltimilor obiectelor, aceasa harta poate fi utila in cazul in care vrem sa stim inaltimea minima la care putem zbura cu drona in acea camera.

Extragerea punctelor cheie

Pentru a putea avea un punct de plecare in lipirea a 2 cadre trebuie sa stim niste puncte comune ale acestora.Cum aceste puncte nu pot fi luate la intamplare, atunci am ales colturile obiectelor din poza ca fiind punctele de interes.

Cu scopul de a detecta colturile obiectelor dintr-o imagine am folosit metoda Harris descrisa in subcapitolul 2.1.

Figura 3

Aceste puncte au fost obtinute iar coordonatelor lor sunt retinute in 2 matrice denumite C1 si C2(Colt 1 pentru imaginea 1 si respectiv Colt 2 pentru imaginea 2).

Am selectat matricea C1 si se poate vedea ca avem coordonatele (x si y) colturilor.Pe prima coloana sunt coordonatele x ale punctelor, iar pe cea de a II-a coloana sunt coordonatele y ale punctelor.

Sa ne amintim ca formatul unei imagini este de 1920 X1080.Asta inseamna ca imaginea are lungimea de 1920 si inaltimea de 1080 pixeli.

Figura 4

In stanga este matricea C2 in care avem coordonatele x si y ale punctelor de colt din imaginea a 2-a.

Se poate observa ca in cazul cooradonatei x ale aceluiasi punct, aceasta este mai mare.Acest lucru este perfect normal deoarece drona se misca catre stanga(implicit si camera foto din telefon), iar asta se traduce prin o miscare aparenta a obictelor catre dreapta(de unde si coordonata x mai mare in matricea C2 decat in matricea C1, bineinteles pentru acelasi punct).

Figura 5

Imperecherea punctelor cheie

Avand la dispozitie coordonatele punctelor identificate prin metoda Harris, urmeaza sa putem afla pentru fiecare punct din poza 1 corespondentul sau din poza 2.

Figura 6

Capitolul al VI-lea

Dezvoltari ulterioare

Una din imbunatatirile la care m-am gandit prima oara, privind varianta finala a algoritmului este de a-l face sa functioneze si pentru o miscare de rotatie.

Un alt plus pe care m-am gandit sa il aduc in viitor ar fi sa creez o harta a intregului peisaj captat care poate fi vizualizat din orice unghi.Acest lucru se traduce prin o posibila vizualizare a oricarui punct al fiecarui obiect din orice unghi.Pentru a va putea imagina acest lucru, va puteti gandi la cunoscutul „Google Maps”.

Anexa 1