155 Teza De Abilitare Gacsadi Alexandru Text
Universitatea Politehnica Timișoara Teză de Abilitare Habilitation Thesis Rețele neuronale/neliniare celulare cu aplica ții în prelucr ări de imaginișipentrunavigația roboților mobili Cellular neural/nonlinear networks with image processing and mobile robot navigation applications Prof.dr.ing. GACSÁDI Alexandru 2017 GacsádiAlexandru Teză de abilitare 2Cuprins A.Rezumatul tezei de abilitare ………………………….. ………………………….. ………………….. 3 Rezumat (Ro) ………………………….. ………………………….. ………………………….. ……………… 3 Abstract(En)………………………….. ………………………….. ………………………….. ……………… 5 B. 1.Realizări științifice, profesionale și academice în perioada 2001–2016…………..7 2.Descrierea tehnică a contribu țiilor științifice ………………………….. …11 2.1.Prelucrări de imagini bazate pe calcul variațional și utilizarea rețelelor neuronale/neliniare celulare ………………………….. ……………………… 11 2.1.1.Rețele neuronale/neliniare celulare ………………………….. ……………………… 11 2.1.2.Proiectarea bazată pe calcul variațional a unui template CNN …………….. 19 2.1.3.Metode CNN utilizate pentru reconst rucția unei imagini …………………….. 25 2.1.4.Algoritm CNN omogen de estimare și compensare a mișc ării…………….. 32 2.2.Prelucrarea unor imagini medicale ………………………….. …………………………. 45 2.2.1.Îmbunătățire adaptivă a imaginilor utilizând rețele neuronale/neliniare celulare ………………………….. ………………………….. …….46 2.2.2.Filtrarea zgomotului din imagini ,bazată pe calcul variațional utilizând rețele neuronale/neliniare celulare ………………………….. …………..53 2.2.3.Segmentarea CNN a imaginilor ………………………….. ………………………….. .59 2.2.4.Clasificarea automată a tumorilor din imagini mamografice , bazată pe caracteristici direc ționale………………………….. ……………………… 72 2.3.Utilizarea tehnologiei rețelelor neuronale celulare pentru navigația roboților mobili autonomi ………………………….. ……………………….. 76 2.3.1.Planificarea traiectoriei unui robot mobil în medii cu obstacole …………… 76 2.3.2.Algoritm CNN de planificare simultană a tra iectoriilor pentru doi roboți mobili ………………………….. ………………………….. ………………………… 90 2.3.3.Coordonarea deplasării unei colectivități de roboți mobili ………………….. 93 2.3.4.Mediu integrat pentru navigația unui robotul mobil ………………………….. 100 2.4.Sistem integrat pentru asistarea persoanelor cu deficiențe de vedere………………………….. ………………………….. ………………………….. ………….106 2.4.1.Medii integrate pentru deplasarea persoanelor cu deficiențe de vedere………………………….. ………………………….. ………………………….. …….107 2.4.2.Algoritm CNN pentru calcularea corelației între două imagini …………..112 2.4.3.Implementarea FPGA a algoritmului CNN pentru corelația imaginilor ………………………….. ………………………….. ………………………….. 118 3.Planuride evoluție și dezvoltare a carierei academice, științifice și profesionale ………………………….. ………………………….. ………………………….. ……….122 C.Bibliografie ………………………….. ………………………….. ………………………….. …………… 125 GacsádiAlexandru Teză de abilitare 3Rețele neuronale/neliniare celulare cu aplica ții în prelucr ări de imaginișilanavigația roboților mobili Rezumat În cadrul prezentei teze de abilitare sunt prezentate principalele realizări personale obținute în cercetarea științific ă, activitatea didactică și academic ă,după susținerea public ă a tezeiși obținerea titlului de doctor al Universit ății Politehnica din Timișoara (2001) . Tezade abilitare este structurată pe trei părți: -Rezumatul,cecuprinde sinteza tezei de abilitare redactat atât în limba română cât și în limba engleză ; -parteaa doua,carese referă la realizări leștiințifice, profesionale și academice, respectiv laplanuri de evoluție și dezvoltare a carierei de c ercetareși didactice ; -referințelebibliografice. În cele de mai jos se descrie cea de a doua parte, care la rândul eiinclude trei capitole. În primulcapitolsuntprezentatesuccint principalele rezultate ob ținute în activitatea de cercetare științifică, didactică și academic ă:cursuri predate, discipline noi introduse în planul de învățământși contribuțiile la dezvoltarea planurilor de înv ățământ, activitatea de îndrumare aproiectelor de diplomă și disertație, lista de lucrări și granturi/proiecte, dotare laboratoare, profesor invitat, inițierea de colabor ări academice interna ționale, activit ăți de management, etc.În perioada 2001 -2016am publicat 79dearticole în reviste și la manifest ări științifice naționale și internaționale, din trecare 27delucrări sunt indexate ISI șialte22delucrări sunt indexate BDI ,am elaborat 6 cărți și4îndrumătoare de laborator în domenii conexe prezentei teze,am participat în cadrul a 13granturi/proiectedecercetare câștigate prin competiție(la 6 dintre ele fiind șidirector de proiect)șila4contracte de cercetare cu mediul socio -economic. Capitolul doi se referă la d escrierea tehnică a contribu țiilor științifice rezultate în cele patru direc ții de cercetare care au fost abordate de autorîn perioada mai susamintită: ▫Prelucrări de imagini bazate pe calcul variațional și utilizarea re țelelor neuronale/neliniare celulare .Alături de alteprocedee clasice, ca structuri de calc ul paralel, rețelele neuronale/neliniare celulare ( CNN-Cellular Neural/Nonlinear Networks )oferă soluții complementare de realizare în timp real a unor aplicații în domeniul prelucrării semnalelor .Este prezentată o modalitate originală de proiectare aunor template -uri, bazată pe calcul varia țional, cu ajutorul c ărora se pot efectua anumite procesări spațio-temporale ale imaginilor. Folosind template -uridimensionate în acest mod, s -a analizat eficien țaunor metode CNN în reconstrucția unei imagini deteriorate sau cunoscută par țialșis-a elaborat unalgoritm CNN omogen de estimare și compensare a mișc ării. ▫Prelucrarea unor imagini medicale .Implementarea CNN a unor metode de prelucrare a imaginilor medicale nu este un scop în sine , astfel rezultă soluțiipentru integrarea acestora într-un sistem de asistare în timp real a diagnozei medicale și/sau la urmărirea tratamentului .Sunt prezentate metode CNN originale de îmbunătățire adaptivă a contrastului, de f iltrarea zgomotului ,de segmentare aimaginilor medicale , în particular imagini computer tomografice (CT), careoferăcreștereavizibilitățiicomponentelor GacsádiAlexandru Teză de abilitare 4imaginii în scopulinterpretării acesteiacât mai ușoare de către expert.De asemenea, sunt descrise rezultatele studiului utilizării filtrelo r de tip Gabor în clasificarea automată a țesuturilor mamare de tip normal, benign și malign.Pentru reducere a dimensiunii datelor s- a utilizat descompunerea în componente principale ( PCA-Principal Component Analysis ), iarcași clasificator s-a folositmetoda vectorilor suport de tip proximal ( Proximal Support Vector Machines ). ▫Utilizarea tehnologiei rețelelor neuronale celulare pentru navigația roboților mobili autonomi .Prin utilizarea tehnologiei CNN la comanda unui robot mobil, cu reacție vizuală bazată pe imagini, se asigură reducerea timpului de procesare a semnalelor și astfel, se poate obține o creștere a vitezei de deplasare. Algoritmul CNN pentru planificarea traiectoriei unui robot mobil furnizează acestuia, într -un mediu de lucru cu obstacole, traiectoria optimă din punct de vedere al lungimii și a numărului de viraje, între poziția de start și poziția țintei. Metoda propusă poate fi extinsă și pentru cazul navigației simultane a doi roboți mobili dar și la coordonarea deplasării unei colectivi tăți de roboți mobili . Astfel, fiecare robot ocolește obstacolele întâlnite în cale precum și pe celălalt robot, dacă este necesar. În final ,se prezintă un sistem integrat pentru deplasarea autonomă efectivă a unui robot mobil, într -un mediu real nestruct urat.Pentru naviga ția robotului se propune o metodă hibridă care are în vedere combinarea optimă a celor două tipuri de navigații complementare, metoda globală și metoda local ă. ▫Sistem integrat pentru asistarea persoanelor cu deficiențe de vedere .Bazatăpe evoluția spectaculoasă atehnologiei electronice , prin dezvoltarea un uinousistem integrat pentru asistarea persoanel orcudeficiențe de vedere se urmăre ște extinderea și îmbun ătățirea performan țelor simultan cu cre șterea preciziei și scăderea timpului de procesare. Pentru creșterea eficienței acestui sistem ,se propune un algo ritm CNN de calcul al corelației dintredouă imagini . Acest algoritm a fostimplementat ,într-o variantă semi -paralelă,pe o platformă FPGA de emulare digitală aCNN-UM (CNN Universal Machine) .Varianta propusă, de implementare semi -paralelă, conduce la ob ținerea unui raport optim între viteza de procesare și resurse lehardware necesare. De menționat cămajoritatea subiectelor, grupate în celepatru direc ții de cercetare, au fost abordate în cadrul unor granturi/proiecte de cercetare, na ționale sau internaționale, la care am participat , în calitate de director sau membru. Principalele rezultate ob ținute, în legătură cu aceste direc ții de cercetare, au fost publicate înpeste 60 de articole ,dintrecare 25de lucrări sunt indexate ISI șialte20delucrări sunt indexate BDI . În ultima sec țiune se prezint ă planurile de evolu ție și dezvoltare în ceea ce privește cariera profesională, științificăși academic ă, precum și modalit ățile avute în vedere pentru atingerea efectivă a acestor obiective. Sub deviza ”sisteme electronice apl icate”, direcția principală de cercetare se referă la elaborarea unor metode de analiză și prelucrare a semnalelor biomedicale șiimplementa rea lor efectivă într-un sistem de asistare în timp real a diagnozei medicale și/sau la urmărirea tratamentului . Seva continua investigarea unor imagini CT și imagini mamografice ,studiind, alături decellularwave computing ,și alte soluții noi de implementare. Alexandru Gacsádi Habilitation Thesis 5Cellular n eural/nonlinear n etworkswithimage processing and mobile robot navigation applications Abstract Thishabilitation thesis presents the main personal achievements o btained in scientific research, teaching and academic activity after gettingthePhDdegreeatUniversity Politehnica Timi soara (2001). The habilitation thesis is structured as follows: -the abstract, which includes the synthesis of the habilitation thesis, written both in Romanian andEnglish; -the second part, which covers the scientific professional and academic achievements, and future research and teaching career development plans ; -references. Thesecond part includes three chapters. The first chapter briefly presents the main achievements in scientific research, teaching and academic work: courses taught, new subjects introduced in the curriculum and contributions to the development o f curricula, mentoring diploma and dissertation projects, published papers list and grants / projects, equipped laboratories, visiting professor, initiating international academic collaboration, management activities, etc. Between 2001 -2016 I have published 79papersin scientific journals and at national and international workshops of which 27 are ISI indexed and other 22 are BDI indexed, I have written 6 books and 4 laboratory guides in fields related to the present thesis, I collaborated in 13 grants / research projects won by competition (in 6 of them being the project manager) and 4 research contracts with the socio -economic environment. Chapter two covers the technical description of the scientific contributions obtained in the four research directions that were addressed by the author during the above -mentioned period of time : ▫Image processing based on variational c omputing and usingof cellular neural/nonlinear networks. Along with other classical methods, such as parallel comput ing structures,Cellular Neural/ Nonlinear Networks (CNN) provides complementary solutions to achieve real -time signal processing applications. An original template design method based on variational computing is presented, which can be used to perform certain spatio-temporal processing of images. Using templates designed in this manner, the effectiveness of these CNN methods was analyzed in reconstruction a damaged or partially known image and ahomogeneous CNN algorithm was developed for motion estimation and compe nsation. ▫Medical image processing .CNN implementation of methods for medical image processing is not an aim by itself, but obtaining solutions to their integration into a real – time medic al diagnosis support system and/ or follow-up treatment. Original CNN methods are presented for adaptive contrast enhancement, noise filtering, segmentation of medical images, particularly compute rtomography (CT) images, offering increased visibility of Alexandru Gacsádi Habilitation Thesis 6image components in order to help the expert make the best possible int erpretation of the image. Also the results of the study regarding the use of Gabor filters in the classification of normal, benign and malignant mammary tissue are presented. To reduce the size of the dataPrincipal Component Analysis (PCA ) was implemented , and as classifier the Proximal Support Vector Machines method was used . ▫Cellular neural networks technology usingfor autonomous navigation of mobile robots. UsingtheCNN technology to mobile robot control ,withon images based visual feedback, a reduction in processing time can be achieved and thus a movement speed increase can be obtained. TheCNN path planning algorithm for a mobile robot in an environment with obstacles to findanoptimal trajectory in terms of length and number of turnsbetween the start and targetpositions.The proposed method can be extended to the case of simultaneous navigation of two of mobile robots and also tocoordinate the movement of a collective of mobile robots. Thus, each robot avoids obstacles in its path as well as the other robot. Finally, an integrated system for effective self-propelled mobile robot in a real unstructured environment i spresented.A hybrid method for r obot navigation isproposed that takes into account the optimal combination of the two complement arytypes of navigations , e.g theglobal and local method. ▫Integrated system for assisting visually impaired people .Based on the spectacular evolution of electronic technology, thedevelopment of a new integrated system for assisting visually impaired peoplein some typical every -day tasks .To increase the efficiency of this system, a CNN algorithm is proposed for calculating the correlation between two images. This algorithm has been implemented, in asemi-parallelversion,on anemulated digital FPGAbasedplatform of aCNN-UM (CNN Universal Machine) .The proposed semi -parallelimplementation variantyields an optimal ratio between processing speed and requiredhardware resources. It has to be noted that most topics, grouped into four directions ofresearch were addressed in national or international grants/research projects, wh eremy role was aprincipal investigator or member of a research team . The main obtained results in connection with these directions of research have been published in 60 arti cles, of which 25 are ISI indexedpapers and 20 papers areBDIindexed. The last section presents scientific, academic and professional career development plans, and methods envisaged to effective achievement of theseobjectives. Under the ”applied electro nic systems” head line ,the main direction of research refersto the development of biomedical signal analysis and processing methods and their effective implementation in a real -time medical diagnosis helping follow-uptreatment. The investigation of CT a nd mammographic images will be continued , alongside cellular wave computing and other new implementation s. GacsádiAlexandru Teză de abilitare 71.Realizări științifice, profesionale și academice înperioada 2001-2016 Teza de doctorat ,cu titlul ” Contribuții la conducerea adaptivă a roboților prin prelucrarea informației vizuale utilizând rețele neuronale celulare ”, am susținut -o la data de 18.05.2001, la Facultatea de Electronică și Telecomunicații din cadrul Universității ”Politehnica” din Timișoara. După obținerea titlului științific de doctor , magna cum laude, în domeniul ”Inginerie Electronică și Telecomunicații” (în baza Ordinului MEN 4202/27.07.2001) ,am devenit conferențiar universitar (din octombrie 2002) ,respectiv profesor universitar (din octombrie 2005),laUniversitatea din Oradea, Facultatea de Inginerie Electrică și Tehnologia Informației, Departamentul de Electronică și Telecomunicații . Activitatea didactică și profesional ă Pe parcursul carierei mele academice am susținut activități didactice de curs și de laborator la mai multe discipline din domeniu . Actualmente desfășoractivități didactice la următoarele discipline :Bazele sist emelor de achiziție a datelor, Televiziune, Sisteme electronice în robotică, Electronică de putere, (licență),respectiv Aplicații ale rețelelor neuronale celulare(masterat) .La toate aceste discipline sunt asigurate materiale didactice adecvate (căr ți, îndrum ătoare de laborator, note de curs, prezentări, etc. )accesibile șiîn format electronic pe pagina web personală. Pentru cursuri folosesc șimetode moderne de predare (prezentăriși discuții interactive ), iar la activitatea de laborator utilizăm deopotrivă experimente practice și metode de analiză bazate pe simulare. Fișele disciplinelor sunt elaborate, adaptate și actualizate periodic în conformitate cu standardele actuale și cerințele companiilor angajatoare. Amelaborat și publicat ca autor unic sau ca și co-autor6 cărți de specialitate :”Sisteme de achiziții de date”, ”Bazele televiziunii”, ”Rețele neuronale celulare. Aplicații”, ” Roboți mobili autonomi -Conducere cu r ețele neuronale artificiale” ,”Structura și dinamica rețelelor dinamice complexe. Rețele neliniare celulare”, ”Informatică aplicată în electronică: teorieși aplicații” .Acesteasunt utile atâtstudenților , ca suport de curs pentru disciplinele susținutela licență și master, câtspecialiștilor din domeniile respective . În colaborare cu alțicolegi am elaborat 4 îndrumătoare de laborator :”Sisteme de achiziție a datelor”, ”Bazele televiziunii ”,”Bazele roboticii”, ”Electronică industrială” și am realizat lucrări practice de laborator funcționale (circuite electronice și aplicații program) care sunt utilizate atâtînactivitatea didactică cât șiînceade cercetare . Prin achizițiile de echipamente și tehnică de calcul, realizat eîn cadrul unor granturi/proiecte de cercetare na ționale și internaționale încare am activat, s -a contribuit la îmbunătățirea nivelului de dotare al laboratorului ( Sisteme Electronice Aplicate ), unde se desfășoarăactivitățididactice și de cercetare menționate anterior . GacsádiAlexandru Teză de abilitare 8Am contribuit la dezvoltarea continuă a programelor de studii de licen ță:Electronică AplicatășiRețele și Software de Telecomunicații .Am participat la introducerea și susținerea unor noi programe de studii de masterat: Tehnologii audio -videoși telecomunicații șiSisteme electronice avansate .La toate aceste programe de studii, tutelate de Departamentul de Electronică și Telecomunicații, am participat la întocmirea rapoartelor de autoevaluare în vederea acreditării și reacredit ării acestora. De asemenea, am contribuit activ la dezvoltarea , planurilor de învă țământpentru aceste programe de studii de licen ță și de master șila introducerea unor noi discipline, cum ar fi: Aplicațiialerețelelor neuronale celulare. În fiecare an am condus lucrări de diplomă și de disertație, majoritatea dintre ele cu finalizare practică , unele dintre acestea fiind folosite în activitatea didactică de laborator .Am încurajat studenții să participe în echipe de cercetare și la sesiuni de comunicări științifice studențești. La pregătirea profesională a unor studen țiacontribuitcooptarea lor în activită țile colectivului de cercetare Sisteme Electronice Aplicate . În perioada 2011 -2015 am predat cursuri la disciplinele :Electronică șiSenzoriși actuatori, la Facultatea de Inginerie, Universitatea din Debrecen, Ungaria . Activitatea de cercetare Am participat la înfiin țareaCentrului de Cercetare în Tehnologia Informa ției, Electronică și Automatică , fiind primul director al acestuia (februarie 2008) .În cadrul Colectivului de Cercetare în Inginerie Electronică și Telecomunicații am participat la introducerea și susținerea unor noi direcții de cercetare sub deviza ”Sisteme Electronice Aplicate”(Aplicații utilizând rețele neuronale celulare, Comanda adaptivă a roboților) . În perioada 2001 -2016 am activatîn cadrul a 13 granturi/proiecte de cercetare câștigate prin competi ție (la 6 dintre ele fiind și director de proi ect) și la 4 contracte de cercetare cu mediul socio -economic. De fapt, cele patru direc ții de cercetare ,care sunt prezentate în aceastătezăde abilitare ,au rezultat în urma abordării unor subiecte , în cadrul unor granturi/proiecte de cercetare naționalesau interna ționale,de către echipele de cercetare din care amfăcut parte în calitate de director sau membru . Aceste direc ții de cercetare se refer ă la: -Prelucrări de imagini bazate pe calcul variațional și utilizarea re țelelor neuronale/neliniare celulare. Acestsubiect a fost abordat în cadrul următoarelor granturi/proiecte de cercetare: Contract de cercetare Nr. 1120/2005, Institutul programelor de Cercetare al Fundației Sapientia, Cluj -Napoca,Implementarea unor metode de îmbunătățire a imaginilor pe chip CNN -UM emulat digital ;Contract de cercetare Nr. 1446/2004, Institutul programelor de Cercetare al Fundației Sapientia, Cluj -Napoca,Proiectarea unor metode de prelucrare a imaginilor utilizând rețele neuronale celulare și aplicații ale acestora ;Domus Hungarica Scientarium et Artium, Hungarian Academy of Sciences, Adaptive image enhancement by using cellular neural networ ks, Research report, Image Processing and Neurocomputing Department ,University of Veszprém, 2002. -Prelucrarea unor imagini medicale. Această temă a fost investigată în cadrul proiectului de cercetare: PNCDI PN II, 2009 -2010-2011, Idei 668/2008, Contract Nr. 645/19.01.2009, GacsádiAlexandru Teză de abilitare 9Dezvoltarea unor metode de prelucrare și analiză a imaginilor computer tomografi ce utilizând rețele neuronale celulare și integrarea acestora într-un sistem de asistare a diagnozei medicale. -Utilizarea tehnologiei rețelelor neuronale celulare pentru navigația roboților mobili autonomi .Acestsubiecta fost studiat în cadrul proiectulu i de cercetare: Grant CNCSIS A 473/2006 -2007,Utilizarea tehnologiei rețelelor neuronale celulare pentru navigația roboților mobili autonomi . -Sistem integrat pentru asistarea persoanelor cu deficiențe de vedere. Aceastătemăa fost abordată în cadrul proiectului de cercetare: Grant CNCSIS A 639/2005 -2006-2007,Mediu integrat pentru deplasarea asistat ăa persoanelor cu handicap vizual . Sintezele acestor proiecte de cercetare evidențiază caracterul interdisciplinar și capacitatea participanți lor, deopotrivă cadre didactice și studenți, de a gestiona în echipe de cercetare capacități și competențe diverse. Principalele rezultate ob ținuteîninvestigarea acestor subiecte de cercetare au fost publicate în : -cărți de specialitate publicate în editu ri recunoscute :”Rețele neuronale celulare. Aplicații”, ”Roboți mobili autonomi -Conducere cu rețele neuronale artificiale” ,”Structura și dinamica rețelelor dinamice complexe. Rețele neliniare celulare”. -reviste de specialitate recunoscute sau învolumele unor manifestări științifice internaționale din țară și străinătate ,înpeste 60 de articole, dintre care 25 de lucrări sunt indexate ISI și alte 20 de lucr ări sunt indexate BDI. Deasemenea, o parte din rezultatele științifice obținute în cadrul acestor proiecte de cercetare au contribuit șila finalizarea tezelor de doctorat ale colegilor mei: Gavriluț Ioan,”Contribuții la navigația roboț ilor mobili autonomi utilizând re țele neuronale celulare ”Universitatea Politehnica Timi șoara, 2007 . Țepelea Laviniu ,”Noi metode pentru deplasarea asistată în medii cu obstacole a persoanelor cu deficiențe de vedere ”,Universitatea Politehnica Timi șoara, 2014. Recunoaște rea și impactul activității Uneledintrelucrărilepe care le -ampublicat,ca autor unic sau ca și co-autor,au fost citatepână în prezent în peste 129 de lucrări în reviste, cărțiși volume ale unor manifestări științifice .Dintre acestea 38de lucrări sunt indexate ISI și alte91de lucrări sunt indexate BDI. În calitate de profesor invitat, am participat la: -Programul „Enhancing scientific research at the Pázmány Péter Caatholic University ”, Ref.No.:TÁMOP-4.2.1.B-11/2/KMR -2011-0002, “Social Mobility Operative Programme ” – ITK-BIONIKA, Budapest, October 25, 2013 , prezentare invitată . -11th WSEAS International Conference on Recent Advances Automation & Information , (ICAI ’10), Iasi, Romania, June 13 -15, 2010, prezentare invitată . -Stagiu de cercetare, în domeniul rețelelor neuronale celulare, la Departamentul de Prelucrări de imagini și calcul neuronal ,din cadrul Universității Veszprém -Ungaria (2002) . GacsádiAlexandru Teză de abilitare 10-StagiiErasmus de predare laFacultatea de Tehnologia Informației și Bionic ă, Universitatea Catolică ”Pázmany Péter” Budapesta, Ungaria (2009-2016)și laCentrul de Cercetare și Aplicații în Prelucrarea Imaginii și Semnalului (CREATIS), la Institutul Național de Științe Aplicate din Lyon, Franța (2010 și 2005). În ceea ce prive ște activitatea de m anagement alactivităților didactice și de cercetare : -Între anii 2001-2016, în diferite perioade, am fost m embru în Consiliul Facultă țiide Inginerie Electrică și Tehnologia Informației , respectiv membru în Consiliul Departamentul de Electronică și Telecomunicații . -Sunt:evaluator PNCDI ,membru în Registrul Național al Evaluatorilor ARACIS, evaluator CEEPUS,auditor intern ARACIS laUniversitatea din Oradea . -Începând din anul 2009, sunt c oordonator ulprogramuluiErasmus+între Universitatea din Oradea și Universitatea Catolică ”Pázmany Péter”, Facultatea de Tehnologia Informației și Bionică, B udapesta, Ungaria . În cadrul acestui program, au beneficiat de mobilită ți atât studenți cât și cadre didactice. -Am făcut parte din comisii de evaluare a tezei de abilitare și a tezei de doctorat. -În anul 2011 am primit Diplomă de Merit, pentru activitatea didactică și decercetare științifică din partea Universitățiidin Oradea . Actualmente s unt membru în colectivele de redacție ale revistelor: Journal of Electrical and Electronics Engineering, indexat Scopus, Journal International Review of Applied Sciences and Engineering, Publisher Akadémiai Kiadó șifac parte din comitetul de organizare al conferin țelor bianuale: International Conference on Engineering of Modern Electric Systems ,anteriorInternational Conference on Advances in Electro -Technologie sși International Conference on Renewable Sources and Environmental Electro-Technologies . Dintre participările mele,ca membru în comitete științifice /recenzor la conferin țe internaționale respectiv reviste, dinperioada 2010 -2016,se pot aminti: International Workshop on Cellular Nanoscale Networks and their Applications (2016, 2014, 2012,2010); International Symposium of Circuits and Systems ( 2016, 2015) ;International Symposium on Electronics and Telecommunications, Timisoara, 2014 ;International Journal of Circuit Theory and Applications ( 2013,2012);International Symposium on Sig nals Circuits and Systems (201 3,2011);European Conference on Circuit Theory and Design (2013);European Signal Processing Conference (2012 );Internationa l Symposium on Nonlinear Theory and its Applications (2011);Journal of Circuits, Systems and Computers (2011). În prezent sunt membru al următoarelor asociații profesionale: -Asociația Română de Robotică ; -Asociația Inginerilor Electricieni și Electroniști din România ; -Societatea Maghiară Tehnico -Științifică din Transilvania . Doresc să subliniez că rezultateleobținute,pe parcursul anilor, în activitatea mea didactică, profesională șide cercetare științifică, sunt rodul muncii efectuate în veritabile echipe,dințarăși străinătate.Printre membri acestor echipe s -au aflatunii dintre fo știi mei profesori, colegi,studenți,în prezent unii dintre eifiindcolegiînDepartamentul de Electronică și Telecomunicații din Oradea . Cu deosebit respect, t uturor lemulțumesc pentru colaborare . GacsádiAlexandru Teză de abilitare 112.Descrierea tehnică a contribuțiilor științifice 2.1.Prelucrări de imagini bazat epe calcul variațional și utilizarea rețelelorneuronale/neliniare celulare 2.1.1.Rețele neuronale/neliniare celulare Rețelele neuronale/neliniare celulare (CNN-Cellular Neural/Nonline ar Networks ) (Chua and Yang 1988)1,cașistructuri de calcul paralel, oferă soluții de realizare în timp real a unor aplicații în domeniul prelucrării semnalelor. Astfel, poate rezulta optimizarea performan țelorîn ansamblu ,a timpului de procesare șiaprecizieiprelucrării. În această secțiune se face o succintă prezentare generală a principalelor noțiuni legate de rețeaua neuronală/neliniară celulară și implementarea CNN a unei aplica ții. Rețeaua neuronal ă/neliniarăcelularăde bază Rețeaua neuronal ăcelulară/neliniară de bază are o structură bidimensional ă rectangulară, fiind format ădin circuite analogice identice, neliniare, dispuse regulat, numite celule, care interacționează local între ele .În figura 2.1.1 se prezint ăstructura unei re țele neuronale/neliniare celulare de bază monostrat, cu M linii și N coloane, de dimensiune M*N. Prin vecinătatea sau sfera de influență de rangul r a unei celule C(i,j) se înțelege mulțimea: rjl,ikmaxl,kCj,iNr , (2.1.1) unde(i,j)reprezintă coordonatele spațiale carteziene ale celulei C(i,j), Nj1;Mi1 ,r este un num ăr întreg pozitiv. Pentru o celulă C(i,j) dimensiunea sferei de influență N rde rază r este (2r+1)*(2r+1). În figura 2.1.1 este prezentată sfera de influență a unei celule C(i,j) de raz ăr=1 (vecinătate 3*3). C(2,3)C(1,1) C(1,3) C(1,2) C(2,1) C(2,2) C(3,1) C(3,2) C(3,3)C(1,j) C(i,1) C(i,2)C(1,N) C(2,N) C(3,N) C(M,1)C(M,2)C(M,3)C(M,j)C(i,N) C(M,N)C(2,j) C(3,j) C(i,j) C(i,3) Figura 2.1.1: Structura de bază a unei re țele neuronale celulare monostrat cu M liniiși N coloane. 1În limba română , pentru acest tip de re țea se folosește și denumirea de rețea celular neliniar ă (Dogaru et al. 2013 ). GacsádiAlexandru Teză de abilitare 12Sistemul de vecin ătăți prezint ăproprietatea de simetri e, adică, presupunând c ă C(i,j)Nr(k,l) atunci și C(k,l)Nr(i,j),pentru oricare C(i,j) și C(k,l) din rețeaua neuronal ă celulară.Fiecare celulă a re țelei este conectat ă în mod direct numai cu acele celule din rețea care se află în sfera ei de influență. De remarcat faptul că, și celulele neconectate în mod direct pot comunica datorit ăefectului de propagare a interacțiunilor locale dintre celule, pe durata regimului tranzitoriu din re țea. Astfel, cu toate că interconectările dintre celule sunt numai locale, se constată că prin procesarea CNNa semnalelor pot fi extrase și proprietăți regionale și globale (Roska and Chua 1993). De asemenea, se poate observa că pentru r=N -1 și M=N se obține rețeaua neuronală celulară complet conectată, în care fiecare celulă este conectată cu fieca re celulă, adică sfera de influență pentru o celulă este toată rețeaua. O celulă C(i,j) se consideră a fi celulă internă a unei rețele dacă toate celulele C(k,l) Nr(i,j) din vecinătatea acesteia sunt incluse în acea rețea. În caz contrar, celulele sunt d e margine sau extreme. Din punctul de vedere al implementării fizice a rețelei neuronale celulare, este important de semnalat că fiecărei celule C(i,j) interne îi corespunde un circuitul electric real, figura 2.1.2. În acest circuit electric neliniar se co nstată prezența a trei noduri caracterizate fiecarede câte o tensiune: tensiunea de intrare v uij, tensiunea de stare v xijși tensiunea de ieșire v yij. De asemenea, circuitul analogic include următoarele elemente: -sursa de tensiune independentă E ij, careconstituie mărimea de intrare a celulei; -o sursă de curent continuu independent ăI, reprezentând polarizarea; -sursele liniare de curent comandate în tensiune, I xu, Ixy,și Iyx; -rezistențele R x, Ryși o capacitate C. Valorileelementelor de circuit I, C, R x, Rysunt identici pentru fiecare celulă. EijC +_IRx Ixu(i,j:k,l) Ixy(i,j:k,l) IyxRyvyij vxij vuij Figura 2.1.2: Structura circuitului electric pentru o celulă C(i,j). Sursele de curent I xu, Ixysunt comandate cu tensiunile de intrare v ukl(reacție direct ă) respectiv cu tensiunile de ieșire v ykl(reacția invers ă) ale celulelor C(k,l) Nr(i,j) din vecinătatea de rază r a celulei C(i,j). Valoarea curentului furnizat de sursele comandate este dată de relațiile: Ixu(i,j;k,l)=B(i,j;k,l)v ukl, (2.1.2) Ixy(i,j;k,l)=A(i,j;k,l)v ykl. (2.1.3) Ași B sunt operatori sinaptici. A(i,j;k,l) se numește operatorul de comandă al ieșirii prin reacție invers ă, denumit pe scurt operator de reacție, iar B(i,j;k,l) este operator de coma ndă al intrării prin reacție direct ă, sau operator de comandă. Este limpede că operațiile de procesare pe care le realizează o rețea CNN sunt determinate de operatorii A(i,j;k,l) B(i,j;k,l) și respectiv curentul I. GacsádiAlexandru Teză de abilitare 13În cazul implementării VLSI ( Very Large -Scale Integration ) a unor astfel de rețele neuronale/neliniare celulare se utilizează frecvent forma normalizată, în care elementele R x, Ryși C din circuitul electric asociat unei celule au valori unitare, de asemenea și constanta de timp a regimului tran zitoriu:CNN=C*Rx=1. În scopul simplificării descrierii, în figura 2.1.3. este prezentată structura unei celule C(i,j) din rețeaua neuronală/neliniară celulară standard, invariantă în spațiu care rezultă pe baza circuitului electric real. xijU Byij AYdtuijz f(x)xij +xij Figura 2.1.3: Structura unei celule C ij. Pentru această celulă x sau x ijreprezintă starea, y ijieșirea și u ijintrarea, Nj1;Mi1 ; f(x) reprezintă funcția de transfer de la stare la ieșire: 1x1x21)x(f . (2.1.4) Reprezentarea grafică a funcției f(x) de tip sigmoid ,aproximată liniar pe porțiuni ,este redatăîn figura 2.1.4. f(x) +1 +1-1 -1×0 Figura 2.1.4: Caracteristica de transfer f(x). Rețeaua neuronală celulară standard, invariantă în spațiu, este caracterizată prin ecuația diferențială de stare, atașată unei celule: zijxx UBYA , (2.1.5) unde s-a notat cu “ ” operația de convoluție spațială. Ansamblul format din operatorul de reacție, A,operatorul de control, Bși polarizarea, z, formează așa numitul “template” CNN, având semnificația unor matrice de pondere sau de conexiune2. 2Termenul „template”a fost preluat în limba română direct din literatura de l imbă engleză. Frecvent, mărimile A, B, etc. sunt apelate tot prin termenul „template”. În acord cu semnificația reală și pentru a evita confuziile, în lucrarea de față aceste mărimi vor fi desemnate prin termenul de „operatori” (Gacsádi and Tiponuț 2002). GacsádiAlexandru Teză de abilitare 14O rețea neuronal ăcelularăeste invariantă în spațiu sau izotropică dacă operatorii A,Bși znu depind de indic ii (i,j). Un template CNNeste liniar dacă A, Bși zautoateelementele constante3. Structura bidimensională a unei rețele neuronale de bază sugerează ideea asocierii acesteia cu o imagine, fiecare celulă corespunzând unui pixel. Mai mult decât atât, pot fi asociate imagini corespunzătoare stării rețelei ( STATE), intrării ( INPUT) și respectiv ieșirii (OUTPUT ). În continuare se va utiliza pentru modelul unei rețele neuronale celulare această asociere cu imagini. În figura 2.1.5 este prezentată, circulația informației într -o rețea neuronalăcelularăstandard, invariantă în spațiu ,cu operatori de dimensiune 3*3. X(STATE) Y(OUTPUT) U(INPUT)z f(x)A B M(MASK) Figura 2.1.5: Circulația informației într -o rețea neuronal ăcelularăstandard, invariantă în spațiu ,cu operatori de dimensiune 3*3. Operația pe care o realizează o rețea neuronală celulară asupra unei imagini de intrare U(t0), pentru obținerea unei imagini de ieșire stabilă Y,este complet definită de operatorii A, B,z, precizați la rândul lor prin cei 19 parametri. Aceste elemente alc ătuiesc o instrucțiune elementară CNN. În modelul unei rețele neuronale celulare starea inițială a rețelei este asociată cu imaginea de stare la momentul inițial t 0, adică cu X(t0), sau dacă se consideră t 0=0, X(0). Pentru o rețea neuronală celulară, ecuaț iile de stare ale celulelor formează un sistem de ecuații diferențiale. Starea finală la ieșirea rețelei, rezultă prin rezolvarea acestui sistem. Rezolvarea ecuațiilor diferențiale ordinare și neliniare este posibilă numai dacă sunt cunoscute condițiile in ițiale și de limită sau de frontieră ( boundary conditions ). Condițiile de frontieră se pot realiza prin conectarea unor celule virtuale la marginile rețelei, atât pentru imaginea de intrare, imaginea de stare cât și pentru imaginea de ieșire. Celulele C klse numesc celule virtuale dacă rjl,rik , dar N,…,2,1lsau/șiM,…,2,1k . Acestor celule li se asociază intrări virtuale u kl, stări virtuale x kl, ieșiri virtuale y klși polarizări virtuale z kl, pentru ca sistemul de ecuații diferențiale 3Pentrurețeauacelularneuronală (RCN), având celulele identice, se poate folosi termenul „genă”pentru a descrie totalitatea parametrilor care definesc structura re țelei invariante în spa țiu(Dogaru et al. 2013 ). GacsádiAlexandru Teză de abilitare 15să devină compatibil. În cazul unei rețele neuronale celulare de dimensiune M*N, includerea de celule virtuale presupune adăugarea a două linii și a două coloane virtuale. Cele două linii virtuale, una sus și una jos, vor avea indicele asociat pentru linii de 0 resp ectiv M+1. Cele două coloane virtuale, una în stânga și una în dreapta rețelei, vor avea indicele asociat pentru coloane de 0 respectiv N+1. Pentru a impune anumite condiții de frontieră, celulele virtuale vor fi forțate să aibă anumite valori, fapt ce se realizează prin conectarea lor la surse de tensiune. Sunt utilizate frecvent următoarele condiții de frontieră: -condiții de frontieră în care celulele virtuale au valori constante (Dirichlet); -condiția de frontieră zero -flux în care celulele virtuale repe tă valorile din imediata lor vecinătate (Neumman). Pentru respectarea condițiilor inițiale impuse unei rețele neuronale celulare, valorile elementelor de imagine se normează după cum urmează: -în cazul unei imagini binare se asociază pentru nivelul alb valo area–1 și valoarea +1 pentru nivelul negru al unui pixel; -la o imagine cu niveluri de gri ( gray-scale) se asociază pentru nivelul pixelilor de la alb la negru domeniul de valori [ -1,+1] (domeniul valorilor standard CNN). Un template se consideră neliniar dacă oricare dintre elementele operatorului A este dependent de combinațiile valorilor de ieșire a celulelor respective și/saudacă oricare dintre elementele operatorului B estefuncție de combinațiile valorilor de intrare a celulelor .Practic uneleelementealetemplate-uluineliniardepind de indicii (i,j)4. Uneori se utilizează operatorul cel mai general, de tip D ij,kl, care este de forma: Dij,kl=d(uij, xij, yij, ukl, xkl, ykl). În argumentul funcției d, între valorile de intrare, de stare și de ieșire a celulelor pot exista operațiile de adunare, scădere sau deprodus. Având în vedere tipurile de operatori prezentați mai sus, forma generală a ecuației diferențială de stare pentru rețeaua neuronal ă/neliniară celularăstandard devine: (2.1.6) rkl rkl rkl rkl NCklklklkl,ij NCklkl,ij NCijklkl,ij NCklkl,ij ijl )y,x,u(DxCzuByAxx , Nj1;Mi1pentru , i și j sunt coordonatele spațiale; M și N dimensiunile rețelei. Evident, operatorul neliniar de reacție respectiv operatorul neliniar de comandă include operatorul liniar de r eacție respectiv operatorul liniar de comandă. De asemenea, operatorul neliniar generalizat D ij,klinclude toți operatorii liniari și neliniari. Funcțiile a, b, c și d, care determină interacțiunile neliniare dintre celule, pot fi exprimate prin aproximare pe porțiuni, cu valori constante ( piecewise -constant -pwc) respectiv variații liniare ( piecewise -liniar-pwl). 4În cazulrețeleicelularneuronale (RCN) variante în spa țiu, pentru multitudinea de gene și localizarea lor în spațiu se poate utiliza termenul „genom” (Dogaru et al. 2013 ). GacsádiAlexandru Teză de abilitare 16Rețele neuronale /neliniare celulare particulare Pornind de la caracteristicile rețelei neuronale/neliniare celulare de bază, au fost elaborate și alte variante de re țeleneuronale/neliniare celulare particulare, care au dovedit o eficiență deosebită la procesarea spațio -temporală, în timp real, a semnalelor bidimensionale. Astfel, se îmbogățe ște și se extinde domeniul proces ării CNN al semnalelo r atât din punct de vedere teoretic cât și aplicativ, proces care continuă și în prezent. Astfel, în cazul cel mai general, operatorii A, B, z, pot fi variabile în spa țiu (valorile lor depind de coordonatele (i,j)) respectiv, se pot modifica și în funcțiede variabila timp. De exemplu, dacă mărimea de polarizare z ij(threshold ,biassaucurrent) este dependentă de poziția celulei în rețea, rezultă o posibilitate suplimentară pentru a comanda rețeaua neuronală celulară. Imaginea de polarizare asociată Bs(BIAS) influențează regimul tranzitoriu al rețelei și prin urmare determină, alături de imaginile de intrare respectiv de stare, comportamentul rețelei. În cazul unei rețele neuronale celulare de dimensiune M*N, se asociază imaginii de stare, o imagine mascăM(MASK),având aceeași dimensiune. Pentru anumite valori ale pixelilor din imaginea mască, nu se permite modificarea în timpul procesului de prelucrare a valorilor elementelor de imagine în pozițiile identice ale imaginii de stare (celule inactive). Deexemplu, considerând cazul unei imagini mască binare, pixelii din imaginea de stare își pot modifica valoarea în timpul procesului tranzitoriu (celule active), dacă în imaginea mască le corespunde în aceeași poziție un element cu valoare +1. Dacă în imagin ea mască un pixel este de valoare –1, elementul identic ca poziție din imaginea de stare nu -și va putea schimba valoarea. Valorile implicite pentru pixelii imaginii mască permit ca toate elementele din imaginea de stare să fie active. Utilizarea celor dou ă imagini, de mască și de polarizare, permite încorporarea în algoritmii CNN a unei adaptabilități spațiale, liniare în cazul imaginii Bsși neliniare în cazul imaginiiM(Gacsádi and Tiponuț 2002). Prin discretizare temporală, ecuația diferențială de sta re a unei celule C(i,j) poate fi aproximată cu o ecuație cu diferențe finite: (2.1.7) rkl rkl NCij klkl,ij NCklkl,ij ij ij ij z)nh(uB)nh(yA)nh(x)nh(xh)1n(xh1 . În relația de mai sus, t=nh este variabila discretă de timp, h este pasul de eșantionare iar n esteun număr natural. Totodată, funcția de transfer de la ieșire f(x), dată de relația (2. 1.4), se modifică în consecință, astfel că mărimea la ieșire va rezulta conform relației: )nh(xf)1)nh(x1)nh(x(5.0)nh(yij ij ij ij , (2.1.8) pentru Nj1;Mi1 . Pe baza acestor ecuații, operația realizată de rețea poate fi interpretată ca fiind similară unui filtru neliniar bidimensional, care transformă o imagine de stare x(nh) într -o altă imagine x[(n+1)h]. Dacă operatorii (A, B, z) sunt invarianți în spațiu, filtrul este de asemenea invariant în spațiu. Deoarece filtrarea realizată între două momente discrete succesive se poate folosi doar la detecția de proprietăți locale, pentru extragerea de proprietăți regionale, respectiv globale, sunt necesare mai multe iterații. GacsádiAlexandru Teză de abilitare 17Vecinătatea N nreste de n ori mai mare dec ât vecinătatea N rastfel încât pentru un număr n de iterații suficient de mare, vecinătatea N nr, va cuprinde toată imaginea, indiferent de valorile coordonatelor (i,j) și asferei de influență de rang r. Așadar, proprietatea de propagare oferă posibilitatea extragerii și a unor caracteristici regionale, respectiv globale ale imaginilor, cu păstrarea proprietăților locale, vecinii apropiați având efecte mai puternice comparativ c u vecinii mai îndepărtați. Pentru funcțiile de transfer de la stare către ieșire, pot fi folosite în afară de funcția sigmoid, aproximată liniar pe porțiuni ,și alte funcții, cum ar fi: funcția sigmoid, funcția Gauss, funcția signum. Noțiunile definite în cazul rețelelor bidimensionale pot fi generalizate cu ușurință pentru cazul cu mai multe dimensiuni, rezultând astfel rețelele neliniare/neuronale celulare multistrat sau multidimensionale, având caracteristici similare cu cele ale rețelelor monostrat, cu m ar fi spre exemplu, condi țiile de atingere a stabilit ății. De asemenea, în majoritatea cazurilor, în toate straturile re țelei se utilizeaz ă valori identice pentru elementele R x, Ryși C din circuitul electric asociat unei celule. Se poate observa cu u șurință că, dacă nu există operatori de reacție între straturi, funcția realizată de rețeaua CNNmultistrat se poate implementa prin prelucrare secvențială cu o rețea CNNmonostrat. Implementarea CNN a unei aplicații Rețelele neuronale/neliniare celulare sun t utilizate pentru soluționarea unor probleme în aplicații din cele mai diverse domenii din știință (cellular wave computing – ”calculondulatoriu” )(Baataret al. 2010 ). Soluționarea cu metode CNN a unei probleme concrete se poate realiza numai după ce aceasta a fost transpusă în mediul CNN. Aceasta înseamnă că pentru fiecare operație de procesare dorită, trebuie elaborat template -ul potrivit. Prin urmare, proiectarea în domeniul rețelelor neuronale celulare înseamnă în primul rând dimensionarea de templat e-uri, adică determinarea setului de operatori corespunzător unei aplica ții concrete (Gacsádi and Tiponu ț 2002), (Tiponuț et al. 2010), (Dogaru et al. 2013). Prin intermediul parametrilor unui template, dinamica rețelei neuronale/neliniare celulare trebui e astfel „acordat ă” încât pe baza ecuației diferențiale de stare asociată rețelei s ă realizeze tocmai prelucrarea dorit ăasupra imaginii de intrare și de stare. Pentru a ilustra dificultatea acestei probleme, trebuie avut în vedere că și în cazul cel mai s implu al unui template liniar de dimensiuni 3*3, trebuie determina ți, nu mai pu țin de19 parametri reali (2*9+1). De exemplu, metoda empirică de dimensionare a unui template se bazează în mod esențial pe intui ția proiectantului și se poate aplica cu succes numai în cazuri simple, existând însăși situații când nu se poate garanta găsirea solu ției potrivite. Proiectantul trebuie s ăaibă experiență mare în procesarea imaginilor șiîn domeniul CNN, pentru a „specula” soluția optimă. Pentru anumite aplicații co mplexe, nu este posibilă determinarea unui template care să asigure prelucrarea dorită într -o singură etapă și care să furnizeze un rezultat convenabil. În astfel de cazuri, un set de operatori nu este altceva decât o singură instrucțiune elementară iar GacsádiAlexandru Teză de abilitare 18proiectarea CNN se transformă, de fapt, în programare CNN cu ajutorul mai multor instrucțiuni elementare sau subrutine, având la bază operatori existenți (***1999b), (***2010). Programarea în mediul CNN, este facilitată de existența unei biblioteci software de template -uri și algoritmi care se dezvoltă și se revizuiește periodic, pe baza rezultatelor cercetărilor CNN din întreaga lume (*** 2010). Practic, în orice aplicație care se poate prezenta sub formă de algoritm este posibilă și utilizarea rețelelor ne uronale/neliniare celulare. Însă, este evident că, deși procesarea CNN este aplicabilă în orice problemă, utilizarea acesteia nu este eficientă, față de prelucrarea numerică serială, decât într -o clasă restrânsă de probleme. În anumite situații este posibi l ca vitezele de prelucrare a celor două metode să fie comparabile. Dacă problema de soluționat reprezintă o parte a unui algoritm complex, atunci alegerea unei variante dintre ele, procesare a CNNsauprelucrarea numerică serială, se face pe baza performan țelor în ansamblu ale celor două procedee, preferându -se o structură de prelucrare cât mai omogenă. Procesarea CNN a semnalelor se poate efectua cu ajutorul unui simulator care rulează pe un PC; acest simulator poate fi de sine -stătător ca parte component ă a unui sistem de dezvoltare pentru aplicații CNN (“ CadetWin -CNN application development environment and toolkit under Windows ”) (***1999a), sau ca modul ( MATCNN -Analogic Simulation Toolbox for Matlab ) (Rekeczky 1997) al unui program de procesare dedi cat, cum este mediul Matlab (Matlab Tools and Development Environment )(***Matlab). Pe de altă parte, interesul deosebit acordat pe plan mondial cercetării în domeniul rețelelor neuronale celulare are la bază mai ales posibilitatea implementării directe, complet paralele, a unei aplicații pe un chip CNNanalogic în tehnologia VLSI (Linan et al. 1999) (Cembrano et al. 2003). Evident, procesarea CNN a semnalelor cu ajutorul unui simulator este cea mai lentă soluție, în timp cea de a doua, implementarea dir ectă, complet paralelă, pe un chip CNN analogic în tehnologia VLSI este cea mai rapidă. În același timp, chip-urile CNN analogice implementate VLSI sunt caracterizate prin dezavantaje majore legate de precizia relativ scăzută (7 -8 biți) și sensibilitatea r idicată chiar și la cele mai mici variații de temperatură și tensiuni de alimentare. Prin utilizarea mediului de dezvoltare CadetWin se pot realiza programe CNN cu ajutorul unui editor și interpretor în limbaj de nivel inferior (limbaj de asamblare specif ic AMC)(AMC-Extended analogic macro code and interpreter ) (***1999b). Este important de semnalat faptul că aceste programe sunt unitare și compatibile sub aspectul rulării în mediul CadetWin, atât pe mijloacele de simulare software cât și pe chipul CNN analogic. Actualmente, între cele două posibilități de implementare a unei aplicații CNN, amintite mai sus, există o alta intermediară, adică cea a realizării emulatorului digital CNN implementat FPGA ( Field Programmable Gate Array )(Nagy et al. 2006), (*** 2007). Prin această soluție se realizează un compromis între viteză și precizie, dar se asigură repetabilitate, reproductibilitate, flexibilitate, posibilitate de implementare CNN chiar a unor procedee complexe de prelucrare, dar și interfațare ușoară cu sistemele digitale. De asemenea, implementarea FPGA permite, nu numai utilizarea template -urilor neliniare, inclusiv de tip D, dar și realizarea unor structuri cu mai multe straturi. În acest sens, emulatorul digital CNN implementat cu FPGA optimizează pe rformanțele procesării CNN în ansamblu. GacsádiAlexandru Teză de abilitare 192.1.2.Proiectarea bazată pe calcul variațional a unui template CNN În domeniul cercetărilor privind prelucrarea și analiza imaginilor este cunoscută eficiența utilizării ecuațiilor diferențiale parțiale ( PDE-partial dif ferential equation ), (Casellas et al. 1998), (Chan et al. 2003), (Angenent et al. 2006) . Spre exemplu, astfel de prelucrări pot avea ca obiectiv: reducerea zgomotului din imagini (Mumford and Shah 1989), (Rudin et al. 1992), (Chan and Esedoglu 2005); interpolarea imaginilor și reconstrucția imaginilor deteriorate; îmbunătățirea adaptivă a imaginilor; opera ții bazate pe morfologie matematică; detecția și estimarea mișcării; segmentarea imaginilor, etc. Prin utilizarea modelelor bazate pe ecuații diferențiale parțiale pot rezulta beneficii semnificative atât din punct de vedere teoretic cât și al preciziei prelucrării semnalelor. Astfel, rezultă o mai mare flexibilitate în modelarea unor fenomene dar și o mai ușoară implementare numerică. Oricare ar fi însă pr elucrarea semnalului, modelată prin PDE sau calcul variațional, rezultă inevitabil necesitatea unei puteri de calcul considerabile. În acest sens, ca structură paralelă de calcul, rețelele neuronale/neliniare celulare pot reprezenta o soluție alternativă, complementară ,pentru realizarea unor aplicații în timp real în domeniul prelucrării semnalelor (Rekeczky et al. 1998) ,(Rekeczky 2002), (Gacsádi and Szolgay 2005), (Gacsádi et al. 2005), (Hillier et al. 2006), (Gravaet al.2010), (Gacsádi and Szolgay 201 0).Reducerea semnificativă a timpului de calcul, datorat evident procesării paralele, se obține numai dacă algoritmul de prelucrare poate fi implementat pe o structură hardware paralelă, pe un CNN-UC (CNN Universal Chip ) (Cembrano et al. 2003), care are la bază arhitectura unei CNN-UM (CNN Universal Machine) (Roska and Chua 1993). Prelucrarea imaginilor bazată pe utilizarea ecuațiilor diferențiale parțiale Se consideră o imagine cu niveluri de gri ( gray-scale)0(x,y),0:R2R, ={(x,y): x [1,M], y[1,N], M și N R+}(Casellas et al. 1998). Prelucrarea acestei imagini conform unui algoritm bazat pe un operator poate fi descrisă prin ecuația diferențială parțială: t,y,xtFΦ, (2.1.9) unde s-a introdus un parametru artificial t,Ffiindoperatorul care caracterizează algoritmul de prelucrare dorit ( F:R2R). În general funcția Fdepinde de imaginea inițială, de prima și a doua derivată spațială a acesteia. Imaginea finală, obținută după procesare , rezultă ca soluție a acestei ecuații diferențiale parțiale. Prin formularea procesărilor de imagini cu ajutorul PDE există posibilitatea combinării ponderate a acestora. De exemplu, dacă două procesări distincte sunt descrise de ecuațiile: t,y,xt 1FΦși (2.1.10) t,y,xt 2FΦ, (2.1.11) rezultă o prelucrare complexă de imagin iprin combinarea acestor ecuații sub forma: GacsádiAlexandru Teză de abilitare 202 1λFF t, undeR+, reprezintă un parametru scalar. (2.1.12) Ecuația diferențială parțială care realizează o anumită prelucrare asupra imaginii poate fi obținută în urma formulării variaționale echivalente ca rezultat al m inimizării unei energii (funcții de cost): EMinarg , (2.1.13) undeEeste energie dată, iar Ffiind derivata întâia a lui E. Pentru minimizarea lui E, rezultă din condiția: F()=0, ceea ce repre zintă soluția stabilă a ecuației: Ft, (2.1.14) unde t este tot un parametru artificial introdus. Un astfel de exemplu este integrala Dirichlet: dxx2E , (2.1.15) care este asociată cu ecuația căldurii: xt,xt. (2.1.16) Pe de altă parte, dacă F1șiF2rezultă ca derivate de ordinul întâi ale funcțiilor de cost E1 șiE2o prelucrare complexă a unei imagini ca cea descrisă de ecuația (2.1.12) poate fi reformulată prin metodă variațională în urma minimizării energiei E1+E2,cu ajutorul parametrilor scalari și(șiR+)(Jähne 2002) . Prin ponderarea termenilor E1șiE2,rezultă o prelucrare complexă între limitele descrise de rezultatele inițiale ale fiecărei prelucrări în parte. Evident, în general, este de dorit ca procesarea imaginii să se bazeze pe un număr cât mai mic de parametri impuși la începutul procesării și să fie dominante elementele deduse chiar din conținutul imaginii procesate. Avantajulmajoral prelucrării imaginilor, b azată pe utilizarea ecuațiilor diferențiale parțiale PDE sau bazată pe calcul variațional, îlreprezintă posibilitatea realizării unor prelucrări complexe, ob ținute prin combinarea concomitent ă a două sau mai multe procesări care au efecte diferite. În multe situa ții însă, implementarea efectivă a acestor metode de prelucrare a imaginilor este greoaie, mai ales datorită dificultății determin ării parametrilor scalari. De asemenea, dacă crește numărul de termeni care sunt pondera ți,crește și posibilitatea apariției unor erori grosolane, de aceea, eficiența acestor metode depinde de aplicația concretă, de natura imaginilor procesate, modelul PD E utilizat pentru prelucrare și de numărul parametrilor scalari de ponderare. Dimensionarea bazată pe calcul variațional a unui template CNN În general, includerea în aplica ții a prelucr ării semnalelor bazată peutilizarea rețelelor neuronale/neliniare ce lulare este caracterizată printr -o puternică interdependență între dezvoltarea aspectelor teoretice și a modului efectiv de implementare a acestora, care este condiționat direct denivelul de performan ță al tehnologiei electronice actuale. Aceste două aspecte reprezintă două direc ții de cercetare care se afl ă nu numai într -o competiție continuă, GacsádiAlexandru Teză de abilitare 21darși într-o susținere reciprocă. Desigur, o a treia direc ție de cercetare este chiar identificarea unor aplica ții în care procedeele bazate pe utilizarea rețelelo r neuronale/neliniare pot fi utilizate cu maximă eficien ță, sub aspectul preciziei și procesării în timp real a semnalelor, ca urmare a unei optimizări globale care ține cont atât de aspectele teoretice dar și de modul efectiv de implementare. Trebuie semn alat că, în comparație cu programarea unor procesoare numerice, într -o aplicație bazată pe utilizarea rețelelor neuronale/neliniare celulare este mult mai dificilă determinarea unui template CNN adecvat care să asigure tocmai o anumită prelucrare dorită. Față de procesarea CNN a imaginilor binare, un grad sporit de dificultate îl prezintă proiectarea unor template -uri cu care se pot prelucra imagini cu niveluri de gri. Pe de altă parte, în cazul unor aplicații complexe este dificil sau chiar imposibil de de terminat un singur template, care să ofere soluția optimă dorită printr -un singur pas de prelucrare, chiar dacă s -ar utilizași variante neliniare de template -uri ori rețele având structur ă multistrat. În astfel de situații, aplica ția complex ă se va descom pune în obiective parțiale, care pot fi soluționate cu câte un singur template elementar, rezultând astfel un algoritm secvențial darcare include procesări paralele (Vilariño and Rekeczky 2005), (Tiponuț et al. 2010) . În acest sens, prezintă o importanță deosebită dezvoltarea continuă a bibliotecii software pentru aplicații care utilizează rețele neuronale/neliniare celulare la prelucrarea semnalelor (*** 2010). În general, există diverse soluții pentru minimizarea unor funcții de cost p rin care se pot modela diferite fenomene, procese, prelucrări de imagini. Adesea aceste soluții conduc la realizarea unor circuite electrice specifice care sunt dedicate unei aplica ții particulare. Aceste structuri speciale de implementare VLSI sau hardware pot avea la bază elemente din teoria rețelelorneliniare celulare ,(Vilariño and Rekeczky 2005), (Arena et al. 2005), (Dudek and Vilariño 2006). Dezavantajul unor astfel de abordări este că prin particularizarea solu ției de implementare nu rezultă un template, care ulterio r ar putea fi utilizat în cadrul unui algoritm analogic complex, implementat pe structura standard a rețelei neuronale/neliniare celulare. În această sec țiune se va prezenta o modalitate originală pentrudimensionarea unor template-uri, bazată pe calcul v ariațional, cu car e se pot efectua anumite procesări elementare asupra imaginilor (Gacsádi and Szolgay 2001), (Gacsádi and Szolgay 2003) ,(Gacsádi and Szolgay 2005), (Gacsádi et al. 2009) ,(Gacsádi and Szolgay 2009) . Pentru aceasta se va utiliza modelul st andard general al unei celule din structura rețelei neuronale/neliniare celulare. Avantajul acestei metode analitice de proiectare este că poate u șura modul de implementare pe chip CNN și template -ul rezultat poate fi utilizat ulterior și în cadrul altor a plicații, devenind o nouă instruc țiune elementar ă CNN, inclusă în biblioteca software. De asemenea, se consideră că pentru implementarea hardware al template -urilor obținute sunt disponibile structuri de rețele neliniare celulare de tip emulator digital im plementate FPGA. Această modalitate de implementare a procesării CNN permite, nu numai utilizarea template -urilor neliniare, inclusiv de tip D, dar și realizarea unor structuri cu mai multe straturi. De menționat, că metoda de proiectare propusă se poate e xtindeși în cazul unor circuite specifice care sunt dedicate unei aplica ții particulare de prelucrare a imaginilor . Proiectarea template -urilor CNN bazată pe calcul variațional permitediversificarea metodelor CNN de prelucrare a imaginilor șiextindedomeniilede aplicabilitate aleacestora GacsádiAlexandru Teză de abilitare 22rezultând posibilitatea de a verifica experimental, în timp real, a diverselor modele matematice pentru prelucrarea imaginilor. Proiectarea template -urilor CNN bazată pe calcul variațional are la bază următoarele considerenteși etape: -Se va utiliza forma generală a ecuației diferențiale de stare pentru rețeaua neuronală/neliniară celularăstandard: rkl rkl NCijklkl,ij NCklkl,ij ijl zuByAxx rkl rkl NCklklklkl,ij NCklkl,ij )y,x,u(DxC (2.1.17) Nj1;Mi1pentru , i și j sunt coordonatele spațiale; M și N suntdimensiunile rețelei;uijreprezintă intrarea, x ijreprezintă starea, iar y ijreprezintă ieșirea . Ckleste vecinătatea pentru celula C ij, cu C klNr, unde N rvecinătatea sau sfera de influență de rangul r: rjl,ikmaxl,kCj,iNr .(2.1.18) Operatorul de reacție s -a notat cu A ij,kl, Bij,klreprezintă operatorul de comandă, iar z ij semnifică polarizarea. -Pentru asigurarea stabilității rețelei și me nținerea în orice situație, atât a valorilor imaginiide stare x ijcât și a valorilor imaginii de ieșire, în domeniul liniar [ -1,1], condițianecesară și suficientă este: 1)y,x,u(DxCzuByA rkl rkl rkl rkl NCklklklkl,ij NCklkl,ij NCijklkl,ij NCklkl,ij .(2.1.19) -Îndeplinindu-se condiția de mai sus, prin utilizarea doar a porțiunii liniare a funcției de transfer de la stare la ie șire, se asigur ă ca imaginea de ieșire să fie identică cu imaginea de stare, adică: ijijxy. (2.1.20) -Obținerea în final a unei valori stabile pentru imaginea ijxeste echivalentă cu condi ția: ij NCklklklkl,ij NCklkl,ij NCijklkl,ij NCklkl,ij x)y,x,u(DxCzuByA rkl rkl rkl rkl,(2.1.21) unde ij ijtx)t(xlim și 0dtdx ijijxxij. -La determinarea pe cale analitică a template -lui CNN se vor utiliza func ții de cost sau energii potrivite, pornind de la cele cunoscute deja din literatura de specialitate, dar pot rezultași altele noi, mai eficiente, în urma combin ării acestora . De asemenea, pot fi folositeși alte relații, cunoscute apriori, pentru a determina cât mai ușor element ele template-luiși atingerea minimului global al acestor energii. -Asocierea termenilor din funcția de cost cu operatorii A, B, C sau D. În această e tapă se au în vedere constrângerile tehnologice actuale ale template -urilor privind implementarea aplicațiilor CNN. Pentru a putea implementa cât mai u șor, în urma proiectării se preferă utilizarea unei structurii CNN monostrat șiobținereaunor GacsádiAlexandru Teză de abilitare 23template-uri liniare, eventual neliniare, dar cu dimensiuni 3*3; sunt mai puțin agreate template-urile cu dimensiuni 5*5, chiar dacă sunt liniare, respectiv acele template -uri care se pot implementa numai pe structuri CNN multistrat. De remarca tfaptul că, prin utilizarea template -urilor neliniare de reacție, în decursul procesării imaginilor se pot extrage unele proprietăți locale și regionale ca urmare a propagării efectelor între vecini. De asemenea, se are în vedere că: -Pentru satisfacerea condiției de stabilitat e, parametrii scalari din funcțiile de cost trebuie să fie ponderați între 0 și 1. -Prin utilizarea condiției de frontieră zero -flux pentru rețeaua CNN, practic nu mai sunt necesare cunoașterea condițiilor de frontieră. -Uneori poate fi utilă utilizarea și a unei imagini mască. -Ca modalitate efectivă de implementare a template -ului proiectat, deseori de tip neliniar, actualmente se poate opta doar pentru varianta emulatorului digital CNN implementat FPGA. Procedura de proiectare a unui template implementat pe o structură CNN standard se poate extinde u șorși pentru alte structuri particulare de procesare paralelă de implementare, dar numai în urma identificării tuturor condi țiilor inițiale specifice circuitelor respective. Exemplu de proiectare al unui templ ate CNN Se consideră funcția de cost care asigură interpolarea spline cubică (Gacsádi and Szolgay 2001) : dpdqqqp2p))q,p(( q,p2 22222 22 Ω3E , (2.1.22) (p,q) este imaginea gray-scale, cu: R2R, și ={(p,q): p [1,M], q[1,N], M și N R+}. Folosind abordarea cu diferențe finite, după discretizare spațială cu un pas de eșantionare h, identică pe linii și coloane, rezultă imaginea discretizată în spațiu, (i,j): unde,: R2R, Nj1;Mi1.pt ,hișihj. Pentru o celulă , de coordonate (i,j) rezultă: (2.1.23) 2j,1ij,ij,ij,1i 2j,i2 h i ;21j,ij,ij,i1j,i 2j,i2 h j ; 2j,i1j,ij,1i1j,1i j,i2 h ji ;21j,1ij,1i1j,ij,ij,i2 h ji ; 2j,1ij,i1j,1i1j,i j,i2 h ji ;21j,i1j,1ij,ij,1ij,i2 h ji . Prin discretizare ,integrala se transformă în sumă și rezultă funcția de cost al cărui minim global se va determina pentru realizarea prelucrării dorite a unei imagini: GacsádiAlexandru Teză de abilitare 24 M 1iN 1j2 2j,i2 j,i22 2j,i2 jji2i))j,i((3E . (2.1.24) Folosind o altă formă a rela ției de mai sus: (2.1.25) ) )(1)( )(1() )( () 2() 2(h1)( j,1i1j,i1j,1ij,i j,1i1j,ij,i1j,1i1j,1ij,1i1j,ij,ij,i1j,ij,1i1j,1i2 1j,ij,i 1j,i2 j,1ij,i j,1iM 1iN 1j2 j,i 3E , valoarea variabilei pentru care3Eeste minimă, rezultă din condiția: 0)(3E; (2.1.26) 0) 2(4) 2(4h1 j,1i1j,i1j,1ij,ij,1i1j,ij,i1j,1i1j,1ij,1i1j,ij,ij,i1j,ij,1i1j,1iM 1iN 1j1j,ij,i 1j,i j,1ij,i j,1i 2 j,i 3E ,(2.1.27) astfel: 0)666620(h1 1j,1i1j,1i1j,1i1j,1i1j,i j,i j,1i j,1i j,iM 1iN 1j2 j,i 3E , (2.1.28) respectiv: (2.1.29) 020) (66661j,1i1j,1i1j,1i1j,1i 1j,i j,i j,1i j,1i j,i . Dar:j,ij,iy , rezultă: (2.1.30) 020)yyyy(y6y6y6y6y1j,1i1j,1i1j,1i1j,1i1j,i 1j,i j,1i j,1i j,i . Se observă că, în cazul utilizării acestei funcții de cost, în imaginea procesată de ie șire valoarea unui pixel,j,i, depinde doar de valorile pixe lilor din imediata lor vecinătate. Astfel, în raport cu rela ția (2.1.21), în acest caz particular: 0uB rklNCklkl,ij , (2.1.31) 0zij, (2.1.32) 0xC rklNCklkl,ij , (2.1.33) 0)y,x,u(D rklNCklklklkl,ij . (2.1.34) Pentru structura unui template A având dimensiunile 3*3, se va utiliza convenția de notare de forma: GacsádiAlexandru Teză de abilitare 25 1,1 0,11,11,00,01,01,1 0,11,1 aaaaaaaaa A . (2.1.35) Rezultă: 0yAyyAx rkl rkl NCklkl,ij ij NCklkl,ij ij , (2.1.36) respectiv: (2.1.37) 0yayayayayayayayayayyAy j,i0,01j,i1,01j,i1,0j,1i0,1j,1i0,11j,1i1,11j,1i1,11j,1i1,11j,1i1,1j,i NCklkl,ij ij rkl . Elementele necunoscute ale operatorului A rezultă prin identificarea coeficienților dintre expresiile de mai sus, descrise de rela țiile (2.1.30) și (2.1.37): (2.1.38) 05.0aaaa1,11,11,11,1 ; 3.0aaaa1,01,00,1 0,1 ,0a0,0. Rezultă template -ul denumit AINTPOL3: 3INTPOLA0.05-3.00.05-3.003.00.05-3.00.05- A . (2.1.39) 2.1.3.Metode CNN utilizate pentru reconstrucția unei imagini Reconstrucția unei imagini deteriorate ori cunoscute parțial Reconstrucția sau restaurarea unei imagini deteriorate oarecare ( imagine inpainting ) este o problemă de interpolare în cazul în care se cunosc valorile doar la o parte din elementele imaginii care, de cele mai multe ori, sunt dispuse neregulat, și este necesară obținerea prin calcul a elementelor lipsă. Practic, unui observator care nu este familiarizat cu imaginea originală, nici nu observ ăcă imaginea a fost restaurată. Imaginea de ieșire are aceleași dimensiuni și rezoluție ca și imaginea de int rare. Cele mai întâlnite aplica ții pentru restaurare sunt folosite în cazul pozelor și filmelor deteriorate parțial. În același timp ,prin reconstruc ția unor imagini este posibil s ă se obținăși efecte speciale, eliminarea unor p ărți nedorite, texte sau ob iecte(Bertalmio et al. 2000) (Oliveiraet al. 2001) ,(Ballester et al. 2001). Într-un prim pas, utilizatorul va selecta manual por țiunile imaginii care urmeaz ă a fi reconstituit e. Apoi reconstruc ția imaginii se va face automat, prin completarea acestor re giuni necunoscute pe baza informa țiilor care rezult ă din porțiunile cunoscute ale imaginii. Imaginea de ieșire are aceleași dimensiuni și rezoluție ca și imaginea de intrare (Bertalmio et al. 2001) , (Chan and Shen 2001) ,(Shen 2003). În domeniul reconstruc ției digitale a imaginilor deteriorate sunt disponibile modele matematice complexe deosebit de performante bazate pe utilizarea ecuațiilor diferențiale parțiale (PDE) sau pe calcul varia țional (Casellas et al. 1998) ,(Chan et al. 2003). Reconstrucți aimaginilor deteriorate ,prin procesare serială,esteuneori greu de efectuat în GacsádiAlexandru Teză de abilitare 26timp real, chiar dacă ,și în acest mod, se dispune de putere de calcul din ce în ce mai semnificativă. În principiu, pot exista similitudini în ceea ce prive ște modul de procesare a unei imagini în cazul reconstruc ției și filtrarea acesteia. Totuși, aceste dou ă procesări se diferențiază prin faptul că în cazul restaurării imaginii por țiunile necunoscute pot fi de dimensiuni mai mari care, în general, nu con țin nici o informație, în t imp ce în cazul reducerii zgomotului, pixelii imaginii con țin informații dar care includ și zgomot aditiv (Rudin et al. 1992),(Chan and Shen 2001) . În această sec țiune sunt prezentate metode CNN care se pot utiliza la reconstruc ția unor imagini deteriorat e ori cunoscute parțial (Gacsádi and Szolgay 2005), (Gacsádi 2010) . Metodele prezentate au în vedere în primul rând posibilitatea implementării directe pe un chip CNN analogic, printr -un singur pas, cu template -uri liniare cu reacție, de dimensiuni 3*3 (Linan et al. 1999), (Cembrano et al. 2003). Astfel, în urma procesării complet paralele, se asigură reducerea timpului de calcul, indiferent de dimensiunile imaginilor. Pentru creșterea eficienței reconstruc ției CNN a unei imagini deteriorate este necesar ăși utilizarea unui template neliniar, care asigură creșterea ariei de propagare a proprietăților locale și a celor regionale, și astfel, se pot prelucra și imagini cu por țiuni necunoscute de dimensiuni mai mari. Procesările CNN prezentate, bazate pe utiliz area calcu lului variațional, permit combinarea lor u șoară, rezultând metode noi, originale. Implementare aacestor metode chiarși pe un chip CNN analogic este totu și posibilă prin realizarea unor algoritmi analogici CNN complecși (Rekeczky et al. 1998) sau se poate opta pentru varianta emulatorului digital CNN implementat FPGA (Nagy et al. 2006), (*** 2007). Metode CNN pentru reconstrucția unei imagini Utilizând metoda descrisă la subcap.2.1.2, în cazul proiectării unei metode CNN pentru reconstrucția unei imaginideteriorate au rezultat următoarele constrângeri particulare: -Pentru eliminarea necesității cunoașterii condițiilor de frontieră se utilizează condiția de frontieră de tipul zero -flux. -Pentru a nu se permite modificarea valorilor elementelor de im agine care se cunosc la începutul procesării, dar care să permită calcularea valorilor elementelor de imagine necunoscute din porțiunea deteriorată, este necesară utilizarea unei imagini mască (figura 2.1.7b). De fapt,existența unei imagini mască presupun e cunoașterea (sau identificarea) pozițiilor elementelor de imagine care trebuiesc calculate. Elemente corespunzătoare porțiunilor deteriorate au valoare ainițială zero. Imaginea care urmează a se prelucra, IN, se aplică pe starea rețelei, la momentul t=0 (figura 2.1.7c). Reconstrucția unor imagini deteriorate se bazează pe un proces de netezire prin mediere (smoothing ).În principiu oricare dintre metodele CNN de interpolare a semnalelor bidimensionale se pot utiliza la reconstrucția unor imagini deterior ate ori cunoscute parțial (Gacsádi and Szolgay 2001) .Pentru interpolarea semnalelor bidimensionale se pot utiliza una din următoarele energii(funcții de cost ) (Gacsádi and Szolgay 2005), (Gacsádi 2010) : GacsádiAlexandru Teză de abilitare 27dpdq q,p2 Nr Ω1E (2.1.40) undeNrreprezintă valoarea pixelilorînvecinătatea de rază r; dpdqqp))q,p(( q,p2 2 Ω2E (2.1.41) dpdqqqp2p))q,p(( q,p2 22222 22 Ω3E (2.1.42) Termenul d e energie utilizat pentru netezire poate fi și integrala de variație totală (TV-the total variation integrals )din modelul de extragere a zgomotului din imagini, Rudin-Osher-Fatemi(Rudin et al. 1992): TV EEβ 4 dpdq q,p0 Ω(2.1.43) undeeste un parametru scalar. Pe baza minimizării acestor funcții de cost au rezultat template -urile care conțin numai termenul A de reacție, celelalte fiind nule (B=0, z=0). Cu ajutorul acestora prelucrarea C NN realizează o interpolare liniară, interpolare pătratică, interpolare spline cubică, respectiv extragere a zgomotului din imagini: (2.1.44) 1 AINTPOL125.0125.0125.0125.00125.0125.0125.0125.0 A1 ; 2 AINTPOL025.0025.0025.0025.00 A2 ; 3 AINTPOL0.05-3.00.05-3.003.00.05-3.00.05- A3 ; OSRUFATV0a0a0a0a0 A TV unde1,0;yysgnaklij ; (B=0, z=0, C=0, D=0) Testarea reconstrucției CNN aunei imagini Pentru testarea reconstrucției CNN aunei imagini deteriorate ori cunoscute parțial s-a folositmediuldedezvoltare Matlab, sistemul de dezvoltare pentru aplicații CNN CadetWin (***1999a), inclusiv chip -ul CNN de 64*64 pixeli (Linan et al. 1999) . Oricare ar fi metoda aleasă de reconstituire a unei imagini deteriorate se dorește ca precizia reconstituirii să fie cât mai bună, dar în ac elași timp să sepoată reconstitui por țiuni necunoscute de dimensiuni cât mai mari din imaginea deteriorată (zone lipsă sau goluri), adică raza (distanța) de propagare prin interpolare să fie mare. Aceste două deziderate stau la baza evaluării metodelor pr opuse de reconstrucție a unei imagini deteriorate, de aceea s -au analizat doi parametri: GacsádiAlexandru Teză de abilitare 28-Eroarea ER (criteriul preciziei) care rezultă prin compara țiaîntreimaginea reconstituită, ,șiimaginea originală 0, (eventual obținută după o interpolare ideală). Pentru aceasta în experimentele prezentate în continuare ,imaginile deteriorate utilizate IN, s-au obținut din imagini reale originale, 0,la care s-au anulat valorile corespunzătoare unei părți din elementele imaginii. În acest fel, erorile care rez ultă în urma utilizării diferitelor metode se pot evalua cantitativ cu o măsură de tip: Nj1;Mi1,N*M)j,i()j,i(ER2 0Ω .(2.1.45) -Raza (distanța) de propagare, se poate analiza calitativ cu ajutorul imaginilor de eroare obținute cu relații de tip: Nj1;Mi1),j,i()j,i(0 ER . (2.1.46) Pentrua analiza eficacitatea templa te-urilor propuse în reconstrucția unor imagini deteriorate care au goluri mari s -a folosit o imagine artificială (figura 2.1.6). Cele două goluri (zone lipsă) sunt situate în regiuni uniforme lipsite de zgomot, una de valoare pozitivă (0.70) și alta de valoare negativă ( -0.70), pixelii din imagine având valori în domeniul standard CNN [-1, +1]. De fapt, se dore ște ca unda CNN, prin care reconstruie ște imaginea, s ă aibă raza de acțiune cât mai mare. d ec gb a f Figura 2.1.6: a) imaginea originală 0; b) imaginea de reconstruit IN; c) imaginea de eroare ER1pentru AINPOL1; d) imaginea de eroare ER2 pentruAINPOL2; e) imaginea de eroare ER3pentru AINPOL3; f) imaginea de eroare ER4pentru OSRUFATV; g) imaginea de eroare ER5pentru NEL_AINTPOL3. GacsádiAlexandru Teză de abilitare 29Tabelul2.1.1. Erori ale unor metode CNN de reconstrucție a imaginilor deteriorate TemplateErori (ER) Imagine cu porțiuni mari necunoscuteImagine cu porțiuni mici necunoscute AINTPOL1 0.0219 0.0230 AINTPOL2 0.0558 0.0204 AINTPOL3 0.0823 0.0198 OSRUFA TV 0.0092 0.0304 NEL_AINPOL3 0.0041 0.0200 Analizând imaginile și valorile erorilor ER (tabel ul2.1.1), dintre cele 4 template -uri descrise de rel. (2.1.44), se co nstată că la reconstrucția golurilor dintr -o imagine deteriorată cel mai bun comportament îl are template -ulOSRUFATV , cele mai mari erori rezultând cu AINTPOL3. În figura 2.1.7 sunt prezentate rezultatele obținute cu metodele CNN propuse de autor la reconstrucția unei imagini la care elementele cu valori necunoscute sunt dispuse regulat pe linii și coloane (zonele necunoscute au dimensiuni mici). a ec d f h gb i Figura 2.1.7: a) imaginea original ă0; b) imaginea mască; c) imaginea de reconstruit, IN; d) imaginea de ie șire,OUT, pentru AINPOL1; e) imaginea de ieșire,OUT, pentru AINPOL2; f) imaginea de ie șire,OUT, pentru AINPOL3; g) imaginea de ie șire,OUT, pentru OSRUFATV; h) imaginea de i eșire,OUT, pentru NEL_AINTPOL3; i) imaginea de ie șire,OUT, rezultată prin procesare pe chipCNNcu64*64 pixeli utilizând AINTPOL3. GacsádiAlexandru Teză de abilitare 30Evident, în cazul unei astfel de imagini, când zonele necunoscute au dimensiuni mici, se va analiza numai precizia recon strucției, deoarece nu apare problema unei propag ări insuficiente, spre deosebire de cazul imaginilor deteriorate cu goluri mari. Analizând imaginile din figura 2.1.7 și valorile erorilor ER, se constată că la reconstrucția imaginii deteriorată ,deaceastădata,situația este chiar inversă față de cea anterioară, prezentată în figura 2.1.6. Astfel, cel mai bun comportament îl asigură template -ul AINTPOL3, cele mai mari erori realizându -se cu OSRUFATV. Pe de altă parte, utilizând AINTPOL3, AINTPOL2, AINTPOL1 , erorile rezultate nu diferă esențial. Practic fiecare procedeu poate fi util, dar numai dacă se cunoaște caracterul imaginii deteriorate, deoarece nici o metodă nu este satisfăcătoare pentru orice situație. Creșterea eficienței reconstrucției unei imagin i deteriorate se poate obține prin combinarea și optimizarea celordouă procedee care au avut comportamentul cel mai bun în cele două situa ții limite avute în vedere. Aceast ă metodă CNN pentru reconstruc ția unei imagini poate fi formulată prin metoda varia ționalăîn urma minimizării energiei pe baza relației următoare: β α 5 EEE + (2.1.47) Prelucrare acomplexă ,între limitele descrise de rezultatele inițiale ale fiecărei prelucrări în parte,rezultă to cmaidinponderarea termenilor, EșiE, cu ajutorul parametrilor scalari subunitari și(șiR+). Evident, este de dorit ca și reconstrucția unei imagini s ă se bazeze pe un număr cât mai mic de parametri impuși la începutul procesării și să fie dominante elementele deduse chiar din conținutul imaginii procesate. Ponderarea funcțiilor de cost cu ajutorul unor parametri scalari subunitari este necesară pentru respectarea condiției descrise de relația (2.1.19). În cele din urmă, se poate constata că, c ele două metode alese (AINTPOL3 și OSRUFATV) se completează reciproc, rezultând un comportament eficient pentru orice imagine, chiar și în oricare din situațiile limită (tabelul2.1.1). Astfel, rezultă template -ul: 3 AINTPOL_NEL0a0a0a0a0 D 0.05-3.00.05-3.003.00.05-3.00.05- A (2.1.48) unde1,0;yysgnaklij ; (=1; B=0; z=0) Rezultatele reconstrucției CNN a unor imagini deteriorate prin utilizarea template -ului NEL_AINTPOL3 sunt prezentate în figura 2.1.6g (eroarea) și figura 2.1.7h (imaginea reconstruită) . În figura 2.1.7i se poate observa imaginea de ie șire reconst ituită prin interpolare pe chip CNN 64*64 cupixeli (Linan et al. 1999) utilizând AINTPOL3. Timpul mediu complet de procesare include, alături de timpul efectiv de procesare la interpo lare și timpii necesari pentru citirea imaginii din memorie respectiv pentru încărcarea și descărcarea imaginii pe chip precum și timpul necesar pentru afișarea imaginii. Din timpul total de procesare o parte semnificativă este utilizat ăpentru încărcarea și descărcarea imaginii pe chip. Dacă în cazul GacsádiAlexandru Teză de abilitare 31unui chip CNN se consideră numai timpul efectiv de procesare la interpolare, pentru o constantă CNN,ce caracterizează o celulă ,de 250 ns (Linan et al. 1999), rezultă că prelucrarea analogică propriu -zisă pechip a unei imagini cu dimensiunile identice cu al chip -ului durează cel mult 6,25 s (25 iterații*250 ns) (Gacsádi and Szolgay 2001). Imaginile deteriorate, din figurile 2.1.8b și 2.1.9a, au rezultat prin suprapunerea artificială a unor texte peste imagin ile reale. După reconstituirea CNN, utilizând template -ul NEL_AINTPOL3, au rezultat imaginile prezentate în figura 2.1.8c și figura 2.1.9c. a c b Figura 2.1.8: a) imaginea originală 0; b) imaginea care se va reconstitui IN; c) imaginea de ie șire,OUT, reconstituită utilizând NEL_AINTPOL3. b a c Figura 2.1.9: a) imaginea de intrare care se va reconstitui IN; b) imaginea mască; c) imaginea de ie șire,OUT, reconstituită utilizând NEL_AINTPOL3. GacsádiAlexandru Teză de abilitare 322.1.4.Algoritm CNN omogen de estimare și compens are a mișcării Implementarea CNN a metodei lui Horn & Schunck de estimare a mișcării În această sec țiune este prezentat ă implementarea paralelă a metodei Horn & Schunck de estimare a mi șcării în secven țe de imagini, prin utilizarea rețelelor neuronale/ne liniare celulare (CNN) (Gacsádi et al. 2006a). Pentru cazul implementării seriale, timpul de calcul mare reprezintă unul dintre dezavantajele algoritmilor clasici de estimare a mi șcării, inclusiv pentru binecunoscuta metod ăHorn & Schunck (Horn and Schunck 1981). Pe de o parte, obiectivul implementări iCNN este ob ținerea unor timpi de procesare mai mici, pe de alt ă parte, de a realiza algoritmi omogeni pentru compensarea mi șcării sau interpolarea spațio-temporală în secven țe de imagini, cu aplicații în vedere aartificială sau imagistică medicală. Astfel, și prin administrarea mai eficient ă a resursele de calcul se poate contribui la prelucrarea imaginilor în timp real (Gacsádi et al. 2004), (Grava et al. 2010). Informația vizuală joacă un rol din ce în ce mai important în multe din aplicațiile cotidiene care au fost dezvoltate în ultimii ani pe baza progresului tehnologic din diverse domenii. Câteva exemple de astfel de domenii sunt: imagistica medicală, televiziunea digitală și de înaltă definiție, video-conferințele, tehnicile de realitate virtuală și multimedia. În toate aceste domenii este necesară prelucrarea informației obținute dintr -o secvență de imagini, cu scopul de a obține informația de mișcare. Fluxul de date care trebuie prelucrat în caz ul unei secvențe de imagini 2D este mare datorită unei a treia dimensiuni și anume cea temporală. Tehnicile de estimare a mișcării estimează traiectoriile pixelilor (câmpul de mișcare) între imagini succesive, cu scopul de a exprima intensitatea luminoasă din imaginea curentă pe baza informației din imaginea anterioară sau următoare. Algoritmii de estimare a mișcării din secvențe de imagini au fost dezvoltați pentru diverse aplicații, cum ar fi: analiza secvențelor de imagini, vederea artificială sau compre sia informației video. În estimarea mișcării trebuie avut în vedere faptul că informația de mișcare este obținută pe baza variației de intensitate luminoasă observată într -o secvență de imagini, informația rezultată numindu -se „flux optic” . Este de remarca t faptul că fluxul optic observat poate fi diferit de mișcarea reală. Pentru a obține un flux optic care să reprezinte o bună aproximare a câmpului real de mișcare trebuie făcute unele ipoteze, constrângeri (Aggarwall and Nandhakumar 1988). Metodele de es timare a mișcării se pot clasifica în două mari clase: metode de tip determinist și metode de tip probabilist. În cadrul metodelor de tip probabilist mișcarea este modelată ca o variabilă aleatoare (Konrad 2000) ,(Murat 1997). Astfel, ansamblul vectorilor de mișcare formează un câmp aleator care este modelat, în general, printr -un câmp aleator de tip Markov ( MRF-Markov Random Field ). Pe baza acestei presupuneri, s -a arătat că funcția de distribuție asociată, care caracterizează câmpul aleator, este o distr ibuție Gibbs, iar această distribuție este estimată pe baza unor estimatori de tip MAP(maximum a posteriori ). Metodele de tip probabilist necesită un timp de calcul foarte mare, dar permit modelarea GacsádiAlexandru Teză de abilitare 33discontinuităților în câmpul de mișcare și nu sunt limit ate la anumite tipuri de modele de mișcare. În practică sunt folosite metode de tip determinist, care necesită un timp de calcul mult mai mic. Dintre metodele deterministe, cele mai utilizate sunt (Aggarwall and Nandhakumar 1988), (Barron et al. 1994), (M urat 1997): -metodele diferențiale (sau de tip gradient), în cadrul cărora mișcarea este estimată pe baza gradienților spațio -temporali ai imaginii (Horn and Schunck 1981) ,(Bruhnet al. 2003); -metodele de tip bloc (numite și metode corelative). Acestea se pot clasifica la rândul lor în metode de corelație a fazei și în metode de potrivire a blocurilor ( block-matching). În cazul metodelor de corelație a fazei, mișcarea este estimată pe bazadiferenței de fază Fourier a două blocuri, între două imagini succe sive. Aceste metode sunt mai puțin utilizate în practică datorită sensibilității ridicate la zgomot. În cazul metodelor de potrivire a blocurilor se caută locația blocului care se potrivește cel mai bine în imaginile următoare sau anterioare cu blocul de r eferință din imaginea curentă, potrivirea efectuându -se pe baza unui anumit criteriu de potrivire sau diferență. Ambele metode pot fi aplicate doar în cazul unei mișcări de translație, însă pot fi încorporate și alte transformări spațiale ale mișcării (Zhuand Thall 2002),(Wei et al. 2005 a). În aproape toate metodelede estimare a mișcării ,principiul fundamental este că intensitatea luminoasă a fiecărui pixel este constantă de -a lungul traiectoriei mișcării sau se modifică într -un mod predictibil. Ipoteza conservării intensității luminoase a fiecărui pixel (x,y,t) de -a lungul traiectoriei mișcării poate fi exprimată prin ecuația de diferență între imaginile deplasate (DFD -Displaced Frame Difference ) între imaginile de la momentele t și t’=t+Δt (Barron et al. 1994) (Konrad 2000): t)y,(x,-t)t,dy,d(x=DFDy x , (2.1.49) unde(x,y,t) reprezintă distribuția de intensitate a imaginii la momentul t, iard=[dx ,dy]Teste vectorul de deplasare între momentele t și t’ (d x,dyfiind vectorii de deplasare în direcțiile x și respective y). Metodele bazate pe minimizarea directă a acestei ecuații se numesc și metode de potrivire a blocurilor. Se observă că în cazul în care se presupune conservarea intensității luminoase: 0t)y,(x,-t)t,dy,d(x=DFDy x .(2.1.50) Metodele diferențiale de estimare a mișcării se bazează pe gradienții spațio -temporali ai imaginilor unei secvențe de imagini. Dacă intensitatea luminoasă a unui punct nu variază în timp, atunci (Horn and Schunck 1981): 0dtd. (2.1.51). Dezvoltarea în serie Taylor de ordinul 1 a acestei ultime relații, are ca rezultat ecuația de constrângere a mișcării (ECM, numită și ecuaț ia fluxului optic EFO) care leagă gradienții spațiali și temporali ai intensității luminoase : 0tdtdy ydtdx x. (2.1.52) GacsádiAlexandru Teză de abilitare 34Această ecua ție se poate rescrie ca: 0 v vtyyxx , (2.1.53) undexșiysunt gradien ții spațiali, teste gradientul temporal al intensită ții luminoase și dtdxvx,dtdyvysunt vitezele pe direc țiilexși y (Konrad 2000). Ecuația de constrângere a mișc ării (2.1.52) descrie o dreaptă în spațiul vitezelor (vx, vy). Distanța care separă această dreaptă (dreapta de constrângere) de origine, depinde de raportul modulelor gradienților temporali și spațiali, în timp ce orientarea acestei drepte este determinat ă de orientarea gradientului spațial al punctului de interes (figura 2. 1.10). -t/y-t/x x·vx+yvy+t=0 vxvy d Figura 2.1.10: Ecuația de constrângere a mișcării și dre aptade constrângere. După cum se observă din rela ția(2.1.53), ecuația de constrângere a mișcării ECM (sau ecuația fluxului optic EFO) are douănecunoscute (vx, vy), deci sistemul este sub -determinat. Aceasta pune în evidență faptul că ecuația de constrângere nu permite determinarea decât a uneia dintre necunoscute și anume a proiecției vectorului viteză pe grad ientul spațial al intensității luminoase. Pentru a obține informația de mișcare adică ambele componente ale mișcării, (vx, vy),trebuie introdusă o a doua constrângere, astfel, rezultând un sistem complet determinat (două ecuații cu două necunoscute). Unadin constrângerile posibile presupune că toate punctele vecine au mișcări asemănătoare, considerându -se câmpul de vectori viteză uniform (Horn and Schunck 1981) . Rezultă că trebuie minimizată o energie de tipul: 2 te uniformita2 flux2EEE . (2.1.54) Primul termen corespunde diferenței în raport cu proiecțiile vectorilor viteză pe gradientul spațial (conform ECM), iar cel de -al doilea termen corespunde diferenței în raport cu un câmp uniform, coeficientul fiind factorul de ponderare între cei doi termeni. Constrângerea de uniformitate se exprimă prin ecuația: 2 v2 v2 x2 x yv xv yv xv 2 te uniformitaE , (2.1.55) iar ecuația fluxului optic: vv2 tyyxx 2 fluxE (2.1.56) GacsádiAlexandru Teză de abilitare 35Soluția ecua ției (2.1.53) se poate ob ține după o minimizare de tip Gauss -Seidel, rezultând ecuațiile iterative (Horn and Schunck 1981). Ecuația va fi astfel minimizată atunci când eroarea (adică diferența între două valori succesiv e ale lui v x,și vy) va fi considerată ca fiind minimă sau când se va atinge numărul de iterații ales. Această metodă nu este limitată la translații, cum este cazul metodei de potrivire a blocurilor, iar calculele sunt mult mai scurte. În schimb, mișcarea trebuie să fie de mică amplitudine, mai mici de trei pixeli, din considerente de validitate ale dezvoltării în serie Taylor. Pentru a elimina dezavantajele legate de limitarea la mișcări de amplitudine mică, soluția este de a utiliza tehnici de tip multirezoluție. În scopul implementării CNN a metodei lui Horn & Schunck de estimare a mișcării se vor lua în considerare constrângerile de proiectare prezentate deja în subcap. 2.1. 2. O etapă foarte importantă o reprezintă, și de aceast ă dată, asocierea termeni lor din funcția de cost cu operatorii A, B, C sau D. În general, ar fi de preferat utilizarea unei structurii CNN monostrat și obținerea unor template -uri liniare, eventual neliniare, dar numai cu dimensiuni 3*3. Se va apela la template -urile care se pot i mplementa numai pe structuri CNN multistrat doar dacă nu există nici o altă modalitate mai simplă pentru implementarea CNN a unei aplica ții.Parametrii scalari din funcțiile de cost (2.1.54) trebuie să fie ponderați între 0 și 1 pentru satisfacerea condiți ei de stabilitate precum și a menține valorile st ărilor straturilor CNN în zona liniară a caracteristicii de transfer de la stare la ie șire. Luând în considerare nota țiile CNN uzuale ,în continuare se vorutilizașiurmătoarele notații: i xx ;j yy ;t tt ;i xvvdtdx ;j yvvdtdy ; i ix xxvvxv;j iy xxvvyv;i jx yyvvxv;j jy yyvvyv. (2.1.57) undeviși vjreprezintă vitezele după direc țiile i și j, care urmeaz ă a fi determinate. Pe baza considerentelor de mai sus, pentru estimarea CNN a mi șcării se vor folosi cele două imagini, imaginea ini țială1(i,j,t)și imaginea final ă2(i,j,t+Δt), rezultând ostructură CNN având două straturi șitemplate-ul HOSCH (figura 2.1. 11).Variabilele discrete spa țiale sunt iși j. A2 D22Z2D11 Z1A1 D21 D12Ieșire1= vi Ieșire2= vjStrat1 Strat2 Figura 2.1.11: Structura CN cu două straturi pentru implementarea metodei Horn & Schunck de estimare a mi șcării. GacsádiAlexandru Teză de abilitare 36După minimizar ea energiei din rela ția (2.1.54), rezult ă template -ul HOSCH având următoarele componente: (2.1.58) -Imaginile de polarizare Z 1și Z2: ti1Z;tj2Z. -Operatorii liniari de reac țieinversă, A 1și A2: 0a0aa41a0a0 A , unde parametrul constant a include și parametrul din ecuația (2.1.54), în mod evident, ponderate și cu constantele care rezult ă în procesul de minimizare a energiei. -Operatorul neliniar de tip D rezultă de forma : 0000d0000 Dkl kl , unde perechea kl poate fi: 11;21;22;12. Astfel: -pentru D 11corespundei2 ii11 v)v(d ;pentru D 21corespundejjij21 v )v(d ; -pentru D 22corespundej2 jj22 v)v(d ;pentru D 12corespundeijii12 v )v(d ; Folosind sistemul de dezvoltare pentru aplicații CNN CadetWin (***1999a) și mediul Matlab,rezultate experimentale obținute în urma utilizării metodei de estimare a mișcării a lui Horn & Schunck sunt prezentate în figura 2.1.13. Pentru ilustrarea modului în care implementarea CNN propusă realizează estimarea de mi șcare, s-au construit imaginile artificiale , imaginea ini țială1(i,j,t)și imaginea final ă2(i,j,t+Δt) (figura 2.1.12a,b). Rezultatele obținute pentru imaginile vitezelor sunt prezentate în figura 2. 1.12c,d. a b c d Figura 2.1.12: Estimareamișcării: a) imaginea 1(t); b) imaginea 2(t+Δt); c)imaginea viteză, v i; d) imaginea viteză, v j. Pentru o vizualizare mai bună, imaginile vitezelor, v iși vj, nu sunt calibrate în domeniul CNN. În cazul în care do rim să utilizăm aceste imagini, de exemplu, în compensarea imaginii, trebuie să fie calibrate în domeniul standard CNN [ -1,+1]. Astfel, în imaginile calibrate pentru viși vj, o deplasare de un pixel corespunde unei varia ții de valoarea 0,1. Rezultatele ob ținute utilizând implementarea CNN a metodei de estimare a mișcării a lui Horn & Schunck sunt ilustrate în figura 2.1.13, pentru cazul unei secvențe reale de imagini GacsádiAlexandru Teză de abilitare 37binecunoscute în literatura de specialitate ,dedicată estimării de mișcare și anume secven ța „taxi”. a b c d Figura 2.1.13: Estimareamișcării: a) imaginea 1(t); b) imaginea 2(t+Δt); c)imaginea viteză, v i; d) imaginea viteză, v j. După cum se observă și din rezultatele prezentate, implementarea CNN a metodei lui Horn & Schunck asigură rez ultate bune pentru mișcări de amplitudine mică, în timp ce metoda poate eșua în cazul mișcărilor de amplitudine mai mare de 3 pixeli. Deși procesarea CNN paralel ă asigură reducerea timpului de calcul, unele metode sofisticate de procesare a semnalelor sunt dificil sau chiar imposibil de implementat pe un chip CNN cu un singur strat, care utilizează numai template -uri invariante în spa țiu, liniare, de dimensiuni 3 *3. Astfel, implementarea CNN propusă a metodei lui Horn & Schunck de estimarea mi șcării necesit ă o structură cu două straturi și template -uri neliniare. Implementarea paralelăefectivăpoate firealizabilă pe un chip CNN -UC existent (Cembrano et al. 2003) numai prin proiectarea unui algoritm CNN analogic complex sau utilizând emulatorul digital CNN implementat FPGA (Nagy et al. 2006), (*** 2007). Algoritmul CNN de compensare a mișcării Informația de mișcare obținută în urma estimării, indiferent de modalitatea prin care aceasta rezultă, va putea fi utilizată la compensarea mișcării: într -un lanț de analiză a unei secvențe video, în compresia temporală a imaginilor, la interpolarea spa țială sau temporală a imaginilor (Grava et al. 2003), (Gacsádi et al. 2004), (Grava et al. 2010). Astfel, utilizând două imagini consecutive, imaginea ini țială1(x,y,t1)și imaginea final ă2(x,y,t2) dintr-o secvență (figura 2.1.14), în urma aplicării unei metode de estimare de mișcare, pentru fiecare pixel rezultă o estimare a mișcării după cele două direcții ale sistemului de coordonate atașat planului de imagine. GacsádiAlexandru Teză de abilitare 38Imaginea finală 2(x,y,t2)Imaginea inițială 1(x,y,t1)Imaginiintermediare estimate t,y,xˆ 2-1 Imaginea intermediară reală t,y,x2-1 Figura 2.1.14: Compensarea mi șcării. Algoritmul CNN de compensare a mișcării utilizează informația de mișcare obținută cu algoritmul de estimare a mișcării descris mai sus astfel încât, pornind de la imaginea inițială 1, utilizată în procesul de estimare, și de la această informație de mișcare, să fie reconstruit e (sau prezis e) imagini intermediare, imaginea compensată amișcării,2-1ˆ. În acest scop, este propusă o clasificare a pixelilor din imaginile ce conțin informația de mi șcare, iar procesul de compensare a mișcării este descompus în pași elementari (a lcăror număr este egal cu deplasarea maximă estimată), la fiecare pas fiind creată câte o imagine intermediară prin deplasarea pixelilor din imaginea inițială, în conformitat e cu informația de mișcare estimată (figura 2.1.14). La final se obține imaginea compensată prezisă , care teoretic ar trebui să fie identică cu imaginea reală, 1-2, care nu a fost utilizată în procesul de estimare a mișcării între imaginea ini țială1șiimaginea finală 2. Diferența între cele două exprimă eroarea cumulată a compensării de mișcare și implicit a estimării de mișcare, dar și a interpolărilor efectuate. Astfel, un pixel își poate modifica poziția după una din cele 8 direcții: N, N -E, E, S-E, S, S-V,V, N-V, sau rămâne pe loc. În urma estimării acestor mișcări, în imaginea inițială sau într-o imagine intermediară pixelii se pot clasifica în cinci categorii: -Pixeli de tip “a”, care au poziții identice în cele două imagini 1și2. Aceste elemen te de imagine nu -și schimbă nici pozițiile și nici valorile niciodată în cursul prelucrăril or CNN ulterioare. -Pixeli de tip “b”, care urmează să se miște, ca urmare a faptului că în imaginile care conțin informația de mișcare pixelii corespunzători în poz iții au valori mai mari decât o cuantă curentă. Valorile acestor elemente de imagine nu se modifică, dar prin intercalarea unor cadre de imagine între imaginea 1și imaginea 2, pozițiile lor se modifică succesiv cu câte o cuantă corespunzătoare discretiz ării spațiale a imaginilor. Numărul maxim de cadre de imagine care se pot intercala este egal cu numărul maxim de cuante de mișcare care se pot identifica. -Pixelii de tip “c” sunt aceia ai căror valori se vor schimba datorită faptului că în locul respectiv sosește un alt pixel suprapunându -se peste cel inițial din acea poziție: )shift(b(t)=c(t) (2.1.59) GacsádiAlexandru Teză de abilitare 39-Pixeli de “d” ,care în decursul prelucrărilor au suferit modificări, prin sosirea și plecarea unor pixeli aflați în mișcare, dar la un moment dat, poate chiar în final, vor avea chiar valoarea inițială din imaginea 1. De aceea ,valorile acestor pixeli se refac prin reconstituire: )1(b)t(c)t(b)t(c)1t(d)t(d (2.1.60) -Pixeli de tip “e”, cu valori necunoscute care iau naștere prin eliberarea pozițiilor de către pixelii de tip b, dar în acel loc nu sosește niciodată alt pixel. Corespunzător fiecărui pas de mișcare, valorile acestor elemente de imagine, a căror poziții sunt cunoscute, se pot determina prin interpolare CNN: )t(d)t(c)t(b)1t(c)t(e (2.1.61) Pentru fiecare imagine intermediară valoarea unui pixel din imaginea respectivă rezultă după determinarea tipului de pixel. Înt r-o poziție oarecare a imaginilor intermediare, cu excepția pixelilor de tip a, statutul pixelilor de tip b, c,d,e se poate modifica pe parcursul prelucrării. Organigrama care prezintă principiul interpolării CNN cu compensarea mișcării este redată în fi gura 2.1.15. Detectarea pixelilor care se vor mișca cu un pas pe unul din cele 8 direcții (o cuantă de mișcare) Mai există pixeli care se mișcă? Da Crearea imaginilor de mască curente și finale în vederea determinării pixelilor de tip b,d și eCreșterea pragului de detectare a mișcării Nu StopStart Deplasarea în imaginea intermediară intercalată a pixelilor de tip b cu un pas pe unadin cele 8 direcții Deplasarea pixelilor ce conțin informația de mișcare cu un pas pe un adin cele 8 direcții în imaginil e de mișcare Determinarea valorilor pixelilor de tip e prin interpolare CNN Determinarea valorilor pixelilor de tip d prin reconstituire Figura 2.1.15: Algoritmul CNN de compensare a mișcării. Imaginile 1și2precum și imaginile care conțin informațiile de mișcare au dimensiuni identice. De asemenea, toate aceste imagini sunt convertite în imagini cu niveluri GacsádiAlexandru Teză de abilitare 40degri, cu valori în domeniul standard CNN (de la –1 până la +1) (figura 2.1.16). Unui pixel care nu-și modifică poziția între imaginile 1și2, în aceiași poziție din imaginile care conțin informația de mișcare îi corespunde valori nule sau sub pragul mini m detectabil al mișcării. Pixelii cu valori negative codifică o mișcare spre stânga (figura 2.1.16a) respectiv sus (figura 2.1.16b), iar pixelii cu valori pozitive codifică mișcări către dreapta (figura 2.1.16a) respectiv jos (figura 2.1.16b). a bSe deplasează spre stânga Se deplasează spre dreapta Se deplasează în josSe deplasează în sus Figura 2.1.16: Imaginile care conțin informațiile de mișcare. Valorile pixelilor care codifică mișcări sunt multipli ai valorii minime detectabile de mișcare. Pentru a ușura procesarea CNN de compensare a mișcării, valorile maxime din imaginile ce conțin informația de mișcare se pot norma astfel încât valorilor maxime estimate să le corespundă chiar valorile –1 și +1 (valori extreme în domeniul mediul CNN). Se are în vedere faptul că, în general, reprezentarea valorilor elementelor de imagine în domeniul CNN, atât la simulare cât și la implementare pe chip, este realizată pe 8 biți. Astfel, în urma normării devin mai ușor detectabile și mișcările de amplitudine redusă. Pentru detectarea pixelilor care urmează a -și modifica pozițiile, la procesarea imaginil or de mișcare se utilizează template -ul TRESHOLD cu valorile de prag p alese în concordanță cu nivelurile pragurilor de detecție a mișcării (*** 2010): TRESHOLDpz 000000000 B 000020000 A , (2.1.62) unde p este un număr rea l care apar ține intervalului [ -1,+1]. În vederea deplasării pixelilor cu o poziție se utilizează familia de template -uri SHIFT (*** 2010) pentru imagini cu niveluri de gri corespunzătoare celor opt direcții. Spre exemplu, deplasarea cu o poziție spre est e ste realizată utilizând SHIFTE: SHIFTE0z 000001000 B 000000000 A , (2.1.63) Modificarea pozițiilor pixelilor trebuie să se facă nu numai în imaginile intercalate dar și în imaginile de mișcare. Pentru determinarea valoril or pixelilor care au luat naștere în urma modificării pozițiilor unor elemente de imagine, se utilizează template -ul AINTPOL3, care GacsádiAlexandru Teză de abilitare 41asigură o interpolare spline cubică. Determinarea valorilor pixelilor de tip e prin interpolare se poate realiza atât pentru imaginile intermediare intercalate cât și pentru imaginea finală. Pentru ca în decursul prelucrării să nu se modifice pixelii de tip a, respectiv pentru reconstituirea valorilor pixelilor de tip d ,sunt create succesiv imagini mască adecvate. Timpul de p relucrare este dependent de numărul de interpolări, respectiv de numărul cuantelor de mișcare rezultate în urma discretizării spațiale, adică de numărul total de imagini intercalate între cele două imagini originale 1și2.În cazulprocesării paralele, acest timp total de prelucrare este însă independent de dimensiunile imaginilor originale și de numărul de pixeli care se vor mișca. În figura 2.1.17 sunt prezentate rezultatele obținute în urma simulării interpolării CNN cu compensare de mișcare utilizând informațiile de mișcare redate în imaginile din figura 2.1.16. Fiecare pixel negru (figura 2.1.17a) se deplasează după una din cele 8 direcții posibile: N, N-E, E, S-E, S, S-V, V, N-V, având cuantele corespunzătoare de mișcare cuprinse de la 1 la 8. a b c d Figura 2.1.17: Interpolare CNN cu compensarea mișcării: a) imaginea inițială 1; b) și c) imagini intermediare; d) imaginea finală rezultată din imaginea 1 și informațiile de mișcare. În exemplul prezentat în figura 2.1.18, toți pixelii obiectului efectuează o mișcare identică spre direcția N -E. a b c d Figura 2.1.18: Interpolare CNN cu compensarea mișcării: a) imaginea inițială 1; b) și c) imagini intermediare; d) imaginea finală rezultată din imaginea 1 și informațiile de mișcare. Algoritmi i dezvoltați au fost ilustrați în cazul unei secvențe cunoscute în literatura de specialitate („Tabla de tenis”), iar rezultatele confirmă validitatea algoritmului omogen de estimare și compensare a mișcării (figura 2.1.19) (Grava et al. 2010) . După cum se poate observa, cele mai mari erori între imaginea reală ,1-2,și imaginea compensat ă de mișcare, 2-1ˆ,sunt situate în regiunea cu un gradient ridicat de intensitate, care de obicei corespunde GacsádiAlexandru Teză de abilitare 42regiunilor cu mi șcăridiferite. De asemenea , o altă cauză a acestor erori ar putea fi caracterul spațial discret al imaginii și interpol ării efectuate. Diferența între imaginea reală și imaginea compensatăEstimarea CNN a mișcării Compensarea CNN a mișcăriiCâmpul de mișcare estimată1 21-2 2-1ˆ 2-1 21ˆImaginea compensată Figura 2.1.19: Algoritmul CNN de compensare a mișcării . Pentru ilustrarea algoritm ului dezvoltat de estimareași compensare a mișcării s-a utilizat mediul de simulare CadetWin (***1999a) și programul Matlab, rezultatele confirmând validitatea algoritmului omogen propus pentru estimarea și compensare a mișcării. În cazul implementării seriale a algoritmului de estimare și compensare a mișcă rii, timpul de calcul depinde de dimensiunile imaginilor. Prinutilizarearețelelor neuronale/neliniare celulare șiimplement areaCNNa algoritmului (pechip CNN și/sau pe structură FPGA ,(Cembrano et al. 2003 ),(Nagy et al. 2006) )procesarea imaginilor devine paralelășise poate reduce considerabil timpul de calcul. Astfel, timpul de calcul depinde doar de constanta de timp a structurii hardware și de numărul maxim de pași al algoritmului (egal cu deplasarea maximă), fiind independent de dimensiunile imag inilor prelucrate. Timpul de calcul astfel estimat poate fi cu câteva ordine de mărime mai mic decât în cazul implementării seriale. GacsádiAlexandru Teză de abilitare 43Interpolarea CNN a sec țiunilorde imagini CT și imagini RM Algoritmul CNN de compensare a mișcării ,prezentat mai sus,poate fi utilizat și pentru creșterearezoluțieispațialeîn a treia dimensiune a unui volum de secțiuni2Dde imagini computer tomografice (CT) sau imagini de rezonanță magnetică (RM)(Goshtasby et al. 1992) (Gacsádi et al. 2004) .Secțiunile intermediare de i magini sunt create utilizând o metodă de interpolare CNN (de exemplu, spline -cubică), pe baza coresponden ței stabilite ,printr-un proces de potrivire a imaginilor între cele două sec țiuni reale consecutive, imaginea ini țială 1,și imaginea final ă2,(figura 2.1.14). Informația de corespondenț ă, care poate rezulta, de exemplu, prin metoda de potrivire a blocurilor, permite clasificarea pixelilor, atât în imaginea inițială sau într -o imagine intermediară ,încelecincitipuri,de la“a”la“e”. În figura 2 .1.20sunt prezentate rezultatele simulării interpolării CNN a sec țiunilorîn cazul imaginilor sintetice CT. Imaginea2rezultă ca d eformația sintetic ăa imaginii ini țiale, 1,prin utilizarea principiului FFD (Free Form Deformation ).Sunt prezentate imaginea inițială (figura2.1.20ași2.1.20e),imaginea finală ( figura2.1.20c), precum și o imagine intermediar ă(figura 2f) șicâmpul de mi șcareîntreimaginea inițialăși imaginea final ă (figura2.1.20b).În figura 2.1.20gse poate vedea imaginea finală est imată,2ˆ, care rezultă dupăultima itera ție a algoritmului . În figura 2.1.20ds-aprezentat imaginea diferen ță între imaginea final ărealășiimaginea ini țială,2-1,iar în figura 2.1.20hs-aprezentat imaginea diferență între imagin ea finală estimată și cea inițial ă,2ˆ-1. 50 100 150 200 25050 100 150 200 250 -100-80-60-40-20020406080100 50 100 150 200 25050 100 150 200 250 (a) (b) (c) (d) -40-30-20-1001020304050 50 100 150 200 25050 100 150 200 250 (e) (f) (g) (h) Figura 2.1.20: Interpolarea CNN a sec țiunilorîn cazul imaginilor sintetice CT : (a)și (e) imaginea ini țială,1; (b)câmpul de mi șcareîntreimaginea inițialăși imaginea finală ;(c)imaginea finală ,2; (d)imaginea diferen ță între imaginea finalărealășiimaginea ini țială,2-1; (f) imaginea intermediară; (g)imaginea finală estimată ,2ˆ; (h)imaginea diferen ță între imaginea finală estimatăși cea inițială,2ˆ-1. GacsádiAlexandru Teză de abilitare 44În figura 2.1.21sunt prezentate rezultatele simulării interpolării CNN a sec țiunilor în cazul imaginilor reale RM .Se poate vizualiza imaginea ini țială,1,(figura2.1.21ași 2.1.21e), imaginea finală ,2,(figura2.1.21c), o imagine intermediară (figura 2.1.21f)și câmpul de mi șcareîntre imaginea ini țialăși imaginea final ă (figura2.1.21b). În figura 2.1.21g se poate observa imaginea finală estimată ,2ˆ, care rezultă după ultima itera ție a algoritmului. În figura2.1.21d s-a prezentat imaginea diferen ță între imaginea fi nală reală și imaginea ini țială,2-1,iar în figura 2.1.21h s-a prezentat imaginea diferen ță între imaginea finală estimată și cea inițial ă,2ˆ-1. 10203040506070809010010 20 30 40 50 60 70 80 90 100 -60-40-200204060 20 40 60 80 10010 20 30 40 50 60 70 80 90 100 (a) (b) (c) (d) -60-40-2002040 20 40 60 80 10010 20 30 40 50 60 70 80 90 100 (e) (f) (g) (h) Figura 2.1.21: Interpolarea CNN a sec țiunilorîn cazul imaginilor reale RM: (a)și (e) imaginea ini țială,1; (b)câmpul de mi șcareîntreimaginea inițială și imaginea final ă; (c)imaginea finală ,2; (d)imaginea diferen ță între imaginea final ărealășiimaginea inițială,2-1; (f) imaginea intermediară; (g)imaginea finală estimată ,2ˆ; (h)imaginea diferen ță între imaginea finală estimatăși cea inițial ă,2ˆ-1. Timpul de procesare al algoritmului propus pentru creșterearezoluției3Ddepinde de numărul de interpolări ,adică denumărul total de imagini inserate între imaginea inițială,1, și imaginea final ă,2.Prinimplement areaCNNa algoritmului (pechip CNN și/sau pe structură FPGA ,(Cembrano et al. 2003 ),(Nagy et al. 2006))procesarea imaginilor devine paralelășise poate reduce considerabil timpul de calcul. Astfel,timpul total de prelucrare rezultă independent de dimensiunile imaginilor originale șide numărul de pixeli în mi șcare. GacsádiAlexandru Teză de abilitare 452.2.Prelucrarea unor imagini m edicale În prezent, tehnicile de investigare, cum ar fi imagistica prin rezonan ță magnetică (IRM), tomografia computerizată (CT) sau tomografia cu emisie de pozitroni (PET), joacă un rol deosebit de important în medicină. Pentru a extrage cât mai multe in formații posibile, aceste tehnici folosesc metode avansate de procesare a imaginii. Astfel, îmbunătă țirea calit ății imaginilor și tehnicile 3D pot fi folosite pentru a obține o mai bun ă vizualizare, extragerea de trăsături poate fi folosită la diagnosticar e asistată, segmentarea poate fi utilă pentru a separa diferitețesuturi și organe. Dezvoltarea unor echipamente tot mai performante de imagistică medicală, este o necesitate continuă. Aproape indiferent de natura imaginii medicale achiziționate sau de principiul de funcționare a aparatului utilizat, aceasta trebuie adusă sub o formă cât mai ușor de interpretat de către medicii speciali ști. În acest scop imaginea este supus ă unui lanț de prelucrări și analiză. Toate aceste operații de prelucrare și analiză a imaginilor medicale trebuie să fie efectuate în timp real. Unaspectdeosebit de important îl reprezintă evaluarea metodelor de procesare a imaginilor medicale din punctul de vedere al posibilită ții integrării acestora în sisteme semiautomate sau autom ate de diagnostic medical. În acest sens, o metodă poate fi benefică, chiar și atunci când este mai puțin performantă din punct de vedere teoretic, dar care oferă rezultate în timp real și poate fi utilizat ă în interesul pacientului în practica medicală de zi cu zi. Datorită diversității și dificultății problemelor existente la ora actuală, atât din punct de vedere teoretic cât și cel al modului de implementare, dezvoltarea unor noi metode de imagistică medicală continuă să rămână un subiect de certă actual itate. În cele din urmă, este important de remarcat faptul că indiferent de algoritmul matematic utilizat pentru procesarea imaginilor medicale și modul lui de implementare, aprecierea eficien ței și utilit ății acestora, adic ă validarea lor în practica med icală rezultă în urma unui procedeu iterativ în buclă, care au ca principal „arbitri” medici exper ți în imagistic ă medicală ( Angenent et al. 2006) . Alături de celelalte procedee clasice, ca structuri de calcul paralel, rețelele neuronale/neliniare celular e (CNN-wave computing ) oferă soluții complementare de realizare a unor aplicații în timp real în domeniul imagisticii medicale. În general, implementarea CNN a unor metode de prelucrare a imaginilor medicale nu este un scop în sine (Chua and Yang 1988), (Roska and Chua 1993) . Astfel, se poate reduce timpul de calcul datorită procesării complet paralele (Cembrano et al. 2003), (Nagy et al. 2006), (Hillier et al. 2006), (Dudek and Vilariño 2006 ). În scopul extragerii zgomotului, segmentării imaginilor, det erminăriiconturului, în literatura de specialitate au fost analizate și propuse diferite modele matematice privind posibilitatea implementării pe structuri hardware bazate pe utilizarea re țelelor neuronale/neliniare celulare. Din p ăcate, compararea eficie nței implementării CNN a acestor metode este practic imposibilă deoarece unele dintre aceste a utilizează structu ri hardware optimizate și dedicate pentru aplica ția concret ăși acestea sunt accesibile limitat. Totu și, pentru comparația metodelor ca și param etru cantitativ obiectiv, GacsádiAlexandru Teză de abilitare 46rezultă timpul de calcul, în timp ce precizia prelucrării, în majoritatea cazurilor, se poate aprecia numai calitativ pe baza opiniei medicilor exper ți în imagistic ă medicală. Următoarele sec țiuni, se refer ă la dezvoltarea unor me tode de analiză și prelucrare a imaginilor computer tomografice (CT), bazată pe tehnologia rețelelor neuronale celulare (CNN) și abordarea lor în ansamblu pentru a le implementa într -un sistem de asistare în timp real a diagnozei medicale (Gacsádi et al. 2 009-2011). Obiectivul general al studiului vizează îmbunătățirea actului medical, prin creșterea eficienței imagisticii CT la stabilirea diagnozei medicale și/sau la urmărirea tratamentului, utilizând în acest scop un sistem de asistare. Acest obiectiv, în centrul căreia se află îmbunătățirea calității vieții Omului, este realizabil numai în condi țiile existen ței dialogului și colaborării interdisciplinare eficiente și permanente a specialiștilor din toate domeniile de știință implicate. 2.2.1.Îmbunătățire adap tivă a imaginilor utilizând rețele neuronale/neliniare celulare Îmbunătățire CNN a imaginilor În general, în domeniul prelucrărilor de imagini un pas important de preprocesare este îmbunătățirea calită ții imaginii care are drept scop ob ținerea vizibilităț iisuperioare a componentelor imaginii în vederea interpretării cât mai ușoare de către observatorul uman (Gonzalez and Woods 1993). Prin preprocesarea imaginilor, pe de o parte, trebuie să se realizeze reducerea zgomotului prin filtrare, fără însă a deter iora sau a pierde informații utile incluse în detalii, pe de altă parte, trebuie uneori chiar accentuate detalii, de exemplu cele care se referă la contururi și care pot fi indispensabile în continuare, fără însă a introduce elemente artificiale perturbato are. Cele două deziderate sunt evident contradictorii, deoarece filtrarea zgomotului din imagini acționează în sens negativ și asupra muchiilor (contururilor), în timp ce accentuarea detaliilor poate provoca chiar și descompunerea falsă a unei regiuni omog ene, compacte. În scopul reducerii zgomotului din imagine simultan cu îmbunătățirea contrastului și a contururilor sunt disponibile modele matematice complexe deosebit de performante. Deocamdată, unele dintre aceste prelucrări de imagini sunt greu de real izat în timp real, chiar dacă se dispune de putere de calcul serialdin ce în ce mai mare. Unele tehnici de îmbunătățire a imaginilor sunt realizabile și cu metode de calcul CNN, cum ar fi: extinderea contrastului ( contrast stretching ), detecția muchiilor , reducerea zgomotului. CsapodișiRoskadescrie o metodaCNNde scalare globală a unei imagini cu contrast scăzut având valorile ini țiale ale pixelilor cuprinse între minșimax(Csapodi and Roska1996).Obiectivul urmărit este utilizarea întregului do meniu de valori CNN standard al imaginilor cu niveluri de gri, cuprins în intervalul [ -1, 1]. În acest scop se utilizează funcția de transfer g( ), reprezentată în figura 2.2.1: min maxmin21g (2.2.1) GacsádiAlexandru Teză de abilitare 47g()+1 maxmin -10 Figura 2.2.1: Funcția de transfer g. Actualmente o parte însemnată a calculelor din relația (2.2.1), mai puțin împărțirea, se pot efectua într -un mediu CNN, chiar și direct pe chip -ul CNN, în mod complet paralel. Îmbunătățirea adaptivă a imagin ilor presupune ca funcția de transfer atașată prelucrării să depindă de nivelul de intensitate și de contrastul local, sau uneori regional. Calitatea unei imagini se poate aprecia prin relația (Brendel and Roska 2002): y,xCDcy,xIDcy,xQ2 22 1 (2.2.2) unde I reprezintă intensitate medie, C reprezintă contrastul mediu, D reprezintă operatorul de difuzie, iar c 1și c2suntparametri constanți. Metoda propusă în această lucrare se poate implementa pe o structură de rețele neuronale celulare cu 3 straturi, sau pe baza unui algoritm secven țial (Rekec zky et al. 2000). Evaluarea cantitativă a calității imaginii poate fi utilă la aprecierea prin comparare a metodelor de îmbunătățire a imaginilor, având în vedere că prin adaptarea ochiului uman imaginea prelucrată poate fi apreciată uneori ca fiind mult mai bună decât este ea în realitate. RekeczkyșiRoskapropuneoaltămetodă complexă de îmbunătățire a contrastului imaginii simultan cu reducerea zgomotului (Rekeczky andRoska 2001) . Procesarea imaginii este obținută pe baza unui algoritm iterativ care include parțial și procesări paralele realizate cu metode CNN. Îmbunătățire adaptivă CNNa imaginilor bazată pe calcul varia țional Metoda originală de îmbunătățire adapti vă a imaginilor utilizând rețele neuronale/neliniare celulare, prezentată în această sec țiune, are în vedere deopotriv ă reducerea zgomotului, accentuarea muchiilor, creșterea contrastului, dar și posibilitatea implementării directe pe un chip analogic CNN existent, într -o singură etapă, utilizând numai template liniar, de dimensiuni 3*3 (Gacsádi and Szolgay 2003), (Gacsádi et al. 2005) . Astfel, se asigură reducerea timpului de calcul în urma procesării complet paralele. Dimensionarea analitică a template -ului, propus pentru îmbunătățirea adaptivă CNN a imaginilor, este bazată pe calcul varia țional (subcap.2.1.2). Se consideră o imagine cu niveluri de gri ( gray-scale)(x,y),0:R2R, ={(x,y): x [1,M], y[1,N], M și N R+}(Casellas et al. 1998). Energiautilizată, având ca obiectiv îmbunătățirea adaptivă a imaginii, este de forma (Mumford and Shah 1985), (Perona and Tartagni 1994): GacsádiAlexandru Teză de abilitare 48 FidelitatesiMuchiiMediere2G dxdy G, E . (2.2.3) Minimizarea acestei func ții de cost presupune e fectuarea a două procese :filtrarea continuă a imaginii (x,y) prin mediere și, un proces de detecție a muchiilor , descris de funcțiaGșiun parametru scalar. Astfel, în urma prelucrării imaginii bazate pe energia E, se realizează un compromis între re ducerea zgomotului ( denoising )și extragerea muchiilor (deblurring ). Pentru a putea implementa procedura pe o structură CNN cu un singur strat, într -o primă aproximare, în rela ția (2.2.3) consider ăm că func ția G asigur ăși păstrarea asemănării (fidelității) imaginii prelucrate cu imaginea inițială. În condițiile inițiale de proiectare prezentate în subcap. 2.1 .2, prin minimizarea termenului de mediere din energia E, rezultă template -ul AINTPOL1, care include numai operatorul A (Gacsádi and Szolgay 2001): 025.0025.0025.0025.00 A . (2.2.4) În principiu, funcția de cost corespunzătoare termenului de penalitate (de accentuare) a muchiilor poate avea o formă similară ca și termenul de mediere, evident cu semn schimbat. În aceleași condiții de proiectare, prin minimizarea acestei componente rezultă template -ul care include numai operatorul B diferit de zero (A=0 și z=0): 010141010 B . (2.2.5) În consecin ță, pentru îmbu nătățirea CNN adaptivă a imaginilor bazată pe calcul variațional rezult ă template-ul ENHAN de forma: 0z 0 040 0 B 025.0025.0025.0025.00 A , (2.2.6) undeeste un parametru care definește raportul, balansul dintre mediere și a ccentuarea contrastului și muchilor. Pentru valori subunitare ale lui predomină efectul de mediere (reducere a zgomotului ),iarpentru valori supraunitare ale lui predomină efectul de accentuare a contrastului ( extragerea muchiilor) . Testarea metodelor CNN de îmbunătățire a imaginilor În continuare ,sunt prezentate rezultatele experimentale obținute, cu ajutorul mediului de dezvoltare CadetWin (***1999a) șiamediuluiMatlab,pentru îmbunătățirea adaptivă CNN a imaginilor (Gacsádi and Szolgay 2003) . GacsádiAlexandru Teză de abilitare 49Seconsideră o imagine cu contrast redus și cu zgomot (figura 2.2.2a). Această imagine este procesată CNN utilizând template -uri care rezultă din relația (2.2.6) pentru diferite valori ale parametrului scalar . Dacă=0 se produce doar medierea imaginii (fi gura 2.2.2b), ceea ce duce practic la pierderea muchiilor. Dacă =2, practic accentuarea locală a contrastului conduce la situația în care doi pixeli vecini pot avea numai valori extreme, +1 sau –1 (2.2.2c). În figura 2.2.2d,e,f sunt prezentate rezultatele procesării imagini iinițiale pentru: =0.05;=0.4 și respectiv =1.5. a c b d e f Figura 2.2.2: Îmbunătă țirea imaginii utilizând ENHAN: a) imaginea inițial ă; b)imaginea de ieșire pentru =0; c) imaginea de ieșire pentru =2; d)imaginea de ieșire pentr u=0.05; e) imaginea de ieșire pentru =0.4; f)imaginea de ieșire pentru =1.5. Efectul preprocesării unei imagini prin aplicarea metodei descrise mai sus se poate evidenția prin evaluarea histogramelor globale și d in aceeași zone de interes ale imaginii inițiale (figura 2.2.3), din imaginea care rezultă în urma efectuării scalării globale, (figura 2.2.4), realizate pe baza relației (2.2.1), respectiv din imaginea obținută prin utilizarea template-ului ENHAN pentru =1 (figura 2.2.5). Scalarea glo bală poate conduce la saturări locale, în schimb procesarea CNN bazată pe ENHAN realizează o echilibrare locală a nivelului de intensitate. Metoda CNN de îmbunătățire adaptivă a imaginilor, utilizând ENHAN, realizează îmbunătățirea contrastului imaginilor prinegalizarea și modificarea adaptivă a histogramei. De asemenea, aprecierea performanței procedeului de procesare prezentat mai sus se poate face dacă se evaluează imaginea care rezultă după detecția muchiilor, pentru o imagine GacsádiAlexandru Teză de abilitare 50inițială fără zgomot dar cu contrast redus, imaginea ob ținută prin scalarea globală și, imaginea obținută după preprocesare cu ENHAN (figura 2.2.6). Pentru detecția muchiilor s -a utilizat același template EDGEGRAY (*** 2010). Astfel, se constată că detecția muchiilor este corectăși robustă numai în imaginea ob ținută prin scalarea globală și în imaginea ob ținută după preprocesare cu ENHAN. bc da Figura 2.2.3: Imaginea ini țială: a), b), c) histograme locale; d) histograma globală. bc da Figura 2.2.4: Imaginea ob ținutăprin scalarea globală: a), b), c) histograme locale; d) histograma globală. bc da Figura 2.2.5: Imaginea ob ținută utilizând ENHAN: a), b), c) histograme locale pentru=1; d) histograma globală. GacsádiAlexandru Teză de abilitare 51 da b c e f Figura 2.2.6: a) imaginea ini țială, fără zgomot dar cu contrast redus; b)imaginea ob ținută prin scalarea globală; c) imaginea ob ținută utilizând ENHAN pentru =1; d) detec ția muchiilor în imaginea inițial ă; (e) detec ția muchiilor în imaginea ob ținută prin scalarea globală; (f) detec ția muchii lor procesată cu ENHAN pentru =1. În figura 2.2.7 sunt prezentate rezultatele procesării unei imagini cu zgomot dar cu contrast ridicat. Reducerea zgomotului din imaginea inițială, în urma procesării cu ENHAN se poate observa din evaluarea imaginii care r ezultă după detecția muchiilor. b a d c Figura 2.2.7: a) imagine cu zgomot și cu contrast ridicat; b) imaginea obținut ă utilizând ENHAN pentru =0.05; c) detec ția muchiilor în imaginea inițial ă; d) detecția muchiilor procesat ă cu ENHAN. GacsádiAlexandru Teză de abilitare 52Tehnicile de îmbunătățire a imaginilor sunt deosebit de utile mai ales la interpretarea imaginilor biomedicale (Szabó et al. 2002). Îmbunătățirea calității imaginilor tomografice are drept scop obținerea unei vizibilități superioare a componentelor imaginii, creșterea adaptivă a contrastului, în vederea interpretării cât mai ușoare de către medicul specialist. În cazul imaginilor CT, atunci când contrastul este satisfăcător rezultă necesitatea unei preprocesări a imaginii prin utilizarea lui AINTPOL1 ( =0) respectiv, ENHAN cu =0.05 (figura 2.2.8). Astfel, analiza imaginii după detecția muchiilor din imaginile preprocesate poate deveni mai ușoară. c b a Figura 2.2.8: a) imagine CT cu zgomot și cu contrast ridicat; b) imaginea obținută utilizând ENHAN ( =0.05);c) detecția muchiilor procesat ă cu ENHAN ( =0.05). Îmbunătă țirea imaginilor CT cu contrast redus se poate obține utilizând ENHAN, având valori ale parametrului scalar mai mari decât 1 (figura 2.2.9). a c b Figura 2.2.9: a) imagine CT cu contrast s căzut; b) imaginea ob ținută utilizând ENHAN ( =1);c) imaginea ob ținută prin scalarea globală. În figura 2.2.10 sunt prezentate rezultatele îmbunătă țirii unor imagini decord cu contrast redus utilizând ENHAN (Gacsádi et al. 2005) . GacsádiAlexandru Teză de abilitare 53 a b c d Figura 2.2.10: a)și c) imagini decord cu contrast scăzut; b) și d) imagini obținute utilizând ENHAN. Pe baza rezultatelor prezentate se poate constata validitatea metodei propuse pentru îmbunătățirea adaptivă CNN a imaginilor, în principal cu aplicații concrete pentr u imagini medicale. 2.2.2.Filtrarea zgomotului din imagini ,bazată pe calcul variațional utilizând rețele neuronale/neliniare celulare Reducerea zgomotului din imagini Pentru reducerea zgomotului din imagini sunt cunoscute din literatura de specialitate modele m atematice complexe și eficiente, inclusiv modele bazate pe utilizarea ecuațiilor cu derivate par țiale(PDE)(Casellas et al. 1998), (Budaes et al. 2005), (Chan et al. 2003), (Angenent et al. 2006) .Majoritatea acestormetodeau performan țe remarcabile atunci când imaginea procesată corespunde modelului algoritmului ,darîn caz contrar eșueazăsauproduc artefacte semnificative . În același timp, cu cât metoda este mai performantă cu atât necesită timp de calcul mai mare. De aceea, prelucrarea imaginii în tim p realdevine dificilă . În analiza și prelucrarea imaginilor o problemă importantă este reconstrucția unei imaginii originale 0, din imaginea degradată achiziționată . La deteriorarea unei imagini pot contribui două fenomene: unul este legat de metoda d e achiziție (de exemplu, achiziționarea prin proiecții a unei imagini CT sau încețoșarea ( blurring) cauzată de mi șcare); celălalt este chiar zgomotul aleatoriu, inerent ,care este asociat oricărui semnal util. Cel mai simplu model care ține seama deopotri vă de neclaritate și de zgomot este modelul degradării liniare (Budaes et al. 2005): GacsádiAlexandru Teză de abilitare 540H, (2.2.7) unde0este imaginea originală, este imaginea observată și degradată, reprezintă zgomotul aditiv. Matricea Hreprezintă operatorul liniar de degradare ( blur operator, linear distorsion ), care poate fi invariant sau variant în spațiu. Adesea se poate presupune că zgomotul este alb, Gaussian și aditiv. Reconstrucția imaginii poate fi interpreta tă în acest fel ca o problemă inversă. Astfel, filtrarea zgomotului reprezintă recuperarea unei imagini originale 0, dintr-o imagine de intrare cu zgomot . Imaginea recuperată con ține regiuni omogene separate de muchii evidente. Filtrarea CNN a zgomotulu i din imagini În scopul reducerii zgomotului din imagini, utilizând modele matematice bazate pe ecuații cu derivate parțiale, metodade regularizare reprezintă oalternativă interesantă în raport cu metoda de difuzie neliniară (Mumford and Shah 1989), (Rud in et al. 1992), ( Perona and Malik 1990 ), (Rekeczky et al. 1998), (Chan et al. 2003), (Chan and Esedoglu 2005) . Unele tehnici de filtrare a imaginilor sunt realizabile și cu metode de calcul CNN. În cazul filtrării zgomotului din imagini bazată pe calcul v ariațional, în principiu, energia minimizată trebuie să conțină doi termeni, unul care stimulează netezirea și al doilea care ține cont de a semănarea cu imaginea originală (termen de fidelitate și conservare a muchiilor )(Mumford and Shah 1989) : Mediere Fidelitate0)(2 1EE E . (2.2.8) Pe baza rela ției (2.2.8), pentru diferite perechi de energii ( E1,E2), în literatura de specialitate există diferite metode de filtrare a zgomotului din imagini. În prezenta sec țiune suntanalizate comparativ eficien țele unora dintre aceste metode. De menționat c ă, prin implementare CNN există posibilitatea analizei eficien ței filtrării imaginilor și pentru alte perechi de energii ( E1,E2) prin care se poate optimiza în ansamblu precizia proce săriiși timpul de calcul. Astfel, a mdimensionat template-urileoriginale DN_AINTPOL2 și VSGN. Aplicând metoda de proiectare pentru template -uri descrisă în subcap. 2.1 .2, în continuare, sunt analizate performanțele filtrării zgomotului bazate pe calcul v ariațional pentru diferite func ții de cost: -Utilizând funcția de energie care rezultă din combina ția termenului de fidelitate din funcția de energie propusă de Rudin, Osher și Fatemi (Rudin et al. 1992) șitermenul de energie pentru mediere careeste integ rala Dirichlet ( Gacsádi et al. 2009 ): dxdy dxdy EDNAINTPOL2 Ω Ω y,x2 0 y,x2 02,(2.2.9) rezultă template -ul DN_AINTPOL2: 0000d0000 D 025.0025.0025.0025.00 A (2.2.10) unde:1,0;uxdijij și (B=0, z=0). GacsádiAlexandru Teză de abilitare 55-Utilizând funcția de energie propusă de Rudin, Osher și Fatemi (Rudin et al. 1992) : dxdy dxdy EOSRUFA Ω Ω y,x0 y,x2 02, (2.2.11) rezultă template -ul neliniar OSRUFA (Gacsádi et al. 2009) : 0000d0000 D 0a0a1a0a0 A (2.2.12) unde: 1,0;yysgnaklij ,1,0;uxdijij și (B=0, z=0). -Utilizând funcția de energie propusă deChan și Esedoglu (Chan and Esedoglu 2005) : dxdy dxdy ECHES Ω Ω y,x0 y,x0 (2.2.13) rezultă template -ul CHES (Gacsádi et al. 2009) : 0000d0000 D 0a0a1a0a0 A , (2.2.14) unde: 1,0;yysgnaklij și1,0;uxsgndijij și (B=0, z=0). -Utilizând funcția de energie (Gacsádi and Szolgay 2009) : dxdy dxdy EVSGN Ω Ω y,x0 y,x0 (2.2.15) rezultă template -ul VSGN: 0d0d0d0d0 D 0a0a1a0a0 A (2.2.16) unde: 1,0;yysgnaklij ,1,0;uxsgndklij și (B=0, z=0). Testarea metodelor de filtrare CNN Performanțele tehnicilor de reducere a zgomotului sunt greu de evaluat, în absen ța cunoașterii imaginii originale f ără zgomot. În anumite situații, dacă se cunoaște imagine a originală fără zgomot, rezu ltatele obținute în urma prelucrărilor pot fi comparate pe baza unor mărimi cantitative deduse experimental. Adesea, mai ales în aplicații de imagistică medicală, nu există altă metodă de evaluare a performan ței proces ării decât cea calitativă în urma vizualizării directe de către experți. În domeniul imagisticii medicale, zgomot alb Gaussian aditiv reprezintă o pondere semnificativă și, prin urmare, vom trata procesarea unor imagini care includ acest tip de zgomot (Budaes et al. 2005). Latestarea metodel or de filtrare CNN s-au utilizat mediul de dezvoltare CadetWin (***1999a) și mediul Matlab. În următoarele exemple, pentru aprecierea eficacității metodelor de extragere a zgomotului se va evalua, pe de o parte, măsura în care metoda afectează o imagine cu zgomot, GacsádiAlexandru Teză de abilitare 56adică,care sunt „beneficiile” procesării res pective în reducerea zgomotului (figura 2.2.11, figura 2.2.12) . Pentru această etapă, de fapt, imaginea cu zgomot rezultă chiar prin adăugarea laimagineainițialăidealăfără zgomot,0,aunui zgomot alb, Gaussian ,cu valori cunoscute. Pe de altă parte, se va evalua în ce măsură metoda de prelucrare conservă muchiile, adică care sunt „costurile” procedurii. În acest scop, pentru o mai u șoară interpretare a rezultatelor se va analizamăsura în care procedura de extragere a zgomotului afectează o imagine considerată ideală adică fără zgomot,0(figura 2.2.13, figura 2.2.14) . Evident, în ambele situații ,este de dorit ca erorile rezultate să fie cât mai mici. Ponderareafuncțiilorde costs-a realizat cu parametrii scalaricare satisfac condi țiile impuse pentru dimensionarea template -ului CNN,bazată pe calcul varia țional,șiavând valoriîntre 0și1.Înexperimentele prezentate mai jos,șiau fost stabilite lavaloarea0.01, pentru toate template -urile determinate. Pentru a evalua global eficiența filtrării zgomotului din imagini, se calculează erorile care rezultă din compararea imaginii originale ideale,0, considerată neafectată de zgo mot, cu imaginile ob ținute dup ă prelucrare, , utilizând funcția de eroare: Nj1;Mi1,N*M)j,i()j,i(ER2 0Ω, (2.2.17) (a) (b) (c) (d) Figura 2.2.11: Filtrarea zgomotului din imagini: a) imaginea A cu zg omot alb Gaussian, cu media zeroși varianța 0.04 ; b) filtrarea cu DN_AINTPOL2 ; c) filtrarea cu OSRUFA ; d) filtrarea cu CHES. În tabelul 2.1 sunt prezentate valorile erorilor, ERA, care rezultă prin procesarea CNN a imaginii A de intrare cu zgomot (fi gura 2.2.11a) și a imaginii A originale fără zgomot (figura 2.2.13a), utilizând template -urile DN_AINTPOL2, OSRUFA și CHES. În tabelul 2.2 sunt prezentate valorile erorilor, ERB, care rezultă prin procesarea CNN a imaginii B de intrare cu zgomot (figura 2 .2.12a) și a imaginii B originale fără zgomot (figura 2.2.14a), utilizând template -urile OSRUFA, CHES și VSGN. GacsádiAlexandru Teză de abilitare 57 (a) (b) (c) (d) Figura 2.2.12: Filtrarea zgomotului din imagini: a) imaginea B cu zgomot alb Gaussian, cu media zeroși varianța 0.04 ; b) filtrarea c u OSRUFA; c) filtrarea cu CHES; d) filtrarea cu VSGN. Tabelul2.1.Erori ale unor metode CNN de filtrare a imaginii A. TemplateErori-ERA Imaginea A fără zgomot Imagine A cu zgomot DN_AINTPOL2 12.54 12.59 OSRUFA 4.38 12.74 CHES 2.27 8.31 Tabelul2.2.Erori ale unor metode CNN de filtrare a imaginii B. TemplateEerori-ERB Imaginea B fără zgomot Imagine B cu zgomot OSRUFA 2.17 13.01 CHES 0.51 8.25 VSGN 0.20 4.84 Pentru aprecierea comportamentului privind conservarea muchiilor se vor vizualiz a imaginile de eroare ER,(figura 2.2.11), care rezultă pe baza relației: Nj1;Mi1),j,i()j,i(0 ER . (2.2.18) (a) (b) (c) (d) Figura 2.2.13: Filtrarea zgomotului din imaginea A, evaluarea conservării muchiilor, utiliz ând imaginea eroare ER: a) imagine fără zgomot de referință; b) filtrarea cu DN_AINTPOL2 c) filtrarea cu OSRUFA; d) filtrar ea cu CHES . GacsádiAlexandru Teză de abilitare 58 (a) (b) (c) (d) Figura 2.2.14: Filtrarea zgomotului din imaginea B, evaluarea conservării muchiilor, utilizând imaginea eroa reER: a) imagine fără zgomot de referință; b) filtrarea cu OSRUFA; c) filtrarea cu CHES; d) filtrarea cu VSGN. Analizând rezultatele obținute, din punctul de vedere al extragerii zgomotului prin mediere, DN_AINTPOL2 și OSRUFA au cele mai slabe comportame nteși se remarc ă eficiența globală mai ridicată pentru VSGN .De asemenea, în privința conservării muchiilor, se observă că DN_AINTPOL2 introduce cele mai mari erori, în timp ce CHE Sși VSGN au cele mai bune performan țe. Utilizând aceleași procedee CNN la extragerea zgomotului din imagini ca în exemplele de mai sus, în figura 2.2.15 sunt redate rezultatele obținute pentru o imagine naturală. În cazul acestor imagini, și pentru nespecialiști este posibil ă interpretarea eficien ței proces ării efectuate prin o bservarea directă a unor parametri: nivel ul dezgomot, claritate așicontrastul. (a) (b) (c) (d) (e) Figura 2.2.15: Filtrarea zgomotului din imagini: a) imagine ini țială considerată fără zgomot b) imagine cu zgomot alb Gaussian; c) filtrarea cu OSRUFA; d)filtrarea cu CHES; e) filtrarea cu VSGN. Mai ales în domeniul prelucrării imaginilor biomedicale fiecare etapă de procesare trebuie să fie efectuată, fără modificări sau pierderi de informa ții utile. Filtrarea imaginilor computer tomografice are drept scop reducer ea zgomotului pentru obținerea unei vizibilități GacsádiAlexandru Teză de abilitare 59superioare a componentelor imaginii, în vederea interpretării cât mai ușoare de către medicul specialist. În figura 2.2.16 sunt prezentate rezultatele ob ținute, în urma prelucr ării cu metodele CNN descrise a nterior, asupra unei imagini CT reale cu zgomot (Gacsádi and Szolgay 2009). (a) (b) (c) (d) Figura 2.2.16: Filtrarea zgomotului din imagini CT reale: a) imagine cu zgomot; b) filtrarea cu OSRUFA; c) filtrarea cu CHES; d) filtrarea cu VSGN. 2.2.3.Segmentarea CNN a i maginilor Metode de segmentare a imaginilor Segmentarea imaginilor prin delimitarea structurilor anatomice și a regiunilor de interes areun rol crucial în majoritatea aplica țiilor de imagistic ă medicală, atât în faza de stabilire a diagnozei prin localizarea patologiei, cât și în planificarea și ef ectuarea tratamentului adecvat, cum ar fi de exemplu, biopsia, radioterapia sau chirurgia minim invazivă. În acest sens, segmentarea automată reprezintă un set de metode care creează prin imagini relevante modelul anatomic specific al pacientului. Osituație tipică pentruunsistemdeasistarea diagnozei medicale este aceea când în urma segmentării imaginii rezultă diferite regiuni etichetate ca fiind țesut sănătossauotumoare(Pham et al. 2000). Au fost elaborate numeroase metode pentru a rezolva probl emasegmentării de imagini aceasta fiind o etapă importantă de procesare într-unsistemdeasistarea diagnozei medicale . În primul rând ,pentru imagini cu niveluri de gri ,segmentarea poate fibazată pe detecția muchiilorsaupetehnicibazate pe regiuni.Metoda bazată peregiuni poate fimai puțin sensibilă la zgomot decât metodele morfologice sau cele bazate pe extragerea muchii lor, dar elepot necesita o mare putere de calcul chiar și în cazuri simple. Pe de alt ă parte,în acest domeniu,și alteabordăriau devenit populare,cum ar fi metodele bazate pe: evoluțiacurbei, suprafețeactive,abordăristatisticeși calcul variațional . GacsádiAlexandru Teză de abilitare 60Performan țele unei tehnici de segmentare sunt greu de evaluat. În prezent nu există o metodă anume, generală, de segmentare ,care să producă rezultate acceptabile pentru orice tip de imagini medicale. Fiecare dintre aceste metode î și au avantajele și dezavantajele lor, după cum un anumit algoritm optimizat pentru procesarea pe o anumită structură hardware poate să nu mai funcți oneze la fel de bine pe o altă structură. Procedeele utilizate pentru efectuarea segmentării imaginilor variază foarte mult în funcție de specificul aplica ției, modalitatea de formare a imaginii, precum și de alți factori. Darchiarșiînimagistica medicală,pentru a atinge același obiectiv, metoda optimă de prelucrare poate fi diferită în cazul în care imaginea esteCTsauIRM.Mai mult decâtatât,în cazulimaginilor CTsegmentarea țesutului creierului are cerințe diferite fa ță de cerin țele pentru segme ntarea ficatului. Pentru segmentarea imaginilor cele mai recente abordări utilizează metoda contururilor active,carepoate fi bazată pe energie sau bazată pe set de nivele, darși pe variantele acestora. Aceste tehnici se caracterizează prin performan țemult mai bune privind precizia, dar în același timp și prin timp ridicat de prelucrare chiarși în condițiile utiliz ării unei puteri de calcul deosebit de ridicate. Astfel, prin utilizarea re țelelor neuronale/neliniare celulare în cazul tehnicii contururi lor active conven ționale a rezultat metoda celulară a contururilor active (CAC-Cellular Active Contours). Actualmente pentru această metodă există două abordări. O abordare bazată pe utilizarea PDE (Rekeczky and Chua 1999), ( Rekeczky 2002) , care implemente ază contururi active prin tehnică non -iterativă de propagare pe regiuni, unde contururile sunt definite de frontul undelor care se propagă. De și metoda asigur ă vitezăde calcul ridicată, slăbiciunea acestei metode provine din dificultatea de a controla evo luția conturului șide anu permite expansiunea și contracția simultană adiferitelor părțiale regiunilor active.În aplicații reale pentru eliminarea acestor deficien țe inevitabil crește și complexitatea algoritmului. Cealaltă metodă este iterativă și are la bază tehnica PLS(Pixel-Level Snakes ) (Vilariño and Rekeczky 2005). Această procedură se bazează pe existen ța unor contururi deformabile care evoluează pixel cu pixel de la formele lor ini țiale pânăladelimitarea obiectelor de interes. Schimbarea co nturului este ghidată de informa țiilocaledin imagine, luând în considerare atât for țe externe, c areîntind conturul spre margini, cât și de forțele interne (termeni de regularizare), care încearcă să men țină netezimea curbei conturului. Rețelele neuronal ediscreteîn timp(DTCNN-Discrete Time Cellular Neural Networks ) se pot utiliza pentru segmentarea imaginii bazate pe tehnici de contur active(Vilariño et al.2003). Utilizând astfel de re țele se realizeaz ă doar par țial procesarea paralel ă ale unor etapedin algoritmul implementat. Prin utilizarea unei rețele neuronale/neliniare speciale bazate pe folosirea unor praguri multipleși a unor neuroni binari universali (UBN-Universal BinaryNeurons),se poate reduce timpul necesar calculelor deoarece acestea n ecesitănumai operațiibooleene ( Aizenberg et al. 2001 ). Vilariño șiRekeczky ,propune un alt algoritm pentrumetoda celulară a contururilor active,careare în vedere ,omai mare eficiențășiflexibilitate în evoluțiaconturului în raport culimiteledeinteresurmărite(Vilariño and Rekeczky 2005) .Pede altă parte, acest algoritm este implementat efectiv pe cel mai performant chip CNNanalogic existent la momentul GacsádiAlexandru Teză de abilitare 61respectiv. Rezultatele obținuteau fost evaluate din punctul devederealflexibilită ții,vitezei de procesare ,preciziei,convergen țeișirobusteții. Pentru localizarea și urmărirea conturului unui obiect dintr -o imagine sunt propuse și alte abordări de calcule celulare topografice (Hillier et al. 2006). Autorii compară performan țele a trei me tode de segmentare (Pixel Level Snakes, Constrained Wave, Computing and Moving and Patch Method ) pe aceia și platform ăhardware și software. Pe baza rezultatelor ob ținute pentru segmentarea imaginilor se recomand ă elaborarea unor algoritmi care din structur a unui sistem de calcul dedicat pentru prelucrări de imagini de calcul (High-performance Visual Computer ) exploatează optim și complementar deopotriv ă platforma cu chip -ul analogic CNN respectiv, procesoarele numerice de semnal (DSP -Digital Signal Processo r). Din cele prezentate mai sus rezultă că tehnica PLS permite controlul riguros al evolu ției conturului dar poate fi de complexitate mai ridicată și mare consumatoare de timp faț ă de tehnica bazată pe propagarea undei. Prin urmare, un algoritm noueste propusdeDudekși Vilariño pentru a aplica metoda celulară a contururilor active bazate pe PLS (Dudek and Vilariño 2006 ). Această nouă abordare optimizează performan țele de calcul, prin implementarea pe un procesor cu structura dedicată pentru această aplic ație (SIMD-Single Instruction Multiple Data processor arrays ). În prezenta sec țiune sunt sintetizate concluziile privind analiza și selec tareaunor metode pentru segmentarea CNN a imaginilor medicale, în particular a imaginilor CT, având atenția focusat ă,în primul rând, pe izolarea și evaluarea în timp real a metastazelor hepatice. În acest scop, s -au propus metode CNN optimizate pentru segmentarea imaginilor medicale , bazate pe calcul varia țional,avândîn permanen ță în vedere posibilitatea implementării algoritmului într -un sistem semiautomat de diagnoză medicală, supravegheată de expertul în imagistică medicală (Gacsádi and Szolgay 2010) ,(Gacsádi et al. 2011) ,(Țepelea et al. 2010) . Metodele alese de segmentare trebuie să asigure reproductibil itate, programabilitate, robustețe, sensibilitate și selectivitate ridicat ă, dar în același timp, imunitate mare la zgomot și reducerea timpului de procesare. Actualmente, aceste cerin țe pot fi asigurate pentru metodele propusedoar prin utilizarea unor platforme ha rdware cum ar fi, de exemplu, de tip emulator digital CNN implementat FPGA (Nagy et al. 2006). Desigur, în urma abordării acestei tematici, datorită complexită ții, diversit ății și dificult ății întrebărilor fundamentale ridicate și existente la ora actuală în imagistică medicală, rezultatele obținuteoferăsoluții doar la un număr foarte restrâns de probleme. Rezultatele experimentale pentrutestarea metodelor CNN de segmentare a imaginilor , prezentate în continuare , au fost obținutecu ajutorul mediului de dezvoltare CadetWin (***1999a) șiamediuluiMatlab. Segmentarea CNN bazată pe detecția muchiilor În vederea segmentării CNN bazată pe contur , imaginea achiziționată de intrare trebuie să fie anterior preprocesată în scopul îmbunătățirii ei, astfel încât în urma segmentării să rezulte descompunerea corectă a imaginii în elementele constitutive. GacsádiAlexandru Teză de abilitare 62Prin aplicarea succesivă a filtrării CNN a imaginii cu ajutorul OSRUFA (subcap. 2.2.2) urmată de îmbunătă țirea adaptiv ăa contrastului imaginii cu ENHAN (subcap. 2.2.1),se pot echilibra aceste procesări. Un exemplu al efectuării acestor procesări succesive pentru o imagine CT este prezentat în figura 2.2.17 (Gacsádi et al. 2011) .Pentru detecția muchiilor s -a utilizat același template EDGEGRAY(*** 2010). (a) (b) (c) (d) (e) (f) Figura 2.2.17: a) imagine cu zgomot și cu contrast ridicat; b) imaginea obținut ă cu filtrarea OSRUFA; c) imaginea ob ținută după filtrarea cu OSRUFA și procesareacu ENHAN;d) detec ția muchiilor în imaginea inițial ă; d) detec ția muchiilor din imaginea fil trată cu OSRUFA; e) detec ția muchiilor din imaginea filtrată cu OSRUFA șiprocesareacu ENHAN. Rezultatele ob ținute confirm ă eficien ța metodei propuse șise poate observa că extragerea contururilor din imaginea cu zgomot estepracticimposibilă, dar extragerea contururilor chiar și din imaginea filtrată se produce cu pierdere de informație . Pe dealtă parte, în vederea eficientizării segmentării imaginilor CT cu zgomot, se propune optimizarea template -ului AVERGRAD (Țepelea et al. 2010) . Valorile parametri lor b și z care conduc cu acest template la segmentare optimă, rămân valabile dacă imaginile prelucrate sunt caracterizate prin conținut asemănător de zgomot, adică sunt achiziționate în condiții similare. Oricum, înaintea detecției muchiilor este necesară filtrarea prealabilă a zgomotului din imagini. Detecția muchiilor este unul dintre cei mai importanți pași în procesarea imaginilor medicale. Obținerea unor muchiide calitate într-o imagine depinde foarte mult de alegerea operatorilor potriviți pentru ti pul de imagine analizat și mai ales ca operatorii să fie adaptați pentrude tipul de zgomot prezent în imaginile originale. GacsádiAlexandru Teză de abilitare 63Pentru detecția muchiilor, în cazul imaginilor cu nivele de gri, este utilizat frecvent template-ul EDGEGRAY (*** 2010). 5.0z 111181111 B 000020000 A (2.2.19) Aplicarea acestui template are dezavantajul că amplifică și zgomotul din imagini. Din acest motiv, în cazul imaginilor cu nivel uride gri, afectate de zgomot, este mai potrivit template-ulAVERGRAD (*** 2010) . Acesttemplateeste mai eficient deoarece realizează și un proces de mediere concomitent cudetecția muchiilor . 0z bbbb0bbbb B 000000000 A (2.2.20) unde1,0;uubklij , (figura 2.2.18). Figura 2.2.18: Caracteristica de transfer b. Zgomotele care afectează cel mai mult imaginile medicale de tip CT, sunt zgomotul de tip Gaussian și cel de tip sare și piper. Pornind de a această ipoteză a fost aplicat template -ul EDGEGRAY pe o imagine sintetică, fără zgomot (figura 2.2.19). a) b) c) d) e) f) g) h) Figura 2.2.19: Detecția muchiilor cu EDGEGRAY șiAVERGRAD: a) imaginea inițială; b) detecția muchiilor cu EDGEGRAY ,imaginea ; c) imaginea cu zgomot sare și piper; d) imaginea cu zgomot Gaussia n; e),f) detecția muchiilor cu AVERGRAD; g),h) imaginea binară a muchiilor de la e) ( imaginea și f)(imaginea . GacsádiAlexandru Teză de abilitare 64După aceea, același template a fost aplicat pe aceiași imagine sintetică ,dar asupra căruia a fost suprapus zgomot de tip Gaussian și zgo mot de tip de tip sare și piper. Având imaginile muchiilor în cele două cazuri ,se poate calcula eroarea pătratică medie dintre imaginea originală a muchiilor și imaginile muchiilor în cazul imaginii afectate de zgomotele mai sus menționate: N 1pM 1q2 )7(6 1 q,p q,pMN1MSE (2.2.21) În continuare sunt ajustate valorile componentelor template -uluiAVERGRAD pentru a obține valoarea optimizat ă a luiMSE,ținând cont de ambele tipuri de zgomot analizate (figura 2.2.20). Figura 2.2.20: Valorile MSE în funcție de componentele lui AVERGRAD: a) în funcție de z; b) în funcție de b. În final, se obțin noile valori pentru template -ul AVERGRADM care sunt optimizate pentru detecția much iilor în anumite imagini medicale afectate de zgomot. 2.0z bbbb0bbbb B 000000000 A (2.2.22) Figura 2.2.21: Caracteristica de transfer a lui b. Segmentare CNN a imaginilor bazată pe calcul variațional Reprezentând punctul de pornire pentru multe metode de segmentare a imaginilor bazată pe calcul variațional, o importanță deosebită în acest domeniu îl reprezintă funcția de energie introdusă în lucrarea ( Mumford and Shah 1985) și (Morel and Solimini 1995 ): dxdy dxdy E R RMS2 02, \, (2.2.23) GacsádiAlexandru Teză de abilitare 65unde R este o submulțime din R2,0este imaginea originală, reprezintă conturul rezultat prin segmentare, este imaginea filtrată sau mediată (ob ținută printr-un proces de netezire) prelucrată R2\,este lungimea , iarșisunt parametri scalari ( șiR+). Minimizarea acest eifuncții de energie clasice impune estimarea a două procese, segmentarea continuă a imaginii ,,și detecția binară de muchii, . De fapt, se poate demonstra că majoritatea metodelor de segmentare sunt subseturi ale problemei mai generale de minimizare a funcției de cost descrisă mai sus (segmentarea bazată pe muchii, segmentarea bazată pe regiuni, segmentarea bazată pe contur uriactive). Datorită dificultă ții determin ării conturului , în relația (2.2.23), acesta a fost înlocuit prin variabila continuă K de Ambrosio și Tortorelli ( Shah 1996 ) rezultând: dxdy E RAT 2K 2K1 ,2 2 2 022.(2.2.24) Avantajul major al acestei reprezentări este că, minimizarea energiei este echivalentă cu minimizarea simultană a două funcții de cost, care produc simultan o segmentare, rezultând imaginea estimată și, un proces de detecție de muchii, rezultând im aginea estimată K. De aceea, minimizarea energiei din ecuația (2.2.2 4) a fost folosită de către mul ți cercetători pentru segmentarea imaginilor, chiar dacă rezultatele obținute s -au dovedit a fi mai modeste decât cele rezultate prin fo losirea altor modele matematice. Astfel, dacă K este constant în rela ția (2.2.24), rezult ă energia: Rdxdy E2 022 K K1 . (2.2.25) Respectiv, dacă este constant, rezultă energia: Rdxdy E2 22 1K21K , (2.2.26) unde22 șieste un alt parametru scalar ( R+). Corespunzător celor două energii de mai sus rezultă sistemul de ecuații diferențiale parțiale: KK1K1 K2t2(2.2.27) 2 22K12KKtK(2.2.28) ;0 nK;0 n R R (2.2.29) undeRreprezintă conturul lui R iar n este normala la R. În vederea implementării segmentării imaginilor pe structuri CNN, analizând rela țiile (2.2.27)și (2.2.28) se evidențiaz ă următoarele caracteristici (Gacsádi and Szolgay 2010) : -Pentru efectuarea procesării CNN este nevo ie de o structură cu mai multe straturi. Astfel, două straturi principale sunt necesare pentru ob ținereaimaginii estimate GacsádiAlexandru Teză de abilitare 66respectiv, imaginii estimate K. Celelalte straturi sunt necesare pentru calcularea unor componente intermediare care sunt utilizate de straturile principale. -Funcțiile de energie descrise de relațiile (2.2.25)și (2.2.26) conțin termeni pondera ți de netezire,2respectiv2K,termen ponderat pentru men ținerea fidelită ții imaginii (sau termeni de conservare al muchiilor), 2 0,respectiv termen pentru detec ția muchiilor ,2 1K . -Rezolvarea sistemului de ecua ții diferențiale parțiale, descrise de relațiile (2.2.27)și (2.2.28)include o seamă de opera ții care se pot soluționa eficient prin structuri paralele de procesare, inclusiv prin metode CNN. -Includerea în aceste ecua ții a unui num ăr însemnat de parametri scalari, care pot depinde chiar de con ținutul imaginilor și care t rebuie preciza ți apriori, înaintea efectuării procesării, determină ca sarcina optimizării solu țiilor obținute s ă devină deosebitdedificilă. -Chiarși în condițiile implement ării riguroase prin metode numerice a acestui model, precizia de calcul rezultat ăeste modestă. Acest fapt este consecin ța mai ales a imperfecțiunilor netezirii realizate printr -o funcție de forma 2. -Mai mult decât atât, prin implementarea CNN a procesării imaginilor pe structuri numerice de 8 bi ți, soluționarea un or astfeldeecuații sigur vor introduce aproxim ăriși erori suplimentare. Pe baza acestor caracteristici, într -o primă aproxima ție, ca soluție de compromis, actualmente se justifică evaluarea unor algoritmi în care, se elimină interac țiunea dintre cele două straturi principale, astfel încât practic cele două ecua ții diferențiale parțiale se pot rezolva succesiv. În consecin ță, dimensionarea unor template -uri care să asigure tocmai procesarea dorită aunei imagini cu niveluri de gri este o problemă dificilă, chiardacăsunt utilizate metode bazate pe calculvariațional. În vederea segmentării imaginilor cu niveluri de gri, la dimensionarea bazată pe calcul variațional a template -urilor CNN se consideră că sunt respectate toate considerentele și etapele de pr oiectare men ționate în subcap. 2. 1.2. Pentru efectuarea segmentării CNN a imaginilor bazată pe calcul varia țional, în cele ce urmează se vor analiza caracteristicile rezultate prin utilizarea unor func ții de energie pentru determinarea celor două imagini, imaginea filtrată șiimaginea cu muchii K.Imaginea segmentată estimată , , va rezulta prin fuziunea acestor două imagini, șiK. Pentru determinarea imaginii filtrate de zgomot, ,se vor utiliza următoarele func ții pentru energie: - RL dxdy E2 02. (2.2.30) După cum se poate observa, de fapt, această func ție de energie, EL(Laplace), reprezintă o variantă simplificată a func ției de energie descris ă prin rela ția (2.2.25). GacsádiAlexandru Teză de abilitare 67Prin mini mizarea acestei energii rezultă template -ul_LAPLACEND : 0000d0000 D 0a0aa41a0a0 A ,(2.2.31) unde 1,0;25.0a și1,02;ux2dijij respectiv, (B=0, z=0). – dxdy dxdy E R ROSRUFA 02 0 , (Rudin e t al. 1992) (2.2.32) Se obține template -ul OSRUFA: 0000d0000 D 0a0a1a0a0 A (2.2.33) unde: 1,0;yysgnaklij ,1,02;ux2dijij și (B=0, z=0). – R RCHES dxdy dxdy E0 0 ,(Chan and Esedoglu 2005) (2.2.34) rezultând template -ul CHES: 0000d0000 D 0a0a1a0a0 A , (2.2.35) unde: 1,0;yysgnaklij și1,0;uxsgndijij și (B=0, z=0). – RVSGN dxdy E0 )( (2.2.36) Prin minimizarea acestei energii rezultă template -ul VSGN: 0d0d0d0d0 D 0a0a1a0a0 A (2.2.37) unde: 1,0;yysgnaklij și1,0;uxsgndklij , respectiv (B=0, z=0). Această func ție de energie prezentat ă deja,EVSGN,afost propusă pentru îmbunătă țirea comportamentului privind conservarea muchiilor în cazul filtrării CNN a imaginilor. De asemenea, se observă că pentru netez irea imaginii se utilizează integralade variațietotalăTV (Rudin et al. 1992) . Pentru determinarea imaginii muchiilor se justific ăo funcție de energie dependent ăde 2, cum ar fi de exemplu : - Rdxdy E2K . (2.2.38) GacsádiAlexandru Teză de abilitare 68Prin minimizarea acestei energii rezultă template -ul neliniar GRAD (*** 2010): 0b0b0b0b0 B , (2.2.39) unde:1,0;uubklij , respectiv (A=0, z=0). După analizacomportamentul uiacestui template privind producerea de contururi false, în final, s -a optat pentru template -ul AVERGRAD (eventual chiar varianta optimizată AVERGRADM) ladetecția muchiilor, acesta având un comportament mai eficient în prezența zgomotului, prin faptul că realizează și o mediere asupra imaginii concomitent cudetecția muchiilor (*** 2010): bbbb0bbbb B , (2.2.40) unde1,0;uubklij și(A=0, z=0). Testarea metodelor bazate p e calcul variațional de segmentare CNN a imaginilor Pentru exemplificarea modului în care algoritmii propuși, baza țipecalculvariațional, realizează segmentarea CNN, s -au construit imagini sintetice, f ără zgomot și imagini la care s-au adăugat în mod artificial zgomot alb Gaussian (Gacsádi and Szolgay 2010) . Rezultatele obținute sunt prezentate în figura 2.2.22. GacsádiAlexandru Teză de abilitare 69 (a) (b) (c) (d) (e) (f) (g) (h) (i) (j) Figura 2.2.22: Segmentarea CNN bazată pe calcul variațional: a) imaginea ideală fără zgomot; b) imaginea de ieșire după detecția muchiilor; c) rezultatul segmentării imaginii fără zgomot; d)imaginea de intrare cu zgomot; e) imaginea de ieșire filtrată, , utilizând DN_LAPLACE; f) imaginea de ieșire după detecția muchiilor, K, utilizând AVEGRAD; g) rezultatul segmentăr ii imaginii cu zgomot utilizând DN_LAPLACE; h) imaginea de ieșire filtrată,, utilizând VSGN; i) imaginea de ieșire după detecția muchiilor, K, utilizând AVEGRAD; j) rezultatul segmentării imaginii cu zgomot utilizând VSGN. GacsádiAlexandru Teză de abilitare 70În figura 2.2.23 șiînfigura2.2.24 sunt prezentate exemple de segmentare a unor imagini CT reale. Evaluarea vizuală a rezultatelor a fost efectuată de exper țiîn imagistică medicală (Gacsádi and Szolgay 2010) ,(Gacsádi et al. 2011) . (a) (b) (c) (d) Figura 2.2.23: Segmentarea CNN bazată pe calcul variațional a unei imagini CT reale: a) imaginea de intrare cu zgomot; b) imaginea de ieșire filtrată, , utilizând VSGN; c) imaginea de ieșire după detecția muchiilor, K, utilizând AVEGRAD; d) rezultatul segmentării imaginii cu zgomot utilizând VSGN. GacsádiAlexandru Teză de abilitare 71 (a) (b) (c) (d) (e) (f) (g) Figura 2.2.24: Segmentarea CNN bazată pe calcul variațional a unei imagini CT reale: a) imaginea de intrare cu zgomot; b) imaginea de ieșire filtrată, , utilizând OSRUFA; c) imaginea de ieșire după detecția muchiilor, K, utilizând AVEGRA D; d) rezultatul segmentării imaginii cu zgomot utilizând OSRUFA; e) imaginea de ieșire filtrată, , utilizând CHES; f) imaginea de ieșire după detecția muchiilor, K, utilizând AVEGRAD; g) rezultatul segmentării imaginii cu zgomot utilizând CHES. GacsádiAlexandru Teză de abilitare 722.2.4.Clasificarea automată a tumorilor din imagini mamografice , bazată pe caracteristici direc ționale Imaginile mamografice sunt imagini de tip radiografic (razeX),ale zonelor din regiunea pieptului. O metodă de diagnosticare a tumorilor de sân este dată de inspecți a vizuală a acestor regiuni din imaginile ra diografice mamare. Identificare a unei astfel de tumori în stadii incipiente este crucială deoarece poate conduce la un tratament adecvat și eficient în tratarea acestei afecțiuni. Aceste zone suspecte pot fi iden tificate relativ ușor de către personalul medical calificat prin inspecție vizuală deoarece ele apar ca zone cudensitate mărită în imaginile radiografice. O problemă mai dificilă este însă punerea unui diagnostic, tumoare benignă sau malignă, doar pe baza mamografiei. Statistica arată c ăîntre 65-90 % dintre tumorile identificate astfel ca fiind maligne s -au dovedit a fi în final de tip benign în urma unei biopsii. Folosirea unei metode complete de identificare automată, cu ajutorul unui sistem computeriza t de asistare a diagnozei medicale, ar ajuta personalul medical în luarea unei decizii mai exacte, eliminând alarmele false. În principal cei doi pași, localizare urmată de o clasificare, sunt separați. Pentru a analiza, a detecta sau a extrage caracteris tici din imagini mamografie au fost propusemai multe tehnici în literatura de specialitate. Strickland șiHahnaupropuso metodă, bazată pe undi șoare,pentru detectarea și segment areaunormicrocalcifica ții(Strickland and Hahn1996). Pentru extragerea c aracteristicilor și clasificarea acestora Swiniarski și colab.au propus undi șoareHaarșidescompunerea datelorîn componente principale (PCA -Principal Component Analysis )(Swiniarski et al. 2001).Pentruclasificareaimaginilor mamografice se propunemetoda vectorilor suport (SVMs-Support Vector Machines )(Wei et al. 2005 b). Mai multe tehnici privind prelucrarea imaginilor mamografice, incluzând atât segmentarea câtși clasificarea, sunt prezentate deBozekși colab.(Bozeket al. 2009). În procesul d e achiziție a imaginilor pot apărea diferite tipuri de zgomot care afectează calitateaimaginilor șiperforman țeleclasificării (Analoui 2001). În principiu, poate să apară în mod normal zgomot Gaussian, dar și un zgomot specific pentru imagini cu raze X cu distribuție Poisson , zgomot cuantic ( quantum) (Webb 1988), (Goebel et al. 2005). Actualmente există deja softuri comerciale specializate pentru localizarea automată, mai mult sau mai puțin precisă, a zonelor suspecte dar deocamdată nu există nici o aplic ație comercială care să identifice tipul tumorii, benignă sau malignă. În secțiunea urm ătoresunt descrise rezultatele utilizării filtrelor de tip Gabor în clasificarea automată a țesuturilor mamare de tip normal, benign și malign (Buciu and Gacsádi 2011 )și (Buciu and Gacsádi 2009 ). Proprietatea deosebit de importantă a acestor filtre este sensibilitatea lor direcțională astfel încât patern -urile (pattern–tipar) de forma radială, orientate pe diverse direcții spațiale, asociate țesuturilor maligne sau be nigne pot fi modelate folosind astfel de filtre. De asemenea, modelarea în frecvență a acestor filtre ajută la asocierea acestor țesuturi, reprezentând zone dense, cu diverse frecvențe ale filtrelor Gabor. Baza de date cu care s -a lucrat este o bază publi că cunoscută și disponibil ă prin societatea MIAS (MIAS-Mammographic Image Analysis Society ), (***MIAS). Setul de date conține 322 eșantioane din care 208 reprezintă țesut normal sau sănătos, 63 eșantioane GacsádiAlexandru Teză de abilitare 73reprezintă țesut benign și 51 eșantioane reprezint ă țesut malign. Țesuturile, formațiunile, suspecte au fost împăr țite în 6 clase: a) microcalcificație; b) mas ă circumscrisă; c) masă de tip spic; d) masă cu forma nedefinită; e) distorsiune arhitecturală; f) masă asimetrică. Analiza a avutcaobiectivdoarclasificarea țesuturilor în cele 3 clase de baz ă: sănătos, benign și malign. Fiecare imagine este de dimensiune 1024*1024 pixeli. Zonele suspecte au fost identificate și extrase manual. Pentru o delimitare cât mai exactă, pentru fiecare imagine sunt dispo nibile atât coordonatele centrului zonei suspecte cât și raza cercului care cuprinde aceast ăzonă. Zona malignă sau benignă cea mai extinsă are raza de 197 de pixeli, iar cea mai redusă de doar 3 pixeli. Exemple de astfel de țesuturi sunt ilustrate în figu ra 2.2.25. Figura 2.2.25: Zone suspecte de dimensiune 140*140 pixeli extrase din imaginile mamografice. Rândul de sus reprezintă 5 eșantioane de țesut normal, rândul de mijloc reprezintă 5 eșantioane de țesut benign, iar ultimul rând 5 eșantioane de țesut malign. Pentru fiecare imagine de dimensiuni 1024*1024 de pixeli, s -a extras o regiune de interes de dimensiuni 140*140 de pixeli, în jurul forma țiunii anormale. Prin dimensiuni de 140 de pixeli se asigură includerea în analiza imaginii și a unei p ărți din exteriorul formațiunii. În acest fel se p ăstrează informa ții și despre forma formațiunii. În cazul imaginilor cu țesuturi sănătoase, zonele s -au extras din regiuni aleatorii din imagine. Pentru reducerea dimensiunii datelor, fiecare astfel de imagine a fost redusă la 30*30și60*60pixeli după care s -a trecut la aplicarea filtrelor Gabor pentru fiecare imagine. Filtrele Gabor se bazează pe undi șoarele cu același nume ale c ăror func ție de implementare este similară cu procesele biologice de formare a imaginilor in sis temul vizual uman(Lee 1996) . Funcția matematic ă de tip Gabor este descrisă printr -un produs între un kernel Gaussian și o funcție sinusoid ă complexă. Spre deosebire de alte metode care folosesc transformate undi șoare, filtrele Gabor au proprietatea de a s coate în eviden ță direcția și frecvența formelor de țesut analizate (Turner 1986) . O direcție sau frecvenț ă specifică este evidențiată, filtrată, prin modificarea parametrilor filtrelor Gabor (Grigorescu et al. 2002), (Han and Ma 2007) . Obiectivul general urmărit al acestui studiu a fost analiza performan țelor de clasificare ale sistemului în func ție de direcțiile și frecvențele filtrate. În cazul nostru, au fost aplicate un set de 40 de filtre Gabor (definite de 8 orientări și 5 frecvențe). Setul de antre nare, cu clasa cunoscută, a fost formată din 80 % din totalul datelor, restul de 20 % au format setul de testare, cu clasa necunoscută. Pentru determinarea clasei GacsádiAlexandru Teză de abilitare 74fiecărui eșantion din setul de test s -a folosit ca și clasificator metoda vectorilor suport d e tip proximal ( Proximal Support Vector Machines ). Înainte de aplicarea clasificatorului s -a folosit o reducere a dimensiunii datelor prin descompunerea în componente principale (PCA – Principal Component Analysis ). Mai exact, fiecare produs de convolu țiedintre imaginea de 30*30 pixeli (sau 60*60 pixeli) și un filtru Gabor a fost redimensionat pe un vector de dimensiunea 900*1 (sau 3600*1) valori. Pentru fiecare filtru acest vector s -a concatenat întru-un singur vector de dimensiune 144000*1 (144000=3600 *40). Forma finală a setului a fost o matrice de dimensiune 144000*N, unde N este numărul de imagini folosite la antrenare. Descompunerea în componente principale are ca efect păstrarea informa ției relevante, din setul de imagini și eliminarea celei redund ante sau care are o contribu ție nesemnificativ ă. Contribuția este dat ă de matricea de covarian ță a setului de date de imagini, în a șa fel încât doar acele componente de imagine vor fi păstrate care au o valoarea numerică semnificativă. Studiul efectuat a a vut ca scop și testarea robusteții la zgomot a filtrelor Gabor. Deoarece baza de dat eMIAS con ține imagini f ără zgomot, s -a aplicat artificial zgomotul de tipcuantic (quantum), cu distribuție Poisson și parametru λ diferit, frecvent întâlnit în cazul imaginilor radiografice. Figura 2.2.26 prezintă douăeșantioane fără zgomot, urmate de aceleașidouăeșantioane peste care s -a suprapus zgomot de tip quantum cudouăintensități diferite. Figura 2.2.27 ilustrează rezultatul convoluție idintreo imagine eșanti onși cele 40 de filtre Gabor pentru o imagine fără zgomot și, respectiv pentru o imagine cu zgomot. Figura 2.2.26: Imagini mamografice:câte două eșantioane (coloane) fără zgomot, urmate de aceleași douăeșantioane peste care s -a suprapus zgomot de tip quantum cu douăintensități diferite. Pe rânduri sunteșantioane de țesut : normal, benign șimalign. Figura 2.2.27: Rezultatul convoluție idintre oimagine eșantion și cele 40 de filtre Gabor pentru o imagine fără zgomot și, respectiv pentru o imagine cu zgomot. GacsádiAlexandru Teză de abilitare 75Rezultatele obținu te în urma testelor privind :rata de recunoaștere (RR) ,sensibilitatea (Sn),specificitatea (Sp) și aria caracteristicii de recunoa ștere (AUC), sunt prezentate în tabelele 2.2.3 și 2.2.4. Tabel 2.2.3. Rata de recunoaștere, sensibilitatea, specificitatea și aria caracteristicii de recunoaștere în cazul clasificării de tip țesut normal versus țesut tumoral. Dim. imag. Tip imag. Metoda RR Sn Sp AUC fără zgomotfără zgomot Tabel 2.2.4. Rata de recunoaștere, sensibilitatea, specificitatea și aria caracteristicii de recunoaștere în cazul clasificării de tip țesut benign versus țesut malign. Dim. imag. Tip imag. Metoda RR Sn Sp AUC fără zgomotfără zgomot În urma experimentelor efectuate de noi, rezultatele ob ținute sunt promiț ătoare, chiar dacă față de acestea, privind rata de recunoa ștere, au fost raportate deja rezultate superioare (Verma et al. 2010), (Islam et al. 2010). Pe de altă parte, trebuie precizat că este dificilă realizarea unei compara ții echitabile între rezultatele obținute dac ăconfigurarea experiment elordiferă, chiar dacă se utilizează aceia și bază de date. Putemconcluziona cărezultatele de clasificare în cazul filtrării Gabor sunt net superioare rezultatelor corespunzătoare cazului în care PCA este aplicată direct datelor ,fără filtrare.Rezultatele ob ținuteindică o robustețe crescută la precizia de clasificare a tumo rilor în cazul suprapunerii de zgomot de tip distribuție Poisson peste imaginile fără zgomot. Cu alte cuvinte, s -a remarcat o sensibilitate relativă a ratei de recunoaștere în raport cu nivelul zgomotului mult mai mică decât în cazul altor metode standard de extragere a paternurilor. GacsádiAlexandru Teză de abilitare 762.3.Utilizarea tehnologiei rețelelor neuronale celulare pentru navigația roboților mobili autonomi 2.3.1.Planificarea traiectoriei unui robot mobil în medii cu obstacole În general, în cazul comenzii unui robot, senzorul vizual este in clus într-o buclă cu reacție negativă, realizându -se așa-zisa comanda vizuală ( visual servoing sauvisual servo ) (Hutchinson et al. 1996). Astfel, unul din avantajele principale ale comenzii bazate pe imagini, față de comanda bazată pe poziții, este că pre cizia poziționării sistemului este mai puțin sensibilă la erorile de calibrare ale camerei video. Un alt avantaj îl reprezintă posibilitatea reducerii timpului de procesare și creșterea vitezei de deplasare . Pentru comanda vizuală a unui robot se folosește una din următoarele configurații de amplasare a camerei video: camera video este fixată de robotul mobil sau de efectorul final, sau este situată în spațiul de lucru (Hutchinson et al. 1996). Există și combinații a lecelor două structuri prezentate mai su s, de exemplu, cazul în care se urmărește poziția efectorului final al unui robot cu o camera video montată pe efectorul final al unui alt robot. Rețelele neuronale/neliniare celulare (Chua and Yang 1988) (Roska and Chua 1993) s-au dovedit eficiente și la prelucrarea semnalelor care provin de la diferi ți senzori precum și în alte probleme specifice de prelucrare a imaginilor care se pot utiliza la comanda vizuală a robotului, începând de la extracția unui obiect dintr -o imagine, detecția poziție i, mișcăriiși vitezei, navigarea robotului într -un mediu cu obstacole, pânăla conducerea propriu -zisă. Alegerea acestor rețele în solu ționarea unor probleme din domeniul roboticii se bazeaz ă, în primul rând, pe posibilitatea implementării lor pe un singur chip, în tehnologia VLSI (Cembrano et al. 2003) (***2007) sau pe un emulator digital CNN (Nagy et al. 2006). Comanda vizuală a unui robot presupune, întâi de toate, preprocesarea imaginilor achiziționate (îmbunătățirea adaptivă, extracția zgomotului din imagini, binarizarea imaginii, interpolarea imaginii etc.). Pentru exemplificarea și testarea unor metode CNN de prelucrare a imaginilor achiziționate de la camera video se poate utiliza un algoritm CNN bazat pe imagini de urmărire a unui obiect în mișcare, cu aju torul unei camere video montate pe brațul unui robot cu două grade de libertate (Gacsádi et al. 2006b). Între două imagini de intrare achiziționate consecutiv, prin prelucrarea complet paralelă cu rețele neuronale celulare a semnalelor bidimensionale, se a sigură efectuarea tuturor procesărilor necesare în vederea funcționării în timp real a sistemului (figura 2.3.1). Comanda vizuală implementată poate fi dezvoltată prin includerea unor algoritmi de estimare a mișcării, realizabile tot în timp real (Gacsádi et al. 2006a) (Grava et al. 2007). În domeniul roboților mobili, un subiect de cercetare de actualitate continuă o constituie proiectarea sistemului de planificare a traiectoriei. Un astfel de sistem trebuie să -i furnizeze robotului traiectoria optimă posi bilă pentru deplasarea lui de la o poziție inițială la o poziție țintă, evitând obstacolele care sunt localizate între aceste două poziții. Este evident că, o asemenea sarcină nu este ușor de rezolvat, mai ales, dacă se iau în calcul că atât obstacolele cât și ținta pot fi în mișcare, obstacolele pot avea diverse forme, etc . (Adamatzky et al. 2004) . GacsádiAlexandru Teză de abilitare 77Comandă bazată pe imaginiComandă cuple cinematice Reacție negativă de la senzorii interni de pozițieImagine cu trăsături de referință Robot cu camera video Extragere de trăsături Figura 2.3.1: Structură dinamică “privește și mută” bazată pe imagini. Planificarea traiectoriei sau navigarea robotului prin metod aglobală este a sociată cu nivelul ierarhic superior din sistemul de conducere al unui robot. Cu această metodă se determină o traiectorie optimă, ocolindu -se obstacolele statice sau mobile cunoscute din mediu. De cele mai multe ori metodele globale au la bază crearea de “hărți” și abordează problema numai din punct de vedere geometric. Planificarea traiectoriei sau navigarea robotului prin metod alocală se asociază cu nivelul ierarhic inferior din sistemul de conducere al unui robot și de aceea realizează conducerea robo tului pe o traiectorie prescrisă de nivelul de planificare globală. Folosind metoda locală de navigare pentru un robot, se pot evita obstacolele necunoscute, statice sau în mișcare, compensând incertitudinea datelor furnizate de nivelul global. Navigarea l ocală poate lua în considerare atât cinematica cât și dinamica robotului, deoarece se bazează pe informații obținute din semnale, care se pot prelucra în timp real. Însă prin folosirea numai a informațiilor locale nu se garantează găsirea soluției optime p entru traiectoria planificată a robotului și nu se semnalează dacă poziția țintă nu este accesibilă. Prin urmare, deseori se combină cele două strategii, adică planificarea globală pentru asigurarea traiectoriei accesibile și navigația locală pentru optimi zarea locală a traiectoriei și evitarea obstacolelor neașteptate. Prin utilizarea rețelelor neuronale/neliniare celulare se asigură reducerea timpului de procesare a semnalelor și astfel, se poate obține o creștere a vitezei de deplasare pentru roboții mobili. Din acest motiv, tehnologia CNN reprezintă o alternativă pentru procesarea imaginilor în scopul ghidării roboților mobili autonomi (Gacsádi et al. 2002) (Adamatzky et al. 2004) (Arena et al. 2005) Pentru planificarea CNN a traiectoriei roboților mob ili în literatura de specialitate au fost propuse o multitudine de soluții, (Siemiatkowska 1994), (Vilarino and Rekeczky 2004), (Gacsádi and Tiponuț 2002), (Tiponuț et al. 2010), care în general, au la bază prelucrări de imagini și una sau ambele metode cu noscute pentru planificarea traiectoriei: metoda locală și/sau globală. Siemiatkowska propune ca planificareatraiectoriei să se realizeze cu ajutorul unei rețele neuronale celulare cu două straturi pe care este implementat un algoritm bazat pe generarea u nei unde a cărui front avansează în planul re țelei(Siemiatkowska 1994) . Corespondența între mediul de lucru al robotului și starea fiecărei celule (ocupată, liberă sau GacsádiAlexandru Teză de abilitare 78necunoscută) este obținută pe baza informațiilor furnizate de senzorii ultrasonici ai r obotului. Actualizarea stării celulelor se face prin metoda probabilistică bayesiană. În continuare, se vor prezenta algoritmi de comandă a iunui robot mobil cu reacție vizuală bazată pe imagini folosind rețe le neuronale/neliniare celulare . Anumite aspecte ale acestui subiect au fost abordate de colective cercetare din care a făcut parte șiautorul prezentei teze (Gacsádi et al. 2007). Testarea acestor algoritmi s -a efectuat cu ajutorul sistemului de dezvoltare pentru aplicații CNN CadetWin (***1999a) șimediuldedezvoltare Matlab. Algoritmul CNN de comandă a unui robot mobil cu reacție vizuală bazată pe imagini În aplicația de față, se consideră un robot mobil care se găsește într -un mediu plan cu obstacole statice (figura 2.3.2), supravegherea lui fiind realizată cu o singură cameră video, (Gacsádi et al. 2002), (Gacsádi and Tiponuț 2002). Imaginile reale ale mediului sunt achiziționate la momente discrete de timp (t 0+kT), începând de la momentul inițial t 0, cu pasul de eșantionare T, k fiind un număr nat ural, kN. Camera video Robotul mobilȚinta Obstacole Figura 2.3.2: Mediul de lucru al unui robot mobil cu comandă vizuală bazată pe imagini. Comanda vizuală a robotului se realizează pe baza algoritmului global prezentat în figura 2.3.3. Între două eșantioane de imagini succesiv achi ziționate, trebuie să se realizeze toate prelucrările necesare din algoritm pentru imaginea de intrare curentă. De aceea, achiziția unei noi imagini a mediului este posibilă numai după efectuarea tuturor pașilor de procesare din algoritm. Dacă în mediul de lucru nu sunt numai obiecte statice ci și obiecte în mișcare, adică structura mediului se modifică în timp, este cu atât mai important ca procesarea imaginilor să se facă în timp real. Astfel, dacă comanda vizuală a robotului se efectuează ciclic, pe baza algoritmului global, poziția țintă se poate considera fixă iar poziția de start este chiar poziția actuală a robotului din ultima imagine achiziționată. Se poate accepta și situația GacsádiAlexandru Teză de abilitare 79în care și poziția țintei se modifică de la un cadru la altul al imaginii achiziționate, dar numai dacă viteza de prelucrare a imaginilor este suficient de mare încât să fie posibilă obținerea în timp real a mărimii de comandă a robotului. 2. Determinarea poziției de start și indicarea poziției țintă 3. Planificarea traiectoriei pentru robotul mobil la deplasarea între două puncte ale mediului cu obstacole 4. Executarea deplasării robotului mobil între două puncte ale mediului cu obstacole, pe baza traiectoriei planificate1. Preprocesarea imaginii achiziționate a mediului de lucru cu obstacole șiarobotuluimobil Figura 2.3.3: Organigrama algoritmului global de comandă vizuală a robotului mobil pentru deplasarea între două puncte ale unui mediu de lucru cu obstacole. Pentru a putea fi prelucrate cu rețele neuronale celulare, imaginile mediului cu obstacole sunt divizate în imagini discrete având M*N pixeli, fiind posibil în acest fel, repr ezentarea imaginii mediului printr -o rețea neuronală standard având M*N celule, figura 2.3.4. Imaginea de intrare binară a mediului de lucru se obține în urma unor procesări elementare CNN asupra imaginii reale cu niveluri de gri ( gray-scale), achiziționat e.În imaginile cu niveluri de gri valorile pixelilor sunt în domeniul standard CNN, adică [ -1, +1], de la alb către negru, iar pentru imaginile binare, valorile pixelilor sunt +1 pentru negru și –1 pentru alb. În imaginea binară rezultată în urma procesăr ii, pixelilor cu valori de +1 li se asociază pozițiile interzise, care nu sunt accesibile robotului în mediul de lucru, iar pixelii cu valoarea–1 semnifică poziții libere, accesibile pentru robot. În urma discretizării spațiale a imaginii, discretizare ca re corespunde cu rezoluția CNN, se presupune că fiecare obstacol este reprezentat de cel puțin un pixel negru iar robotul și ținta sunt identificați fiecare prin câte un pixel negru. Poziție robotPoziția țintei Obstacole Figura 2.3.4: Imaginea binară a mediului de lucru. GacsádiAlexandru Teză de abilitare 80Organigra ma algoritmului de planificare a traiectoriei robotului mobil, pe baza imaginilor, este prezentată în figura 2.3.5. Algoritmul detectează și semnalează chiar de la început situațiile posibile în care ținta nu este accesibilă robotului, adică faptul că țint a este “înconjurată” de obstacole. Imaginea binară a mediului de lucru Imaginea poziției actuale de start Imaginea poziției țintă Generarea imaginii pentru evaluarea distanței poziției actuale față de poziția țintă Alegerea direcției optime ce asigură apropie rea față de poziția țintă Deplasare cu un pas pe direcția aleasă Robotula ajuns la poziția țintă ?Deplasarea pe direcția actuală asigură apropierea față de țintă? DaNuDa NuEste accesibilă poziția țintă ? Unda a atins poziția robotului ? Da StopNu Stop Ținta nu este accesibilă Figura 2.3.5: Organigrama algoritmului pentru planificarea traiectoriei robotului mobil la deplasarea între două puncte într -un mediu de lucru cu obstacole. Evaluarea distanțelor punctelor din mediul de lucru față de punctul țintă Pentru stabilirea unei traiectorii optime, între poziția de start și țintă, trebuiesc evaluate pozițiile punctelor (pixelilor) din spațiul liber al mediului de lucru față de punctul țintă. În acest scop se generează o undă în planul imaginii, având centrul sursei situat chiar în punctul țintă, (Gacsádi et al. 2002), (Gavriluț et al. 2006a). Pentru obținerea acestei imagini se utilizează template -ul EXPL ORE(*** 2010) ,definit de relațiile 2.3.1. În domeniul aplicațiilor CNN, generare a controlată a unei unde în imagini este o metodă eficientă, care se poate utiliza la detectarea contururilor sau la clasificarea binară. GacsádiAlexandru Teză de abilitare 810z 000000000 B 0a0a1a0a0 A (2.3.1) Template -ul de mai sus este neliniar deoar ecefuncțiaadepinde de diferența dintre valoarea mărimii de ieșire a celulei C ijși valoarea mărimii de ieșire a celulei C kl, situată în vecinătatea sa, (y ij–ykl).În figura 2.3.6 este r eprezenta tă grafic funcțiaa. Parametrul βare semnificația de unita te de măsură a distanței. a 1+ yij-ykl -0.25 Figura 2.3.6: Caracteristica de transfer a funcției a. Prin propagarea ei, unda explorează toate căile accesibile din mediul de lucru, începând din punctul țintă (Figura 2.3.7). Pe starea inițială a rețelei x(t 0) (STATE)se aplică o imagine în care toate elementele de imagine au valoarea +1, cu excepția pixelului corespunzător punctului țintă, care are valoarea –1. Această imagine este, de fapt, inversa imaginii prin care se indică poziția țintei. Imaginea binară a med iului se va folosi ca imagine mască ( MASK). Pixelii de la marginea imaginii mediului de lucru, respectiv frontierei rețelei neuronale celulare, vor fi considerați poziții interzise. Punctul țintă -1-0.98 -0.98-0.98 -0.95-0.95 -0.95-0.91+1 -0.98-0.95-0.95-0.95 ObstacolObstacol a) b)-0.95-0.91 -0.91 -0.88 -0.88-0.88 -0.91 -0.91-0.91 Figura 2.3.7: Principiul propagării circulare a unei unde din punctul țintă: a) imaginea undei; b) valorile pixelilor din jurul poziției țintei. În urma acestei prelucrări, pixelul corespunzător poziției țintă din imaginea de ieșire a rețelei, va rămâne la valoarea inițială –1, iar elementele de i magine care vor avea valoarea +1 vor constitui poziții interzise sau inaccesibile robotului. Toți ceilalți pixeli vor avea valori proporționale cu distanțele dintre pozițiile lor și poziția țintei. Astfel, în imaginea rezultată, pornind din centrul sursei undei, valorile pixelilor cresc aproximativ cu câte o unitate de măsură a distanței ,la creșterea cu o unitate a razei undei cu propagare circulară. GacsádiAlexandru Teză de abilitare 82Obținerea unei unde care să atingă poziția de start se face prin aplicarea repetată a template-ului EXPL ORE. Numărul de aplicări a template -ului va crește treptat de la valoarea 1 până la o valoare care va determina ca în imaginea de ieșire să se obțină o modificare a pixelului ce indică poziția de start. Dacă acest număr atinge o valoare maximă N max, dat de relația 2.3.2, și valoarea luminanței pixelului ce indică poziția de start nu se modifică, înseamnă că ținta nu este accesibilă. Aceasta se poate întâmpla fie din cauza poziției obstacolelor, fie din cauză că ținta este situată la o distanță mult prea mar e față de robot (Gavriluț et al. 2006a). p)1(1Nmax , unde (2.3.2) valoarea lui p reprezintă pasul minim de discretizare în niveluri de gri, tipic p = 0.03, rezultând valoarea N max= 67. Alegerea dir ecției optime de deplasare pentru robot Alegerea direcției optime, care să asigure lungimea minimă pentru traiectoria robotului, precum și un număr minim de viraje, se realizează prin extragerea valorii unui pixel cu niveluri de gri. Poziția robotului est e reprezentată de o imagine având toți pixelii de valoare –1 cu excepția unui singur pixel de valoare +1. Această imagine care indică poziția curentă a robotului, va fi suprapusă la fiecare pas al algoritmului cu imaginea reprezentând evaluarea distanțelor dintre punctele din mediul de lucru accesibile robotului și punctul țintă ( figura 2.3.7a). Pentru obținerea traiectoriei optime, trebuie să fie ales, la fiecare pas, pixelul cu cea mai mică valoare din vecinătatea de rază r = 1 a pixelului ce indică poz iția curentă a robotului. Acest pixel va indica direcția optimă de deplasare și va reprezenta apoi poziția actuală a robotului. Determinarea acestui pixel s -a făcut în două moduri: -explorarea tuturor pixelilor vecini și apoi determinarea sa prin comparații succesive (Gacsádi et al. 2002); -prin aplicarea template -ului PATH (Gavriluț et al. 2006a). În primul caz, prin inversarea imaginii, care indică inițial poziția punctului de start a robotului, apoi poziția actualizată în care se va alege o nouă direcție d e deplasare, se obține o imagine binară cu aceleași dimensiuni care va fi folosită în continuare ca imagine mască. În această etapă de prelucrare sunt necesare: imaginea mască menționată mai sus și imaginea cu niveluri de gri care conține estimarea distanț elor pozițiilor libere din mediu față de poziția țintei ( figura 2.3.7 a). Dintre cei opt pixeli vecini care corespund direcțiilor date de punctele cardinale (N, S, E, V, SE, NE, NV, SV), după care se poate efectua deplasarea, se evaluează și se alege cu o metodă locală celula vecină cu valoarea cea mai mică. Practic, sunt comparate valorile pixelilor din jurul pixelului ce indică poziția robotului în imaginea cu niveluri de gri din figura 2.3.7 a și este ales pixelul cu luminanța cea mai mare. Pentru aceasta , se utilizează GacsádiAlexandru Teză de abilitare 83procesări AMC asupra imaginilor, având la bază familia de template -uri SHIFT, (*** 2010), care corespund celor opt direcții posibile de deplasare (relația 2.3.3). 0z nvnnev0esvsse B 000020000 A (2.3.3) În cazul unuia dintre template -urile familiei SHIFT doar unul din elementele operatorului B sunt egale cu 1 restul fiind 0, astfel: SHIFTE (e = 1), SHIFTSE (se = 1), SHIFTS (s = 1), SHIFTSV (sv = 1), SHIFTV (v = 1), SHIFTNV (nv = 1), SHIFTN (n = 1), SHIFTNE (ne = 1). În cazul alegerii direcției optime prin aplicare de template, având indicată poziția robotului printr -un pixel negru, delimitarea vecinătății robotului de rază r = 1, poate fi obținută cu template -ul DILATION (*** 2010), dat de relația 2.3.4 . 8z 111111111 B 000000000 A (2.3.4) Dacă pe starea și pe intrarea rețelei se aplică imaginea ce reprezintă poziția curentă a robotului, după aplicarea template -ului de mai sus, pe ieșire se obține imaginea vecinătă ții robotului (figura 2.3.8). DILATION a) b) Figura 2.3.8: Delimitarea vecinătății de rază r=1 a robotului: a) imagine reprezentând poziția robotului; b) imagine reprezentând vecinătatea robotului. După realizarea unor operații logice asupra imaginii vecinăt ății robotului, se va obține o imagine mască (figura 2.3.9a), care suprapusă peste imaginea undei din figura 2.3.6a, sau zona selectată din figura 2.3.9b, va rezulta o imagine care reprezintă unda obținută prin procesarea cu EXPLORE a imaginii mediului cu obstacole, doar în zona ce corespunde vecinătății robotului, restul pixelilor din imagine având valoarea +1 (figura 2.3.9c). Dintre toți pixelii vecini va fi ales pixelul având valoarea cea mai mică, astfel pixelul ce trebuie ales din imaginea prezentată î n figura 2.3.9c va fi cel cu valoarea 0 .63. Pentru ca algoritmul să determine acest pixel, se poate proiecta un template care aplicat asupra acestei imagini, dată ca exemplu, să rezulte o imagine în care toți pixelii au valoarea –1 cu excepția pixelului ce indică poziția viitoare a robotului, care va avea valoarea +1. Din păcate, aplicarea acestui template nu va indica poziția viitoare pentru robot în alte situații, adică atunci când va fi o altă configurație a valorilor pixelilor din vecinătatea robotului. Ar trebui, spre exemplu, ca valoarea de prag z a template -ului să se modifice la fiecare altă configurație în care se află robotul. GacsádiAlexandru Teză de abilitare 84b) 0.79 0.880.72 0.70 0.820.63 0.88 0.950.80 0.980.94 0.990.56 0.640.49 0.560.63 0.720.840.990.99 0.990.900.99 0.990.990.95 0.990.990.990.48 0.540.42 0.99 0.990.610.00+1 a) 0.79 0.880.72 0.70 0.820.63 0.88 0.950.80+1 c) Figura 2.3.9: Delimitarea zonei corespunzătoare vecinătății robotului cu valorile pixelilor obținute după pro pagarea undei; a) imagine mască obținută din imaginea vecinătății robotului, b) imagine reprezentând valorile pixelilor în jurul poziției actuale după procesarea cu EXPLORE, c) imagine cu valorile pixelilor din vecinătatea de rază r=1 a robotului, după pro pagarea undei. Din acest motiv, în algoritm se vor efectua procesări asupra imaginilor de forma celei din figura 2.3.9c, astfel încât prin aplicarea aceluiași template, asupra acestor tipuri de imagini, să se obțină de fiecare dată o imagine ce indică pozi ția viitoare ce trebuie ocupată de robot. Prin urmare, se va memora valoarea minimă din imagine și apoi se va crea o imagine având toți pixelii cu această valoare (figura 2.3.10a). Dacă această imagine va fi scăzută din imaginea de tipul celei din figura 2 .3.9b, se obține o imagine care are valorile pixelilor din vecinătatea robotului ,prezentatăîn figura 2.3.10b. Imaginea obținută în final (figura 2.3.10c) va constitui imaginea asupra căreia se va opera cu un template pentru determinarea poziției viitoarea robotului. Imaginea astfel rezultată, are aproximativ aceleași valori ale pixelilor în jurul poziției curente a robotului, indiferent de poziția în care este situat robotul în drumul lui către țintă. Având un template potrivit, ce se va aplica prin inte rmediul unei imagini mască, asupra imaginii de tipul celei din figura 2.3.10c se va obține, de fiecare dată, o imagine ce va indica, printr -un pixel negru, poziția viitoare ce trebuie ocupată de către robot. Poziția curentă a robotului c) 0.16 0.260.09 0.07 0.200.01 0.25 0.320.17 0.340.30 0.36-0.07 0.02-0.13 -0.06-0.01 0.090.210.360.36 0.360.270.36 0.360.360.33 0.360.360.36 0.36 0.36 a)0.63 b) 0.16 0.260.09 0.07 0.200.01 0.25 0.320.17 0.340.30 0.36-0.07 0.02-0.13 -0.06-0.01 0.090.210.360.36 0.360.270.36 0.360.360.33 0.360.360.36-0.20 0.36 0.36-0.02-0.09-0.14 Figura 2.3.10: Exemplu de actualizar e a pixelilor în funcție de poziția curentă a robotului; a) imagine având valoarea tuturor pixelilor egală cu valoarea minimă a undei în vecinătatea poziției robotului (0.63), b) valoarea actualizată a pixelilor în jurul poziției curente a robotului, c) va loarea actualizată a pixelilor în vecinătatea poziției robotului. GacsádiAlexandru Teză de abilitare 85Template -ul determinat în acest scop, denumit PATH, este de forma dată de relația 2.3.5. .3.0z 01.001.081.001.00 B 000000000 A (2.3.5) În figura 2.3.11 este pr ezentat modul de determinare a poziției viitoare pentru robotul mobil prin utilizarea acestui template. +1 c)MASCĂ -1 -1 -1-1 -1 -1-1 -1 -1+1-1-1 -1 -1 -1 -1 -1 -1 -1-1-1 -1 -1 -1 -1-1-1-1 -1 -1 -1 -1 -1-1 -1 -1 -1 -1 -1-1 -1 -1 -1 -1 -1 d)IEȘIREYPoziția viitoare Poziția actuală b)0.00STAREX a) 0.16 0.260.09 0.07 0.200.01 0.25 0.320.17 0.340.300.02-0.06 0.090.21 0.27 0.360.33-0.07-0.13 -0.010.360.36 -0.20 0.36-0.09-0.14 -0.02INTRARE U 0.36 0.36 0.36 0.36 0.360.360.36 0.36 +1 c)MASCĂ -1 -1 -1-1 -1 -1-1 -1 -1+1-1-1 -1 -1 -1 -1 -1 -1 -1-1-1 -1 -1 -1 -1-1-1-1 -1 -1 -1 -1 -1-1 -1 -1 -1 -1 -1-1 -1 -1 -1 -1 -1 d)IEȘIREYPoziția viitoare Poziția actuală b)0.00STAREX a) 0.16 0.260.09 0.07 0.200.01 0.25 0.320.17 0.340.300.02-0.06 0.090.21 0.27 0.360.33-0.07-0.13 -0.010.360.36 -0.20 0.36-0.09-0.14 -0.02INTRARE U 0.36 0.36 0.36 0.36 0.360.360.36 0.36 Figura 2.3.11: Modul de determinare a poziției viitoare pentru robotul mobil: a) imaginea mediulu i cu obstacole peste care e suprapusă unda actualizată; b) imagine având toți pixelii de valoare 0; c)imaginea mască; d) imagine în care toți pixelii au valoarea –1 cu excepția pixelului ce indică poziția viitoare ce urmează a fi ocupată de către robot. Deplasarea robotului spre țintă După determinarea pixelulului care indică poziția viitoare, ce trebuie ocupată de către robot, acest pixel va deveni poziție curentă. În această poziție poate fi aleasă o nouă direcție de deplasare, sau este posibil ca robo tul să se deplaseze în continuare pe direcția aleasă anterior, atâta timp cât prin această mi șcare se apropie de țintă. În primul caz lungimea traiectoriei măsurată în număr de pixeli va fi minimă iar în cazul al doilea numărul de viraje va fi minim, (Gacs ádi et al. 2002). În continuare sunt prezentate cele două modalități de obținere a traiectoriei pentru robot și anume: GacsádiAlexandru Teză de abilitare 86-deplasarea robotului pe direcția pixelului cu valoare minimă atâta timp cât se asigură apropierea de țintă; -deplasarea pixel cu pixel a r obotului alegând de fiecare dată pixelul cu valoare minimă. În cazul deplasării continue a robotului pe direcția pixelului cu valoare minimă atâta timp cât se asigură apropierea de țintă, direcția de deplasare rămâne neschimbată dacă aceasta asigură apropi erea robotului de poziția țintei. Aceasta înseamnă că, de pe poziția curentă se va păși pe următoarea poziție de pe aceeași direcție numai dacă valoarea pixelului corespunzător pentru poziția respectivă este mai mică decât valoarea pixelului din poziția cu rentă. Spre exemplu, în figura 2.3.12, din punctul A robotul se va deplasa succesiv în punctele B, C, D, E, și F unde se va opri deoarece pe aceeași direcție urmează un pixel ce are valoarea mai mare decât cel al poziției curente. În punctul F se va alege o nouă direcție de deplasare și anume direcția dată de punctul G respectiv H. -0.52-0.55Punct startPunct de alegere a unei noi direcții de deplasareObstacol +1 +1 +1+1+1 A -0.49 -0.49 -0.46 -0.59-0.62 -0.62 -0.62-0.62-0.59-0.62 -0.55 -0.59B -0.52C -0.55D -0.59E -0.62F -0.64G -0.67C’ -0.59H -0.70+1Obstacol -0.64-0.67 -0.64 -0.64 Figura 2.3.12: Alegerea direcției optime prin menținerea direcției atâta timp cât se asigură apropierea de țintă. După alegerea direcției optime, într -un punct de vir aj, obținerea imaginii traiectoriei pe direcția respectivă ,care să indice în acel moment drumul spre țintă, se obține prin utilizarea familiei de template -uri SELECT, extinsă pe una din cele opt direcții (*** 2010), definită de relațiile 2.3.6: 0z nvnnev0esvsse B nvnnev4esvsse A (2.3.6) În cazul unuia din template -urile din familia SELECT, elementele operatorilor A și B din relația 2.6.6 vor avea valorile astfel: SELECTE );0nennvvsvs, se1A(e ;)0nennvvsvsb, seB(e SELECTSE );0nennvvsvs, e1A(se );0nennvvsvsb, eB(se SELECTS );0nennvvsvse, e1A(s );0nennvvsvseb, eB(s GacsádiAlexandru Teză de abilitare 87SELECTSV );0nennvvsse, e1A(sv );0nennvvsseb, eB(sv SELECTV );0nennvsvsse, e1A(v );0nennvsvsseb, eB(v SELECTNV );0nenvsvsse, e1A(nv );0nenvsvsseb, eB(nv SELECTN );0nenvvsvsse, e1A(n );0nenvvsvsseb, eB(n SELECTNE );0nnvvsvsse, e1A(ne ).0nnvvsvsseb, eB(ne Funcția neliniară b este prezentată în figura 2.3.13, în care are semnificația de unitate de măsură a distanței în imagine. b +1 uij-ukl-/2 -1 Figura 2.3.13: Caracteristica de transfer a funcției b. Pentru obținerea traiectoriei robotului între două puncte de viraj, se aplică pe intrarea rețelei neuronale celulare imaginea cu estimarea distanțelor punctelor din spațiul liber al mediului față de poz iția țintei iar pe starea rețelei se aplică o imagine având un sigur pixel de valoare +1 ce indică poziția de start pentru porțiunea curentă din traiectoria planificată, restul pixelilor având valoarea –1. În același timp se aplică unul din template -uriledin familia SELECT ce corespunde direcției ce a fost aleasă în prealabil. Traiectoria totală între poziția inițială de start și poziția țintei se obține prin însumarea traiectoriilor dintre două puncte de viraj. Așadar, după “selectarea” traiectoriei pe d irecția respectivă aceasta va fi însumată cu traiectoriile precedente și tot așa până la țintă. Fiecare punct de viraj, în care trebuie aleasă o nouă direcție, trebuie să fie reprezentat printr -o imagine ce are activ doar acel pixel, astfel că, asupra imag inii ce conține ultima porțiune de traiectorie trebuie aplicat de fiecare dată unul din template -urile din familia DEL (*** 2010), extinsă pe cele opt direcții de deplasare. Template -urile DEL sunt date de relațiile 2.3.7: 0z nvnnev0esvsse B 000000000 A (2.3.7) În cazul unuia din template -urile din familia DEL, elementele operatorului B din relația 2.3.7 vor avea valorile, după cum urmează: DELE ;0nennvsvsse,1v,1e DELSE ;0nenvsvse,1nv,1se GacsádiAlexandru Teză de abilitare 88DELS ;0nenvvsvsee,1n,1s DELSV ;0nnvvssee,1ne,1sv DELV ;0nennvsvsse,1e,1v DELNV ;0nenvsvse,1se,1nv DELN ;0nenvvsvsee,1s,1n DELNE .0nnvvssee,1sv,1ne Prin aplicarea acestor operatori asupra unei imagini binare ce conține porțiunea de traiectorie reprezentată de pixeli de valoare +1, se va realiza ștergerea după direcția specificată, a unui pixel. Ștergerea mai multor pixeli pe aceeași direcție se realizează prin aplicarea repetată a operatorului respectiv. Aplicând algoritmul CNN de planificare a traiectoriei, prin această metodă de deplasare a robotului, se obține în final traiector ia prezentată în figura 2.3.14c . După cum s -a menționat și anterior, avantajul acestei metode constă în faptul că numărul de viraje realizat de către robot este minimizat. Robotul mobilȚinta a) b) c) Figura 2.3.14: Obținerea traiectoriei robotului mobil la deplasarea acestuia într-un mediu cu obstacole statice prin metoda deplasării pe direcția pixelului cu valoare minimă atâta timp cât se asigură apropierea de țintă: a) imaginea inițială binară a mediului cu obstacole; b) imaginea undei ce se propagă prin mediul de lucru din punctul în care este situată ținta; c) imaginea traiectoriei rezultate. Deplasarea robotului poate fi realizată pixel cu pixel cu alegerea direcției optime la fiecare pas, de oarece dezavantajul metodei prezentate mai sus este dat de faptul că lungimea traiectoriei măsurată în număr de pixeli, nu este cea minimă. În exemplul prezentat în figura 2.3.12 între punctele de schimbare a direcției A și F există punctul B care dacă ar fi punct de alegere a unei noi direcții, deplasarea ar fi spre punctul C’ și nu spre C. Dacă robotul s -ar deplasa pixel cu pixel alegând după fiecare pas direcția optimă, atunci lungimea traiectoriei măsurată în număr de pixeli ar fi minimă în schimb timpu l total necesar algoritmului de planificare a traiectoriei este mai mare. În figura 2.3.15 se prezintă forma traiectoriei în cazul deplasării pixel cu pixel a robotului mobil cu determinarea direcției optime la fiecare pas (pixel). Pentru fiecare por țiunedin traiectorie, poziția viitoare, pe care o va ocupa robotul GacsádiAlexandru Teză de abilitare 89mobil va deveni poziție curentă și tot așa până când va fi atinsă ținta. Traiectoria planificată, între poziția de start și poziția țintă, se compune din segmente de traiectorii întredouă punct e consecutive în care este schimbată direcția de deplasare. Astfel, la traiectoria parcursă până într-un anumit punct (poziție curentă) se va adăuga de fiecare dată poziția viitoare (la deplasarea pixel cu pixel) sau porțiuni din traiectorie (la deplasarea pe o direcție atâta timp cât se asigură apropierea de țintă). Această operație se poate realiza chiar și în domeniul CNN prin aplicarea operației logice ȘIîntre două imagini, pixel cu pixel. Algoritmul de planificare a traiectoriei se va încheia atunci c ând robotul, reprezentat printr-un pixel, se va suprapune cu pixelul corespunzător poziției în care este situată ținta. După fiecare deplasare a robotului ,fie că aceasta se face continuu pe o direcție descrescătoare a valorilor pixelilor ,fie căse face pixel cu pixel, se va verifica dacă robotul a atins ținta. Robotul mobilȚinta a) b) c) Figura 2.3.15: Determinarea traiectoriei robotului mobil la deplasarea pixel cu pixel și alegerea direcției optime la fiecare pas: a) imaginea inițială binară a mediului cu obstacole; b) imaginea undei ce se propagă prin mediul de lucru din punctul în care este situată ținta; c) imaginea traiectoriei obținute pentru deplasarea robotului mobil. Timpul total minim de prelucrare necesar algoritmului se obține însumând timpii minimi necesari de prelucrare pentru fiecare etapă în parte. În cazul etapei de evaluare a distanțelor dintre punctele spațiului de lucru și poziția țintei, timpul minim de prelucrare depinde de distanța dintre poziția de start și poziția țintei, deoarece este necesar ca unda, cu originea în țintă, să se propage până în poziția de start a robotului. O condiție necesară pentru buna funcționare a algoritmului prezentat este ca în imaginile achiziționate să se poată identifica atât punctul de start cât și punctul țintă. Din a ceste considerente rezultă dimensiunile imaginii și pasul de eșantionare minim pentru discretizarea spațială a imaginii achiziționate. Algoritmul CNN de planificare a traiectoriei a fost realizat în ambele variante de alegere a direcției de deplasare a rob otului prezentate mai sus și simulat în aceleași condiții, urmărind diferențele dintre rezultatele obținute, mai ales în ceea ce privește timpul total de procesare. Timpii au fost măsurați în cazul simulării pe un calculator cu procesor Pentium II având viteza de 500Mhz. pentru prelucrare și lungimea traiectoriei obținute, exprimată în număr de pixeli, în cele două variante ale algoritmului. În figura2.3.16 se prezintă dependența dintre GacsádiAlexandru Teză de abilitare 90timpul necesar pentru prelucrare și lungimea traiectoriei obținute, ex primată în număr de pixeli, în cele două variante ale algoritmului. 051015202530 715172124252627313237 Lungimea traiectoriei [pixeli]Timpul de procesare [sec]metoda cu path.tem metoda cu shift.tem Figura 2.3.16: Dependența dintre lungimea traiectoriei parcurse de robot și timpul de procesare necesar în cazul celor două metode pentru determinarea direcției optime. Se observă că în cazul metodei de determinare a pixelului cu valoare minimă prin aplicarea template -ului PATH, timpul de procesare este foarte mic în situațiile în care robotul se află aproape de țintă și este mai mare decât în cazul celeilalte metode doar în ca zul în care robotul s-ar afla la o distanță relativ mare de țintă. 2.3.2.Algoritm CNN de planificare simultană a traiectoriilor pentru doi roboți mobili În continuare, se prezintă un algoritm de planificare simultană a traiectoriilor pentru doi roboți mobili, ca re trebuie să ajungă la o țintă comună, într -un mediu cu obstacole, pe baza imaginilor captate cu o cameră video (Gavriluț et al. 2005). Pentru prelucrarea imaginilor și planificarea traiectoriei se utilizează rețele neuronale/neliniare celulare invariante în spațiu, cu operatori de dimensiune 3*3. Algoritmul furnizează roboților traiectoria optimă din punct de vedere al lungimii și a numărului de viraje, între pozițiile de start ale roboților și poziția țintei. Pe baza acestor traiectorii, fiecare robot oc olește obstacolele întâlnite în cale precum și pe celălalt robot, dacă este necesar. Se consideră doi roboți mobili care se găsesc într -un mediu plan cu obstacole statice , care trebuie să ajungă la aceeași țintă ocolind obstacolele și de asemenea unul pe c elălalt (figura 2.3.17). Supravegherea este realizată cu o cameră video, iar imaginile captate de aceasta sunt prelucrate conform algoritmului global din figura 2.3.18. Deplasarea roboților se va face alternativ spre țintă, pe baza traiectoriei furnizate de algoritm, care ține cont în cazul fiecărui robot de poziția celuilalt și totodată de poziția obstacolelor din mediu. Astfel, se vor obține traiectorii fără coliziune pentru ambii roboți. Deplasarea unui robot, în cadrul unui pas al algoritmului, se va r ealiza atâta timp cât acesta se apropie de țintă fără a schimba direcția de mers, urmând apoi deplasarea în același mod a celuilalt robot. Astfel, înaintea începerii deplasării, fiecare robot va schimba mai întâi direcția de deplasare avută anterior. GacsádiAlexandru Teză de abilitare 91Camera video RoboțimobiliȚinta Obstacole Figura 2.3.17: Mediul de lucru al roboților. Etapele principale ale algoritmului sunt prezentate în organigrama din figura 2.3.18. NUSTART Imaginea binară a mediului de lucru Se identifică poziția de start și poziția țintei Robotul1atinge ținta?Planificarea traiectoriei și deplasarea robotului 1 Robotul2atinge ținta ?Planificarea traiectoriei și deplasarea robotului 2 Robotul1atinge ținta ?Planificarea traiectoriei și deplasarea robotului 1 1Robotul2atinge ținta ?Planificarea traiectoriei și deplasarea robotului 2 STOPNUNUDA NU DA DA DA Figura 2.3.18: Organigrama algoritmului global de planificare a traiectoriilor pentru doi roboți mobili, pentru deplasarea lor spre o țintă comună într -un mediu de lucru cu obstacole. GacsádiAlexandru Teză de abilitare 92Pentru testarea algoritmului de planificare a traiectoriilor celor doi roboți, într -un mediu de lucru cu obstacole, s -a utilizat mediul de simulare CadetWin (***1999a). Rezultat ele au fost obținute pe baza unor programe scrise în limbaj de asamblare AMC (***1999b). Vecinătatea robotului și a țintei au fost alese de rază r = 1, iar imaginile au dimensiuni de 32*32 pixeli. În figura 2.3.19 sunt prezentate rezultatele simulării pent ru o situație concretă. Imaginea binară a mediului de lucru cu obstacole se obține în urma unor procesări elementare CNN asupra imaginii achiziționate de cameră. Pentru obținerea acestei imagini s -a utilizat template -ul TRESHOLD (*** 2010). Fiecare obstac ol din mediu este reprezentat de cel puțin un pixel negru iar roboții sunt identificați fiecare prin câte un pixel negru. Astfel, în imaginea binară rezultată în urma procesării, pixelilor cu valori +1 li se asociază pozițiile interzise, care trebuie evita te de către roboți, iar pixelii cu valoarea –1 semnifică poziții libere, accesibile roboților. R1R2Ținta Poziția țintei R1R2 R1R2 R1R2 R1R2 R1R2 R1R2 R2 R1 R1R2 R1R2 R1R2t0) t1) t2) t3) t4) t5) t6) t7) t8) t9) t10) t11) Figura 2.3.19: Rezultatele simulării algoritmului CNN de planificare a traiectoriilor pentru doi roboți mobili la deplasarea lor spre o țintă comună dintr-un mediu cu obstacole. După identificarea pozițiilor de start ale roboților în imaginea binară, se va trece la pasul următor care constă în planificarea traiectoriei și deplasarea cu un pas a robotului 1spre țintă. GacsádiAlexandru Teză de abilitare 93Se verifică apoi dacă acesta a aju ns la țintă și dacă da, algoritmul va continua doar pentru robotul2. Dacă nu, pasul următor va consta în planificarea traiectoriei și deplasarea cu un pas a robotului 2. Se verifică dacă acesta din urmă a ajuns la țintă, apoi se va reveni la robotul 1și tot așa până când ambii roboți vor atinge ținta. Estimarea distanțelor față de țintă s -a realizat prin generarea unei unde în planul imaginii cu ajutorul template -ului EXPLORE (*** 2010), a șa cum s-a prezentat deja în cadrul secțiunii precedente. Pentru al egerea direcției optime se utilizează procesări elementare asupra imaginilor obținute anterior, având la bază familia de template -uri SHIFT (*** 2010), care corespund celor opt direcții de deplasare. Deplasarea pe direcția aleasă se va face continuu, atâtatimp cât această direcție asigură apropierea robotului de țintă. Practic, înainte ca roboții să se deplaseze pe direcția aleasă, conform celor arătate mai sus, se vor opri și vor schimba direcția de mers avută anterior. Pentru o mai u șoară înțelegere a al goritmului, sunt prezentate imaginile obținute după fiecare pas (momentele de timp t 0… t11). Se observă că la momentul t 6robotul1(R1) întâlnește robotul 2(R2) și conform algoritmului se va opri la o distanță de un pixel de acesta. Deoarece robotul 2a ajuns primul la “punctul de întâlnire”, o va lua înainte, iar robotul 1se va deplasa în urma sa. Când robotul 2ajunge în vecinătatea țintei se va opri pentru moment, urmând ca în pasul următor să treacă de partea cealaltă a țintei pentru a -i face loc celuilalt robot. Timpul total de procesare necesar pentru derularea algoritmului variază puțin în funcție de lungimea traiectoriilor celor doi roboți, dar s -a observat că depinde aproape liniar de numărul de viraje cumulat al roboților. 2.3.3.Coordonarea deplas ării unei colectivități de roboți mobili Prin întrebuin țarea senzorilor și actuatorilor avansați și a algoritmilor de comandă inteligenți, performanțele roboților mobili cresc continuu, c a urmare a necesită ții realizării unor sarcini tot mai complexe . Cutoate acestea, unele operațiuni fie nu pot fi realizate de către un singur robot, fie timpul de execu ție devine inacceptabil de mare. Se poate observa, în ultimii ani, un interes crescând privind teoria și implementarea colectivităților (coloniilor) de rob oți, alcătuite din indivizi care cooperează între ei în vederea realizării unor sarcini specifice. Aproape fără excepție, cercetările vizează coloniile de roboți mobili, probabil datorită faptului că modelul biologic care a inspirat aceste cercetări, insec tele sociale se caracterizează, în general, prin mobilitate. Societățile de roboți prezintă interes pentru aplicațiile tehnice datorită gradului ridicat de toleranță la defecte. Conceptul de societate presupune implicit o înaltă redundanță, în sensul că at ribuțiile unui individ, devenit nefuncțional, pot fi preluate cu ușurință de către alți membri ai societății, fără a fi necesară o reconfigurare a întregii societăți. Pe de altă parte, numărul mare de membri impune o structură de comunicație în societate, de la individ la individ. Această caracteristică permite mărirea sau micșorarea cu ușurință a numărului de indivizi dintr -o societate, fără nici o redefinire a structurii de comunicație. Descompunerea unei sarcini în mai multe subsarcini ce pot fi executat e în paralel, de obicei, mărește viteza de execuție. Această descompunere poate rezulta ca urmare a GacsádiAlexandru Teză de abilitare 94“divizării” unui robot complex în mai mulți roboți, fiecare din aceștia fiind specializat pentru o anumită operație. Astfel, au apărut multe aplicații în ca re colectivitățile de roboți mobili sunt utilizate cu succes. Cele mai cunoscute dintre acestea sunt: operații de căutare, salvare și recuperare ( collective foraging) (Kube and Zhang 1997) ( formation -marching ) (Fredslund and Mataric 2002), îndepărtarea mat erialelor radioactive, explorarea unor domenii necunoscute (Vainio et al. 1995), operații de supraveghere, în minerit, (David et al. 1997) (Balch and Arkin 1998), manipularea unor obiecte grele, sau voluminoase (Mondada et al. 2003). Aplicația următoare de scrie situația în care un set de roboți mobili omogeni sunt dispersați pe o anumită arie și se dorește ca roboții care au poziții extreme, să se deplaseze spre roboții cu poziții centrale astfel încât această operație să se facă printr -o deplasare cumulată minimă a roboților. Algoritmul propus pentru coordonarea deplasării unei colectivități de roboți mobili se bazează pe procesarea CNN a imaginilor obținute cu o cameră video, în care pot fi identificate pozițiile roboților (Gacsádi et al. 2006b), (Gavriluț et al. 2007a). Estimarea distanțelor dintre roboți Estimarea distanțelor dintre doi roboți s -a făcut prin determinarea vecinătății cu rază minimă, a pixelului ce indică poziția unui robot, care include pixelul corespunzător poziției celuilalt robot. Dacă se presupune o colectivitate de nroboți mobili, având fiecare coordonatele poziției în imagine ,date de perechea (i, j), (R1(i 1, j1), R2(i 2, j2) … Rn(i n, jn)), vecinătatea de rază rpentru robotul Rn este dată de relația următoare: rjl,ikmax,lkC,jiVnnnn nn nnRn,r (2.3.8) Distanța măsurată, în număr de pixeli,m1rdintre robotul R1 și un robot Rm este: .r,1rși1m,n,1mfiarrratunci,jiVj,iși,jiVj,idacă 1m1 111,r-1R mm 11,r1R mm (2.3.9) În mod similar vor fi det erminate distanțele, măsurate în număr de pixeli, dintre robotul R1 și toți ceilalți roboți din grup:m1r .1m,n,1mfiar Pentru simplificare, se va lua în considerare proprietatea de reciprocitate și anume: m.p,n1,mșin1,pfiarrrmppm (2.3.10) Imaginea vecinătății unui robot se poate obține cu ajutorul rețelelor neuronale celulare prin aplicarea template -ului DILATION (*** 2010). Astfel, aplicând acest template, asupra imaginii cu un singur p ixel negru, ce reprezintă poziția robotului, se va obține imaginea vecinătății de rază r=1, iar prin aplicarea repetată a acestuia, se vor obține vecinătăți cu raze din ce în ce mai mari. Pentru o situație concretă, cu patru roboți, în figura 2.3.20 ,se prezintă modalitatea de obținere succesivă a vecinătăților robotului R1, până când acestea acoperă treptat pixelii corespunzători poziției roboților R2, R3 și R4. În mod similar vor fi generate vecinătățile pentru ceilalți roboți din grup: R2, R3 și R4. Ord inea estimării distanțelor dintre roboți s -a GacsádiAlexandru Teză de abilitare 95făcut în două moduri și anume: într -o ordine prestabilită și în ordinea crescătoare a distanțelor. a) b) c) d) e) f) g) h)R1R2R3 R4 Figura 2.3.20: Generarea vecinătăților corespunzătoare robotului R1: a) pozițiile robo ților R1..R4; b) vecinătatea de rază r =1; c) r =2; d) r =3; e) r =4 (acoperirea pixelului corespunzător robotului R3); f) r =5 (acoperirea și a pixelului corespunzător robotului R2); g) r =6; h) r =7 (acoperirea și a pixelului corespunzător robotului R4). Organigrama pentru estimarea distanțelor dintre robotul R1 și ceilalți trei roboți, într -o ordine prestabilită, se prezintă în figura 2.3.1. ImaginiR1, R2, R3, R4 Vec.ra luiR1 Acoperă R2?NUr=1 r=r+1 DA r12=r r=1Vec.ra luiR1 Acoperă R3?NUr=r+1 DA r13=r Vec.ra luiR1 Acoperă R4?NUr=1 r=r+1 DA r14=r Figura 2.3.21: Organigrama pentru estimarea distanțelor dintre R1 și ceilalți trei roboți într -oordine prestabilită. În cazul metodei de estimare a distanțelor, în ordinea lor crescătoare, va fi determinată mai întâi distanța până la robotul cel mai apropiat apoi până la următorul robot situat cel mai aproape și tot așa până când sunt determinate di stanțele până la toți roboții din colectivitate. În GacsádiAlexandru Teză de abilitare 96figura 2.3.22 se prezintă modul de estimare a distanțelor dintre robotul R1 și ceilalți roboți, în ordinea lor crescătoare. Imagini R1, R2, R3 , R4 r=d2=d3=d4=1 Vec.ra lui R1 r=r+1 NUDAAcoperă R2? NUr12=r d2=1?DA d2=0NU DAAcoperă R3? NUr13=r d3=1?DA d3=0NU DAAcoperă R4? NUr14=r d4=1?DA d4=0NU Acoperă R1..R4? Figura 2.3.22: Organigrama pentru estimarea distanțelor în ordine cr escătoare , dintre robotul R1 și ceilalți roboți (R2, R3 și R4). Gruparea roboților în jurul celor care au poziții centrale Pentru fiecare robot, valorile obținute prin estimarea distanțelor față de ceilalți roboți vor fi cumulate și astfel vor fi obținute valorile N 1, N2, N3și N4. Pe baza acestor valori se poate aprecia cât de aproape este situat un robot față de ceilalți roboți. Valorile acestor indicatori sunt date de relațiile următoare: .rrrN;rrrN;rrrN;rrrN 4342414343231324232121413121 (2.3.11) Prin compararea acestor valori se poate determina care robot sau roboți au poziții centrale comparativ cu pozițiile celorlalți roboți. Astfel pot exista mai multe situații și anume: -nu există nici un robot cu poziție centrală (4 3 2 1 NNNN ); -un singur robot (ex. R1) are poziție centrală ( )N,N,Nmin(N432 1 ); -doi roboți (ex. R1, R2) au poziții centrale ( )N,Nmin(NN43 2 1 ); -trei roboți (ex. R1, R2, R3) au poziții centrale (4 3 2 1 NNNN ). GacsádiAlexandru Teză de abilitare 97Adunarea roboților în jurul rob oților cu poziții centrale (roboți central) , astfel încât să fie minimizată lungimea deplasărilor cumulate ale roboților mobili,totalătr, dată de relația 2.3.12, se poate obține prin deplasarea roboților din pozițiileextremă(roboți extremă)spre roboții mobili având poziții centrale. 4R3R2R1R totală trtrtrtrtr (2.3.12) În situația cu un robot central și un robot extremă, robotul din poziția extremă se va deplasa pas cu pas până va intra în vecinătate a de rază r=1 a robotului situat în poziția centrală. Dacă se presupune că robotul R1 este robotul cu poziție centrală în cadrul grupului, iar R2 este robotul având o poziție extremă, organigrama algoritmului de grupare pentru această situație este prezent ată în figura 2.3.23. Dacă doi roboți au poziții centrale și un singur robot are poziție extremă, acesta din urmă va trebui să se deplaseze spre robotul central cel mai apropiat de el. Astfel, dacă se presupune că roboții R1 și R2 sunt roboți centrali iar R3 este robotul extremă care trebuie grupat, acesta va alege să se deplaseze spre unul din aceștia prin compararea valorilor31rși 32r. Astfel, pot exista situațiile: -dacă31r<32rrobotul R3 se va deplasa spre R1; -dacă31r>32rrobotul R3 se va deplasa spre R2; -dacă31r=32rrobotul R3 se va deplasa spre oricare din roboții R1 sau R2. Imagini R1, R2 r=r12 r=r-1 Vec.ra lui R1 Verificare poziții in jurul lui R2 Deplasare R2 cu un pas pe 11j,ij)(i, ,1rRVr=0?DA NUSTOP Figura 2.3.23: Organigrama pentru gruparea roboților în cazul existenței unui robot extremă (R2) și a unui robot central (R1). Odată ales robotul spre care trebuie să se deplaseze R3, algoritmul va continua conform organigramei din figura 2.3.23. Dacă se consideră, spre exemplu, situația concretă cu R1 robot central și R2, R3 roboți extreme atunci deplasarea acestora din urmă spre robotul central se va face conform organigramei din figura 2.3.24. GacsádiAlexandru Teză de abilitare 98Algoritmii de grupare a roboților mobili prezentați mai sus au fost tes tați utilizând mediul de simulare Cadetwin (***1999a). Rezultatele simulărilor au fost obținute pe baza unor programe scrise în limbaj de asamblare (***1999b). Imaginile utilizate pentru testare au dimensiuni de 32*32 pixeli. r=r-1 r=0 ? STOPDA NUr12>r13?NU DA r=r12 Vec.ra lui R1 Verificare poziții injurul lui R2r=r13 r=r-1 r=0 ? STOPDA NU Vec.ra lui R1 Verificare poziții injurul lui R3 r=r12-1?NU ko DAr=r13-1?NUDeplasare R2 cu un pas pe 11j,ij)(i, ,1rRV DAImagini R1, R2 și R3 Verificare poziții injurul luiR2 Verificare poziții injurul lui R3 r12=r12-1 r13=r13-1Deplasare R3 cu un pas pe 11j,ij)(i, ,1rRV Deplasare R2 cu un pas pe 11j,ij)(i, ,1rRVDeplasare R3 cu un pas pe 11j,ij)(i, ,1rRV Figura 2.3.24: Organigrama algoritmului pentru gruparea roboților în cazul existenței unui robot central (R1) și a doi roboți extremă (R2) și (R3). În figura 2.3.25 se prezintă un exemplu de determinare a roboților centrali și a roboților extremăutilizând algoritmul prezen tat anterior. Se presupune că o colectivitate de patru roboți mobili R1…R4 are dispunerea geometrică ca în figura 2.3.25a. În figura 2.3.25b se arată vecinătățile pixelului care indică poziția robotului R1, astfel încât acestea să acopere pixelii ce indică poziția roboților R2, R3 și R4. În figura 2.3.25c se arată vecinătățile pixelului care indică poziția robotului R2, astfel încât să acopere pixelii ce indică poziția roboților R3 și R4. În figura 2.3.25d se arată vecinătățile pixelului care indică poziț ia robotului R3, astfel încât să acopere pixelul ce indică poziția robotului R4. După determinarea razelor pentru vecinătățile prezentate mai sus, se obține în final imaginea pixelilor ce reprezintă roboții cu poziții centrale (figura 2.3.25e) și respectiv cu poziții extreme (figura 2.3.25f). În figura 2.3.26 se prezintă un exemplu de grupare a doi roboți extrem ăîn jurul unui robot cu poziție centrală. În figura 2.3.26a sunt reprezentate prin câte un pixel negru pozițiile inițiale ale celor trei roboți, R1 fiind robotul cu poziție centrală iar roboții R2 și R3 cu poziții extreme. Într -o primă fază se va deplasa robotul R2 spre robotul R1 atâta timp cât el este cel mai îndepărtat de R1 (figura 2.3.26b). Deoarece robotul R3 va deveni robotul cu poziția cea mai îndepărtată de robotul central se va deplasa în mod similar ca și robotul R2. În continuare GacsádiAlexandru Teză de abilitare 99roboții R2 și R3 vor face alternativ câte un pas (pixel) până când ambii vor ajunge în vecinătatea de rază 1ra robotului central R1 (figura 2 .3.26c). Timpul total necesar pentru rularea algoritmului de grupare a roboților, depinde de varianta de estimare a distanțelor dintre roboți. Cel mai scurttimp s-a obținut în cazul în care estimarea distanțelor dintre roboți s -a făcut în ordinea crescăto are a lor. Astfel, în această variantă, acest timp a fost redus cu aproximativ 25%, față de varianta cu estimarea distanțelor într-o ordine prestabilită. De asemenea‚ ținându -se cont de relația 2.3.10, s-a obținut șio reducere a timpului de procesare cu 4 0%. R1 R2R3 R4 a) b) c) d) R1 R3 e)R2 R4 f) Figura 2.3.25: Exemplu de determinare a roboților cu poziție centrală și poziție extremă dintr -un grup: a) pozițiile roboților; b) vecinătățile lui R1; c) vecinătățile lui R2; d) vecinătățile lui R3; e) roboții cu poziție ce ntrală; f) roboții cu poziție extremă. R1 R2 R3R1 R2 R3R1 R2R3 a) b) c) Figura 2.3.26: Exemplu de grupare a doi roboți mobili în jurul unui robot cu poziție centrală: a) pozițiile inițiale ale roboților; b) deplasarea lui R2, c) deplasarea alternativă a lui R2 și R3. GacsádiAlexandru Teză de abilitare 1002.3.4.Mediu integrat pentru navigația unui robotul mobil Deplasarea autonomă efectivă a unui robot mobil, într -un mediu real nestructurat, este una dintre cele mai dificile sarcini din domeniul roboticii. Navigația autonomă a unui robot mobil într -un mediu cu obstacole, presupune existența unui sistem complex care trebuie să perceapă mediul de lucru, să stabilească traiectoria optimă și apoi să elaboreze semnale de comandă pentru sistemul de acționare al robotului. Perceperea structurii mediului de lucr u cu obstacole se poate face pe baza unor hărți cunoscute apriori sau realizate în timpul deplasării robotului pe baza informațiilor senzoriale. Cei mai utilizați senzori în acest sens sunt: senzorii vizuali (camerele video) și senzorii de proximitate (sen zorii: laser, în infraroșu și ultrasonici). Senzorii vizuali constituie o sursă bogată de informații, dar utilizarea lorpentru navigarea roboților mobili presupune procesarea unei cantități mari de informație, care consumă timp și poate conduce în final l a o viteză de navigare scăzută. Prin utilizarea rețelelor neuronale/neliniare celulare se poate reduce substanțial, timpul de procesare a imaginilor. În continuare se prezintă un mediu integrat pentru comanda deplasării unui robot mobil pe baza imaginilor achiziționate cu o cameră video (Gavriluț et al. 2007b), (Gavriluț et al. 2009). Procesarea imaginilor mediului cu obstacole se realizează cu rețele neuronale/neliniare celulare, prin utilizarea toolbox-uluiMatCNN (Rekeczky 1997), din mediul de simulare Matlab. În figura 2.3.27 este prezentată schema bloc de principiu a mediului integrat considerat pentru efectuarea experimentelor. TXRX Robot mobil ObstacoleȚintaCameravideo semnale de comandă imagini video semnale de comandă stări Figura 2.3.27: Structura sistemului integrat pentru navigația unui robot mobil într-un mediu cu obstacole. Robotultrebuie să se deplaseze spre țintă pe o traiectorie cât mai scurtă, ocolind obstacolele. Camera video supraveghează întreg mediul de lucru și captează imagini la momente discrete de timp. De fiecare dată, d upă procesarea acestora ,va fi planificată traiectoria ce trebuie urmată în continuare de către robot și vor fi elaborate și transmise comenzi către sistemul de acționare al robotului pentru realizarea deplasării pe direcția specificată. Pentru navigarea robotului în mediul de lucru se propune o metodă hibridă, alcătuită dintr -o planificare globală bazată pe imagini, care ghidează robotul spre țintă pe o GacsádiAlexandru Teză de abilitare 101traiectorie optimă, respectiv o metodă locală, bazată pe utilizarea senzorilor în infraroșu, care asigură ca robotul să evite obstacolele în mi șcare, ce pot apărea în calea sa în cursul deplasării. Organigrama pe baza căreia se derulează întreg procesul de navigare, începând cu achiziția imaginilor, apoi procesarea acestora, planificarea globală a traiectoriei și în final realizarea deplasării robotului s e prezintă în figura 2.3.28. Elaborare comandă de deplasareconfirmare prezență obstacolsemnale de la senzorii în infraroșu Deplasare robot NURobotul a atins ținta STOPDAPlanificarea traiectorieiDeterminare poziție robot și țintă Procesarea CNN a imaginiiCaptare imagine mediu Orientare pe direcție Figura 2.3.28: Organigrama procesului de planificare și comandă a navigării robotului mobil. Procesarea CNN a imaginilor mediului de lucru Într-o primă variantă, achiziția imaginii mediului s -a făcut cu o cameră Web de tipul USB PC Camera 305 montată pe portul USB al unui calculator Pentium IV. Comanda camerei video, respectiv stabilirea momentelor de achiziție a imaginilor și setarea parametrilor este realizată din mediul Matlab pe baza unui program denumit VFM ( Vision For Matlab ), (Soinio 2003). Înainte de captarea imaginii pot fi realizate reglajele necesare asupra camerei video (rezoluția imaginilor, luminozitate, contrast, etc.). În aceste imagini vor fi identificate de fiecare dată, pe baza matricelor rezultate, poziția robotului mobil precum și poziția țintei. Poziția acestora va fi identificată prin câte un pixel chiar dacă dimensiunea reală a acestora este mai mare, se va reprezenta practic centrul de simetrie al imaginii celor două elemente. Poziția robotului și poziția țintei pot fi determinate și pe baza imaginii cu niveluri de gri a mediului prin utilizarea unor algoritmi de recunoaștere a formelor și apoi de detecție a punctului central al acestor forme. În cazul robotului, pe lângă poziția acestuia trebui e determinată și orientarea sa în raport cu ținta sau cu un sistem de referință fix (Gacsádi and Tiponuț 2002). Imaginea reală a mediului poate fi achiziționată o singură dată și apoi prin procesarea acestei imagini seplanificăîn întregime traiectoria ro botului sau pot fi achiziționate periodic GacsádiAlexandru Teză de abilitare 102mai multe imagini ale mediului la momente discrete de timp )kTt(0, începând de la momentul inițial0t, cu pasul de eșantionare T,kfiind un număr natural, Nk. Fiecare imagine achiziționată va fi procesată, rezultând comanda (direcția și timpul de deplasare) ce trebuie transmisă robotului. În acest fel, procesul achiziție imagine →planificare traiectorie →comandă depl asare, se va repeta până când robotul atinge ținta. Această din urmă metodă are avantajul că ține cont de eventualele modificări ale structurii mediului cu obstacole survenite în momentul deplasării robotului. Pe baza celor trei matrice de culoare se obți ne imaginea cu niveluri de gri a mediului care va fi utilizată pentru identificarea pozițiilor din mediu în care sunt situate obstacolele. Pentru a putea fi procesată cu ajutorul unei rețele neuronale celulare, imaginea trebuie transferată în domeniul stan dard CNN cu niveluri de gri, adică[-1, +1]de la alb către negru. Se consideră că obstacolele au luminanța mai mică decât cea a spațiilor libere, astfel că, pentru identificarea acestora se poate folosi template -ul TRESHOLD (*** 2010): 0z 000000000 B 000020000 A . (2.3.13) Pe intrarea și pe starea inițială a rețelei neuronale celulare se aplică imaginea cu niveluri de gri a mediului cu obstacole. După aplicarea template -ului prezentat mai sus, pe ieșirea rețelei se obține imaginea binară a mediului, în care obstacolele sunt reprezentate de către pixelii negri (valoarea +1) iar spațiile libere de pixelii albi (valoarea -1). În funcție de condițiile de iluminare existente în mediul de lucru precum și de variația luminanței zonelor libere ,imaginea achiziționată po ate conțineunele “zgomote”, astfel că, unele porțiuni mici din spațiul liber pot fi interpretate ca fiind obstacole. Apare astfel necesitatea eliminării acestora din imagine, lucru ce poate fi realizat prin ap licarea template-ului EROSION (*** 2010): 4z 010111010 B 000000000 A . (2.3.14) Datorită faptului că prin această acțiune sunt afectate și dimensiunile obstacolelor din imagine, se aplică în continuare template -ul DILATION (*** 2010). În acest fel, este posibilă refacerea dimensiunilor formelor care semnifică obstacolele. În figura 2.3.29 se prezintă un exemplu de aplicare a template -urilor prezentate mai sus asupra unei imagini gray -scale a mediului cu obstacole achiziționate cu camera video (figura 2.3.29a). Prin aplicarea template -ului TRESHOLD, valorile pixelilor care au luminanța peste un anumit prag devin albi iar ceilalți pixeli vor fi de culoare neagră, obținându -se astfel o imagine b inară a mediului (figur a 2.3.29b). Eliminarea unor eventuale ”zgomote” sub forma unor dungi subțiri de culoare neagră, ce pot fi interpretate ca fiind obstacole se realizează prin aplicarea templ ate-ului EROSION (figura 2.3.29 c), iar refacerea dimensiunilor obstacolelor este posibilă prin aplicarea templa te-ului DILATION (figura 2.3.29 d). GacsádiAlexandru Teză de abilitare 103 a) b) c) d) Figura 2.3.29: Exemplu de procesări CNN a imaginii reale ale unui mediu cu obstacole: a) imaginea gray -scale a mediului; b) imaginea rezultată după aplicarea TRESHOLD; c) imaginea re zultată după aplicarea EROSION; d) imaginea rezultată după aplicarea DILATION. Planificarea traiectoriei Pentru estimarea poziției robotului față de țintă și planificarea apoi a traiectoriei acestuia s -a utilizat metoda câmpului potențial artificia l (Schneider and Wilderm uth 2003). Această metodă presupune realizarea, pe baza imaginii mediului cu obstacole, a unui câmp potențial de atracție și a unui câmp potențial de repulsie. Câmpul potențial de atracție se realizează pe baza unei funcții potenția le de atracție, denumită și potențial atractiv, calculată pentru fiecare punct din mediul de lucru, și care este dată de relația următoare: ,n1j,m1ifiar pentru)j,i(dk21)j,i(Uatr (2.3.15) undekreprezintă un număr întreg pozit iv, iar funcția d reprezintă distanța euclideană dintre pixelii i și j. Dacă se notează cu )c,z(perechile de coordonate ce reprezintă pozițiile ocupate de către obstacole, atunci valorile funcției potențiale de repulsie pe baza căreia se realizează câmpul potențial de repulsie sunt date de relația: ,qc,qcjsauqz,qzidacăj,i,c,zd1ncjșizidacă U j,iU2max rep ,(2.3.16) undenreprezintă un număr întreg pozitiv, qreprezintă raza de acțiune, măsurată în număr de pixeli, a câmpului în jurul obstacolelor și j,i,c,zd reprezintă distanța euclideană dintre pixelii pe care sunt situate obstacolele și pixelii din vecinătatea obstacolelor care sunt situați în raza de acțiune a câmpului. Prin însumarea celor două câmpuri potențial e, pe întreg mediul de lucru al robotului, se obține câmpul potențial artificial total, j,iUtotal: GacsádiAlexandru Teză de abilitare 104 .n1j,m1ifiar pentru,j,iUj,iUj,iUrep atr total (2.3.17) În figura 2.3.30 se prezintă un exemplu de realizare a unui câmp po tențial artificial pentru un mediu cu obstacole având imaginea cu rezoluția 160*120 pixeli (figura 2.3.30a). Câmpul potențial de atracție are forma prezentată în figura 2.3.30b. Având cunoscute pozițiile pe care sunt situate obstacolele, se realizează câmp ul potențial de repulsie figura 2.3.30c. Prin însumarea celor două câmpuri potențiale se obține câmpul potențial artificial total (figura 2.3.30d). a) b) c) d) a) b) d) c) RT Figura 2.3.30: Realizare a câmpului potențial artificial; a) imaginea gray-scale a unui mediu cu obstacole, b) potențialul de atracție, c) potențialul de repulsie, d) potențialul total. Planificarea traiectoriei este realizată pixel cu pixel, începând de la pixelul care reprezintă poziția inițială a robotului ( iR, jR), prin determinarea d e fiecare dată a acelui pixel ce are valoarea cea mai mică dintre cei opt pixeli vecini, situați în jurul pixelului care reprezintă poziția curentă a robotului. În figura 2.3.31 se poate observa forma traiectoriei planificate în cazul imaginilor prezentate mai sus, în care poziția țintei este dată de pixelul având coordonatele 130iși20j, iar poziția robotului este dată de pixelul de coordonate 20iși100j. Figura 2.3.31: Traiectoria planificată. GacsádiAlexandru Teză de abilitare 105Inițial, pentru testarea practică a algoritmului de navigare ,s-a utilizat robotul mobil miniatură Robby RP5 (figura 2.3.32) (*** c -robotics). Sistemul locomotor al acestui robot se compune din două șenile angrenate de două motoare de curent continuu. Turația motoarel or poate fi controlată prin modulația în duratăa impulsurilor de tensiune, care le alimentează (PWM).Lacomanda robotului RP5 s-a utilizat microcontrolerul M68HC05 , iarprogramele aplicații au fost realizate în limbajul BASIC, în mediul de proiectare int egrat (IDE – Integrated Design Environment ) (*** c-robotics). Pentru planificarea locală a traiectoriei, respectiv evitarea coliziunii cu obstacole neașteptate ce pot să apară în calea robotului, acesta este echipat și cu doi senzori în infraroșu. Ulterior , comanda robotului s -a realizat cu placa de dezvoltare Arduino Uno care are la bază un microcontroler ATmega328 , iar naviga ția locală utilizează senzori ultrasonici. În prezent robotul miniatură, utilizat și în activitatea didactic ă, se poate comanda șicu ajutorulunui telefon (smartphone )prin comunicare Bluetooth (figura2.3.33). Figura 2.3.32: Robotulmobil Robby RP 5, modificat. GacsádiAlexandru Teză de abilitare 1062.4.Sistem integrat pentru asistarea persoanelor cu deficiențe de vedere Persoanel ecu deficiențe de vedere reprezintă o categorie impor tantă din populația globului, actualmente numărul lor fiind estimat la zeci de milioane. Este cunoscut faptul că, dintre cele cinci simțuri pe care le are un om, sistemul vizual este cel mai important, furnizând cea mai mare cantitate de informație dinspre mediul înconjurător. Orientarea și mobilitatea persoanei sunt afectate drastic de către deficiența vizuală, chiar dacă, în mod natural, există din partea organismului o tendin ță de compensare a ei prin celelalte simțuri. Indiferent de cauza care produce și etapa vie ții în care se instaleaz ă deficiența de vedere, (la na ștere, accident, boală dobândită, procesul natural de îmbătrânire), asigurarea calită ții vieții acestor persoane și integrarea lor în societate reprezint ă un obiectiv important și de actualit ate permanentă. În decursul timpului s -au abordat diverse metode de ajutorare a persoanelor cu deficiențe de vedere, începând cu ajutorul dat de o altă persoană umană, utilizarea bastonului alb, utilizarea câinilor dresați și până la diferite sisteme tehni ce senzoriale (Dowling et al. 2003),(Shoval et al. 2003). Problema principală a utilizării bastonului alb, o solu ție ieftină dar și cu beneficii limitate, îl reprezint ă necesitatea efectuării multor ore de antrenament. Pentru dresarea un uicâine sunt nece sare, de asemenea, multe ore de antrenament dar și cheltuieli financiare ridicate. De aceea, utilizarea lor este posibilă într -un număr redus de cazuri. Rezultă în mod evident necesitatea construirii unor mijloace tehnice care să asiste deplasarea unei persoane cu deficiențe de vedere. De asemenea, se remarcă câteva caracteristici principale pe care trebuie să le îndeplinească un astfel de sistem: să dispună de func ții de asistare cât mai multe și eficiente, s ă aibă greutate cât mai mică, să fie portabil, s ă asigure o comunica ție (interfaț ă) eficientă om -mașină,și nu în ultimul rând, un preț de cost accesibil pentru orice persoană cu deficien țe de vedere. În ultimele decenii au fost elaborate numeroase sisteme tehnice, bazate pe senzori, care suntdestinate pentru asistarea în deplasare a persoanelor cu deficiențe de vedere. Deseori, aceste sisteme sunt optimizate numai pentru anumite func ții limitate, totuși pot contribui substanțial la îmbun ătățirea mobilită ții nevăzătorilor prin creșterea siguran ței și avitezei de deplasare. Dintre acestea se pot aminti :sistemulLaserCane (Shoval et al. 2003) , sistemul Teletact, sistemul Sonicguide K.A.S.P.A ., sistemul NavBelt, sistemul Guide Cane (Ulrich et al. 2001), sistemul Intelligent Glasses (Velázquez et al. 2003 ), sisteme bazate pe detecția obiectelor în imagini (Van der Heijden et al. 2005), sisteme de asistare bazate pe navigație globalăDRISHTI (Helal et al. 2001). Sistemul Bionic Eyeglass (Roska et al. 2006) ,(Karacs et al. 2008) , elaborat pe baza recomandări le persoanelor cu deficiențe de vedere, ia în considerare existența a trei tipuri de medii în care oferă asistență: acasă, la locul de muncă și la deplasarea între celedouă locații. Sistemul propus asigură următoarele caracteristici: recunoașterea hainelo r bazată pe detecția texturii și a culorii, recunoașterea trecerilor de pietoni, recunoașterea bancnotelor, recunoașterea semnelor de transport public și a numărului rutei de transport, recunoașterea semnelor unui ascensor și recunoașterea direcției de dep lasare a scărilor rulante. Pentru realizarea acestor func ții, mediul integrat propus folosește tehnologia CNN pentru procesarea GacsádiAlexandru Teză de abilitare 107semnalelor: arhitectura vizuală duală Bi -i(*** 2007) șiemulatorul digital CNN -UM implementat pe FPGA (Nagy et al. 2006). Refacerea parțială a vederii persoanelor nevăzătoare constituie o abordare cu rezultate parțiale deosebit de promiț ătoare, de aceea, actualmente este obiectul de cercetare al mai multor echipe din întreaga lume. Refacerea parțială a vederii poate fi obținută pr in utilizarea unei camere de luat vederi care furnizează imagini,la anumite intervale de timp ,unui bloc de procesare a informației, pentru ca în final informațiile să fie transformate î n semnale electrice ce sunt trimise la creier printr -un implant ce fa ce legătura cu calea vizuală umană (Dowling et al. 2003) . Deși deocamdată, nu se poate realiza, o restaurare totală a vederii persoanelor nevăzătoare, totuși printr -o bună procesare a informației vizuale, se poate ob ține o detec ție a scenei din imagine, și în final o bună percepție a realității de către persoanele în cauză. În urma analizei sistemelor tehnice elaborate pentru îmbunătățirea abilităților persoanelor cu deficien țe de vedere se evidențiaz ă complexitatea și multitudinea problemelor pe care le im plică asistarea acestor persoane, insuficien țeleși limitele soluțiilor actuale și accesibile. Acest domeniu multidisciplinar este într -un proces de dezvoltare continuă, ca rezultat al implicării mai multor colective de cercetare din întreaga lume. Pe de a ltă parte, se poate observa că, persoanele cu deficiențe de vedere și roboții mobili întâmpină probleme similare la deplasarea în medii nestructurate. Prin urmare, tehnicile specifice roboților mobili, precum metodele de planificare a traiectoriei și metodele de evitare a obstacolelor, pot reprezenta solu ții pentru sistemele electronice de asistare a deplas ării persoanelor cu handicap vizual. În acest capitol sunt prezentate unele subiecte, abordate de colective de cercetare din care a făcut parte și autorul prezentei lucrări, în domeniul sistemelor electronice de asistare la deplasare a persoanelor cu deficiențe de vedere: structuri și module ale unui sistem integrat (Tiponuț et al. 2006b), (Tiponu ț et al. 2005 -2007), evolu ția acestora ținând cont de dinami ca tehnologiei electronice (Țepelea et al. 2014) ; procesarea paralelă a imaginilor cu rețele neuronale/neliniare celulare ( wave computing –„calcul ondulatoriu” ), exemplificată printr-un algoritm CNN de corelație (Țepelea et al. 2011) și implementarea acestuia pe o platformă FPGA (Kincses et al. 2012). 2.4.1.Mediiintegratepentru deplasare a persoanelor cu deficiențe de vedere Prin dezvoltarea unor noi structuri de medii integrate de asistare a persoanel orcu deficiențe de vedere se urmăre ște extinderea și îm bunătățirea performan țelor simultan cu creșterea preciziei și scăderea timpului de procesare. În figura 2.4.1 este prezentat mediul integrat pentru asistarea în deplasare a persoanelor cu deficiențe de vedere, propus de Tiponuțși colab.(Tiponuț et al. 2006b). Pentru cre șterea eficienței sistemului, s -a avut în vedere combinarea optimă a celor două tipuri de navigații complementare, metoda de navigație globală și metoda de naviga ție locală, utilizate și în cazul conducerii robotului mobil. Metodele de nav igație globală servesc la proiectarea unei traiectorii optime de urmat prin evitarea obstacolelor statice, fac posibilă monitorizarea GacsádiAlexandru Teză de abilitare 108deplasării pe traseul dorit și asigură atingerea țintei dac ă aceasta este posibilă. Metodele de navigație locală asigură d etecția și evitarea obstacolelor dinamice de pe traseul de navigare. De asemenea, prin integrarea eficientă a diferitelor tipuri de senzori, inclusiv fuzionarea datelor senzoriale, pot rezulta beneficii sporite. Evident, odată cu creșterea cantității de informație achiziționată, prelucrarea acesteia poate deveni greoaie și dificil de realizat în timp real, reducând viteza de deplasare a persoanei cu deficien țe de vedere. Astfel, rezult ăși necesitatea utilizării unor sisteme de procesare paralelă a semnale lor cumar fi, spre exemplu, circuitele integrate cu rețele neuronale/neliniare celulare. Comandă prin voceGPS Sistem Geografic de Informare (GIS) Senzor vizual Senzor ultrasonicFuziunea datelor senzorialeRecunoașterea vocii Senzor de triangulație laserSintetizator de voceGSM GSM PERCEPTIE 2Planificarea traiectoriei PLANIFICARESISTEM DE SUPERVIZARE ACȚIUNE PERCEPT IE1 Senzor infraroșu Figura 2.4.1: Arhitectura sistemului integrat pentru asistarea deplasării. Mediul integrat, prezentat în figura 2.4.1, include blocurile PERCEPȚIE 1,2, PLANIFICARE și ACȚIUNE, necesare pentru asistarea persoanelor cu deficiențe de vedere, la deplasarea spre țintă cu evitarea obstacolelor. Aceste blocuri includ: module senzoriale de detecție a obstacolelor; modulul de fuziune a datelor senzoriale; modulul d e detecție a poziției prin GPS ( GPS-Global Positioning System -Sistemul de pozi ționare globală); modulul de planificare a traiectoriei pe baza datelor primite de la senzori și pe baza poziției actuale; modulul de sinteză vocală prin care se comunică per soanei nevăzătoare direcția de urmat. De asemenea, structura mediului integrat înglobează șiun subsistem de supraveghere a persoanelor asistate care se află în aria supervizată ( module de comunicație la distanță prin GSM (GSM -Global System for Mobile Co mmunications – Sistem Global pentru Comunica ții Mobile )și calculatorul personal cu aplicația program aferentă). Sistemul de supervizare asigură persoanei asistate deplasarea pe traseul planificat și detectarea poziției actuale pentru a -l putea ajuta în ca zul în care apar modificări dinamice în mediu sau în cazul apariției unor evenimente deosebite și neprevăzute. În completare la poziția detectată prin GPS, este inclus și sistemul informa țional geografic GIS (GIS – Geographic Information System ). GacsádiAlexandru Teză de abilitare 109Procedura de monitorizare a sistemul de supervizare este prezentată în figura 2.4.2. Calculatorul (centrul de servicii) se află în permanență în schimb de informații cu persoana nevăzătoare. Periodic, calculatorul interoghează echipamentul mobil prin intermediul u nor mesaje de tip SMS (Short Message Service ). Ca rezultat al acestei interogări echipamentul portabil furnizează coordonatele carteziene sistemului informațional geografic. Pe baza acestor coordonate, respectiv având o bază de date spațiale aflată pe calc ulatorul central, o aplicație software este capabilă să furnizeze coordonatele traiectoriei pentru fiecare persoană nevăzătoare care circulă în zona supervizată. GPS GSMCalculator (desktop) (laptop) Dispozitiv integrat SMS SMS SMS SMS“unde ești?” “X, Y” Figura 2.4.2: Procedura de monitorizare a persoanei nevăzătoare. În figura 2.4.3 este prezentată structura internă a sistemului de supervizare din dispozitivul portabil. Modul GPSGPS antena Modul MicrocontrolerModul Software SIM MicrofonDifuzor Microîntrerupător ApelStergereModul GSM Microîntrerupător Apel Setare Figura 2.4.3: Structura sistemului de supervizare. Modulul GSM recepționează un SMS și retransmite acest SMSmodulului microcontroler. Aplicația software rulată pe microcontroler analizează mesajele primite și le convertește în comenzi pentru modului GPS. Modulul GPS execută comanda primită și furnizează răspunsul sosit către microcontrolerul care deservește modulul software. Acest modul extrage din răspun s coordonatele X, Y și realizează un mesaj de tip SMS cu aceste date. Practic mesajul este transmis apoi de GSM. Sistemul este capabil să realizeze și apel manual. Această posibilitate este foarte utilă în cazul apariției unor evenimente neprevăzute. Atât centrul de GacsádiAlexandru Teză de abilitare 110servicii cât și persoana în cauză pot iniția un apel de ieșire sau de intrare utilizând microîntrerupătoarele Apel Setare sau Apel Ștergere. Prin evolu ția spectaculoas ă a tehnologiei electronice din ultimul deceniu (procesoare tot mai performant e, memorii de mare capacitate, dimensiuni tot mai reduse a componentelor și plăcilor de circuit), prin apari ția unor dispozitive portabile, gen telefon ( smartphone ) sau tabletă, s -au deschis noi perspective pentrurealizarea unor sisteme integrate eficient ede asistareîndeplasare a persoanelor cu deficiențe de vedere. Pornind de la conceptul de mediu integrat de asistare, prezentat anterior, s -a elaborat o altă structură de sistem integrat de asistare îndeplasare a persoanelor cu deficiențe de vedere, (Țepelea et al. 2014). La acest sistem integrat de asistare, platforma principală de calcul utilizează un dispozitiv mobil gen smartphone sau tabletă, având putere de calcul apreciabilă. În figura 2.4.4 este prezentată arhitectura acestui mediul integrat de asistare bazat pe Android. Platformă Android Multicore CPU + GPU Detecție cădereMonitorizare la distanță Platforma Arduino Detecție obstacole cu ultrasunete: -la cap -la corp -la picioarePlatforma ARM RaspberryPI Modul detec ție cu cameră și OpenCVFuziunea DatelorDetecție lumină Ghidare GPSinternet WI-FI bluetoothGhidare DirecțieEfectuare convorbiri, Convorbiri de urgență Data,Ora, Nivel baterieInterfață de comunica ție audio Figura 2.4.4: Mediul integrat de asistare bazat pe Android. Alături de platforma Android Multicore, cu unitatea centrală de prelucrare și unitate de procesare grafică ( CPU-Central processing unit; GPU-Graphics processing unit ), acest sistem integrat mai include și alte dou ă platforme: Platforma Arduino și Platforma RaspberryPI. Platforma Arduino (Arduino Nano), are sarcina de a detecta obstacolele la trei niveluri ale persoanei asistate: la nivelul capului, la n ivelul corpului și la nivelul picioarelor. Semnalele electrice, care provin de la senzorii de detecție ultrasonici, sunt prelucrate cu ajutorul aplica ției software implementate pe microcontroler. Acești senzori pot detecta cu precizie obstacole de la 4 cm la 4 metri. Informa țiile relevante se comunică către telefon folosindstandardul Bluetooth. PlatformaRaspberryPI, utilizată tot pentru detecția obstacolelor, este bazată pe un procesor ARM ( Advanced RISC Machine; RISC-Reduced instruction set computing )cu procesor grafic integrat și cu memorie RAM de 256 MB. Detecția obstacolelor se realizează GacsádiAlexandru Teză de abilitare 111cu ajutorul unei camere video, de mici dimensiuni, dedicată pentru această platformă. Aplicația de detecție a obstacolelor este bazată pe mediul software open sour ceOpenCV (Open Source Computer Vision Library ), frecvent utilizat și în domeniul roboticii pentru procesări de imagini în timp real. O altă opțiune pentru detectarea obiectelor cu camera video, în timp real, poate fi prelucrarea CNN a imaginilor, implemen tată pe o platformă FPGA. În general, telefonul se află în mân apersoanei asistate, deci poziția lui se poate modifica în permanen ță, deseori fiind înclinată mai mult spre orizontală. Prin urmare, camera video inclusă în telefon nu se va putea utiliza la d etectarea obstacolelor apărute în deplasare. Camera video inclusă în telefon, având rezolu ție mare, poate fi totuși utilizat ă pentru a detectași recunoaște unele obiecte din imagini, spre exemplu pentru detec ția bancnotelor, a indicatoarele rutiere, trecerea de pietoni, numerele de tramvai și autobuz. Cu ajutorul func ției de recunoaștere optică a caracterelor, camera poate fi folosită și la citirea unor afi șe, articole din presă, etc., prin traducerea lor acustică. Platforma hardware a telefonului include mai mulți senzori, iar datele furnizate de aceștia sunt aduse la blocul de Fuziune a Datelor. Acest bloc, analizează datele primite de la senzori, în func ție de prioritatea lor, și ia decizia adecvat ă privind asistarea persoanei. Deciziile sunt comunicate imediat, prin sintetizare vocală. Pentru supervizarea persoanei nevăzătoare se utilizează blocul de Detecție Cădere. Senzorul deaccelerație poate detecta modificarea, peste o anumit ă valoare de prag prestabilită a accelerației, specifică unei căderi sau loviri puternice. Evenimentul se comunică imediat la distanță pe serverul folosit pentru supravegherea persoanei asistate și opțional se poate apela un număr de telefon prestabilit. Blocul Detecție Lumină este utilizat pentru a detecta când sunt persoanele în interiorul clădirilor sau în afara lor. Atunci c ând persoana asistată ajunge într -un spațiu mai întunecos, care poate fi o cameră închisă, ieșirea poate fi mai dificilă și se impune o încetinire a deplasării pe traiectoria planificată. De asemenea, blo cul Detecție Lumină poate furniza informații complementare despre perioada zilei, ziua sau noaptea. Un rol deosebit în monitorizarea persoanei monitorizate îl are blocul de efectuare a convorbirilor telefonice și de avertizare în situații de urgență. Astfe l, se poate efectua un apel telefonicde contact, un apel taxi, sau un apel de urgen țăchiar către serviciul 112. Sursă de energie pentru sistemul de asistare portabil este, pe de o parte, bateria telefonului, pe de altă parte, pentru platformele anexe se mai folosește o altă sursă de energie sub forma unei baterii, cu încărcare solară. Capacitatea acestor surse de energie fiind limitate, este necesară avertizarea persoanei asistate asupra necesității încărcării bateriei. De asemenea, acest bloc oferă infor mații, asupra nivelului de încărcare a bateriei și asupra datei și orei. Pentru asistarea în deplasare a persoanei cu deficien țe de vedere, un bloc func țional detectează poziția geografică prin GPS și pe baza unei cereri de asistare până la un anumit punctgeografic, se oferă asistare pas cu pas prin planificare globală asupra traiectoriei de urmat până la punctul final țintă, folosindu -se serviciile Google. Blocul de Ghidare Direcție este cel care oferă la nevoie direcția de urmat în asistare față de punct ele cardinale. Toate informa țiile obținute cu ajutorul senzorilor sunt trimise pe internet la un anumit server dedicat pentru această aplica ție, în scopul supravegherii persoanei asistate de la GacsádiAlexandru Teză de abilitare 112distanță. La acest centru de asistare monitorizarea se poate face permanent sau, după caz, se pot face avertizări automate asupra unei necesități cu privire la asistarea unei anumite persoane. În cadrul sistemului integrat de asistare a persoanelor cu deficiențe de vedere, un rol foarte important este îndeplinit de blocul de interfa ță audio. La elaborarea acestui bloc s -a ținut cont de faptul c ă interfața trebuie s ă permită comunicarea persoanelor cu handicap vizual, folosind telefoane ce au ecran tactil și nu au butoane. Prin urmare, toate aplicațiile Android, inclu siv această interfa ță, sunt special concepute pentru aceste persoane. O atingere a unui buton de pe interfa ța oferă utilizatorului selectarea butonului și dublu clic pe un buton comandă o aplica ție. Cel mai simplu mod de a comunica cu persoana asistat ă este prin intermediul telefonului utilizând că știle audio și microfonul. Astfel, utilizatorul nu deranjeaz ă alte persoane din jurul lui, comunicarea este foarte clară, în acela și timp, având o ureche liberă, poate auzi și alte sunete din mediul înconjur ător. Sistemul folose ște tehnologia TTS ( Text-To-Speech)pentru a se adresa audio utilizatorului. De asemenea, comenzile audio ale utilizatorului, prin telefon, sunt recunoscute pentru sistem prin tehnologia de recunoa ștere a vocii de la Google. Sistemul de asi stare a persoanelor cu deficiențe de vedere, descris mai sus, a fost conceput, construit și validat experimental, în urma unui proces iterativ de optimizare, sub deviza ,,totul într -un sistem eficient utilizând componente performante, disponibile în comerț și foarte ieftine” care să se poată utiliza efectiv în viața de zi cu zi. Evident, creșterea performanțelor componentelor utilizate va conduce inevitabil și la creșterea eficienței sistemului de asistare în ansamblu. 2.4.2.Algoritm CNN pentru calcularea corelaț iei între două imagini Analiza gradului de asemănare dintre două imagini Dezvoltarea unor echipamente tot mai performante pentru asistarea persoanelor cu deficiențe de vedere, este strâns legată de rezultatele cercetărilor din domeniul prelucrării și analizei imaginilor, sau mai general a semnalelor multidimensionale. Astfel, pentru a putea fi utilizate informațiile conținute în imaginea achiziționată ,aceastatrebuie adusă sub o formă cât mai ușor de interpretat, fiind supusă în acest scop unui lanț de pr elucrări și analiză. Toate aceste operații de prelucrare și analiză a imaginilor trebuie să fie efectuate în timp real , deoarece viteza deachiziție și de interpretare a informațiilor poate fi vitală (Tiponu ț et al. 2009). Alături de celelalte procedee cla sice, tehnologia CNN, ca structură de calcul paralelă, oferă o soluție complementară de realizare a unor aplicații în timp real în domeniul procesării imaginilor. Se consideră o imagine șablon ( template image sau correlation kernel )și o imagine sursă (im agine test) care poate con ține obiecte similare cu un obiect con ținut de imaginea șablon. Corela ția imaginilor, sau potrivirea unor șabloane din imagini ( template matching ), are ca obiectiv principal detectarea și localizarea în imaginea sursă a unor obiec te similare cu un obiect conținut de o imagine șablon, prin determinarea măsurii în care o porțiune din imagine sursă se aseamănă sau diferă de imaginea șablon (figura 2.4.5) . GacsádiAlexandru Teză de abilitare 113Pentru evitarea unor confuzii, în prezenta lucrare, termenul „template” se utili zează în cazul procesării CNN, așa cum s -a precizat în capitolul 2.1, iar în cazul corela ției de imagini se va folosi denumirea de imagine șablon. Algoritmii de analiză a conținutului prin corela ția imaginilor se folosesc adesea pentru a identifica obiecte simple (numere, litere, figuri simple). Într-o imagine binară curentă de intrare achiziționată, rezultată după procesări elementare, se poatedetectaobiectul din șablonul binar. Utilizând metrice adecvate, se poate obține un răspuns concret, dacă există sau nu în imaginea curentă obiectul căutat din imaginea șablon, fără a se preciza și pozițiaexactă a obiectului în imagine. Prin compara ția pixel cu pixel a două imagini binare, rezultatul obținut este univoc, există sau nu există potrivire între doi pixeli corespunzători din cele două imagini. În cazul realizării corelației imaginilor color și imaginilor gray -scale, mai întâi acestea sunt prelucrate succesiv (inclusiv binarizare) pentru a extrage cât mai multe informații relevante din imaginea originală, urmând evaluarea simultană a tuturor acestor informații primare. Este evident, că prin compara ția direct ă a imaginilor gray -scale practic este imposibilă o potrivire perfectă a nivelelor de gri, de aceea, pentru mărimea care indică gradul de potrivire a im aginilor comparate se va folosi diferența nivelurilorde gri. Pentru analiza gradului de asemănare sau de potrivire, dintre două imagini ,se pot utiliza diferite metrice, (procedee sau funcții) cum ar fi: distanța Euclideană, suma diferențelor absolute (S DA) (relația 2.4.1), media diferențelor absolute (MDA) (relația 2.4.2), respectiv, coeficientul de corelație normalizat (CCN) (relația 2.4.3) (Jähne 2002) (Gonzalez 2004) : P 1pQ 1q(p,q) K(p,q) SDA(i,j) (2.4.1) PQ(p,q) K(p,q) MDA(i,j)P 1pQ 1q (2.4.2) unde, K(p,q) reprezintă imaginea șablon sau nucleul corelației, K: R2R, și K={(p,q): p[1,P], q[1,Q], P și Q R+} respectiv, (p,q) reprezintă imaginea curentă comparată cu imaginea șa blon, : R2R, și={(p,q): p[1,P], q[1,Q], P și Q R+}. Corespunzător fiecărei astfel de metrice, pentru fiecare imagine se va determina coeficientul maxim în raport cu imaginea șablon (ori coeficientul de diferență minimă în raport cu imaginea șablon ), sau coeficienții mai mari ca o valoare de prag prestabilită. În funcție de valorile acestor coeficienți se poate aprecia dac ă obiectul căutat există în imagine și în ce poziție. Procedeele pentru analiza gradului de potrivire a șabloanelor, menționate mai sus, sunt relativ ușor de implementat utilizând structuri hardware clasice, dar necesită timp de procesare ridicat. Metricele SDA și MDA sunt preferate în locul calculării coeficientului de corelație normalizat tocmai cu scopul reducerii timpului de ca lcul. Desigur, uneori reducerea timpului de calcul poate rezulta numaiîn detrimentul preciziei. Pedealtăparte, tehnologia CNNs-a dovedit afifoarte utilă în procesarea imaginilor în timp real (Chua and Yang 1988) (Roska and Chua 1993). Reducerea efe ctivă a timpului de GacsádiAlexandru Teză de abilitare 114calculrezultă numai în cazul în care algoritmul CNN de prelucrare a semnalelor este implementat efectiv pe ostructurăparalelă de procesare (Cembrano et al. 2003) (***2007). Pentru metricele SDA și MDA s -au elaborat algoritmi și s -auimplementat pe structuri CNN, atât în varianta analogică utilizând chip CNN, cât și pe emulatorul digital CNN -UM implementat pe FPGA. În general, alegerea variantei celei mai potrivite de implementare depinde de aplicația concretă: natura imaginilor proce sate (imagini binare, gray -scale sau color),dimensiunile imaginilor ,etc. Kincsesși colab. utilizează metrica SDA pentru analiza gradului de potrivire al unor imagini, luând în considerare limitările dispozitivelor FPGA și parametrizarea specială pentru propagarea undei (Kincses et al. 2011) . Coeficientul de corelație dintre două imagini Se consideră imaginea (m,n), unde: R2R, și={(m,n): m[1,M], n[1,N], M și NR+}, reprezentând o imagine sursă (imaginea test), respectiv (p,q), o imagine șablo n, unde K: R2R, șiK={(p,q): p[1,P], q[1,Q], P și Q R+}. Imaginea sursă se baleiază pixel cu pixel astfel încât imaginea șablon să se suprapună complet pe imaginea sursă și se calculează gradul de potrivire în fiecare pixel. Gradul de potrivire cu șa blonul K(p,q) ,a unei regiuni(p,q) din imaginea sursă ,se obține prin calcularea unui coeficient de corelație (index numeric) care indică valoric cât de mult se potrivește șablonul cu conținutul acelei regiuni (imagine comparată). Rezultă astfel imaginea de corelație Corr(i,j) sau imaginea țintă, figura2.4.5, (Jähne 2002) (Gonzalez 2004) . Imagine sursă -(m,n) (p,q)Imagine comparatăCorelațieImagine de corelație – Corr(i,j) pixel(i,j) K(p,q) Imagine șablonpixel(i,j) Figura 2.4.5: Principiile corelației imaginilor. Coeficientul de corelație este o metrică care exprimă nivelul de potrivire dintre două imagini,adicăîntre imaginea șablon și o regiune din imaginea sursă. Pentru compararea imaginilor, este utilizat pe scară largă coeficientul de corelație normalizat (CCN) definit prin relația: P 1pQ 1q2P 1pQ 1q2P 1pQ 1q (p,q) KK(p,q)(p,q)KK(p,q) Corr(i,j) , (2.4.3) unde, K(p,q) reprezintă imaginea șablon, GacsádiAlexandru Teză de abilitare 115(p,q) reprezintă imaginea curentă, având coordonatele centrale (i,j), comparată cu imaginea șablon, Keste media nivelelor de gri din imaginea șablon, este media nivelelo r de gri din regiunea imaginii curente, având coordonatele centrale (i,j). În figura 2.4.6. este exemplificată determinarea imaginii de corelație prin utilizarea unor imagini sintetice, fără zgomot. Imaginesursă ImaginecomparatăCorelație Imagine de c orelație Imagineșablon Figura 2.4.6: Exemplificarea determinării i maginii de corelație. Coeficientul de corelație are valoarea Corr(i,j)=1 dacă cele două imagini comparate sunt absolut identice. Dacă imaginile comparate sunt complet necorelate, coeficientul de corelație are valoarea Corr(i,j)=0. Coeficientul de corelație are valoarea Corr(i,j)= -1 dacă imaginile comparate sunt complet anti -corelate, de exemplu, când o imagine este negativul celei de a doua. Algoritm CNN de calcul al corelației dintredouă imagini În cazul procesării seriale, timpul de calcul pentru determ inarea unui coeficient de corelație de coordonate (i,j) este dependent de dimensiunile imaginii șablon, crescând proporțional odată cu acesta. Pe de altă parte, este de dorit ca dimensiunile imaginii șablon să fie suficient de mari pentru a conține cât mai multe informații relevante. Prin utilizarea algoritmului CNN de procesare paralelă pentru calculul coeficientului de corelație între două imagini se poate reduce acest timp de calcul, respectiv acesta nu va crește proporțional odată cu creșterea dimensiun ilor imaginii șablon (Țepelea et al. 2011) . În vederea elaborării algoritmului CNN de procesare paralelă pentru calcularea coeficienților de corelație între două imagini, relația 2. 4.3este rescrisă ca: 2 2(p,q)KK(p,q)(p,q)KK(p,q)Corr(i,j) (2.4.4) Se constată că la calcularea coeficienților de corelație dintre două imagini de aceeași mărime rezultă următoarele operații: mediere, adunare ,scădereșiînmulțire. În domeniul CNN,aceste operații sunt realizate prin procesare par alelă fără ca timpul de calcul să depindă de dimensiunile imaginilor. Singurele două operații care nu pot fi realizate în mod paralel, direct în domeniul CNN, sunt împărțirea și extragerea rădăcinii pătratice. Pentru efectuarea și a acestor operații în mod cvasi-paralel, în anumite medii de dezvoltare au fost deja elaborate GacsádiAlexandru Teză de abilitare 116macroinstrucțiuni (algoritmi CNN), utilizând procesoare numerice de semnal ( DSP-Digital Signal Processor ). Pentru anumite clase de aplicații, dacă se cunoa ște domeniul de valori a lcoeficienților de corelație rezultați, relația 2. 4.4poate fi rescrisă în forma: 2 22 2 (p,q)KK(p,q)(p,q)KK(p,q)(i,j)Corr (2.4.5) Prin această transformare, operația de extragere a rădăcinii poate fi înlocuită cu înmulțirea a două i magini, procesare CNN care poate fi realizată în mod paralel. În acest caz trebuie avut în considerare că, vor rezulta valori pozitive mari ale coeficienților de corelație chiarși în situa ția în care cele două imagini sunt complet anti -corelate. Analizând în continuare relația 2. 4.5, algoritmul CNN propus pentru calcularea coeficienților de corelație trebuie să fie bazat pe următoarele observații: -în domeniul CNN, calculul valorii medii a unei imagini poate fi realizat în mod paralel princalcul ondulatori u(wave computing )și rezultă o imagine având pixelii de valoare constantă, reprezentând chiar valoarea medie a imaginii inițiale; Pentru acest scop, există template -uri CNN care au același efect de netezire pe imaginile procesate. Pentru a testa algoritmu l CNN propus în această lucrare, s -a utilizat template -ulAINTPOL2 (Gacsádi and Szolgay 2001), caracterizat printr -o bună viteză de propagare a undei de mediere. -pentru reducerea timpului de calcul necesar pentru obținerea coeficienților de corelație, în general, se are în vedere că, valoarea medie a imaginii șablon, K, respectiv imaginea,KK(p,q), trebuie calculată doar o singură dată, fiind considerată deci o constantă cunoscută; în mod similar se poate calcula pentru f iecare poziție (i,j), valoarea medie a imaginii comparate din imaginea sursă, , respectiv se poate calcula paralel imaginea diferenț ă,(p,q) . Se men ționează că, în domeniul CNN, la adunarea respectiv, scăderea a două i magini, trebuie avut în vedere c arezultatul acestor operații să nu conducă la suprasaturare, adică valorile de ieșire să rămână în domeniul standard CNN. De aceea, întotdeauna, înaintea unor astfel de operații imaginile de intrare sunt ponderate cu ½. Ținând cont de această ponderare, nu se alterează nici valoarea coeficientului de corelație rezultat. -înmulțirea a două imagini în domeniul CNN poate fi realizată efectiv paralel (de exemplu(p,q)KK(p,q) ); astfel, timpul de procesare este același in diferent de dimensiunile imaginilor; desigur că imaginile care sunt înmulțite pixel cu pixel trebuie să aibă aceleași dimensiuni. Utilizând template -ulAINTPOL2 , calculul valorii medii a unei imagini este similar cu cazul Ksau, de exemplu, astfel se poate calcula(p,q)KK(p,q) și2KK(p,q)și2(p,q) . -pentru ca în ansamblu algoritmul propus să fie implementat omogen în mediul CNN, există posibilitatea ca și operația de împărț ire a imaginilor să fie realizată cvasi -paralel GacsádiAlexandru Teză de abilitare 117CNN (având în vedere restricțiile menționate deja) și, astfel nu se va consuma timp cu trecerea dintr -un domeniu în altul. Tot prin procesări paralele CNN efective se pot determina din imaginea de corelație valoarea maximă a coeficientul de corelație, sau coeficienții de corelație mai mari în raport cu o valoare de prag prestabilită. Testarea algoritmului CNN pentru corelația imaginilor Algoritmul CNN propus pentru obținerea coeficienților de corelație dintre două imagini a fost testat prin simulare software utilizând următoarele medii de simulare: CadetWin (***1999a) ,InstantVision Integrated Software Environment (*** 2007) șiMatlab(*** Matlab). Tipic,coeficientul de corelație este utilizat pentru a compara două imagini cu aceleași obiecte, scene sau cadre de imagine la momente diferite de timp (Țepelea et al. 2011) . Valorile ridicate ale coeficienților de corelație reprezintă o potrivire mai bună între cele două imagini (imaginea șablon și regiunile compar ate din imaginea sursă). Pentru fiecare imagine se vor determina coeficientul cu valoarea maximă (sau coeficienții cu valori mai mari în raport cu o valoare de prag). Alegerea valorii de prag utilizată pentru comparație este dependentă de aplicație. În caz ul aplicațiilor analizate, aceste valori sunt cuprinse adesea între 0,3 și 0,8. Pentru calcularea coeficienților de corelație este utilizată relația 2.4.5. În continuare sunt prezentate rezultatele ob ținute prin simulare, utilizând imagini reale, care potexista în cazul în care algoritmul CNN propus este inclus într -un sistem de asistare a persoanelor cu deficiențe de vedere (Tiponuț et al. 2006), (Țepelea et al. 2014) . În exemplele următoare (figurile 2.4.7 -2.4.9), pentru fiecare pereche de imagini sursă (a1, a2), s -a utilizat aceeași imagine șablon. (a1)(b) (c1) (b) (a2) (c2) Figura 2.4.7: Detecția indicatorului trecere de pietoni : (a1, a2) imagini sursă; (b) imagine șablon; (c1,c2) imagini de corelație. (a1)(b) (c1) (a2)(b) (c2) Figura 2.4.8: Detecția numărului de tr amvai: (a1, a2) imagini sursă; (b) imagine șablon; (c1,c2) imagini de corelație. GacsádiAlexandru Teză de abilitare 118(a1) (b) (c1) (a2) (b) (c2) Figura 2.4.9: Detecția trecerii de pietoni: (a1, a2) imagini sursă; (b) imagine șablon; (c1,c2) ima gini de corelație. În continuare, dacă în imaginea de corela ție sunt câteva regiuni de interes caracterizate prin coeficienți de corelație care trec de pragul de sensibilitate, coeficienții de corelație pot fi recalculați în fiecare din aceste regiuni, pri ntr-o procedură care săasigureo mai mare acuratețe. De asemenea, dezvoltarea unor algoritmi cu multiple praguri de condiționare poate ajuta la recunoașterea anumitor forme. Acuratețea recunoașterii unui șablon poate fi crescută numai după reducerea satis făcătoare a timpului de procesare pentru o etapă. Complexitatea situațiilor întâlnite în realitate, justifică dezvoltarea diverșilor algoritmi existenți precum și elaborarea unor soluții noi. Creșterea eficienței unui algoritm, respectiv alegerea celui mai potrivit pentru o problemă concretă este o sarcină deosebit de dificilă. 2.4.3.Implementarea FPGA a algoritmului CNN pentru corelația imaginilor Algoritmul CNN pentru calcularea coeficienților de corelație, prezentat mai sus, a fost implementat pe o platformă hardware de emulare digitală a CNN -UM utilizând FPGA (Kincses et al. 2012). Rezultatele ob ținute s-au analizat în scopul integrării acestui algoritm într-un sistem de asistare a persoanelor cu deficiențe de vedere. Astfel, au fost investigate și discutate aspectele esențiale ale aplicației privind viteza de procesare și aria suprafeței structurii FPGA utilizate. În principiu, pentru implementarea efectivă FPGA a aplicației de determinare a coeficienților de corelație dintre două imagini există trei moduri d e abordare: secvențială, semi-paralelă și complet paralelă (Bailey 2011). În primul caz , coeficienții de corelație sunt calculați secvențial prin utilizarea unui elementde procesare. Această metodă reprezintă cea mai lentă soluție,de aceea, nu poatefi folosităîncazul unei aplicațiiîntimp real, deși are cea mai mică cerințăprivindsuprafața FPGA. În cazul metodei completparalele,coeficienții de corelație sunt calculați cu unprocesor paralelde tipmatrice, bidimensională (Almudena 2007). Astfel,această soluție oferă cea mai mare viteză de procesare, dararia suprafeței utilizate crește cu pătratul dimensiunii imaginii șablon.Prin urmare ,această variantă poate fi aplicată numaiîn cazurile în care dimensiunile imaginii șablon sunt suficient de mici(de exemplu: între12×12 pixeli și20×20 pixeli ). Principala limitareînacestmod de abordare este legată de numărul de blocuri DSP dedicate pentru multiplicare și acumulare ( MAC-Multiply-Accumulate ). Imaginile șablon cu GacsádiAlexandru Teză de abilitare 119dimensiuni mari , precum32×32 pixeli,trebuie să fiepartiționate , rezultând astfel dezavantajul înmulțirii timpului de procesare cu numărul departiții. Pentru calculul coeficienților de corelație, pe baza relației 2.4.5, s-a propus și implementat cea de a treia variantă, respectiv soluțiasemi-paralelă (Kincses et al 2012), ca rezultat al unui bun compromis (optimizări) întreabordarea secvențială și cea complet paralelă.Astfel,mai multe unități de prelucrare MAC,împreună cu elemente logice suplimentare, suntaranjateliniar șielepotcalculaparalelcoeficienții de corelație succesiv pe rânduri, linie după linie. Deși prin aceast ă metodă aria suprafeței structurii FPGA creștedirect proporțional cu dimensiunile imaginii șa blon,totușipot fiprocesate întimp real imagini șabloncu dimensiuni relativ mari (de exemplu: cu dimensiuni de 64×64 pixeli ,128×128 pixeli).Arhitectura generală a acestei soluții ,prezentată în figura 2.4.10, include patru componente principale: unitatea de comandă a memoriei (Memory Controller Unit ), unitatea nucleude memorie ( Kernel Memory Unit ), unitatea de calcul a mediei (Mean Calculator Unit)șiunitateanucleu pentru corelație ( CCU-Correlator Core Unit ). )j,i( )j,i()j,i(I )j,i(I Figura 2.4.10: Arhitectura generală a sistemului . Unitatea de comandă a memoriei reprezintă de fapt o interfață de transfer dedate între memoria externă șiunitateade calcul a mediei și unitateanucleu pentru corelație. Unitateanucleu pentru corelație este realizată dinpatrucomponente principale : -unitatearegistru bidimensional ; -unitateascăzător și unitateaMAC; -unitatearegistru de deplasare ; -unitatea pentru rezultatul final. Caracteristicile unită țiinucleu pentru corelație a fost investigată sub două aspecte principale: aria suprafeței necesare, atât pentru elementele dedica te cât și pentru elementele logice, precum și performanțele realizabile privind capacitatea de calcul. În scopul implementării și verificării procedurii, a fost utilizat mediul de programare Xilinx ISE Design Suite version 13.4 (*** 2012). Aria suprafeței necesare și performanțele arhitecturii propuse au fost analizate în mediul de de zvoltare integrat software ISE ( Integrated Software Environment ). Pentru structura din familiaFPGAXilinxSeria-7(*** 2012) ,au fost stabilite condițiile inițiale privindcerințelede suprafață, în cazul în care este utilizată o GacsádiAlexandru Teză de abilitare 120imaginesursăde intrare gray-scale pe 8biți, având dimensiunile de511×511 pixeli, respectiv imaginea șablonavând dimensiunile cuprinse între4×4și 128×128 pixeli . Trebuie semnalat că toateunitățileMAC pot fiutilizate eficient pentru efectuarea calculelor numaidacă dimensiunile imaginii sursă sunt în concordanță cu dimensiunile imaginiișablon.De asemenea ,dimensiunile imaginii șablon suntsetate la valori de puteri a lui doi,șiastfeloperația de împărțire pentru calculul valorii medii poate fi înlocuită cu o simplă operație de translație. Cerințele privindresursele generaledinunitateanucleu pentru corelație (de exemplu, Logic Slices, Flip -flops and 6 -input Look -Up-Tables)cresc direct proporțional cu dimensiunile imaginii șablon, figura 2.4.11. Figura 2.4.11: Cerințele privindresursele generaledinunitateanucleu pentru corelație. Au fost evaluate și cerințele privind unele resurse dedicate ale unită ții nucleu pentru corelație (CCU). Num ărulsecțiunilor dedicate DSP48E1 crește direct proporțional cu dimensiunile imaginii șablon, după cum se poate observa în figura 2.4.12. Figura 2.4.12: Cerințele privindresursele dedicatedinunitateanucleu pentru corelație. GacsádiAlexandru Teză de abilitare 121Ooperație de tipMACpentruoimagine șablon de dimensiuni 4×4pixelinecesită cel puțin8multiplicatori dinunitateaMAC. De asemenea, independent de dimensiunile imaginii șablon,pentru a calcula în final rezultatul corelației sunt necesari minim 18multiplicatori DSP. În timpul testelorde sinteză au fost investigate nunumaicerințele resurselor totale privindîntreaga unitate nucleu pentru corelație, darau fost verificate șisubmodulele sale interne. Unitatea nucleu pentru corelație, construită dinpatrucomponente principale, are o structură modulară, în funcție de modul descrierii VHDL(VHDL-Very High Speed Integrated Circuit Hardware Description Language ).Cerințele privindresursele generale și specifice ale unității pentru rezultatul finalsunt în esență independente de dimensiunile imaginii șablon .În consecin ță,suntprezentate numai cerințele privind resursele celorlalte trei părțirămase, de mai mare interes: unitatearegistru bidimensional ,unitateascăzător și unitatea MAC,respectiv, un itatearegistru de deplasare, fig ura 2.4.13. Resurse necesare pentru scăzător și MACResurse generale necesare pentru registrul bidimensional Dimensiunile imaginii șablon Dimensiunile imaginii șablonResurse generale necesare pentru registrul de deplasare Dimensiunile imaginii șablonNumăr de resurse Număr de resurse Număr de resurse a b c Figura 2.4.13: Cerințele privindresursele unor unități dinCCU: a) resursele necesare pentru scăzător și MAC; b) resursele necesare pentru registrul bidimensional; c) resursele necesare pentru re gistrul de deplasare. Analizând cerințele suprafețelor solicitate de acesteunități în raport cu imagini leșablon de diferite dimensiuni, rezultă dependențe direct proporționale pentru fiecare unitate în parte, similarcucerințele privind resursele globale.Unitatea registru de deplasare are cea mai mare cerințăde resurse din cauza lungimii datelor, fig ura 2.4.13c. După analizarea cerințelor privind resursele necesare pentru CCU, au fost investigate performanțele sale maxime privind capacitatea de calcul .Rezultatele ob ținuteau arătat că frecvența de tacta unității este doarușor dependentă de dimensiunile imaginii șablon. În consecință, în orice situație, practic poate fi atinsă frecvența de tact de 300 MHz . Aceste rezultatele obținute (Kincses et al. 2012)au fost apoi comparate cu o implementare complet paralelă(Almudena et al. 2007). Comparația s-a făcut pentru o imagine sursăavânddimensiunile de 511×511 pixeli șio imagine șablon având dimensiunile 64×64 pixeli. În cazul implementării semi-paralele propuse de (Kincses et al. 2012), timpul de procesare necesareste deaproximativ 57 ms,în timp ce în cazularhitecturii completparalele (Almudena 2007) timpul de procesare este de 0.652 ms.Pe de altă parte ,soluțiasemi-paralelă consumă doar 274secțiuniDSPMAC,în timp ce încazul implementării complet paralele sunt necesare de14ori mai multe blocuriMACdedicate. GacsádiAlexandru Teză de abilitare 1223.Planuride evoluție și dezvoltare a carierei academice, științifice și profesionale Este binecunoscut faptul că activită țile științifice, profesionale și academice alecadrelor didacticeuniversitar esunt într-o susținere reciproc ă. În acela și timp fiecare dintre aceste activități au specificitatea lor , de aceea consider că este foarte importantă creșterea eficienței, îmbunătățireasimultană și echilibrat ă afiecăreiadintre ele. Activitatea didactică și profesional ă Pentrutoate discipline le la care desfă șor activit ăți didactice sunt asigurate suporturile de studiuadecvate (căr ți, îndrum ătoare de laborator, note de curs, prezentări, etc.) accesibile și în format electronic de pe pagin a web personală. Aceste materiale didactice vor fi adaptateși actualizate periodic și în viitor, în conformitate cu standardele actuale și cerințele companiilor angajatoare . În concordan ță cu conceptul de ”învățământ c entrat pestudent”, în continuare voi utilizași metode moderne de predare și evaluare a cunoștințelor (prezentări și discuții interactive , teste grilă ), iar la activitatea de laborator vomutilizadeopotrivă metode de analiză bazate pe simulare șiexperimente practice respectiv, cu extinderea acestora șiîn varianta e-laboratory (realizată dejaîntr-ovariantăprototipîn cadrul unui proiect) . În vederea îndeplinir iiacestorobiective este nevoie de studiu continuu, de actualizarea cunoștințelor de specialitate și didactice. În acest sens contribu ții însemnate au și particip ările la conferin țe, workshop -uri, schimb uride experien țela universită ți partenere dințarășidin străinătate ,prin mobilită ți Erasmus +.Laîmbunătăți reanivelului de dotare al laboratorului , unde se de sfășoarăactivități de cercetare șimai multe activită țididactice,avem în vedere și posibile achiziții de echipamente și tehnică de calcul prin participări la competi țiiși obținerea de finanțări pringranturi/proiecte decercetare na ționale și internaționale. După 24 de ani de activitate didactică și de cercetare, în care am coordonat numeroase lucrări de diplomă și de disertație , în care a matras studenți în activită țile deproiectare și cercetare,obiectivul meu personal estede a coordona șiactivități de doctorat. An de an, unii dintre cei mai buni absolven ți de masterat și -au manifestat dorin ța deacontinua studiile prin doctoratîn domeniul electronică, t elecomunica țiiși tehnologii informaționale . Astfel,există posibilitatea închiderii u nui ciclu complet alstudiilordelalicență, masterat șipână la doctorat. Asigurarea studiilor de doctorat și în alte domenii, faț ă de cele existente în prezent în cadrul Universită ții din Oradea, p oate contribui la extinderea domeniilor de activitate aleunor companii străinecu filiale locale,de la nivelul de produc țiela nivelulde proiectare și cercetare, beneficiind de personal înalt calificat. În acest sens, consider că dacă în tezele de doctoratvomaborda subiecte prin care se vor soluționașiprobleme concrete ale acestor firme colaborarea poate deveni mai avantajoasă pentru ambele păr ți. GacsádiAlexandru Teză de abilitare 123În vederea cre șterii eficienței , activității de proiectare și cercetare, temele proiectelor de diplomă, de diserta ție și de doctorat pot fi corelate , în același timp, vor rezulta și alte beneficii ale activită ților în echipe de studenți din mai multe generații. Activitatea de cercetare Temeleșisubiectele de cercetare alese a fi abordate în viitorvor fi corelate, armonizate cu provocările științifice, cu cerințele ”pieței”, competen țele existente șicapacitățiletehnice disponibile. Fără a exclude cercetarea fundamentală, în viitor, îmi propun ca activită țile de cercetare să se desfă șoare sub deviza ”sisteme electronice aplicate” și acolo unde este posibil s ă se finalizeze cu prototip. Direcția principal ă de cercetare va constitui elaborarea unor metode de analiză și prelucrare a semnalelor biomedicale șiimplementa rea lor efectivă într-un sistem de asistare în timp real a diagnozei medicale și/sau laurmărirea tratamentului .Obiectivul general al acestei direcții de cercetare, carevizează îmbunătățirea actului medical ,este realizabil numai în condițiile existen ței dialogului și colabor ării interdisciplinare eficiente și permanente a specialiștilor din toate domeniile de știință implicate. Datorită diversității și dificultății problemelor existente la ora actuală, atât din punct de vedere teoretic cât și cel al modului de implementare, dezvoltarea unor echipamente tot mai performante de imagistică medi cală, este o necesitate continuă. În acest sens, o metodă poate fi benefică, chiar și atunci când este mai puțin performantă din punct de vedere teoretic, dar care oferă rezultate în timp real și poate fi utilizat ă în interesul pacientului în practica medicală de zi cu zi. Vom continua investigarea unor imagini CT (cu aten ția focalizat ă pe metastaze hepatice) și imagini mamografice. Este binecunoscut faptul că, în orice aplica ție, modalitatea de procesare a semnalelor este rezultatul unei optimizări, care ține cont de cel puțin dou ă aspecte, precizia prelucrării și timpul de prelucrare. Pe baza experien ței dobândite înacest domeniu, vom aborda și soluțiile oferite de utilizarea r ețelele neuronale/neliniare celulare pentrurealizareaîn timp real a unor aplicații în domeniul prelucrării semnalelor, pentru care se justifică acesta. Pentru cre șterea eficienței implement ării CNN a acestor metode vom avea în vedere structuri hardware optimizate și dedicate pentru aplicația concret ă, bazată pe arhitectura emulatorul uidigital CNN-UM implementat pe o platformă FPGA.Alături de alte variante de prelucrare a semnalelor ,cellularwave computing poate reprezenta o solu țiecomplementară . O altă direc ție de cercetare c ătre care ne vom mențineatenția este domeniul inteligenței artificiale. Ca mijloc eficient de validare practică, rezultatele ob ținute vor fi implementate în conducerea adaptivă a robo ților, respectiv în s istemepentru asistarea persoanelor cu deficiențe de vedere . Având în vedere dificultățile existente înfinanțareacercetării,participarea la competi ții pentru granturi/proiecte naționaleșiinternaționalereprezintă oimportanțădeosebită pentru obținereadefondurinecesare la continuarea cercetărilor .În acest sens, prezintă o provocare GacsádiAlexandru Teză de abilitare 124serioasă a identifica cea mai potrivită modalitate de colaborare șicufilialele locale ale unor companii de profil. În scopul atingeriiacestor obiective, am în vedere ini țierea de noi colabor ăriși dezvoltarea în continuare a celor existente ,cu colective de cercetare din cadrul unor universită ți din țară (Timișoara, Cluj -Napoca, Bucure ști, Iași, etc.)și străinătate (Budapesta, Debrecen, Lyon,Kosice, etc.).Astfel, se va putea asigura concentrarea resurselor și a competen țelor existente în dif erite universită ți și centre de cercetare în vederea obținerii rezultatelor dorite . Pentru cre șterea eficienței disemin ării rezultatelor ob ținute în urma activit ăților de cercetare, va trebui să acord o aten ție sporită pentru publicarea de articole, în pri mul rând, în reviste ISI, darșiînvolumele unor conferin țe internaționale de prestigiu .Tot pentru creșterea vizibilitățiiactivităților de cercetare și didactice îmi propun să măimplic mai activ în cadrul colectivelorde redacție/ comitete științifice ale unor reviste și conferințe internaționale , inclusiv în revistele facultă ții noastre. În cele de mai sus, am formulat succint, planulmeu personal de evoluție și dezvoltare a cariereiacademice, științifice și profesionale , pe termen scurt și mediu. Înfinal,aș menționa cădoresc să -mi mențin deschiderea, libertatea de a aborda șialte subiecte de cercetare provocatoare, care în prezent nu le -am avut în vedere. În privința asigurării depline a finanțării cercetării șia condițiilor materiale pot avea c el mult un optimism limitat, darsunt convins că vomputea recruta echipă potrivită pentru fiecare dintre aceste provocări . 125Bibliografie (Adamatzky et al. 2004) A. Adamatzky, P. Arena, A. Basile, R. Carmona -Galan, B. De Lacy Costello, L. Fortuna, M. Frasca and A. Rodriguez -Vazquez, Reaction-Diffusion Navigation Robot Control: From Chemical to VLSI Analogic Processors , IEEE Trans action on Circuits and Systems –I: Regular Papers, Vol. 51, No. 5, pp. 926 -938, May, 2004. (Aggarwall and Nandhakumar 1988) J.K. Aggarwall, N. Nandhakumar, On the Computation o f Motion from Sequences of Images -A review, Proceedings of IEEE, Vol.76, No.8, pp. 917 -935, 1988. (Aizenberg et al. 2001 ) I. Aizenberg, N. Aizenberg, J. Hiltner, C. Moraga, E. Meyer zu Bexten,Cellular Neural Networks and Computational Intelligence in Me dical Image Processing , Image and Vision Computing 19, pp.177 –183, 2001. (Almudena et al.2007) L. Almudena, E. Luis, High performance FPGA -based image correlation , Journal Real -Time Image Proc., Vol. 2, Special Issue, Springer, pp. 223 -233, 2007. (Analoui 2001) M. Analoui, Radiographic digital image enhancement. Part II: transform domain techniques, Dentomax. Radiol. 30, pp.65 –77, 2001. (Angenent et al. 2006) S. Angenent, E. Pichon, A.Tannenbaum, Mathematical Methods in Medical Image Processing , Bulletin o f the American Mathematical Society, Vol. 43, pp.365-396, 2006. (Arena et al. 2005) P. Arena, L. Fortuna, M. Frasca, G. Vagliasindi, M. E. Yalcin, A. Basile, J.A.K. Suykens, CNN Wave Based Computation for Robot Navigation on ACE16k , IEEEInternational Symposium on Circuits and Systems, pp. 5818-5821, 2005. (Baataret al. 2010 )C.Baatar, W.Porod, T.Roska,(Eds.),Cellular Nanoscale Sensory Wave Computing ,Publisher Springer US , 2010. (Bailey 2011) D. G. Bailey, Design for Embedded Image Processing on FPGAs, John Wiley & Sons (Asia) Pte Ltd, Singapore, 2011. (Balch and Arkin 1998) T. Balch, R. C. Arkin, Behavior-Based Formation Control for Multirobot Teams , IEEE Transactions on Robotics and Automation, Vol. 14, No. 6,pp.926- 939,1998. (Ballester et al. 2001) C. Ballester, M. Bertalmio, V. Caselles, G. Sapiro, and J.Verdera, Filling-in by joint interpolation of vector fields and gray levels , IEEE Trans action onImage Processing, 10(1), pp.1200-1211, 2001. (Barron et al. 1994) J.L. Barron, D.J. Fl eet, S. Beauchemin, Performance of Optical Flow Techniques , International Journal of Computer Vision, 12:1, pp. 43 -77, 1994. (Bertalmio et al. 2000) M. Bertalmio, G. Sapiro, V. Caselles, and C. Ballester, Image inpainting , Computer Graphics, pp.417–424, 2000. GacsádiAlexandru Teză de abilitare 126(Bertalmio et al. 2001) M. Bertalmio, A. Bertozzi, G. Sapiro, Navier –Stokes,Fluid Dynamics, and Image and Video Inpainting , Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.1355-1362,Hawaii, 20 01. (Bozek et al. 2009) J. Bozek, M. Mustra, K. Delac, M. Grgic, in: M. Grgic, K. Delac, M. Ghanbari (Eds.), A Survey of Image Processing Algorithms in Digital Mammography Recent Advances in Multimedia Signal Processing and Communications , Springer -Verlag, Heidelberg, pp. 631 -657, 2009. (Brendel and Roska 2002) M. Brendel and T. Roska, Adaptive image sensing and enhancement using the cellular neural network universal machine, International Journal of Circuit Theory and Applications, Vol. 30, Issue 2 -3,pp.287–312, 2002. (Bruhn et al. 2003) Bruhn A., Weickert J., Feddern C., Kohlberger T., Schnorr C., Real- time optic flow computation with variational methods , Computer Analysis of Images and Patterns, pp.222 -229, 2003. (Buciu and Gacsádi 2009 ) I. Buciu, A.Gacsádi,Gabor Wavelet Based Features for Medical Image Analysis and Classification , IEEE International Symposium on Applied Sciences in Biomedical and Communication Technologies, Bratislava, Slovakia, pp. 8 -11, 2009. (Buciu and Gacsádi 2011 ) I. Buciu, A.Gacsádi,Directional features for automatic tumor classification of mammogram images ,Biomedical Signal Processing and Control Volume 6, Issue 4, pp.370 -378, 2011. (Budaes et al. 2005), A. Budaes, B. Coll and J.M. Morel, A Review of Image Denoising Algorithms, With a New One , Multiscale Model. Simul. Society for Industrial and Applied Mathematics, Vol. 4, No. 2, pp. 490 –530, 2005. (Casellas et al. 1998) V. Casellas, J.M. Morel, G. Sapiro, A. Tannenbaum, Introduction to the special issue on partial differen tial equations and geometry -driven diffusion in image processing and analysis , IEEE Trans. on Image Processing, Vol. 7, pp. 269 -273, 1998. (Cembrano et al. 2003) G. L. Cembrano, A. Rodríguez -Vázquez, S. Espejo -Meana, R. Domínguez -Castro,ACE16k: A 128×128 Focal Plane Analog Processor with Digital I/O , International Journal Neural Systems, 13(6), pp.427 -434, 2003. (Chan and Shen 2001) T. Chan, J. Shen, Mathematical Models for Local Nontexture Inpaintings , SIAMJournal of Applied Mathematics, 62(3), pages 10 19–1043, 2001. (Chan et al. 2003) T.F. Chan, J. Shen and L. Vese, Variational PDE Models in Image Processing ,Notices of the Amer. Math. Soc. Vol. 50,No.1, pp.14-26, 2003. (Chan and Esedoglu 2005) T.F. Chan and S. Esedoglu, Aspects of total variation regularized L1 function approximation ,SIAM Journal of Applied Mathematics , 65(5), pp.1817–1837, 2005. (Chua and Yang 1988) L.O. Chua, L. Yang, Cellular Neural Networks: Theory and Applications, IEEE Trans. on C ircuits and Systems Vol.35, pp. 1257-1290, 1988. GacsádiAlexandru Teză de abilitare 127(Csapodi and Roska 1996) M. Csapodi, T. Roska, Adaptive histogram equalization with cellular neural network , Proceedings of IEEE International Workshop on Cellular Neural Networks and their Applications ,pp.81-86, 1996. (David et al. 1997) David C. Brogan , Jessica K. Hodgins, Group Behaviors for Systems with Significant Dynamics , Kluwer Academic Publishers , Autonomous Robots, Nr. 4, pp.137-153, 1997. (Dogaru et al. 2013) R. Dogaru, I. Dogaru, A. Gacsádi, I. Gavrilu ț,Structura și dinamica rețelelor dinami ce complexe. Rețele neliniare celulare , Editura Matrixrom, 174 pag., 2013. (Dowling et al. 2003) J. Dowling, A. Maeder, W. Boles, Intelligent Image Processing Constraints for Blind Mobility Facilitated through Artificial Vision , The Eight Australian and NewZeeland Intelligent Information Systems Conference, pp. 109 -114, 2003. (Dudek and Vilariño 2006) P. Dudek, D.L. Vilariño, A Cellular Active Contours Algorithm Based on Region Evolution ,Proceedings of the International Workshop on Cellular Neural Networks and Their Applications, Istanbul, Turkey, pp.1 -6, 2006. (Fredslund and Mataric 2002) J. Fredslund, M. J. Mataric, A General Algorithm for Robot Formations Using Local Sensing and Minimal Communication , IEEE Transaction on Robotics and Automation, Vol. 18, No. 5, pp. 837 -846, 2002. (Gacsádi and Szolgay 2001) A. Gacsádi, P. Szolgay, Interpolation of 2D signals using CNN,Proceedings of the European Conference on Circuit Theory and Design, pp. I 349 -352, Espoo, 2001. (Gacsádi andTiponuț 2002) A. Gacsádi, V. Tiponuț, Rețele neuronale celulare . Aplicații, Editura Universitatii din Oradea, 189 pag., 2002. (Gacsádi et al. 2002) A. Gacsádi, T. Maghiar, V. Tiponuț, Path planning for a mobile robot in an environment with obstacles ,Proceedings of the International Workshop on Cellular Neural Networks and their Applications, Frankfurt/Main, Germany, pp. 188 -194, 2002. (Gacsádi and Szolgay 2003) A. Gacsádi, P. Szolgay, Adaptive image enhancement by using cellular neural networks , Proceedings of the European Conference on Circuit Theory and Design, Cracow, Poland, Vol. I, pp. 233 -236, 2003. (Gacsádi et al. 2004) A. Gacsádi, C. Grava, C. Gordan, T. Maghiar, A. Grava, R. Reiz, Inter-Slice Interpolation based on Matching Information using Cellular Neural Networks , Proceedings of the IEEE International Workshop on Cellular Neural Networks and their Applications ,pp. 417-422, Budapest, Hungary; 2004. (Gacsádi and Szolgay 2005) A. Gacsádi, P. Szolgay, Image mage inpainting methods by using cellular neural networks , Proceedings of the IEEE International Workshop on Cellular Neural Networks and their Applications pp. 198 -201, Hsinchu, Taiwan, 2005. (Gacsádi et al. 2005) A. Gacsádi ,C. Grava, A. Grava, Medical image enhancement by using cellular neural networks ,Proceedings of the IEEE International. Workshop on Computing in Cardiology, pp.821-824,Lyon, France, 2005. GacsádiAlexandru Teză de abilitare 128(Gacsádi et al. 2006a) Gacsádi A., Grava C., Tiponuț V., Szolgay P., A CNN implementation of the Horn & Schunck motion estimation method , Proceedings of the 10th International Workshop on Cellular Neural Networks and Their Applications, pp. 381 -385, Istanbul, Turkey, 2006. (Gacsádi et al. 2006b) A. Gacsádi, V. Tiponuț, P. Szolgay, Image-Based Visual Servo Control of a Robotic Arm by Using Cellular Neural Networks, Proceedings of the International Workshop on Robotics in Alpe -Adria-Danube Region, Balatonfüred, Hungary, 2006. (Gacsádi et al. 2007), Utilizarea tehnologiei rețelelor neuronale celulare pentru navigația roboților mobili autonomi , Raport de Cercetare, Gran t CNCSIS A/ 473, 2006 -2007. (Gacsádi and Szolgay 2009) A. Gacsádi, P. Szolgay, Variational Computing Based Images Denoising Methods by using Cellular Neural Networks ,Proceedings of the European Conf. on Circuit Theory and Design, Antalya, Turkey, pp.85 -88, 2009. (Gacsádi et al. 2009) A. Gacsádi, C. Grava, O. Straciuc, I. Gavriluț, PDE-Based Medical Images Denoising Using Cellular Neural Networks, IEEEProceedings of the International Symposiumon Signals Circuits and Systems, Vol. 2 , Iași, România, pp. 397-400, 2009. (Gacsádi and Szolgay 2010) A. Gacsádi, P. Szolgay, Variational Computing Based Segmentation Methods for Medical Imaging by using CNN ,Proceedings of the IEEE CNNA International Workshop on Cellular Neural Nanoscale and thei r Applications, pp. 418-423, Berkeley, California, USA, 2010. (Gacsádi et al. 2009 -2011),Dezvoltarea unor metode de prelucrare și analiză a imaginilor computer tomografice utilizând rețele neuronale celulare și integrarea acestora într-un sistem de asistare a diagnozei medicale, PN II -IDEI-Proiect de Cercetare Exploratorie, ID -668/2008, Raport de Cercetare, 2009 -2011. (Gacsádi 2010) A. Gacsádi ,Variational Computing Based Image Inpainting Methods by Using Cellular Neural Networks , Proceedings of the WSEAS International Conference on Automation & Information pp.104 -109, Iași, Romania, 2010. (Gacsádi et al. 2011) A. Gacsádi , L. Țepelea, I. Gavriluț, O. Straciuc, Energy Based Medical Imaging Segmentation Methods by using Cellular Neu ral Networks , Proceedings of the WSEAS International Conference on Systems, Recent Researches in System Science, Corfu Island, Greece, pp.190 -195, 2011. (Gavriluț et al. 2005) I. Gavriluț, A. Gacsádi , L. Țepelea, V. Tiponuț, Motion planning for two mobile robots in an environment with obstacles by using cellular neural networks , Proceedings of the IEEE International Symposium on Signals, Circuits and Systems, Iași, Romania, pp. 801 -804, 2005. (Gavriluț et al. 2006a) I. Gavriluț, A. Gacsádi, C. Grava, V. Tip onuț,Vision based algorithm for path planning of a mobile robot by using cellular neural networks , Proceedings of the International Conference on Automation, Quality&Testing, Robotics, Cluj -Napoca, Romania, pp. 306 -311, 2006. GacsádiAlexandru Teză de abilitare 129(Gavriluț et al. 2006b) I. Ga vriluț, V. Tiponuț, A. Gacsádi, Path Planning of Mobile Robots by Using Cellular Neural Networks , Proceedings of the International Workshop on Cellular Neural Networks and Their Applications ,Istanbul,Turkey,pp. 108-113, 2006. (Gavriluț et al. 2007a) I. Gavriluț, V. Tiponuț, A. Gacsádi , C. Grava, CNN Processing Techniques for Multi -robot Coordination , Proceedings of International Symposium on Signals, Circuits and Systems, Vol. 1, Iași, Romania, pp.269 -272, 2007. (Gavriluț et al. 2007b) I. Gavriluț, V. Ti ponut, A. Gacsádi, An Integrated Environment for Mobile Robot Navigation based on CNN Images Processing , Proceedings of the WSEAS International Conference on Systems, Agios Nikolaos, Crete Island, Greece, pp. 81 -86, 2007. (Gavriluț et al. 2009) I. Gavriluț , V. Tiponuț, A. Gacsádi ,Mobile Robot Navigation based on CNN Images Processing –An Experimental Setup , Proceedings of the WSEAS International Conference on Systems, Rodos Island, Greece, pp. 220 -225, 2009. (Goebel et al. 2005) P.M. Goebel, A.N. Belbachi r, M. Truppe, Noise estimation in panoramic x -raysimages: an application analysis approach ,Proceedings of the 13th IEEE Workshop on Statistical Signal Processing, pp. 996 -1001, 2005. (Gonzalez and Woods 1993) R.C. Gonzalez, R.E. Woods, Digital image processing, Addison-Wesley Publishing Company, 1993. (Gonzalez 2004) R. C. Gonzalez, R. E. Woods and S. L. Eddins, Digital Image Processing using MATLAB , Pearson Education, 2004. (Goshtasby et al. 1992) A. Goshtasby, D.A. Turner, L.V. Ackerma n,Matching of Tomographic Slices for Interpolation , IEEE Trans actionon Medical Imaging, Vol.11, No 4, pp.507-516, 1992. (Grava et al. 2003) Grava C., Gacsádi A., Gordan C., Maghiar T., Bondor K., Motion Compensation using Cellular Neural Networks , Proceedings of the European Conference on Circuit Theory and Design, Volume I, pp. I -397-I-400, Krakow, Poland, 2003. (Grava et al. 2007) C. Grava, A. Gacsádi, C. Gordan, A. M. Grava, I. Gavriluț, Applications of the Iterated Conditional Modes Algorithm for Moti on Estimation in Medical Image Sequences ,Proceedings of the IEEE International Symposium on Signals, Circuits and Systems, Iași, Romania, Vol. 1, pp. 373 -376, 2007. (Grava et al. 2010) C. Grava, A. Gacsádi, I. Buciu, A Homogeneous Algorithm for Motion Est imation and Compensation by Using Cellular Neural Networks , Intern. Journal. of Computers, Communication s & Control, Vol. V, No. 5, pp. 719-726, 2010. (Grigorescu et al. 2002) S.E. Grigorescu, N. Petkov, P. Kruizinga, Comparison of Texture Features Basedon Gabor Filters , IEEE Trans. on Image Processing 11 (10) pp.1160 – 1167, 2002. (Helal et al. 2001) A. Helal, S. Moore, B. Ramachandran, Drishti: An Integrated Navigation System for Visually Impaired and Disabled , International Symposium on Wearable Computers, pp. 149-156, 2001. GacsádiAlexandru Teză de abilitare 130(Han and Ma 2007) J. Han, K. -K. Ma,Rotation-invariant and Scale -invariant Gabor Features for Texture mage Retrieval , Image and Vision Computing 25 (9), pp.1474 –1481 2007. (Hillier et al. 2006) D. Hillier, V. Binzberger, D. L. Vilariño , Cs. Rekeczky, Topographic cellular active contour techniques: theory, implementations and comparisons , Intern. Journal of Circuit Theory and Applications, Vol. 34, Issue 2, pp.183 -216, 2006. (Horn and Schunck 1981) B.K.P. Horn, B.G. Schunck, Determining Optical Flow , Artificial Intelligence 17, pp. 185 -203, 1981. (Hutchinson et al. 1996) S. Hutchinson, G.D. Hager, P.I. Corke, A tutorial on visual servo control , IEEE Transactions on Robotics and Automation, Vol. 12, pp. 651 -670, 1996. (Islam et al. 2010) M .J. Islam, M. Ahmadi, M.A. Sid -Ahmed, An Efficient Automatic Mass Classi fication Method In Digitized Mammograms Using Artificial Neural Network , International Journal of Arti ficial Intelligence & Applications 1 (3) pp.1 –13, 2010. (Jähne 2002) B. Jähne, Digitalimage processing, Heidelberg, Springer -Verlag, Berlin, 2002. (Karacs et al. 2008) K. Karacs, A. Lazar, R. Wagner, B. Balint, T. Roska, M. Szuhaj, Bionic eyeglass: The first prototype A personal navigation device for visually impaired -A review, InternationalSymposium on Applied Sciences on Biomedical and Communication Technologies, Aalborg, pp. 1-5, 2008. (Kincses et al. 201 1) Z. Kincses, L.Orzó, Z. Nagy, G. Mező and P. Szolgay, High- Speed, SAD Based Wavefront Sensor Architecture Implementation on F PGA, Journal of Signal Processing Systems, Springer, New York, Vol. 64, Issue 3, pp. 279 -290, 2011. (Kincses et al. 2012) Z. Kincses, Zs. Vörösházi, Z. Nagy, P. Szolgay, T. Laviniu, A. Gacsádi,Investigation of area and speed trade -offs in FPGA implementat ion of an image correlation algorithm ,Proceedings of the Intern ationalWorkshop on Cellular Nanoscale Networks and their Applications, Turin, Italy, pp.1 -5, 2012. (Konrad 2000) J. Konrad, Motion detection and estimation , Image Processing HandBook, Network ing and Multimedia, pp. 207 -227, 2000. (Kube and Zhang 1997) C. R. Kube, H. Zhang, Task modelling in collective robotics , Kluwer Academic Publishers, Autonomous Robots, No. 4, pp. 53 -72, Manufactured in The Netherlands, 1997. (Lee 1996) T. Lee, ImageRepresentation using 2d Gabor Wavelets , IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.18 (10), pp.959 –971, 1996. (Linan et al. 1999) G. Linan, S. Espejo, R. Dominguez -Castro, E. Roca, A. Rodriguez – Vazquez, CNNUM3: A mixed -signal 64×64 CNN Univ ersal Chip , Proceedings of International Conference on Microelectronics for Neural, Fuzzy and Bio -inspired Systems, pp.61-68, 1999. (Mondada et al. 2003) F. Mondada, A. Guignard, M. Bonani, D. Floreano D. Bär, M. Lauria,SWARM-BOT: From Concept to Implementation, IEEE/RSJ International Conference on Intelligent Robot and Systems , pp.1626-1631, 2003 . GacsádiAlexandru Teză de abilitare 131(Morel and Solimini 1995 ) J. Morel and S. Solimini, Variational Methods in Image Segmentation , Vol. 14 of Progress in Nonlinear Differential Equations a nd their Applications, Birkhauser, 1995. (Mumford and Shah 1985) D. Mumford, J. Shah, Boundary detection by minimizing functionals , Proceedings of IEEE Conference on Computer Vision and Pattern Recognition pp.22-26, 1985. (Mumford and Shah 1989) D. Mumfor d, J. Shah, Optimal approximations by piecewise smooth functions and associated variational problems , Comm. Pu re Applied. Math., Vol. 17, pp.577–685, 1989. (Murat 1997) T.A. Murat, Digital Video Processing , Prentice Hall PTR, Upper Saddle River, NJ 07458, Prentice Hall Signal Processing series, 1997. (Nagy et al. 2006) Z. Nagy,Zs. Vörösházi ,P. Szolgay ,Emulated Digital CNN -UM Solution of Partial Diferential Equations , Intern. Journal of Circuit Theory and App lications Vol. 34,Issue 4,pp.445-470, 2006. (Oliveiraet al. 2001) M.M. Oliveira, B. Bowen, R. McKenna, Y.S. Chang, Fast Digital imageinpainting ,Proceedings of the Int ernational Conference on Visualization, Imaging and Image Processing, pp.261-266, Marbella, 2001. (Perona and Malik 1990 ),P. Perona and J. Malik, Scale Space and Edge Detection Using Anisotropic Diffusion , IEEE Trans. Pa ttern Analysis and Machine Intelligence, Vol. 12, pp.629-639, 1990. (Perona and Tartagni 1994) P. Perona, T. Tartagni, Diffusion networks for on -chip image contrast normalization , Proceedings of IEEE International Conference on Image Processing, pp.1 -5, 1994. (Pham et al. 2000) D. L. Pham, C. Xu, J. L. Prince, A Survey of Current Methods in Medical Image Segmentation , Annual Review of Biomedical Engineering, Vol. 2, pp.315 – 338, 2000. (Rekeczky 1997) C. Rekeczky, MATCNN -Analogic Simulation Toolbox for Matl ab, Version 1.0, Analogical and Neural Computing Laboratory, Computer and Automation Institute of the Hungarian Academy of Sciences, Budapest, 1997. (Rekeczky et al. 1998) Cs. Rekeczky, T. Roska, A. Ushida: CNN-based difference – controlled adaptive on non -linear image filters , Int. Journal of Circuit Theory and Applications, Vol. 26, pp. 375-423, 1998. (Rekeczky and Chua 1999) Cs. Rekeczky and L.O. Chua, Computing with Front Propagation: Active Contour and Skeleton Models in Continuous -TimeCNN,Journal of VLSI Signal Processing Systems, 23(2/3), pp.373 -402, 1999. (Rekeczky et al. 2000) Cs. Rekecyky, T. Serrano -Gotarredona, T. Roska, Á. Rodriguez – Váyquez, A stored program 2ndorder/ 3-layer complex cell C NN-UM, Proceedings of IEEE International Workshop on Cellular Neural Networks and their Applications, pp.213 -217, Catania, 2000. GacsádiAlexandru Teză de abilitare 132(Rekeczky and Roska 2001) Cs. Rekeczky, T. Roska, Calculating local and global PDEs by analogic diffusion and wave algorithms , Proceedings of the European Conference onCircuit Theory and Design II: pp.17 -20, 2001. (Rekeczky 2002) Cs. Rekeczky, CNN Architectures for Constrained Diffusion Based Locally Adaptive Image Processing: Research Articles ,InternationalJournal of Circuit Theory and Applications Vol. 30,pp.313-348, 2002. (Roska and Chua 1993) T. Roska, L. O. Chua, The CNN universal machine: an analogic array computer , IEEE Trans. on Circuits and Systems II: Analog and Digital Signal Processing, Vol. 40, pp. 163-173, 1993. (Roska et al. 2006) T. Roska, D. Balya, A. Lazar, K. Karacs, and R. Wagner, System aspects of a bionic eyeglass , Proceedings IEEE International Symposium on Circuits and Systems, pp. 161 -164, 2006. (Rudin et al. 1992) L. Rudin, S. Osher, E. Fatemi, Nonlinear total variational based noise removal algorithms, Physica D, Vol. 60, pp. 259–268, 1992. (Schneider and Wildermuth 2003) F.E. Schneider, D. Wildermuth, A potential field based approach to multi robot formation navigation, Proceedings of the IEEE International Conference on Robotics, Intelligent Systems and Signal Processing, pp.680-685,2003. (Shah 1996 ) J. Shah, A Common Framework for Curve Evolution, Segmentation and Anisotropic Diffusion ,Proceedings IEEEon Computer Vision and Pattern Recognition, pp.136-142, 1996. (Shen 2003) J. Shen, Inpainting and the fundamental problem of image processing , SIAM News, 36(5), 2003. (Shoval et al. 2003) S. Shoval, I. Ulrich, J. Borenstein, Robotics-based obstacle avoidance systems for the blind and visually impaired , IEEE Robotics and Automation Magazine, Vol. 10, No. 1, pp. 9 -20, 2003. (Siemiatkowska 1994) B. Siemi ątkowska, Cellular neural network for mobile robot navigation , Proceedings of the IEEE International Workshop on Cellular Neural Networks and their Applications, Rome, pp. 2 85-290, 1994. (Soinio 2003) A. Soinio, A Lego-robot with camera controlled by Matlab , LEGO Group Company, http://www.abo.fi/fak/tkf/rt/robot, 2003. (Strickland and Hahn 1996) R.N. Strickland, H. Hahn, Wavelet Transforms for Detecting Microcalci ficationsinMammograms IEEE Trans. on Medical Imaging, 15, pp.218 – 229, 1996. (Szabó et al. 2002) T. Szabó, P. Barsi, P. Szolgay, Application of analogic CN N algorithms in telemedical neuroradiology , Proceedings of IEEE International Workshop on Cellular Neural Network s and their Applications, pp.579-586, Frankfurt Main, 2002. (Swiniarski et al. 2001) R. Swiniarski, T. Luu, A. Swiniarska, H. Tanto, DataMining and On-line Recognition of Mammographic Images Based on Haar Wavelets, Principal Component Analysis and Rough Sets Methods, International SPIE Symposium Medical Imaging pp.17 -23, 2001. GacsádiAlexandru Teză de abilitare 133(Tiponuț et al. 2005 -2007) V. Tiponuț, A. Gacsádi, C. Lar, I. Gavriluț, Ș. Oniga, C. Gavrincea, L. Țepelea,R. Caciora, Mediu integrat pentru deplasarea asistat ăa persoanelor cu handicap vizual , Grant CNCSIS A 639/2005, Raport de Cercetare, 2005 -2007. (Tiponuț et al. 2006 b) V. Tiponuț, A. Gacsádi, L. Țepelea, C. Lar, I. Gavrilu ț, Integrated Environment for Assisted Movement of Visually Impaired , Proc. Intern. Workshop on Robotics i n Alpe-Adria-Danube Region, Balatonfüred, Hungary, pp. 234 -239, 2006. (Tiponuț et al. 2009) 129 V. Tiponu ț, D. Ianchis, Z. Haraszy, Assisted Movement of Visually Impaired in Outdoor Environments , Proceedings of the WSEAS International Conference on Systems , Rodos, Greece, pp.386 -391, 2009. (Tiponuț et al. 2010) V. Tiponuț, I. Gavriluț, A. Gacsádi, Roboți mobili autonomi – Conducere cu rețele neuronale artificiale , Editura Politehnica din Timișoara, 286 pag., 2010. (Turner 1986) M.R. Turner, TextureDiscrimination by Gabor functions , Biological Cybernetics, Vol.55, pp.71 –82, 1986. (Țepelea et al. 2010) L. Țepelea, I. Gavriluț, A. Gacsádi ,Edge Based CNN Image Segmentation Methods for Medical Imaging , Journal of Computer Science and Control Systems, Un iversity of Oradea Publisher, Vol. 3, Issue 2, pp.95 -98, 2010. (Țepelea et al. 2011) L. Țepelea, A. Gacsádi , I. Gavriluț, V. Tiponuț, A CNN Based Correlation Algorithm to Assist Visually Impaired Persons ,IEEEProceedings of the InternationalSymposiumonSignals Circuits and Systems, Iași, Romania, pp.169-172,2011. (Țepelea et al. 2014) L. Țepelea, V. Tiponuț, P. Szolgay, A. Gacsádi ,Multicore Portable System for Assisting Visually Impaired People , International Workshop on Cellular Nanoscale Networks and their Applications, July 29 -31, University of Notre Dame, USA, pp.1-2, 2014. (Ulrich et al. 2001) I. Ulrich, J. Borenstein, The GuideCane -Applying Mobile Robot Technologies to Assist the Visually Impaired , IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and Humans, Vol. 31, No. 2, pp. 131 -136, 2001. (Vainio et al. 1995) M. Vainio, T. Schönberg, A. Halme, P. Jakubik, Optimizing the Performance of a Robot Society în Structured Environment through Genetic Algorithms, Robotics and Emulati on of Animal Behavior ,Advances in Artificial Life, Vol. 929 of the series Lecture Notes in Computer Science, pp 733-746, 2005. (Van der Heijden et al. 2005) 18 F. Van der Heijden, P.P.L. Regtien, Wearable navigation assistance –a tool for the blind , Measurement Science Review, Vol. 5, Section 2, 2005. (Velázquez et al. 2003) R. Velázquez, F. Maingreaud, E. Pisaloux, Intelligent Glasses: A New Man -Machine Interface Concept Integrating Computer Vision and Human Tactile Perception , EuroHaptics, Dublin, pp. 4 56-460, 2003. (Verma et al. 2010) B. Verma, P. McLeod, A. Klevansy, Classification of benign and malignant patterns in digital mammograms for the diagnosis of breast cancer , Expert Systems with Applications 37 (4) ,pp.3344-3351, 2010. GacsádiAlexandru Teză de abilitare 134(Vilariño et al. 2003 ) D.L. Vilariño, D. Cabello, X.M. Pardo, V.M. Brea, Cellular Neural Networks and Active Contours: a Tool for Image Segmentation , Image and Vision Computing, 21, pp.189 -204, 2003. (Vilariñoand Rekeczky 2004) D. L. Vilarino, Cs. Rekeczky, Shortest path prob lem with pixels level snakes: Application to robot path planning , Proceedings of the IEEE International Workshop on Cellular Neural Networks and their Applications, pp. 135 -140, Budapest, 2004. (Vilariño and Rekeczky 2005) D.L. Vilariño and Cs. Rekeczky, Pixel Level Snakes on the CNNUM: Algorithm Design, On -chip Implementation and Applications , International Journal of Circuit Theory and Applications, Vol. 33, Issue 1 , pp.17-51, 2005. (Webb 1988) S. Webb, The Physics of Medical Imaging , Adam Hilger, Bristol , U.K, 1988. (Wei et al. 2005 a) Wei W., Hou Z. -X., Guo Y. -C.,A displacement search algorithm for deformable block matching motion estimation , Proceedings of IEEE International Symposium on Communications and Information Technology, pp. 457 -460, 2005. (Weiet al. 2005b) L. Wei, Y. Yang, RM Nishikawa, Y. Jiang, A Study on Several Machine-LearningMethods for Classi fication of Malignant and Benign Clustered Microcalci fication, IEEE Trans. on Medical Imaging ,24 (3),pp.371-380, 2005. (Zhuand Thall 2002) Zhu Y., Thall T. J., A modified block matching method for real – time freehand strain imaging , Ultrasonic Imaging, Vol. 24, pp. 161 -176, 2002. (***1999a) *** “ CadetWin -99,CNN application development environment and toolkit under Windows ” Version 3.0, Analogical an d Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Science, Budapest, 1999. (***1999b) ***“CadetwWin -99, Extended analogic macro code (AMC) and interpreter” , Reference Manual, Version 3.0, Analogical and Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Sciences, Budapest, 1999. (*** 2007) ***“Bi-i V301F-Vision System ”,InstantVision Integrated Software Environment , Version 3.1, User’s Manual, AnaLogic Computers Ltd., 2007. (*** 2010) ***Software Library for Cellular Wave Computing Engines in an era of kilo-processor chips , Version 3.1, Cellular Sensory and Wave Computing Laboratory of the Computer and Automation Research Inst., Hungarian Academy of Sciences and the Jedlik Laboratories of the Pázmány P éterCatholic University Budapest, 2010. (***Matlab)***Matlab Tools and Development Environment. (***MIAS) Mammographic Image Analysis Society, http://www.wiau.man.ac.uk/services/MIAS/MIASweb.html. (*** 2012) ***, Xilinx Inc , 2012:www.xilinx.com . (*** c-robotics) www.c-robotics.com.
Copyright Notice
© Licențiada.org respectă drepturile de proprietate intelectuală și așteaptă ca toți utilizatorii să facă același lucru. Dacă consideri că un conținut de pe site încalcă drepturile tale de autor, te rugăm să trimiți o notificare DMCA.
Acest articol: 155 Teza De Abilitare Gacsadi Alexandru Text (ID: 700016)
Dacă considerați că acest conținut vă încalcă drepturile de autor, vă rugăm să depuneți o cerere pe pagina noastră Copyright Takedown.