Autentificare Biometrica Multimodala

Securitatea biometrică este o metodă computerizată de verificare a identității persoanelor pe baza propriului corp sau atributelor fizice. Printre diferitele forme de securitate biometrică care există în zilele noastre menționăm amprentarea, recunoașterea irisului, recunoașterea vocii si a feței, precum și verificarea semnăturii olografe. Această lucrare prezintă o abordare care combină ultimele două metode. Mai multe topologii sunt testate și rata lor de recunoaștere este comparată atunci când sunt aplicate pe un set de date al fețelor de referință și o baza de date de semnături olografe proprie.

1. INTRODUCERE

După studii privind diferite metode biometrice de verificare și ținând cont de resursele disponibile, s-a stabilit că arhitectura sistemului bimodal va consta în două caracteristici biometrice: recunoașterea facială (face recognition) și recunoașterea semnăturii (handwritten signature recognition). Aceste trăsături biometrice au multe caracteristici importante: sunt ușor de utilizat și non-invazive, sunt dificil de fraudat ambele caracteristici simultan, procesarea profilelor biometrice se face local (confidențialitatea este garantată), prelucrarea datelor biometrice de asemenea, făcându-se la nivel local. În prezent, interesul față de recunoașterea fețelor și verificarea semnăturilor persoanelor s-a extins într-o gamă largă de domenii, cum ar fi probleme de securitate, interfața om-mașină, comunicații multimedia, probleme de control al accesului etc (Patriciu et al, 2006; Petac et al, 1998; Sanjekar et al, 2013).

Recunoașterea fețelor a devenit o arie populară de cercetare în computer vision, în principal datorită creșterii cererilor de securitate și a potențialelor sale aplicații, cum ar fi cele comerciale și de aplicare a legii (law enforcement). Este o problemă actuală foarte dificilă, neexistând nicio tehnică ce oferă o soluție robustă pentru toate situațiile și diferitele aplicații cu care se confruntă recunoașterea facială. Pentru recunoașterea feței folosim trei algoritmi: Nearest Neighbour (Cel mai apropiat vecin), Eigenfaces (Turk et al, 1991) și metoda Lanczo (Grecu (Lițǎ) et al, 2013; Grecu (Lițǎ) et al, 2014). Alți algoritmi bazați pe algebra numerică (Grecu (Lițǎ) et al, 2014) sau algoritmi pe bază de tensori (Lițǎ et al, 2015) vor fi utilizați într-o lucrare viitoare.

Analiza subspațiilor (subspace analysis) constă din proiectarea unui set de training și din imaginea pe care o căutăm pe un subspațiu de dimensiune mai mică. Găsirea unui subspațiu al proiecției (projection subspace) este partea cea mai grea pentru această metodă. Algoritmul Eigenfaces, care se bazează pe PCA, este algoritmul standard pentru problemele de recunoaștere a feței. Prezentăm de asemenea metoda Lanczos, pentru care, așa cum este raportat în această lucrare, rata de recunoaștere este mai mare decât cea a PCA și Nearest Neighbour (cel mai apropiat vecin).

După ce algoritmii precizați anterior au fost aplicați pe problema verificării semnăturii din punct de vedere grafologic (handwritten signature verification), este prezentat un model de verificare prin utilizarea unei arhitecturi de rețele neuronale (Neural Networks – NNs). Rețelele neuronale au fost utilizate ca metode automate de recunoaștere a șabloanelor de mai mult de un sfert de secol. Două dintre motivele pentru care sunt atât de utilizate pe scară largă includ puterea lor de a permite utilizatorilor să modeleze funcții complexe și de a fi ușor de utilizat, în principal din cauză că NNs învață prin exemplu, fiind suficient să se colecteze un set de date reprezentativ, urmat de algoritmi care învață structura care stă la baza datelor. Principiul de bază al clasificării celui mai apropiat vecin este de a trata fiecare imagine ca un "punct" în spațiu, și de a clasifica noi puncte atribuindu-le la cel mai apropiat punct de cel marcat. Procesul inerent de învățare în rețelele neuronale (NNs) poate fi aplicat la procedura de verificare a semnăturilor olografe ce sunt captate electronic prin intermediul unui pad pentru semnatura electronica .

Această lucrare este organizată după cum urmează: primul capitol constă într-o scurtă introducere, urmând ca în cel de-al doilea capitol – starea actuală a domeniului – să se prezinte un rezumat al unui studiu privind sistemele biometrice multimodale. Capitolul trei discută soluția propusă, diferitele metode folosite fiind descrise. Al patrulea capitol oferă informații în ceea ce privește implementarea soluției. De asemenea, sunt discutate partea de testare și rezultatele obținute în urma validării testelor pe acest sistem. Ultimul capitol oferă concluzii, precum și limitările pe care le-am întâmpinat, împreună cu dezvoltările viitoare.

2. STAREA ACTUALĂ A DOMENIULUI

Există multe metode biometrice în zilele noastre care pot alcătui un sistem multimodal. Una dintre metode este termografia în infraroșu – facială, a mâinii sau a venei – realizată prin captarea modelului de căldură radiat de către organismul uman cu ajutorul unui aparat de fotografiat în infraroșu. Gait, o metodă biometrică spațio-temporală, este o tehnologie recentă care studiază modul specific în care o persoană merge. Deși keystroke dynamics reprezintă o metodă biometrică comportamentală, s-a ajuns la concluzia că forma urechii și structura țesutului cartilaginos (pinna) sunt distincte. Semnăturile sunt, de asemenea, un comportament biometric care se schimbă cu timpul, fiind influențate de condițiile fizice și emoționale ale persoanei.

Acidul dezoxiribonucleic (ADN) este unul dintre cele mai fiabile metode biometrice, fiind caracterizat printr-un cod unidimensional unic pentru fiecare persoană, cu excepția gemenilor identici. O altă metodă biometrică este vocea – caracteristicile vocii unei persoane se bazează pe caracteristicile fizice, cum ar fi timbrul vocal, gura, căile nazale și buzele care sunt folosite în crearea unui sunet. Amprentele degetelor și ale palmelor sunt, de asemenea, două metode biometrice; pentru că palma este mai mare decât un deget, amprenta palmei este de așteptat să fie chiar mai fiabilă decât amprenta degetelor.

Până în prezent există unele sisteme multimodale care au fost implementate, folosind diferiți algoritmi și niveluri de fuziune. O abordare a fost dată de Hariprasath S. et al. conținând un sistem cu iris și amprenta palmara folosind Wavelet Transform Packet (WPT) (Hariprasath et al, 2012). O altă implementare multimodală bazată pe față și ureche au fost propuse de Kumar A. et al. prin utilizarea de wavelet Haar și Scale Invariant Feature Transform (SIFT) (Kumar et al, 2012). Jahanbin S. et al au propus un cadru multimodal pentru recunoaștere (2D + 3D) a feței folosind wavelet-ul Gabor (Jahanbin et al, 2011).

Murakami T. et al au propus tehnica de indexare pe nivel bazată pe față, amprente digitale și iris. Zheng Y. et al au venit cu un sistem folosind imagini multispectrale ale feței cu patru metode de fuziune diferite, adică fuziunea medie, analiza linear discriminantă, fuziune a k cel mai apropiat vecin (kNN), și modelul de lanțuri Markov ascunse (HMM) (Zheng et al, 2011). Gargouri Ben Ayed N. et al au dezvoltat un sistem cu ajutorul amprentelor digitale și de recunoaștere a feței folosind wavelet Gabor și modele binar locale (LBP) (Gargouri Ben Ayed N. et al, 2011).

3. SOLUȚIA PROPUSĂ

După cercetările efectuate pe diverse metode biometrice și luând în considerare resursele disponibile, s-a stabilit că arhitectura sistemului multimodal ar trebui să utilizeze două caracteristici biometrice: recunoaștere facială si recunoaștere a semnăturii olografe.

Figura 1. Arhitectura sistemului multimodal propus

Diferiți algoritmi au fost dezvoltați pentru recunoașterea feței, aceia dintre ei care erau folosiți în alte ramuri ale științei fiind adaptați pentru a rezolva această problemă (Kirby et al, 1990; Kumar et al, 2012; Turk et al, 1991; Turk et al, 1991). Algebra liniară, având vectori și matrice ca obiecte principale, a oferit mulți algoritmi de valoare.

3.1. Algoritmul celui mai apropiat vecin (Nearest Neighbour Algorithm)

Cea mai simplă metodă care poate fi folosită în recunoașterea diferitelor fețe și forme este căutarea secvențială, adică găsirea celui mai adecvat "vecin"; în cazul nostru, cel care "seamănă" cu persoana căutată. Fiind dată o imagine Γ, este căutată cea mai apropiată imagine din setul de date.

Acest algoritm compară poza Γ, cu fotografiile Γi și caută după indicele i0 , astfel încât

(1)

3.2. Algoritmul Eigenfaces

Această metodă reprezintă principalul algoritm pentru rezolvarea problemelor de recunoaștere a feței. Eigenfaces sunt principalele componente ale unui set de date de fețe sau vectorii proprii echivalenți ai matricei de covarianță. Acestea sunt numite eigenfaces pentru că seamănă cu chipuri umane, atunci când acestea sunt reprezentate. Un set de eigenfaces pot fi generate prin PCA, un proces matematic pe un set de date care conține fețe diferite. Acești vectori proprii sunt aleși în ordine descrescătoare ai importanței lor, prima componentă fiind de cea mai mare semnificație și așa mai departe. De asemenea, este important să se ia în considerare limitarea, fiecare componentă principală fiind ortogonală la toate componentele principale anterioare.

Toate imaginile N din setul de date au aceeași rezoluție M = n1 × n2; acestea sunt transformate în vectori Γi ∈ IRM. Vectorul mediu Ψ se calculează și se scade din toți vectorii φi = Γi − Ψ. Matricea de covarianță C = AAT este de dimensiune M × M. Deoarece M este un număr foarte mare, dimensiunea se va reduce. Fie L = AT A, L ∈ IRNxN. N, numărul total de imagini, fiind un număr mai mic decât dimensiunea unui vector M, este mai ușor să se calculeze N vectori proprii și N valori proprii pentru o matrice de dimensiune N × N.

După ce eigenfaces a fost creat, identificarea poate începe. Eigenfaces cuprinde un subspațiu M’ dimensional al spațiului original al imaginii. Vectorii proprii semnificativi M’ din matrice sunt selectați de cele mai mari valori proprii asociate. În practică, M’ = 7 eigenfaces au fost folosiți atunci când M are 16 imagini faciale.

3.3 Lanczos Algorithm

Metoda Lanczos (Lanczos Algorithm). A treia metodă utilizata, algoritmul Lanczos, se bazează pe metoda proiecției de reducere dimensională. Această metodă simulează descompunerea trunchiată a valorii singulare (SVD) pentru matrice mari. Această abordare se realizează prin utilizarea unui număr mic de vectori Lanczos, chiar dacă nu calculează în mod explicit valorile singulare/vectorii matricei. Aceasta este o metodă cu cost redus în comparație cu cea a SVD trunchiat.

Pe lângă algoritmii de mai sus ce au fost testați pentru baza de date a semnăturilor, am implementat, de asemenea, o metodă bazată pe rețele neuronale, folosind hărți cu auto-organizare (Self Organizing Maps – SOM) – o tehnică de vizualizare a datelor ce a fost introdusă de Teuvo Kohonen (Kohonen et al, 2000), care reduce dimensiunile de date prin utilizarea rețelelor neuronale de tip hartă cu auto-organizare (Paigwar et al, 2013). Deoarece datele de mari dimensiuni se reduc la o hartă de 1 sau 2 dimensiuni, este ușor pentu ca datele să se vizualizeze și clasifice. Mapările sunt construite printr-un proces de instruire competitiv și nesupravegheat. Instruirea trebuie să aibă loc pentru o regiune extinsă a rețelei centrat pe modul maxim activ, ponderile și rata de învățare fiind stabilite inițial.

După ce semnăturile de antrenare sunt încărcate, este rulata etapa de preprocesare a imaginilor, care constă din conversia imaginilor în binar, urmată de funcțiile de redimensionare și remodelare. Apoi rețeaua neuronală este creată și este antrenată.

3.4. Harți cu auto-organizare (Self Organizing Maps – SOM)

Hărțile cu auto-organizare sunt un subtip de rețele neuronale artificiale. Acestea sunt instruite folosind învățarea nesupravegheată pentru a produce o reprezentare scăzută ca dimensiune a eșantioanelor de antrenare (training samples) păstrând în același timp proprietățile topologice ale spațiului de intrare (input space). Astfel, SOM sunt rezonabile pentru vizualizarea datelor de mari dimensiuni, asemănătoare cu scalarea multidimensională. Scopul principal al SOM este de a transforma un model în care vine un semnal de dimensiuni arbitrare, într-o hartă discret de una sau două dimensiuni, și de a efectua această transformare adaptiv într-un mod ordonat topologic.

SOM este o rețea cu propagare înainte (feed forward network) cu singur strat în care sintaxele de ieșire sunt dispuse într-o grilă joasă dimensional (de obicei 2D sau 3D). Fiecare intrare este conectat la toți neuronii de ieșire. Un vector de ponderi este atașat la fiecare neuron cu aceeași dimensiune ca vectorii de intrare. Numărul de dimensiuni de intrare este de obicei mult mai mare decât dimensiunea grilei de ieșire. O hartă cu auto-organizare este prezentată în Figura. 2.

Figura 2. Self-Organizing map

(http://www.lohninger.com/helpcsuite/kohonen_network__background_information.htm )

BIBLIOGRAFIE:

Gargouri Ben Ayed N., Masmoudi A. D., MasmoudiD. S, 2011, "A New Human Identification based on Fusion Fingerprints and Faces Biometrics using LBP and GWN Descriptors", Proc. of 8th International Multi-Conference on Systems, Signals and Devices (SSD), Sousse, 1-7.

Grecu (Lițǎ) L., Pelican E., 2013, "Systematic and comparative experiments with some algorithms for pattern recognition", Topics in mathematical modeling of life science problems – Proceeding of the 9th Workshop on Mathematical Modeling for Environmental and Life  Science Problems, MatrixRom Bucharest, 27-42, ISSN 2344 – 1801.

Grecu (Lițǎ) L., Pelican E., 2014, "A Comparative Study of some Algorithms for Face Recognition", ROMAI J., v.10, 93–104.

Grecu (Lițǎ) L., Pelican E., 2014, "Customized orthogonalization via deflation algorithm with applications in face recognition", Carpathian J Math. 30, No. 2, 231 – 238.

Hariprasath S., Prabakar T., 2012, "Multimodal Biometric Recognition using Iris Feature Extraction and Palmprint Features", Proc. of International Conference on Advances in Engineering, Science and Management (ICAESM), Nagapattinam, 174-179.

Jahanbin S., Choi H.,Bovik A., 2011, "Passive Multimodal 2D+3D Face Recognition using Gabor Features and Landmark Distances", IEEE Trans. on Information Forensics and Security, vol. 6, no. 4, 1287-1304.

Kartik P., Prasad Vara R. V. S. S. and Prasanna Mahadeva S. R., 2008, "Noise Robust Multimodal Biometric Person Authentication System using Face, Speech and Signature Features", in Proc. of Annual IEEE India Conference (INDICON), Kanpur, vol. 1, 23-27.

Kirby M., and Sirovich L., 1990, "Application of the Karhunen-Loeve Procedure for the Characterization of Human Faces",IEEE Transactions on Pattern Analysis and Machine Intelligence, No. 1, 103–108.

Kohonen, Teuvo, et al., 2000,"Self organization of a massive document collection", Neural Networks, IEEE Transactions on 11.3, 574-585.

Kumar A., Hanmandlu M., Vasikarla S., 2012,"Rank Level Integration of Face Based Biometrics", Proc. of Ninth International Conference on Information Technology: New Generations (ITNG), 36-41.

Lițǎ L., Pelican E., 2015, "A low-rank tensor-based algorithm for face recognition", Applied Mathematical Modelling, 1266–1274.

Mahesh P. K., Swamy M. N. S., 2010, "A Biometric Identification System based on the Fusion of Palmprint and Speech Signal", in Proc. of International Conference on Signal and Image Processing (ICSIP), 186-190.

Monwar M., Gavrilova M., 2009, "Multimodal Biometric System using Rank-Level Fusion Approach", IEEE Trans. On Systems, Man, and Cybernetics-Part B: Cybernetics, vol. 39, no. 4, 867-878.

Murakami T., Takahashi K., 2011, "Fast and Accurate Biometric Identification Using Score Level Indexing and Fusion", in Proc. Of International Joint Conference on Biometrics (IJCB), USA, 978-985.

Patriciu V.V., Ene-Pietroṣanu M., Bica I., Priescu J., 2006, "Digital signatures and Computer Science Security", BicAll.

Paigwar S., Shukla S., 2013, "Neural Network Based Offline Signature Recognition andVerification System",Research Journal of Engineering Sciences ,Vol. 2(2), 11-15.

Petac E., Petac D., 1998, "Principles and Techniques for Information Protection in Computer Networks", MatrixRom