ACADEMIA TEHNICĂ MILITARĂ „FERDINAND I” FACULTATEA DE SISTEME INFORMATICE ȘI SECURITATE CIBERNETICĂ Programul de master: Securitatea tehnologiei… [613100]

ROMÂNIA
MINISTERUL APĂRĂRII NAȚIONALE
ACADEMIA TEHNICĂ MILITARĂ „FERDINAND I”

FACULTATEA DE SISTEME INFORMATICE ȘI SECURITATE CIBERNETICĂ
Programul de master: Securitatea tehnologiei informației

Proiect de disertație cu tema
„Atacuri și contramăsuri la nivelul senzorului biometric ”

CONDUCĂTOR ȘTIINȚIFIC:
Lect . dr. ing. SPÎNU Stelian

MASTERAND: [anonimizat]___________file
Inventariat sub nr._____
Poziția din indicator:___
Termen de păstrare____

BUCUREȘTI
2019

NECLASIFICAT
NECLASIFICAT
1 din 55

Rezumatul propunerii de proiect

Recunoașterea fiabilă a persoanelor devine foarte importantă în
societatea din ziua de azi, care este din ce in ce mai interconectată.
Recunoașterea biometrică se referă la identificarea sau verificarea identității unei
persoane pe baza unor caracteristici fizice sau comportamentale, cum ar fi
amprentele digitale, chipul, irisul și vocea. Biometria poate oferi un grad mai
mare de securitate și o sporire a confortului utilizatorului în comparație cu
metodele tradiționale ( bazate pe cunoaștere sau pe posesie) de recunoaștere a
persoanelor.
Atacurile de tip spoofing sunt una din tre trăsăturile de securitate la care
sistemele de recunoaștere biometrice se dovedesc a fi vulnerabile. Când este
falsificat, un sistem de recunoaște re biometric este ocolit prin prezentarea unei
copii biometrice a unui utilizator legitim . Dintre toate modalitățile biometrice,
păcălirea sistemul de recunoaștere a feței este foarte ușor de realizat: tot ce este
necesar este o fotografie a utilizatorului .
Proiectul iși propune abordarea problemei detectării atacurilor de tip
spoofing în cadrul unei aplicații de detectare a încercării unui utilizator de a
păcăli sistemul cu ajutorul unei fotografii/video .
Atacul de tip spoofing este un atac direct asupra intrării senzoriale a unui
sistem biometric și atacatorul nu are nevoie de cunoștințe anterioare despre
algoritmul de recunoaștere. Majoritatea modalităților biometrice nu sunt
rezistente la atacurile de tip spoofing : sistemele b iometrice sunt de obicei
concepute să recunoască identitățile fără a verifica dacă identitatea este vie sau
nu. În ciuda existenței unor sisteme sofisticate de autentificare biometrică și de
verificare în zilele noastre, implementarea schemelor de anti -spoofing pentru ele
este încă în fază incipientă.
În funcție de modalitatea biometrică care este atacată, fabricarea datelor
biometrice false poate avea diferite nivele de dificultate. În timp ce crearea un
fișier de către atacator pentru a ocoli un sistem de recunoaștere a amprentelor
digitale sau pentru a tipări lentilele de contact pentru a păcăli un sistem de
recunoaștere a irisului necesită o anumită experiență, este foarte ușor de creat o
copie a chipului cuiva. Tot ce este nevoie este o fotografie a per soanei, care
poate fi găsită cu ușurință pe i nternet sau luată de la utilizator.
Aceste atacuri au atras din ce în ce mai multă atenție și prin urmare au
apărut o serie de publicații care abordează problema în diferite moduri .
Posibilele opțiuni includ introducerea de dispozitive suplimentare pentru a
detecta dacă există persoană vie în față camerei sau solicitând utilizatorului să
răspundă la o anumită provocare, cum ar fi efectuarea unui gest special. Cu toate

NECLASIFICAT
NECLASIFICAT
2 din 55
acestea, sistemele complet automate care n u se bazează pe hardware suplimentar
și nu sunt intruzive sunt mai ieftine și mai convenabile pentru utilizator.

Abstract

Reliable systems of face recognition became very import ant in today's
increasingly interconnected society .
Biometric recognition re fers to identifying or verifying a person's identity
based on physical or behavioral characteristics such as fingerprints, face, iris and
voice. Biometrics can offer a greater degree of security and increased user
comfort compared to traditional (knowledge -based or possession -based)
methods of recognizing people.
Spoofing attacks are one of the security features that biometric
recognition systems prove to be vulnerable to. When spoofed , a biometric
recognition system is fooled by presenting a biometric copy of a legitimate user.
Of all the biometric ways, fooling the face recognition system is very easy to
accomplish: all that is needed is a photo or a video of the user.
The project aims to address the problem of detecting spoo fing attacks in
an application for detecting a user's attempt to trick the system with a photo/
video.
The spoofing attack is a direct attack on the input of a biometric system,
and the attacker does not need prior knowledge about the recognition algorithm .
Most biometric modalities are not resistant to spoofing: biometric systems are
typically designed to recognize identities without verifying whether the identity
is alive or not. Despite the existence of sophisticated biometric authentication
and verifica tion systems today, the implementation of anti -spoofing schemes for
them is still in its infancy.
Depending on the biometric mode that is being challenged, the production
of false biometric data may have different levels of difficulty. While creating a
file by the attacker to bypass a fingerprint recognition system or to print contact
lenses to trick an iris recognition system requires some experience, it is very
easy to create a copy of someone's face . All that's needed is a person's photo,
which can be e asily found on the internet or taken from the user.
These attacks have attracted more and more attention, and therefore have
appeared a number of publications that address the issue in different ways.
Possible options include introducing additional devices to detect whether there is
a person living in front of the camera or asking the user to respond to a particular
challenge, such as making a special gesture. However, fully automated systems
that do not rely on extra hardware and are not intrusive are chea per and more
convenient for the user.

NECLASIFICAT
NECLASIFICAT
3 din 55

Cuprins
1. Introducere ………………………….. ………………………….. …………………………. 5
1.1. Importanța temei alese ………………………….. ………………………….. ………. 7
1.2. Scopul și obiectivul lucrării ………………………….. ………………………….. .. 7
2. Spoofingul. Idei generale ………………………….. ………………………….. ……… 8
2.1. Atacuri la nivelul senzorului biometric ………………………….. ……………. 9
3. Anti -spoofingul. Idei generale ………………………….. …………………………. 11
3.1. Tehnici la nivel de senzori ………………………….. ………………………….. … 12
3.2. Tehnici la nivel de caracteristici ………………………….. ……………………. 13
3.3. Tehnici la nivel de scor ………………………….. ………………………….. …….. 14
3.4. Comparație ………………………….. ………………………….. …………………….. 15
4. Atacuri de tip spoofing. Studiu actual ………………………….. ……………… 17
4.1. Foto -atacuri ………………………….. ………………………….. ……………………. 19
4.2. Atacuri video ………………………….. ………………………….. ………………….. 19
4.3. Atacuri cu măști ………………………….. ………………………….. ……………… 19
5. Detectarea spoofingului la sistemele de recunoaștere a feței …………… 21
5.1. Nivel caracteristici: abord ări dinamice ………………………….. ………….. 21
5.2. Nivel caracteristici: abord ări statice ………………………….. ……………… 23
5.3. Nivel sensor ………………………….. ………………………….. …………………….. 24
5.4. Nivel scor ………………………….. ………………………….. ……………………….. 25
6. Contramasuri studiate ………………………….. ………………………….. ……….. 28
6.1. Detectarea vitalității ………………………….. ………………………….. ………… 28
6.1.1. Detectarea clipirii ………………………….. ………………………….. ………. 28

NECLASIFICAT
NECLASIFICAT
4 din 55
6.2. Algoritmul LBP (Local Binary Patterns) ………………………….. ……….. 29
6.3. Analiza proprietățior pielii ………………………….. ………………………….. . 33
6.4. Amplificare video Eulerian ă (Eulerian magnification) ………………… 34
6.5. Metoda de detecție bazată pe rețele neuronale ………………………….. .. 35
6.5.1. CNN bazat pe patch -uri ………………………….. ………………………….. 37
6.5.2. CNN bazat pe adâncime ………………………….. ………………………….. 38
7. Descrierea tehnică și științifică a proiectului ………………………….. …….. 41
7.1. Aria tematică a propunerii de proiect și relevanța ………………………. 41
7.2. Motivația ………………………….. ………………………….. ………………………… 41
7.3. Contribuția proiectului raportată la stadiul actual ……………………… 41
7.4. Obiectivele și rezultatele proiectului ………………………….. ……………… 42
7.5. Originalitatea și contribuția inovativă a proiectului ……………………. 42
7.6. Dezvoltarea aplicației ………………………….. ………………………….. ………. 42
8. Concluzii ………………………….. ………………………….. ………………………….. . 52
9. Referințe ………………………….. ………………………….. ………………………….. . 53

NECLASIFICAT
NECLASIFICAT
5 din 55

1. Introducere

Dezvoltarea și perfecț ionarea sistemelor de colectare și prelucrare a
informaț iei au dus la modernizarea sistemelor de acces. Astfel, în ultimul timp,
sistemele de securitate bazate pe t ehnologii biometrice se prezintă ca o
alternativă viabilă , cu un cost redus, la sisteme le bazate pe cartele magnetice,
coduri de bare sau parole. Se poate spune că noile sisteme au dus la defini rea
unei alte clase de securitate, superioară față de cea asigurată de sistemele
tradiț ionale .
O persoană se poate autentifica prin trei meto de:
 Printr -un obiect pe care îl deține (cheie, cartelă)
 Prin cunoștințe secrete (parole, PIN -uri)
 Prin trăsături anatomice (amprente digitale, iris, față, voce, etc.)

Biometria cumulează tehnologiile care identifică sau autentifică o
persoană pe baza caracteristicilor fizice sau chiar comportamentale , cum ar fi
amprentele digitale, chipul, irisul și vocea .

Figura 1.1. Caracteristici biometrice

NECLASIFICAT
NECLASIFICAT
6 din 55

Dezvoltarea biometriei s -a petrecut în ritm amețitor, de la tehnologii
bazate pe amprenta digitală, la cele bazate pe recunoașterea irisului,
recunoașterea facială sau chiar a ritmului cardiac ori pe caracteristici
comportamentale precum trăsături specific e mersului unei persoane. Pentru că
suntem în era vitezei și a simplificării, autentificarea biometrică a devenit din ce
în ce mai comună, inclusiv în sistemele de acces în instituții sau în spații publice
ori private, dar și în comerț.
Folosirea biometrie i pentru identificarea ș i autentificarea subiecților
umani oferă câteva avantaje unice față de metodele tradiț ionale. Autentificarea
biometrică se bazează pe ide ntificarea unei anumite parți a unei ființe umane.
Sistemele bazate pe cartele magnetice, codurile barelor și chei fizice pot fi
pierdute, furate sau multiplicate . Parolele pot fi uitate, sparte sau observare
intenționat sau neintenționat de o altă persoană. Trăsăturile anatomice nu pot fi
copiate ușor și nici pierdute.
Pe lângă avantajele lor, sistemele biometrice au și vulnerabilități care le
pot compromite securitatea. Având în vedere arhitectura unui sistem biometric
generic, s -au identificat opt puncte de atac (Figura 1.2).

Figura 1.2. Posibile puncte de atac într -un sistem biometric gene ric

1. Prezentarea unei caracteristici false senzorului.
2. Prezentarea semnalelor biometrice interceptate anterior, ocolind senzorul.
3. Ocolirea procesului de extragere a caracteristicilor. Folosind un cal troian,
modulul de extragere a caracteristicilor produce seturi de caracteristici
selectate de către atacator.

NECLASIFICAT
NECLASIFICAT
7 din 55
4. Înlocuirea caracteristicilor extrase din semnalul de intrare cu un alt set de
caracteristici.
5. Coruperea potrivirii astfel ca outputul va afișa un scor de potrivire
preselectat.
6. Coruperea bazei de date (adăugarea unui șablon nou, modificarea sau
ștergerea unui șablon existent , etc. )
7. Modificarea șabloanelor transmise de la utilizator la baza de date.
8. Modificarea deciziei finale. Rezultatul potrivirii este anulat de către atacator.

1.1. Importanța temei alese

În zilele noastre, sistemele de detectare a feței a u fost implementat e pe
scară largă și sunt folosite în viața de zi cu zi. Acestea sunt utilizat e de obicei în
sistemele de securitate.
Cu toate acestea, sistemul de detectare a feței are unele dezavan taje,
cum ar fi spoofing -ul. Spoofingul pentru sistemele de recunoaștere faciale este
un atac împortiva sistemul ui cu ajutorul imaginilor imprimate sau cu ajutorul
unei secvențe video .
Deși este un domeniu intens cerceta t, sistemele biometrice prezintă în
continuare vulnerabilități, infractorii adaptându -se continuu la evoluția acestor
sisteme.
Contribuț ia va fi crearea unei aplicații de verificare facială care va
distinge trăsă turile biometrice reale prezentate senzoru lui și imposibilitatea unui
utilizator ilegitim de a putea fi recunoscut de sistem .

1.2. Scopul și obiectivul lucrării

Spoofingul este cel mai cunoscut atac la nivelul senzorilor biometrici și
se referă la prezentarea unei trăsături biometrice false sau artificiale (de
exemplu, un deget gumic, o mască a feței , o poză sau o imagine iris imprimată).
De aceea am ales dezvoltarea unei aplicații care să permită verificarea
legitimității unui utilizator. Mai precis, aplicația recunoaște încercarea unui
utiliza tor de a frauda sistemul de recunoaștere a feței, fie cu ajutorul unei poze,
fie cu o secvență video sau cu o mască.
Se va incerca autentificarea utilizatorului folosind o poză și o filmare a
unui utilizator legitim in scopul de a păcăli sistemul. Se așt eaptșă o rată de
respingere pentru atacator de 95-98%.

NECLASIFICAT
NECLASIFICAT
8 din 55

2. Spoofi ngul. Idei generale

În zilele noastre, sistemele de detectare a feței a u fost implementat e pe
scară largă în viața de zi cu zi. Acestea sunt utilizat e de obicei în sistemele de
securitate.
Cu toate acestea, sistemul de detectare a feței are unele dezavantaje,
cum ar fi spoofing -ul. Spoofingul pentru sistemele de recunoaștere faciale este
un atac împortiva sistemul ui cu ajutorul imaginilor imprimate.
Prin spoofing biometric se înțelege capacitatea sistemului informatic
biometric de a recunoaște un utilizator ilegitim ca fiind autentic prin prezentarea
unei trăsături biometrice false sau artificiale (de exemplu, un deget gumic, o
mască a feței sau o imagine a irisului imprimată).
Sistemu l biometric devine vulnerabil fără mecanismul de detectare a
spoofingului .
Atacurile de spoofing împotriva sistemelor de recunoaștere a feței includ :
atacuri f oto, atacuri video și atacuri cu mască.
În cazul atacurilor foto, o fotografie a utilizatorului autentic este
prezentată sistemului de recuno aștere. Fotografia obținută de exemplu prin
intermediul rețelelor sociale online poate fi tipărită pe hârtie sau afișată pe
ecranul unui dispozitiv digital mobil, cum ar fi un smartphone, o tabletă sau un
laptop. Atacurile video se realizează prin reluarea unui videoclip al utilizatorului
legitim utilizând un dispozitiv digital mobil. În acest caz nu se reproduce doar
textura feței, ci și dinamica ei. Atacurile cu măști pot fi realizate prin utilizarea
de măști fotografică (adică fotografii tipărite de înaltă rezoluție cu ochi și gura
tăiate) sau măști de față, unde se copiază structura 3D completă a feței
utilizatorului autorizat.
Imaginea unei fețe reale și imaginea unei fețe imprimate reflect lumina in
moduri diferite. Fața original ă este un obiect 3D complex, pe când imaginea
feței este un obiect plan rigid. Alte diferențe constau în faptul că fața umana are
un anumit pigment, în timp ce imaginea nu are nici un pigment , precum și multe
alte detalii bazate pe textură . Folosind aceste diferențe și multe altele, se poate
construi un sistem care poate detecta atacul de spoofingul asupra unui sistem de
recunoaștere a feței.
Pe lângă atacurile foto și video asupra sistemelor de recunoaștere ale feței ,
spoofingul împotriva sistemelor de recunoaștere cu iris cuprinde, de asemenea,
atacuri cu lentile de contact sau atacuri cu ochi artificiali. În cazul atacurilor cu
lentile de contact, modelul de iris al utilizatorului autorizat este imprimat pe o

NECLASIFICAT
NECLASIFICAT
9 din 55
lentilă de contact purtată de atacator. Atacurile cu ochi artificiali sunt efectuate
cu ochi sintetici din plastic sau sticlă.

2.1. Atacuri la nivelul senzorului biometric

Orice încercare a unui atacator de a eluda sistemul prin prezentarea unei
trăsături biometrice este cons iderată un atac la nivelul interfeț ei utilizator .

Figura 2.1. Clasificarea atacurilor

Impersonarea se referă la situația în care un impostor își prezintă propria
sa trăsătură biometrică senzorului biometric, pretinzând identitatea unui
utilizator legitim. Atacatorul nu își modifică propria sa trăsătură biometrică, iar
identitatea pentru a se identifica este aleasă aleator. Probabilitatea succesului

NECLASIFICAT
NECLASIFICAT
10 din 55
într-un astfel de atac este măsurată prin rata de potrivire falsă (FMR) a
sistemului biometric.
În cazu l impersonării țintite, impostorul selectează în mod de liberat o
identitate specifică.
Imitarea apare atunci când impostorul își poate modifica trăsătura
biometrică pentru a se potrivi cu cea a identității atacate. Această amenințare
este mai frecventă în sistemele biometrice care utilizează caracteristici
comportamentale. Exemple de astfel de atacuri incl ud imitarea vocii sau
replicarea mersului.
Deformarea se referă la situația în care un atacator își modifică în mod
intenționat caracterul biometric pentru a evita să fie recunoscut de sistem. Acest
tip de atac se aplică în principal aplicațiilor de recun oaștere negativă, unde
impostorul dorește să -și ascundă adevărata identitate. Un astfel de exemplu este
modificarea amprentelor digitale prin utilizarea tehnicilor care variază de la
abraziune, tăiere, arsură la efectuarea chirurgiei plastice.
În cazul constrângerii, un atacator încearcă să pătrundă în sistem forțând
un utilizator autentic să -și prezinte trăsăturile biometrice.
De asemenea, sunt posibile atacuri precum prezentarea părților corpului
dezmembrate (de exemplu, un deget dezmembrat) aparținând unui utilizator
legitim.

NECLASIFICAT
NECLASIFICAT
11 din 55
3. Anti-spoofingul . Idei generale
Având în vedere definiția termenului de spoofing de mai sus, o metodă
anti-spoofing este de obicei definită ca fiind orice tehnică care este capabilă să
distingă automat trăsă turile biometrice reale prezentate senzorului. Abordările
anti-spoofing prezintă tehnici de detectare a vitalității .
Metodele de detectare a spoofingului cuprind:
 proprietățile intrinseci ale unui corp viu, inclusiv proprietățile
vizuale (de exemplu, forma și textura), proprietățile fizice (de
exemplu densitatea, rigiditatea și elasticitatea), proprietățile
electrice (de exemplu, capacitatea și rezistența).
 semnale involuntare ale unui corp viu, cum ar fi tensiunea arterială,
pulsul și transpirația la vârfurile degetelor, mișcarea irisului, undele
cerebrale (semnalele EEG) sau semnalele electrice ale inimii
(ECG);
 mișcarea capului și expresia facială sau reflexe, cum ar fi reflexul
luminii pupilară și reflexul corneei) sau răspunsuri la stimuli
externi.

Metodele anti -spoofing reprezintă o problemă inovatoare în ceea ce
privește in gineria, în care se îndeplinesc următoarele cerințe:
(i) neinvazivă: aceste tehnici nu ar trebui în nici un caz să fie
periculoase sau să necesite un contact exces iv cu utilizatorul;
(ii) user-friendly: utilizatorii nu ar trebui să fie ezitanți în modul de
interacționare cu acestea ;
(iii) rapid: rezultatele ar trebui să fie generate într -o perioadă scurtă
de timp astfel încât interacționarea utilizatoriilor cu senzorul să
fie cât mai mică ;
(iv) costuri scăzute: nu se poate aștepta o utilizare extinsă în cazul în
care costul este excesiv de mare ;
(v) performanță: în afară de o bună rată de detecție falsă, schema de
protecție nu ar trebui să degr adeze performanța sistemului (de
exempl u, respingerea falsă).
Din perspectivă generală, tehnicile anti -spoofing pot fi clasificate în una
din cele trei grupe, în funcție de modulul de sistem biometric în care sunt
integrate (a se vedea Figura 3.1 ).

NECLASIFICAT
NECLASIFICAT
12 din 55

Figura 3.1 . Diagrama generală a unui sistem

În Figura 3.1 este exemplificată d iagrama generală a unui sistem
biometric care specifică modulele în care pot fi integrate cele trei tipuri de
tehnici a nti-spoofing (nivelul de senzor , nivelul de caracteristici și nivelul de
scoruri).
Sunt afișate și cele două tipuri diferite de atacuri pentru care tehnicile
anti-spoofing pot oferi protecție: spoofingul și atacurile efectuate cu mostre
sintetice sau reconstituite .

3.1. Tehnici la nivel de senzori
De obicei, în literatura de specialitate se face referire la termenul de
“tehnici bazate pe hardware” . Pentru aceste metode este nevoie de adăuga un
anumit dispozitiv specific senzorului pentru a detecta proprietățile particulare ale
unei trăsături vii (d e exemplu, termograma facială, presiunea sângelui,
transpira ția la nivelul degetuli sau proprietăți de reflexie specifice ochiul ui).
Precum se poate observa în Figura 3.1 , astfel de tehnici sunt integrate în
senzorul biometric. În general, abordările baza te pe hardware au una din
următoarele trei caracteristici:
(i) proprietăți intrinseci ale unui corp viu, inclusiv proprietățile
fizice (de exemplu, densitatea sau elasticitatea), proprietățile
electrice (de exemplu, capacitatea, rezistența sau permitivitatea)
sau chiar proprietăți vizuale (de exemplu, culoare și opacitate);
(ii) semnale involuntare ale unui corp viu care pot fi atribuite
sistemului nervos. Exemple bune sunt pulsul, tensiunea arterială,
transpirația, tulburarea pupilară , semnalele de unde ale creie rului
(EEG – Electroencefalograma ) sau semnalele electrice ale inimii;
(iii) răspunsurile la stimuli externi, care necesită o cooperare a
utilizatorilor deoarece se bazează pe detectarea reacțiilor

NECLASIFICAT
NECLASIFICAT
13 din 55
voluntare (comportamenta le) sau involuntare (reacții rerflexe ) la
un semnal extern. Exemple de astfel de met ode pot fi contracția
pupilei în cazul expunerii la o lumină puternică (reflex).

În momentul de față, tehnicile multibiometrice su nt incluse în această
categorie, deși în unele cazuri, acestea ar putea fi cl asificate în mod rezonabil și
la metodele de nivel de caracteristic i (descrise în continuare).
Soluția multi -biometrică anti -spoofing se bazează pe ipoteza că prin
combinarea senzorilor biometrici diferiți va crește robustețea pentru atacurile
directe , de oarece, teoretic, generarea mai multor trăsături falsificate se
presupune a fi mai dificilă decât o trăsătură individuală. În urma acestei
presupuneri, abordările multimodale sunt o metodă bună de combatere a
atacurilor .
În general, strategia este de a fol osi trăsături complementare în ceea ce
privește performanța și vulnerabilitatea . În consecință, trăsăturile foarte precise
care sunt vulnerabile la spoofing (de exemplu, amprentele ) sunt combinate cu
trăsături mai robuste pentru a avea rate de recunoașter e scăzute (de exemplu,
modelul venelor pe deget ). Aceste strategii necesită achiziționarea de dispozitive
suplimentare, iar prin urmare pot fi incluse în tehnicile la nivel de senzori pentru
metodele anti -spoofing .
Multibiometria însăși nu garantează în mo d necesar un nivel mai ridicat
de protecție împo triva atacurilor de spoofing . Așadar , recent s-a început
studie rea sistemelor de protecție specifice pentru sistemele multibiometrice .

3.2. Tehnici la nivel de caracteristici

Tehnicile la nivel de caracteristici sunt definite în literatura de specialitate
ca fiind tehnici bazate pe software . În acest caz, trăsătura falsă este detectată
odată ce proba a fost achiziționată cu un senzor standard. Așadar , trăsăturile
utilizate pentru a distinge între trăsăturile real e și cele fals e sunt extrase din
eșantioane biometrice (de obicei, imagini, în cazul unei fețe sau al unor funcții
temporale, ca în cazul vorbirii) și nu direct din corpul uman, ca în cazul tehnici
la nivel de senzor.
Aceste metode sunt integrate după sen zor, care funcționează în mod
obișnuit ca parte a modulului care extrage caracteristici le (așa cum se observă în
Figura 3.1 ). Acestea pot fi clasificate în continuare în metode statice și
dinamice , în funcție de modul în care utilizează doar o singur ă instanță a unei
trăsătur i biometric e o secvență de probe capturate în timp .
Deși pot prezenta o anumită diminuare a performanței, în general,
caracteristicile statice sunt preferate în comparație cu tehnicile dinamice,
deoarece necesită mai puțina coope rare de la utilizator, ceea ce le face mai

NECLASIFICAT
NECLASIFICAT
14 din 55
rapide și mai puțin invazive. O astfel de subdivizare în metode statice și
dinamice are un interes deosebit în recunoașterea fețelor, unde există sisteme
care lucrează cu imagini particulare (de exemplu, imagini d e tip pașaport) și
secvențe video (de exemplu, camera de supraveghere).
Cu toate că tehnicile multibiometrice au fost luate în considerare ca fiind
un mod de contramăsură pentru anti-spoofing la nivel de senzor, unele dintre
aceste abordări pot fi incluse și în tehnicile la nivel de caracteristici . De
exemplu, dintr -o singură imagine de înaltă rezoluție a unei fețe se poate efectua
recunoașterea feței și a irisului. În acest caz special, se aplică o strategie
multimodală la nivelul extractorului de caracter istici, fără a fi nevoie de niciun
fel de hardware suplimentar sau dispozitiv de detectare.
O caracteristică a tehnicilor bazate pe software este că, deoarece
acționează direct asupra eșantionului dobândit (și nu pe trasatura biometrică în
sine), sunt cap abile să detecteze alte tipuri de încercări ilegale de acceptare în
sistem , care nu sunt neapărat clasificate drept atacuri de tip spoofing . De
exemplu, metodele la nivel de caracteristici pot proteja sistemul împotriva
injectării cu eșantioane false în ca nalul de comunicare dintre senzor și
extractorul de caracteristici, așa cum este ilustrat în Figura 3.1 .

3.3. Tehnici la nivel de scor
Recent, un al treilea grup de metode de protec ție care nu se mai
încadrează în clasificarea tradițională pe două tipuri (bazată pe software și
hardware), a început să fie analizată în domeniul anti -spoofing. Aceste tehnici de
protec ție, mult mai pu țin comune decât cele din categorii le anterioare, sunt
bazate pe scor și propun strategii care să le sporească r ezisten ța împotriva
încercărilor de falsificare. Datorită performan ței lor limitate, acestea sunt
concepute ca măsuri suplimentare la tehnicile la nivel de senzor și la nivel de
caracteristic i prezentate de mai sus, și sunt de obicei integrate în comparato r (așa
cum se observă în Figura 3.1 ).
Scorurile provin din:
i) două sau mai multe module biometrice unimodale;
ii) module biometrice unimodale și tehnici anti -spoofing;
iii) doar module anti -spoofing.
O diagramă grafică a categoriilor propuse mai sus este prezentată în
Figura 3.2 .

NECLASIFICAT
NECLASIFICAT
15 din 55

Figura 3.2 . Clasificarea generală a metodelor anti -spoofing cu cele
trei gr upuri principale prezentate în Figura 3.1 : nivelul senzor , nivel de
caracteristici și nivel scor.

Cele trei metode de anti -spofing prezentate în această lucrare nu sunt
exclusive și pot fi combinate pentru a îmbunătă ți securitatea sistemului. De fapt,
cele două metode cele mai utilizate descrise mai sus (bazate pe hardware și
software), au anumite avantaje și dezavantaje, astfel încât, în general, o
combina ție din ambele ar fi strategia de protec ție cea mai convenabilă pentru
creșterea securită ții sistemelor biometrice.

3.4. Comparație
Ca o compara ție, schemele la nivel de senzori prezintă de obicei o rată de
detec ție falsă mai mare , în timp ce tehnici le la nivel de caracteristică sunt în
general mai pu țin costisitoare (deoarece nu este nevoie de un dispozitiv
suplimentar), mai pu țin invazive și mai u șor de utilizat, deoarece punerea lor în
aplicare este transparentă pentru utilizator. După cum am men ționat deja,
tehnicile de protec ție la nivel de scor prezintă o performan ță mult mai scăzută și
sunt concepute doar în combinație cu tehnicile de protec ție la nivel de senzori
sau de caracteristici .

Tabel 1.1. Comparatie între tehnicile anti -spoofing prezentate

NECLASIFICAT
NECLASIFICAT
16 din 55

Ca referin ță generală, Tabelul 1.1 prezintă un rezumat comparativ, pentr u
cele trei clase prezentate mai sus , cele mai relevante caracteristici ale acestora,
care sunt folosite în sisteme de biometrice de protecție .
În cele ce urmează, ca un exemplu concret și foarte reprezentativ al
cercetărilor efectuate în zona de spoofing , este prezentată o revizuire a celor mai
de succes și mai bune dintre metodele anti -spoofi ng care au fost propuse în
literatura de specialitate pentru sistemele biometrice de recunoaștere a feței.

NECLASIFICAT
NECLASIFICAT
17 din 55
4. Atacuri de tip spoofing. Studiu actual
Am ales să prezint un studiu despre recunoașterea facială din mai multe
motive, și anume :
 În primul rând, potrivit International Biometric Group, fața este a
doua cea mai folosită trăsătură biometrică pentru sistemele de
autentificare, dupa amprente. De asemenea este folosită pentru
identif icarea documentelor oficiale pr ecum pașaportul , sau cardul
național de identitate. De asemenea, fața este trăsătura cu cel mai
mare potențial impact din punct de vedere atât economic cât și
social.
 Pe de altă parte, la fel ca amprenta, este trăsptura biometrică pentru
care s -au făcut cele mai multe studii cu p rivire la spoofing, ceea ce
a condus la foarte multe lucrări publicate. Dar, spre deosebire de
amprente, nu există studii riguroase pentru toate metodele anti –
spoofing propuse pentru recunoașterea facială.
Folosirea măștilor și a deghizărilor faciale pentr u a evita recunoașterea
facial au fost folosite de secole. Urmând acest trend, probabil cea mai actuală
variantă a acestei “tradi ții” este schimbarea înfățișării fizice, și anume prin
intervenție chirurgicală, care devine tot mai populară datorită dezvoltă rii
tehnologiei, costului și rapiditatea procedurii.
Recent, s -a arătat că, în ciuda eforturilor de a dezvolta algoritmi robuști la
schimbări ale u nei persoane la față datorate intervenției chirurgicale, problema
recunoaște rii persoanei în cauză este încă o provocare pentru sistemele automate
de recunoaștere faciale. S -a demonstrate că unele sisteme de recunoaștere pot fi
pacălite doar prin purtarea de make -up.
Tehnicile menționate mai sus (măști, intervenții chirurgicale, make -up)
sunt folosite de obicei pentru ascunderea identității (Bob neaga a fi Bob) și nu
pentru un atac îm care Bob incearcă sa pretindă a fi John. Deși, s -a dovedit, la o
demonstrație live într -o conferință legată de biometrie, că acest sc enariu de
securitate se poate schimba, și anume că metode precum intervențiile
chirurgicale si make -up pot fi folosite cu success pentru a efectua atacuri directe.
La această conferință, o femeie intrus a reușit să se autentifice într -un sistem de
recunoaștere facială în locul unui utilizator de gen masculin doar prin folosirea
adecvată de make -up.

NECLASIFICAT
NECLASIFICAT
18 din 55

Figura 4.1. Clasificarea generală a tehni cilor de spoofing pentru detecț ia feței
studiate în literatură. Săgețile indică tehnologia de recunoaștere a feței pentru
care fiecare atac reprezintă o eventu ală amenințare.

În afară de aceste exemple încă limitate privind utilizarea tehnicilor de
deghizare în scopuri de spoofing , marea majoritate a atacurilor directe raportate
pot fi clasificate într -una din cele două grupuri, așa cum se vede în Figura 4.1 .
În funcție de utilizarea artefactelor utilizate sunt:
i) suprafețe 2D (de exemplu, foto, video) care sunt folosite cu
succes pentru sistemele de recunoaștere a feței 2D (vedeți săgețile
gri din Figura 4.1 )
ii) ii) volume 3D (de exemplu măști ) care sunt folosi te pentru
atacuri 2D, 2,5D și 3D asupra sistemelor de recunoaștere facială.

Există trei tipuri principale de atacuri asupra sistemelor de recunoaștere
facial ă: foto-atacuri , atacuri video și atacuri cu măști.

NECLASIFICAT
NECLASIFICAT
19 din 55
4.1. Foto-atacuri
Aceste încercări de acces fraudulo ase se realizează prezentând sistemul ui
de recunoaștere o fotografie a utilizatorului autentic. Este posibil ca fotografia să
fi fost făcută de către atacator folosind o cameră digitală sau chiar recuperată de
pe internet după ce utilizatorul a înc ărcat -o într -una dintre cele mai populare
rețele sociale online disponibile astă zi.
Imaginea poate fi apoi tipărită pe o hârtie (de exemplu, atacurile de
tipărire) sau pot fi afișate pe ecranul unui dispozitiv digital, cu m ar fi un telefon
mobil sau o tabl etă (adică atacuri foto digitale).
Un ti p ușor mai avansat de foto -atac care a fost studiat este și utilizarea
măștilor fotografice. Aceste măști sunt fotografii tipărite de înaltă rezoluție, unde
ochii și gura au fost tăiate. În momentul atacului, impost orul este așezat în
spatele acestora astfel încât anumite mișcări ale feței, precum ochiul care
clipește, sunt reproduse.

4.2. Atacuri video
În unele cazuri , atacurile video au fost menționate ca atacuri de replay . Ele
reprezint ă o versiune mai sofisticat ă a simplelor foto -atacuri . În acest caz,
atacatorul nu folosește o imagine static ă, ci red ă un videoclip cu clientul legitim
cu ajutorul unui aparat digital (de exemplu, telefon mobil, tablet, laptop) . Astfel
de atacuri au ap ărut ca urmare a evoluț iei fenomen ului de spoofing a feței și sunt
mai dificil de detectat, deoarece nu doar textura 2D a feței este copiată , ci și
dinamica acesteia .
4.3. Atacuri cu măști
În aceste atacuri obiectul spoofingului este o mască 3D a feței unui
utilizator legitim, mărind astfel dificultatea de a găsi contramăsuri fiabile
împotriva acestora. Deoarece structura 3D a feței este perfect imitată, utilizarea
indicatorilor de adâncime, care erau o soluție de prevenire pentru cele două
atacuri prezentat e mai sus, devine inefectivă împotriva acestei amenințări
particulare.
Deși posibilitatea de a ocoli un sistem biometric purtând o mască care
imită fața unui alt utilizator este o idee car e a circulat de ceva vreme , aceste
atacuri sunt mult mai puțin frecv ente decât cele două categorii anterioare.
Atacurile cu măști au început sa fie studiate doar când au fost create primele
baze de date cu măști specific, care include măști de diferite material e și mărimi.
Lipsa lucrărilor de cercetare care abordează aceas tă amenințare este
datorată de dificultatea tehnică și economică generate de creerea bazelor de date
cu măști realiste. Cu toate acestea, aceste obstacole s -au diminuat semnificativ
cu apariția recentă a unor companii în care astfel de modele 3D pot fi obț inute la

NECLASIFICAT
NECLASIFICAT
20 din 55
un preț rezonabil. Mai mult, au to-fabricarea unei măști devine din ce în ce mai
fezabilă și mai ușoară în fiecare zi cu noua generație de senzori 3D la prețuri
accesibile, software -uri de scanare dedicate și performanța corespunzătoar e a
dispoziti velor de imprimare .

De asemenea, merită subliniat faptul că sistemele de recunoaștere a feței
pot fi, de asemenea, supuse atacurilor unor gemeni identici care pretind a fi
aceeași persoană. Mai precis , acestea nu sunt atacuri de spoofing (deoarece nu
există un obiect fizic implicat), ci încercări prin care Bob prezintă propria sa
trăsătură biometrică în timp ce încearcă să acceseze sistemul ca John.

NECLASIFICAT
NECLASIFICAT
21 din 55
5. Detectarea spoofingului la sistemele de recunoaștere a
feței

Deși primele lucrări anti -spoofing sunt mai vechi de un deceniu, în ultimii
ani această tehnologie a experimenta t o adevărată revoluție datorată proiectului
european T abula Rasa axat pe studierea atacurilor de spoofing asupra sistemelor
biomatrice.
Tabula Rasa a inclu s 12 organizații din șapte ță ri care au colaborat pe o
perioadă de trei ani pentru a cerceta cât mai multe vulnerabilităț i, cu scopul de a
dezv olta soluții potrivite și, în final, o nouă generaț ie de sisteme biometrice mai
sigure.
Pe parcursul procesului de cercetare, Tabula Rasa a g ăzduit o „Provoc are
spoofing”, prin care cercetători din întreaga lume erau invitați sa pregătească
planuri de ata c și să încerce să înș ele diverse sisteme biometrice. Participanții au
demonstrat că există numeroase moduri creative de a ataca sistemele. Cel mai
inventiv atac propus a utilizat machiajul pentru a „inș ela” u n sistem de
recunoastere facială 2D, subiectul reușind sa fie identificat drept victimă de că tre
sistem. Alți participanț i au utilizat met ode consacrate d e atac, cum ar fi
fotografii, măș ti sau amprente digita le false („degete cauciucate”) și au reușit să
înșele sistemele [29].
Un alt factor decisiv pentru dezvoltarea de noi metode de protecție
împotriva atacurilor directe a fost achiziționa rea și distribuția mai multor baze de
date pentru spoofingul fe ței, care au permis cercetătorilor să creeze contramăsuri
eficiente.
Ambii factori au încurajat recenta p ublicare a mai multor tehnici 2D de
anti-spoofing pentru recunoașterea feței și să iniț ieze o linie de cercetare
promițătoare de algoritmi noi de protecție pentru sistemele 3D de recunoaștere a
feței împotriva atacurilor de mască.
Avantajele și dezavantajele fiecărui grup de tehnici este descris în Tabelul
5.1.

5.1. Nivel caracteristici: abord ări dinamice
Una dintre primele măsuri de protecție de nivel caracteristic ă pentru
recunoașterea feței 2D a apărut ca o contramăsură la primele atacuri studiate,
care folosesc o tipărire a fe ței statică (atacuri tipărite).
Astfel de tehnici anti -spoofing , care încă rămân destul de populare
împotriva atacurilor tipărite, se bazează pe detectarea mișcării asupra unei fețe
dintr -o secvență video. Mai precis , ele se bazează pe analiza traiectorică a
segmentelor specifice ale feței.

NECLASIFICAT
NECLASIFICAT
22 din 55
Aceste caracteris tici dinamice redau o informa ție valoroasă pentru a face
diferența între fețe le reale și copii le falsificate.
Indicatorii tipici folosiți în această metodă de anti -spoofing sunt: clipirea
ochilor, gesturi ale feței și ale capului (zâmbet, mișcarea capului , privirea în altă
directie, etc.). Aceste tehnici sunt de obicei foarte eficiente pentru detectarea
atacurilor foto, dar își pierd din acuratețe împortiva tentativelor de acces ilegal
efectuate cu videoclipuri, unde nu doar aspectul feței este identificat , ci și
mișcarile acesteia.
Pentru a depăși acest neajuns, anumite tehnici de detecție a vieții
dinamice au fost special concepute pentru a detecta atacurile video:

 exploatarea structurii 3D a feței prin analiza mai multor imagini 2D cu
poziții diferite ale capului ;
 utilizând analiza bazată pe context pentru a profita de informațiile non –
facia le disponibile din eșantioanele achiziționate, cum ar fi caracteristicile
de mișcare (de exemplu, mișcarea de fundal vs prim plan);
 estimarea zgomotului p rodus în t impul procesului de captare (adică,
zgomot de tip fi xat și zgomotul rezultat din fotosensibilitatea celulelor
sensibile la lumină neuniformă);
 folosind versiuni modificate ale popularelor modele binare locale (LBP),
pentru a lua în considerare informațiil e temporale prezente în secvențele
video sau pentru a analiza dinamica texturii faciale în comparație cu
obiectele rigide cum ar fi pozele sau măștile ;
 aplicând algoritmul de amplificare video Eulerian, propus recent, pentru a
amplifica mișcarea în video ca o etapă anterioară extragerii
caracteristicilor anti-spoofing.

Dat fiind faptul că aceste tehnici sunt concepute atât pentru a exploata
informațiile spațiale cât și cele temporale ale videoclipurilor, schemele anti –
spoofing dinamice ating performanțe competi tive.
Cu toate acestea, ca o limitare, ele nu pot fi folosite în sistemele în care
este disponibilă doar o singură imagine a utilizatorului (de exemplu, aplicații
pentru pașapoarte).
Mai mult decât atât, chiar și în scenariile care au fost înregistrate date
video (de exemplu, aplicații de supraveghere), câteodată se pot găsi doar câteva
cadre non -consecutive potrivite pentru analiz a facială, ceea ce limitează
utilizarea și acuratețea lor finală.

NECLASIFICAT
NECLASIFICAT
23 din 55
5.2. Nivel caracteristici : abord ări statice
După cum s -a menționat în secțiunea anterioară, schemele dinamice
anti-spoofing necesită o secvență temporală a feței cu o durată suficientă pentru
a obține o precizie ridicată.
Această restricție a motivat apariția unui al doilea grup de abordări
pentru detectarea tentativelor de acces la sisteme 2D de recunoaștere a feței, axat
pe analiza unei singure imagini statice și nu a datelor video. Aceste tehnici sunt,
în general, mai ra pide decât tehnicile dinamice și, prin urmare, mai convenabili
pentru utilizator .
Marea majoritate a metodelor statice la nivel de caracteristică se bazează
pe analiza texturii feței folosind diferite instrumente de procesare a imaginii,
cum ar fi:

 Spec trul Fourier;
 Diferențele Gauss iane (DoG – Difference of Gaussians ) pentru extragerea
informațiilor de frecvență specifice , combinat e și cu caracteristicile
obținute de la modelul Lambertian, demonstrând performanțe remarcabile
chiar și în condiții de ilu minare proastă;
 Metoda parțială a celor mai mici părtate pentru a analiza informații
specifice de la descriptorii de nivel scă zut;
 O tendință recentă bazată pe utilizarea modelelor binare locale (LBP)
pentru detectarea atacurilor foto, care a fost cobinată cu succes cu alți
descriptori de textură cum ar fi undele de oscilații Gabor și cu informații
legate de formă estrase folosind gradiente orientate pe histograme (HOG) ;
 Detectarea microtexturilor de hârtie prezente în atacurile tipărite, fie prin
analizar ea componentelor cu efect de oglindire ale imaginii feței, fie prin
utilizarea LBP ;
 ca și în cazul secvențelor video, s -au propus, de asemenea, abordări bazate
pe context pentru scenariul static, concentrându -se în acest caz asupra
detectării corpului superior al utilizatorului și a obiectului de atac (de
exemplu, hârtie sau tabletă)
 sau evaluarea diferențelor de pixeli între două imagini consecutive,
realizate cu diferite valori de focalizare (deși această ultimă metodă
necesi tă două imagini diferite ale feței , este inclu să în categoria statică
deoarece nu utilizează nici o informație tem porală).

Aceste abordări anti -spoofing statice pot fi aplicate și în cazul în care
este disponibilă o secvență video. În acest scenariu, analiza este efectuată cadru

NECLASIFICAT
NECLASIFICAT
24 din 55
cu cadru, folosind tehnici de fuziune (de exemplu, votul majoritar) într -o etapă
ulterioară pentru a combina scorurile individuale obținute din fiecare cadru
pentru a genera o decizie finală unică.
Deși o astfel de strategie este fezabilă, în general, aceas ta este mai puțin
eficientă decât schemele proiectate special pentru a lucra cu videoclipuri,
deoarece nu sunt exploatate informații temporale (de exemplu, traiectoriile
caracteristicilor faciale).
Unele dintre tehnicile precedente au fost realizate cu su cces la nivel de
caracteristică, prezentând o precizie îmbunătățită în compa rație cu parametrii
individuali .

5.3. Nivel sensor
În ceea ce privește tehnicile anti -spoofing la nivelul senzorilor, numărul
contribuțiilor nu este încă comparabil cu cel al abordări lor bazate pe software.
Cu toate aces tea, unele metode interesante au fost propuse pe baza tehnologiei
imagistice în afara spectrului vizual, cum ar fi:
 radiația în infraroșu (IR) sau infraroșu apropiat (NIR), despre care se
susține chiar că furnizează informații suficiente pentru a distinge gemeni i
identici ;
 Comparând informațiile de reflexie ale fețelor reale și materialelor false
folosind o configurație specifică de LED -uri și fotodiode la două lungi mi
de undă diferite .

Pe lângă lucrările anterioare, există și alte tehnologii propuse inițial în
scopuri de autentificare personală, care ar putea fi de asemenea utilizate ca
tehnici anti -spoofing la nivel de senzor.
Deși în majoritatea cazurilor nu s -a efectuat încă un studiu riguros în
ceea ce privește performanțele lor în cadrul scenariilor de detectare a vitalității ,
astfel de mecanisme potențial utile pentru anti -spoofungul feței ar include:
 imagistica termică
 detectarea modelului venei faciale
 achiziționarea 3D a feței

De exemplu, senzorii 3D pot fi foarte robusti împotriva atacuril or
efectuate cu suprafețe plate (de exemplu, atacuri foto sau video), deoarece
aproape nici o diferență de adâncime nu este detectată în comparație cu fețele
reale.

NECLASIFICAT
NECLASIFICAT
25 din 55
Pe de altă parte, performanța lor la atacuri de tip mască a început să fie
investigată utilizând analiza texturii inspirată de metodele de protecție 2D bazate
pe LBP (Local Binary Patterns) și, de asemenea, pe analiza componentelor de
reflexie care po t fi calculate din scanările 3D .
În mod similar, sistemele bazate pe detectarea termogramei feței ar fi, în
principiu, foarte precise pentru detectare a tuturor celor trei tipuri de atacuri
principale de spoofing a feței (adică atacuri foto, video și mască), deoarece nu se
așteaptă diferențe termice în fețele false.
Unele eforturi inițiale pentru studierea imaginilor termice pentru
detectarea vitalității au fost deja efectuate , inclusiv achiziționarea unei baze d e
date semnificativ de mari cu imagini termice.
Faptul că aceste tehnici (d e exemplu, recunoașterea 3D a feței și
imaginile termice) prezintă deja medii solide pentru autentificarea personală,
poate deveni un avantaj suplimentar pentru dezvoltarea acestor a ca alternative de
îmbunătățire a securității.
Sistemele multimodale au fost, de asemenea, explorate ca o abordare la
nivel senzor pentru detectarea vitalității .
Multe tehnici multibiometrice de anti -spoofing iau în considerare
combinația feței și a voc ii, deoarece acestea sunt două trăsături ușor măsurabile.
Astfel de metode exploatează corelația dintre mișcarea buzelor și vorbirea
produsă sau utilizează informații specifice obținute de la mișcarea buzelor pentru
rostirea unui cod PIN preasignat.
Ultim a metodă ar putea fi, de asemenea, clasificată în categoria
provocării la răspuns , deoarece utilizatorului i se cere să răspundă la o comandă
de sistem. Alte strategii de provocare -răspuns luate în considerare includ
mișcarea voluntară a ochilor și mișcar ea gurii în urma unei cereri din partea
sistemului .

5.4. Nivel scor
Recen t, s-au efectuat și cercetări pentru strategii anti -spoofing la nivel
de scor pentru sisteme 2D de recunoaștere a feței . Într -una dintre aceste primele
lucrări, autorii studiază impactul măsurilor anti -spoofing asupra performanței
sistemelor de recunoaștere a feței.
În acest scop, ei analizează diferite tehnici de fuziune de scor pentru
module de protecție și de autentificare în cadrul unui scenariu de clasificare în
trei cazuri: clienț i, impostori și atacuri de spoofing .

NECLASIFICAT
NECLASIFICAT
26 din 55
În plus, mai multe strategii de fuziune pentru combinarea rezultatelor
din module anti -spoofing au fost analizate pentru a reduce decalajul de
performanță care poate fi observat atunci când baza de date de evaluare est e
schimbată.
Pentru a oferi o imagine generală a diferitelor metode studiat e până în
prezent în anti-spoofing ul pentru recunoașterea feței , Tabelul 5.2 prezintă un
rezumat al unor studii folosite în bibliografia acestei lucrări .
Tabelul este un instrume nt rapid de referință și în nici un caz nu este un
studiu comparativ strict, deoarece rezultatele afișate în ultima coloană au fost
obținute pe baze diferite de date.
Obiectivul tabelului este de a prezenta î n mod schematic caracteristicile
cele mai relevante (adică tipul de sistem anti -spoofing, tip ul de caracteristici
utilizate , rezultate, etc.) a mai multor articole reprezentative, pentru a obține într –
o privire diferitele abordări studiate până în pr ezent în domeniul anti –
spoofing ului.

Tabel 5.1. Avantajele și dezavantajele tehnici lor anti -spoofing

NECLASIFICAT
NECLASIFICAT
27 din 55

Tabel 5.2. Studiu comparativ pentru tehnicile anti -spoofing prezentate

NECLASIFICAT
NECLASIFICAT
28 din 55
6. Contramasuri studiate

Metodele existente de anti -spoofing se îndreaptă în general în una din
cele trei direcții:
 analiza texturi i imaginii capturate de senzor
 detectarea oricărei dovezi a existenței vitalității
 combinarea celor două abordări.

6.1. Detectarea vitalității
Un om poate distinge o figură vie sau o fotografie fără prea mult efort,
deoarece omul poate recunoaște cu ușurință multe indicii fiziologice ale
vitalității , cum ar fi mișcarea gurii, rotația capului, clipirea , expresia feței. Cu
toate acestea, detectarea acestor indicii este o sarcină foarte dificilă pentru un
calculator.
Contramăsura tipică împotriva fenomenului de spoofing este detecția
vitalității care urmărește detectarea semnelor fiziologice ale vieții, cum ar fi
clipirea ochilor, modificările expresiei feței, mișcările gurii etc. O altă
contramăsură existentă pentru atacurile de tip spoofing constă în combinarea
recunoașterii feței cu alte modal ități biometrice cum ar fi mersul și vorbirea.
Într-adevăr, sistemele multimodale sunt mai dificil de păcălit decât sistemele
uni-modale.

6.1.1. Detectarea clipirii
Ochii sunt cele mai importante elemente ale feței, iar mișcările lor au un
rol important în exp rimarea stărilor emoționale și a proceselor cognitive.
Clipirea este o activitate de închidere și deschidere rapidă a pleoapelor.
Camera poate captura cu ușurință fața cu nu mai puțin de 15 fps, adică intervalul
cadrelor nu este mai mare de 70 de milisecun de.
Astfel, aparatul foto capturează cu ușurință două sau mai multe cadre
pentru fiecare clipire când persoana în cauză se uită în cameră. Clipitul este
folosit cu ușurință ca o măsură pentru anti -spoofing.
Avantajele abordării bazate pe clipire sunt:
1) este o abordare non -intruzivă , fără nici o colaborare cu utilizatorul ;

NECLASIFICAT
NECLASIFICAT
29 din 55
2) nu este nevoie de hardware suplimentar;
3) comportamentul clipirii este folosit pentru diferențierea unei fețe vii de
o fotografie a feței, și este foarte util pentru detectarea vieții folosind doar o
cameră .
Comportamentul clipirii poate fi repr ezentat ca o secvență temporală de
imagini digital e capturate de către aparat ul foto. O metodă de detectare a clipirii
este d e a clasifica fiecare imagine din secvență independent , în fu ncție de stare a
fiecăruia (ochiul închis sau ochiul deschis ).

6.2. Algoritmul LBP (Local Binary Patterns)

Această abordare analizează textura imaginilor faciale utilizând modele
binare locale (LBP). În comparație cu multe lucrări anterioare, abordarea
propusă este robustă, rapidă din punct de vedere computațional și nu necesită o
cooperare cu utilizatorii.
În plus, caracteristicile de textur ă care sunt utilizate pentru detectarea
spoofing -ului pot fi folosite și pentru recunoașterea feței. O analiză
experimentală extinsă pe o bază de date disponibilă publicului a arătat rezultate
excelente în comparație cu lucrările existente.
Într-adevăr, imprimă rile feței conțin de obicei defecte de calitate a
imprimării care pot fi bine detectate utilizând modele de micro -texturi. În plus,
chipurile și amprentele umane reflectă lumina în diferite moduri, deoarece o față
umană este un obiect 3D complex, care nu este rigid, în timp ce o fotografie
poate fi văz ută ca un obiect rigid plan. Acest lucru poate determina diferite
reflexii și nuanțe speculare. Proprietățile de suprafață ale fețelor și amprentelor
reale, de ex. pigmenți, sunt de asemenea diferiți .
Abordarea analizează textura imaginilor facial e folosi nd modele binare
locale (LBP) [9] și codifică modelele de micro -texturi într -o histogramă a
caracteristicilor . Rezultatele sunt apoi direcționate către un clasificator de tip
mașină cu suport vectorial (SVM – Support Vector Machines ) care determină
dacă ex istă sau nu o persoană vie în fața camerei. Experimentele pe o bază de
date disponibilă publicului (NUAA Photo graph Imposter Database [12])
conținând mai multe fețe reale și false au arătat rezultate excelente în comparație
cu lucrările anterioare.

NECLASIFICAT
NECLASIFICAT
30 din 55

Figura 6.1. Exemplu de imagini capturate din fețele reale (rândul
superior) și din fotografiile tipărite (rândul inferior). Asemănarea aspectului
ilustrează dificultatea detectării atacurilor de tipărire.

Imaginile feței capturate din fotografiile tipărite pot arăta vizual foarte
asemănăto r cu imaginile capturate de pe fețele vii (a se vedea Figura 6.1 ).
Printr -o privire mai atentă asupra diferențelor dintre chipurile reale și
cele ale fețelor imprimate se observă că chipurile umane reflectă lumina în
diferite moduri, deoarece o față umană este un obiect 3D complex, care nu este
rigid, în timp ce o fotografie poate fi văzută ca un obiect rigid.
Acest lucru poate determina diferite reflexii și nuanțe speculare.
Proprietățile de suprafață ale fețelor reale și celo r imprimate de ex. pig menți,
sunt de asemenea diferit e.
În plus, imprimările feței conțin de obicei defecte de calitate a
imprimării care pot fi detectate cu modele de micro -texturi. Pe lânga asta , atunci
când sunt executate , atacurile de tip spoo fing cu imprimări de față, au tendința
de a genera o anumită neclaritate a imaginii.
Această metodă adoptă modelele binare locale [9], un operator puternic
de textură, pentru a descrie nu numai microtexturile, ci și informațiile lor
spațiale. Vectorii din spațiul caracteristic ilor sunt apoi redirecționați într -o
mașină cu suport vectorial care determină dacă modelele de micro -textu ri
caracterizează o persoană vie sau o imagine tipărită. Figura 6.2 prezintă
exemple de două imagini (o față vie și o imprimare a feței) și imaginile LBP
corespunzătoare. Putem observa că fotografia imprimată arată destul de
asemănătoare cu imaginea feței vii, în timp ce imaginile LBP prezintă unele
diferențe .

NECLASIFICAT
NECLASIFICAT
31 din 55

Figura 6.2. Exemple de două imagini (o față vie -stânga și o imprimare a feței –
dreapta) și imaginile LBP corespunzătoare.

Modelul binar local (LBP) este un descriptor nonparametric al cărui
scop este de a rezuma eficient structurile locale ale imaginilor. În ultimii ani, a
stârnit interes crescut în numeroase domenii ale procesării și și -a demonstrat
eficacitatea într -o serie de aplicații, în special în ceea ce privește analiza imaginii
feței, inclusiv sarcini la fel de diverse precum detectarea feței, recunoașterea
feței, analiza imaginii biomedicale, analiza imaginilor aeriene, etc .
Operatorul LBP de analiză a texturii, este un operator care etichetează
pixelii unei imagini prin pragarea vecinătății fiecărui pixel și consideră că
rezultatul este un număr binar . Este un mijloc puternic de descriere a texturii, iar
printre proprietățile sale în aplicațiile din lumea reală se regăsesc simplitatea
computațională și tolera nța față de modificările de ilumin are monoton ice ale
nivelului gri.
Primul pas în construirea descriptorului LBP este de a converti imaginea
în tonuri de gri. Pentru fiecare pixel din imaginea în nuanțe de gri, se selectează
o vecinătate de dimensiune r care înconjoară pixelul central. O valoare LBP este
apoi calculată pentru acest pixel central și stocată în matricea de ieșire 2D cu
aceeași lățime și înălțime ca și imaginea de intrare.
Vectorul caracteristic LBP, în forma sa cea mai simplă, este creat în
următoarea manieră:
 Se împarte fereastra examinată în celule (de exemplu: 3×3 pixeli).
 Pentru fiecare pixel dintr -o celulă, se compară pixelul central cu fiecare
dintre cei 8 vecini (pe partea stângă -sus, pe partea stângă -mijloc, pe partea
stângă -jos, p e partea dreaptă -sus, etc.). Se urmăresc pixelii de -a lungul
unui cerc, adic ă în sensul acelor de ceasornic.

NECLASIFICAT
NECLASIFICAT
32 din 55

Figura 6.3. Conceptul LBP

 În cazul în care valoarea pixelului central este mai mare decât valoarea
vecinului, se notează "1". În caz contrar, se notează "0". Aceasta oferă un
număr binar de 8 cifre (care de obicei este convertit în zecimal pentru
comoditate). Valoarea rezultată este stocată în matricea de lbp de ieșire.
Cu 8 pixeli imprejur , avem un total de 2 ^ 8 = 256 de combinații posibile
de coduri LBP .

Figura 6.4. Calculul unui pixel
 Se calculeaza histograma (vector caracteristic de 256 dimensiuni) și
opțional se poate normaliza.

Vectorul de trăsături format poate fi procesat de diverși algoritmi pentru
clasificarea imaginilor.
Implementările LBP -ului pot fi găsite atât în pachetele scikit -image, cât
și în pachetele mahotas din Python. OpenCV implementează, de asemenea,
LBP-uri, dar strict în contextul recunoașterii feței [12].

NECLASIFICAT
NECLASIFICAT
33 din 55

Figura 6. 5. Abordarea LBP pentru anti -spoofing

6.3. Analiza proprietățior pielii
O altă categorie de metode anti -spoofing se bazează pe analiza
proprietăților pielii, cum ar fi textura pielii și reflexia pielii. De exemplu, în
lucrarea [6], “Live face detection based on the analysis of fourier spectra. I n In
Biometric Technology for Human Identification ” este descrisă o metodă de
detectare a atacurilor printate .
Metoda se bazează pe analiza spectrelor Fourier 2D, presupunând că
fotografiile sunt de obicei mai mici ca dimensiune și că ar conține mai puține
componente de înaltă frecvență în comparație cu fețele reale. O astfel de
abordare poate funcționa bine pentru fotografiile de rezolutie mică , dar este
probabil să eșueze pentru imagini de înaltă calitate. Baza de date utilizată în
experimente nu este, din păcate, disponibilă în mod public.

NECLASIFICAT
NECLASIFICAT
34 din 55
6.4. Amplificare video Eulerian ă (Eulerian magnification )

Figura 6 .6. Un exemplu de folosire a amplificării video pentru
vizualizarea pulsului uman. (a) Patru cadre de la secțiunea video originală . (B)
Aceleași patru cadre cu o amplificare a pulsului . (c) Variația în timp a culorilor
in cele două cazuri. In primul caz (sus) semnalul este imperceptibil , iar în
celălalt caz variația este clară.

Scopul acestei metode este de a descoperi vari ații temporale în
videoclipuri, care sunt dificil sau imposibil de văzut cu ochiul liber și de a le
afișa într-un mod ilustrativ . Această metodă , denumită “Eulerian Video
Magni fication ”, ia o secvență video standard ca intrare și a plică descompunerea
spațială, urmată de filtrarea temporală a cadrelor. Semnalul rezultat este apoi
amplificat pentru a dezvălui inf ormații ascunse. Folosind această metod ă, se
poate vizualiz a fluxul de sânge al feței și, de asemenea, se pot dezvălui mișcări
ușoare ale feței .
Culoarea pielii omului diferă puțin în funcție de circulația sângelui.
Această variație , din moment ce nu este vizibilă cu ochiul liber, poate fi
exploatată pentru a extrage rata pulsului. În mod similar, mișcarea cu
amplitudine spațială mică, în timp ce este dificil sau chiar imposibil de văzut cu
ochiul liber , poate fi magnetizată pentru a dezvălui un comportament mecanic
interesant.
Succesul acestor instrumente motivează dezvoltarea de noi tehnici
pentru a descoperi semnale invizibile în secvențele video . În această lucrare,
arătăm că o combinație a procesului de prelucrare a imaginilor cu alte tipuri de
imagini poate duce la variații care dezvăluie aspecte importante ale lumii din
jurul nostru.

NECLASIFICAT
NECLASIFICAT
35 din 55
Prin această metodă s e demonstreză că, o combinație între procesările
spațiale și cele temporale ale secvențelor video poate amplifica variațiile subtile
și pot dezvălui aspect importante ale lumii înconjurătoare.
Abordarea principală este de a lua în considerare seria temporală de
valori ale culorilor în orice locație spațială (pixel) și de a amplifica variația într -o
bandă de frecvențe dată. De exemplu, în Figura 6 .6, se amplifică o bandă de
frecvenț e care include bătăile inimii . Amplificarea dezvăluie variația culorii ,
datorită circulării fluxul ui sanguin. Filtrarea temporală trebuie aplicată
frecvențelor spațiale mai mici pentru a permite unui astfel de semnal de intrare
subtil să fie recunoscut de senzorul de cameră și să producă zgomot .

6.5. Metoda de detecție bazată pe rețele neuronale

O altă metod ă de anti -spoofing pentru sistemele de recunoaștere faciale
este metoda de detecție și recunoaștere a micro -expresiilor bazată pe rețele
neuronale convoluționale (convolutional neural networks).
În timp ce rețeaua neuronală convoluțională (CNN – Convolutional
Neural Network) prezintă performanța superioară în multe sarcini ale
calculatorului, există doar câteva metode bazate pe CNN pentru depistarea anti –
spoofingului pentru sistemele de recunoaștere ale feței.
Abordările CNN existente sunt utilizate prin metode de învățare, care
vor fi clasificate ulterior de SVM.
Este ne voie de CNN să învețe o caracteristică robustă din date. Având în
vedere numărul tot mai mare de baze de date pentru spoofing, este cunoscut
faptul că CNN este capabil să folosească o cantitate mai mare de date de
antrenament și să învețe informații genera lizabile pentru a diferenția
eșantioanele live de cele spoof.
Urmărind această perspectivă, așa cum se observă în Figura 6.6, această
abordare propune o nouă metodă bazată pe CNN, pentru atacuri foto și replay
(video). Această metodă extrage caracteristic ile locale și hărțile de adâncime din
imaginile feței.
Caracteristicile locale sunt extrase din eșantioane aleatorii în regiunea
feței, în timp ce caracteristicile de adâncime influențează întreaga față și descriu
chipul viu ca un obiect 3D, dar chipul atacatorului ca pe o linie netedă
(presupunând un atac de tipărire sau replay).

NECLASIFICAT
NECLASIFICAT
36 din 55

Figura 6.7 . Arhitectura abordării bazate pe rețele neuronale

De când seturile de date pentru spoofingul feței conțin videoclipuri cu diferite
calități, combinarea caracter isticilor locale și holistice are dou ă avantaje:
 în primul r ând, utilizarea patch -urilor locale ajută la învățarea modelelor
de spoofing independent de suprafețele spațiale.
 în al doilea rând, hărțile holistice de adâncime asigură c ă eșantionul de
intrare are o ad âncime asem ănătoare feței

Prin urmare, folosim două CNN -uri pentru a învăța caracteristicile
locale și holistice.
Primul CNN alocă un scor la fiecare patch extras la întâmplare dintr -o
imagine a feței. Se va atribui imaginea feței cu media scorurilor.
Al doilea CNN estimează harta adâncimii imaginii feței și calculează un
scor al vitalității pentru imaginea feței bazat în funcț ie de harta de adâncime.
Fuziunea scorurilor celor două CNN -uri conduce la clasarea finală de
real vs. spoof.
Cele mai multe metode de detectare a spoofingului sunt reprezentate de
cele bazate pe găsirea diferențelor de textură între fețele live și cele spoof. Cu
toate acestea, toate metodele menționate mai sus care sunt bazate pe textura
imaginii sunt foarte sensi bile la diferite iluminări, aparate foto și identități
specifice. Cercetătorii caută acum soluții și pe diferite spații de culoare, cum ar
fi HSV (Hue, saturation, value), YCbCr, spectrul Fourier.
Cu toate acestea, în comparație cu recunoașterea feței, ac eastă metodă
de antispoofing bazată pe rețele neuronale este substanțial mai ușor de exploatat
și de folosit.

NECLASIFICAT
NECLASIFICAT
37 din 55
Abordarea propusă constă în două fluxuri:
 CNN bazate pe patch -uri
 CNN bazate pe adâncime.
Figura 6.7 prezintă in mod ilustrativ ambele flux uri, împreună cu o strategie de
fuziune pentru combinarea lor.
Pentru fluxul CNN bazat pe patch -uri, antrenăm o rețea neuronală
pentru a învăța caracteristici importante , care sunt capabile să facă diferența între
imagini reale și cele spoof folosind pat ch-uri aleatorii extras e din imaginile feței.
Pentru CNN bazat pe adâncime, vom antrena o rețea complet
convolutivă (FCN – Fully Convolutional Network ) pentru a estima adâncimea
imaginii unei fețe, presupunând că o imprimare sau un atac de reluare /
prezen tare nu are o hartă de adâncime, în timp ce fețele vii au o adâncime
normală a feței.
Metoda bazată pe adâncime poate detecta în mod independent atacurile
de spoofing la nivel de față. Doar că s -a observat că, fuzionând cele două
metode, se poate ajunge la rezultate mult mai promițătoare.
Ne putem referi la outputul fuziunii ca fiind scor ul spoof.
O imagine sau o secvență video este clasificată ca fiind falsă dacă scorul
spoof este peste o limită impusă.
În continuare sunt descrise cele două fluxuri CNN.

6.5.1. CNN bazat pe patch -uri

Există mai multe motive pentru a folosi patch -uri în loc de fața completă
in CNN.
 În primul rând, crește num ărul de eșantioane de antrenare pentru CNN. De
remarcat ca pentru toate seturile disponibile de date anti -spoofing , doar un
număr limitat de eșantioane disponibile pentru antrenare . De exemplu,
CASIA -FASD conține numai 20 subiecți pentru antrenare , cu 12
videoclipuri pe subiect. Chiar dac ă sute de fețe pot fi extrase din fiecare
film, suprapunerea ar putea fi o proble mă majoră din cauza asemănările
ridicate dintre cadre.
 În al doilea rând, atunci când se utilizează imaginile de pe tot ecranul ca
intrări, CNN -ul tradițional trebuie să redimensioneze fețele datorită
diferite lor rezoluții ale imaginii, unde această modificare scalară poate
duce la reducerea informație i. În schimb, utilizarea patch -urilor locale

NECLASIFICAT
NECLASIFICAT
38 din 55
poate să mențin ă rezoluția nativ ă a imaginilor originale ale feței, și astfel
să păstreze capacitatea de clasifica re.
 În al treilea rând, presupunând că infor mația discriminativă specifică
spoof -ului este prezentă în întreaga regiune a feței, folosirea CNN la nivel
de patch -uri poate fi aplicată să descopere astfel de informații
discriminative, indiferent de locația patch -ului. Aceasta este o
constrângere sau o provocare în comparație cu utilizarea întregii imagini a
feței.

6.5.2. CNN bazat pe adâncime
În această secțiune, sunt explicate detaliile despre CNN bazat pe
adâncime . Hârtia sau afișajul unui aparat digital au în mod evident diferite
adâncimi în comparație cu fețele vii.
Prin urmare, dezvoltarea unui estimator robust de adâncime poate aduce
beneficii pentru anti-spoofing ul la nivelul feței .
Se consideră că informațiile de înaltă frecvență a imaginilor feței sunt
cruciale pe ntru anti -spoofing și redimensionare a imaginilor poate duce la
pierderea informațiilor de înaltă frecvență.
Prin urmare, pentru a lucra cu imagini de diferite dimensiuni s -a propus
menținerea dimensiuni originale a imaginii în antrenarea CNN pentru estima rea
adâncimii.
Adică, se antrenează rețea ua complet convolutivă (FCN) ai cărei
parametri sunt independenți de dimensiunea imaginilor de intrare. Inputul va fi
format din imaginile feței și ieșirea va fi formată din hărțile de adâncime
corespunzătoare. Pentru fețele spoof , informația de adâncime este plană , la fel ca
geometria obiectului de atac , de exemplu, ecran, hârtie.

NECLASIFICAT
NECLASIFICAT
39 din 55

Figura 6.8 . Exemple de h ărți de adâncime. O imagine a unei fețe vii, cu harta
de adâncime corespunzătoare (rândul de sus) și imaginea unei fețe false cu o
hartă plată de adâncime (rândul de jos)

Exemple de hărți de adâmcime sunt reprezentate în Figura 6.8 . Pentru
fețele spoof, precum și zona de fundal a fețelor vii, “adâncimea” este egală cu 0.
Pentru unele atacuri foto este posibil ca hârtia să fie îndoită. Din moment ce este
greu de estimat valoarea reală a îndoirii, tratăm și adâncimea hârtiei îndoite ca
fiind o suprafață netedă.
Deoarece hărțile de adâncime utili zate pentru a antrenare pot distinge
între imagini le live și spoof, acestea ar trebui să folosească , de asemenea , un
clasificator de tip mașină cu suport vectorial (SVM) , care este antrenată folosind
datele de adâncime pentru a di ferenția imaginile live de cele spoof.
Luând în c onsiderare outputurile tuturor patch -urilor, media acestor
scoruri este rezultatul final (live sau spoof).
În Figura 6.9 sunt reprezentate mai multe hărți de adâncime alor patru
subiecți din baza de date publică CASIA -FASD. În prim ele două coloane sunt
imagini live ale subiecților și hărțile de adâncime corespunzătoare, iar în
celelalte șase coloane sunt reprezentate trei tipuri diferite de imagini spoof
(tipărite, redimensionate, respectiv dintr -o secvență video). Se observă o
diferență substanț ială între reprezentarile de adâncime ale imaginilor live și celor
spoof.

NECLASIFICAT
NECLASIFICAT
40 din 55

Figura 6.9 . Hărți de adâncime ale unor subiecți din baza de date CASIA -FASD

Figura 6.10 . Curbele ROC pentru cadre din baza de date CASIA -FASD
care compară CNN -urile bazate pe patch -uri cu cele bazate pe adâncime și cu
cele bazate pe metoda fuziunii. (FDR – False discovey rate, TDR – True
discovery rate)

În această lucrare se va explora în continuare capacitatea CNN pentru
anti-spoofing în partea de proiect.

NECLASIFICAT
NECLASIFICAT
41 din 55
7. Descrierea tehnică și științifică a proiectului
7.1. Aria tematică a propunerii de proiect și relevanța
Tehnologia de verificare și de recunoaștere a feței a fost dezvoltată pe
parcursul ultimilor ani. Acum, această tehnologie de recunoaștere a feței este
una dintre cele mai bune disponibile în cazul în care nu este necesară o bază de
date. Tehnologia de ver ificare/ recunoaștere este util izată în condiții sigure,
indif erent de variațiile care apar pe fețele umane și conține mimica, poziția,
variația de imbătrânire precum și variațiile provenite de la schimbarea frizurii,
ochel ari sau modificari temoporare al e iluminării .
Indepența nu poate fi de 100%, în funcție de natura datelor biometrice,
însă algoritmii creați și optimizați pe parcursul timpului au condus la rezultate
foarte bune de verificare și identificare.
Performanța, acuratețea și fiabilitatea mo torului de recunoaștere sunt
cheia pentru calitatea sistemelor de verificare și de recunoaștere a feței.
În ciuda avantajelor lor, sistemele biometrice au și vulnerabilități care le
pot compromite securitatea.
Spoofingul este cel mai cunoscut atac la nivelul senzorilor biometrici și
se referă la prezentarea unei trăsături biometrice false sau artificiale (de
exemplu, un deget gumic, o mască a feței , o poză sau o imagine iris imprimată) .
De aceea am ales dezvoltarea unei aplicații care să permită verif icarea
legitimității unui utilizator . Mai precis, aplicația recunoaște încercarea unui
utilizator de a frauda sistemul de recunoaștere a feței, fie cu ajutorul unei poze,
fie cu o secvență video sau cu o mască.

7.2. Motivația
Detectarea și urmărirea obiectelor sunt importante în multe aplicații de
viziune computerizată , inclusiv recunoașterea activități lor, siguranța
automobilelor și supravegherea.
În acest proiect am propus dezvoltarea unui sistem simplu pentru
urmărirea unei fețe într -un flux video live capturat de o cameră web și detectarea
unei încercări frauduloase a utilizatorului de a păcăli sitemul folosind o poză,
filmare su mască pentru a se autentifica .

7.3. Contribuția proiectului r aportată la stadiul actual
Desi este un domeniu intens cerceta t, sistemele biometrice prezintă în
continuare vulnerabilități, infractorii adaptându -se continuu la evoluția acestor
sisteme. O metodă din ce in ce mai folosintă de atac asupra sistemelor

NECLASIFICAT
NECLASIFICAT
42 din 55
biometrice bazate pe recunoașterea feței o reprezint ă folosirea de poze sau
filmări ale utilizatorului legitim . Contribuț ia va fi crearea unei aplicaț ii de
recunoaștere facială care va distinge trăsă turile biometrice reale prezentate
senzorului și imposibi litatea unui utilizator ilegitim de a putea fi recunoscut de
sistem .

7.4. Obiectivele și rezultatele proiectului

Obiectivul proiectului este de a implementa o aplicație de verificare
facială . Se va incerca autentificarea utilizatorului folosind o poză și o filmare a
unui utilizator legitim in scopul de a păcăli sistemul. Se așteaptș ă o rată de
respingere pentru atacator de 95-98%.

7.5. Originalitatea și contribuția inovativă a proiectului

Materialul prezentat în aceast ă lucrare este rezultatu l activităților de
cercetare și experimentare interprinse î n cad rul programului de masterat, avâ nd
urmatoarele contribuț ii:
 Implementarea unei metode practice și eficiente care detectează
un utilizator legitim prin distingerea trăsăturilor biometrice reale
prezentate camerei .
 Identificare a atacatorilor care incearcă să se autentifice folosind o
poză, o filmare a unui utilizator legitim , sau chiar o mască .

7.6. Dezvoltarea aplicației

Aplicația a fost dezvoltată in limbajul de programare python și folosește
metoda bazată pe rețele neuronale (CNN – Convolutional Neural Network ).
Ideea de bază a aplicației este de a verifica legitimitea unui utilizator și de a
recunoaște încercarea acest uia de a frauda sistemul de recunoaștere a feței cu
ajutorul unei poze, cu o secvență video sau cu o mască.
Aplicația distinge trăsă turile biometrice reale prezentate senzorului și nu
permite unui utilizator ilegitim să fie recunoscut de sistem .
Arhitectura aplicației este formată din patru pași ( Figura 7 .1):

NECLASIFICAT
NECLASIFICAT
43 din 55
1. Crearea unei baze de date pentru antrenarea rețelei; pentru ca un utilizator
să poată folosi aplicația trebuie să introducă în baza de date cel puțin o
secvența video care să conțin ă fața acestuia și încă o secvență video care
să conțină filmarea secvenței precedente (pentru identificarea încercărilor
de spoofing).

2. Adunarea de frame -uri din secvențele video din baza de date , care mai
apoi sunt folosite pentru a antrena rețeaua neuron ală, capabilă mai apoi să
facă diferența între o față live și una falsă/ spoof (imagine sau video) .
Frame -urile conțin doar o regiune de interes și anume fața utilizatorului
(am folosit un clasificator pre -antrenat de tip Haar -cascade din librăria
opencv pentru a găsi fața din imagine ).

3. Antrenarea rețelei ; Pentru antrenarea rețelei am folosit librăria Keras și
frameworkul TensorF low de machine learnin g; Dup ă antrenarea rețelei se
va crea un model care va fi folosit pentru clasificare ( Figura 7 .8)

4. Ultimul pas este clasificarea ; Aplica ția ia frame -uri d in secvența live și le
clasifică (live/ spoof) .

Figura 7 .1. Arhitectura aplicației

NECLASIFICAT
NECLASIFICAT
44 din 55
Rețeaua neuronală este formată din 23 de straturi, care arată în felul
urmăror:

Figura 7.2. Straturile rețelei neuronale

NECLASIFICAT
NECLASIFICAT
45 din 55

Figura 7.3. Straturile re țelei neuronale; Primii doi parametrii reprezintă
mărimea matricii pe care stratul o primește la intrare și al doilea parametru
este numărul de noduri al stratului

NECLASIFICAT
NECLASIFICAT
46 din 55

Modelul creat este de tip Sequen tial. Acesta este cel mai ușor mod de a
crea o rețea neuronală in Keras prin construirea strat cu strat.
Straturile folosite sunt de următoarele tipuri :

 Conv2D – strat de convoluție cu 16 , respectiv 32 de noduri cu
dimensiunea matricii de filtrare pentru convoluție egală cu 3 (matrice
3×3); Este folosint în cea mai mare parte în modele care folosesc
imagini ca input; În cazul în care acest strat este folosit ca fiind
primul, prime ște imagini de intrare văz ute ca matrici bidimensionale
(dimensiune 32, 32) în formatul RGB.

 Activation – de tip “relu” și clasificator “softmax” , este o funcție de
activare pentru strat;
o Relu (Rectified Linear Unit): Func ția f(x)=max(0,x) , care
întoarce 0 daca outputul este mai mic decât 0 și numărul însuși
dacă acesta este mai mare decât 0.
o Softmax este folosit pentru stratul de output cu 2 noduri
(categoriile pentru clasificare) și întoarce un rezultat care poate
fi interpretat ca o probabilitate [0-1]; Modelul va face apoi
predicția pe baza opțiunii cu cea mai mare probabilitate.

 Batch Normalization – strat de normalizare a activărilor din
straturile anterioare.

 Max Pooling – strat cu dimensiunea filtrului de 2×2 prin care se
redimensionează matricea prin alegerea valorii maxime din fiecare
bloc de 2×2 ; Deci, dacă dimensiunea matricii de intrare este de
32×32, atunci dimensiunea matricii de ieșire se va înjumătății și va fi
16×16, respectiv dacă dimensiunea de intrare este de 16×16, va
deveni 8×8 , după cum se observ ă în Figura 7.2.

 Dropout – Este un strat de regularizare folosint în cazul supra –
învățării (over -fitting); În cazul în care antrenăm o funcție cu mulți
parametrii utilizând un set de date de antrenare limitat este posibil să
învățăm și zgomotul prezent în acest set de date. Această problemă,
numită și supra -învățare, apare când numărul a parametrilor funcției
ce este învățată este prea mare pentru complexitatea funcției care a
generat setul de antrenare.

 Flatten – Este folosint pentru a face legătura între un strat de
convoluție și un strat de tip Dense .

NECLASIFICAT
NECLASIFICAT
47 din 55

 Dense – Este un tip de strat standard pentru rețelele neuronale care
interconectează toate inputurile cu toate outputurile din strat .

Pentru a compila modelul am avut nevoie de doi paramatrii :
 Optimizator (optimizer)
 Func ția de pierdere

Am folosit un optimizator pentru model de tip “Adam” cu rata ini țială
de învățare de 0,0001, care are scopul de a minimiza pierderea modelului pe
parcursul epocilor.
Funcția de pierdere pe care am folosit -o este “binary_crossentropy ”,
care este folosiă c u precădere în modelele cu clasificator binar.

Pentru început am creat un model efectuând 100 de epoci de învățare.
Pierderea și acuratețea pentru acest model arată în felul următor :

Figura 7.4. Acurate țe și pierderea modelului creat prin 10 0 de epoci

Am observat că incepând cu epoca 50 sistemul se stabilizează și ajunge
la acuratețea maximă și la pierderea minimă , deci, î n continuare am antrenat
sistemul cu 50 de epoci și am avut următoarele rezultate:

NECLASIFICAT
NECLASIFICAT
48 din 55

Figura 7.5. Acurate țea modelului creat prin 50 de epoci

Figura 7.6. Pierderea modelului creat prin 50 de epoci

NECLASIFICAT
NECLASIFICAT
49 din 55

Figura 7.7. Valorile pentru pierderea și acuratețea modelului

Din figurile de mai sus se observ ă că după fiecare epocă crește
acuratețea modelului și scade pierderea acestuia.

Librării pe care le -am folosit pentru dezvoltarea aplicației :

 Opencv – este o bibliotec ă open -source specializată pe vedere
computerizată în timp -real
 Keras – bibliotecă python open -source pentru antrenarea rețelei neuronale
 TensorFlow – framework open -source pentru învățare profundă (deep
learning) folosit ca backend pentru keras
 Numpy – cea mai utilizată bibliotecă pentru calcule matematice
 Matploitdb – bibliotecă utilizată pentru plotarea datelor
 Tkinter – bibliotecă de de zvoltare a interfețelor pentru utilizator ( vine
preinstalată cu python -ul)

NECLASIFICAT
NECLASIFICAT
50 din 55

Figura 7.8. Procesul de antrenare a rețelei neuronale folosind cele două
seturi de date (live și spoof)

Intefața aplicației arată în felul următor: (Figura 7.9)

Am ales ca pașii rulării aplicației să reflecte arhitectura acesteia, și
anume :

1. Adunare capturi din secvențele video din baza de date
2. Antrenare re țea
3. Deschide cameră web și clasificare

În Figura 7.10 se poate observa o captura de ecran live din cadrul
aplicației. Se poate observa că este recunoscută încercarea de a păcăli sistemul
cu redarea pe telefon unei secvențe video a utilizatorului.

NECLASIFICAT
NECLASIFICAT
51 din 55

Figura 7.9. Interfața aplicației

Figura 7.10. Captură de ecran din cadrul aplicației

NECLASIFICAT
NECLASIFICAT
52 din 55
8. Concluzii

Anti-spoofingul , ca măsu ră de securitate pentru sistemele de
recunoaștere a feței, atrage atenții sporite atât în domeniul academic, cât și în cel
industrial. Cu toate acestea, datorită diversității tipurilor de tip spoofing ,
respectiv a atacurilor foto, a atacurilor video , a atacurilor cu măști , etc., este în că
o muncă dificilă de a distinge diferite le fețe false .
Securitatea sistemului biometric ar trebui să fie în continuă dezvoltare ,
astfel încât tot mai multe încercări spoofing sunt puse în aplicare. Mulți
cercetători arată eforturile pentru a face dispozitivele biometrice mai robuste, dar
fiecare contramăsură poate fi în cele din urmă ocolită într -un fel. Astfel,
eforturile de cercetare și dezvoltare ar trebui să continue.
Metoda de anti -spoofing prezentată în această lucrare prezintă
performanța superioară față de celelalte metode, deoarece o rețea neuronală
poate să învețe și să se dezvolte. Având în vedere numărul tot mai mare de baze
de date pentru spoofing, un sistem bazat pe rețele neuronale este capabil să
folosească o cantitate mai mare de date de antrenament și să învețe informații
pentru a diferenția eșantioanele reale de cele false.
Rețelele neuronale convoluționale au realizări uimitoare într -o varietate
de domeni i. Învățarea profundă a devenit o metodă dominantă într -o varietate de
sarcini complexe, cum ar fi clasificarea imaginilor și detectarea obiectelor.
Metodele și conceptele prezentate în această lucrare pot fi folosite în arii
diverse, de la aplicații comerciale, la aplicaț ii guvernamentale sau militare.
Pe scurt, deși dispoz itivele de autentificare biometrică pot fi susceptibile
la atacuri de spoof, pot fi dezvoltate și implementate diferite tehnici anti –
spoofing care pot ridica în mod semnificativ gradul de dificultate al acestor
atacuri.
Aplicațiile trebuie examinate cu a tenție înainte de a selecta măsurile de
securitate care vor fi dezvoltate . În timp ce algoritmii de detectare a vitalității
sunt disponibili, sunt necesare mai multe teste pentru a evalua eficacitatea și
impactul acestora asupra sistemului biometric global .
În cele din urmă, indiferent de măsurile de securitate care există, n iciun
sistem nu este protejat complet de spoofing . Măsurile anti -spoofing fac pur și
simplu mai dificilă atacarea sistemului.
Teoretic, sistemul bazat pe parolă are o precizie mai mare, dar în viața
reală, parolele foarte lungi și complicate, care sunt imposibil de aflat, sunt de
asemenea greu de reținut. Aceste parole vin cu o nouă vulnerabilitate care
necesită păstrarea în loc sigur. Pe de altă parte, parolele ușor de memorat sunt
inutile și ușor de detectat de către hackeri, oferind o securitate foarte scăzută.

NECLASIFICAT
NECLASIFICAT
53 din 55
9. Referințe

[1]. T. Ahonen, A. Hadid. Face description with local binary patterns: Application to face
recognition.

[2]. W. Bao, H. Li, N. Li, W. Jiang. A liveness detection method for face recognition based on
optical flow field. In 2009 International Conference on Image Analysis and Signal Processing,

[3]. K. H. Davis, R. Biddulph, S. Balashek, ‘‘Automatic recognition of spoken digits,’’

[4]. A.K.Jain, A.Ross, Pankanti,‘‘Biometrics: A tool for information security,’’

[6]. J. Li, Y. Wang, T. Tan . Live face detection based on the analysis of fourier spectr a.

[7]. G. Chetty and M. Wagner, ‘‘Liveness detection using cross -modal correlations in face –
voice person authentication,’’

[8]. PRA Laboratory. (2013). Fingerprint Spoofing Challenge, YouTube.

[9]. T. Ojala . Multiresolution gray -scale and rotation invariant texture classification with
local binary patterns.

[10]. K.Kollreider, H. Fronthaler, J. Bigun, ‘‘Verifying liveness by multiple experts in face
biometrics,’

[11]. Z. Zhang, D. Yi, Z. Lei, S. Z. Li,‘‘Face liveness detection by learning multispectral
reflectance distributions,’’

[12]. X. Tan, Y. Li, J. Liu, L. Jiang. Face liveness detection from a single image with sparse
low rank bilinear discriminative model.

[13]. Pyimagesearch . https://www.pyimagesearch.com/2015/12/07/local -binary-patterns –
with-python -opencv

[14]. N. Kose, J.-L. Dugelay, ‘‘Reflectance analysis based countermeasure technique to detect
face mask attacks,’’

[15]. T. I. Dhamecha, A. Nigam, R. Singh, and M. Vatsa, ‘‘Disguise detection and face
recognition in visible and thermal spectrum. ,

NECLASIFICAT
NECLASIFICAT
54 din 55
[16]. G.Pan, S. Lao, ‘‘Eyeblink -based anti-spoofingin face recog nition from a generic
webcamera ’’

[17]. K. Kollreider, H. Fronthaler, J. Bigun, ‘‘Non -intrusive liveness detection by face
images,’’

[18]. A. Anjos , S. Marcel, ‘‘Counter -measures to photo attacks in face recognition: A public
database and a baseline,’’

[19]. I. Pavlidis , P. Symosek, ‘‘The im aging issue in an automatic face/disguise detection
system,’’

[20]. M. de Marsico, M. Nappi, D. Riccio, and J. Dugelay, ‘‘Moving face spoofing detection
via 3D projective invariants,’’

[21]. Z. Zhang, J. Yan, S. Liu, Z. Lei, D. Yi, ‘‘A face antispoofing database with diverse
attacks ’’.

[22]. I. Chingovska, A. Anjos, and S. Marcel, ‘‘On the effectiveness of local b inary patterns in
face anti -spoofing ’’.

[23]. T. de Freitas Pereira, A. Anjos, J. M. de Martino, S. Marcel, ‘‘LBP -TOP based counter
measure aga inst face spoofing attacks, ’’.

[24]. S. Bharad, T. I. Dhamecha, ‘‘Computationally efficient face spoofing detection w ith
motion magnification ’’.

[25]. J. Komulainen, A. Hadid, and M. Pietikainen, ‘‘Context based face anti -spoofing,’’ .

[26]. A. Hadid, ‘‘Face spoofing detection from single images using tex ture and local shape
analysis’.

[27]. X. Tan, Y. Li, J. Liu, ‘‘Face liveness detection from a single image with sparse low rank
bilinear discriminative model,’’

[28]. https://www.pyimagesearch.com/2018/09/10 /keras -tutorial -how-to-get-started -with-
keras -deep -learning -and-python/

[29]. Proiectul TABULA RASA – https://www.fonduri -structurale.ro/stiri/12937/un -proiect –
finantat -de-ue-ar-putea -revolutiona -sistemele -de-securitate -biometrica

[30]. Building a Convolutional Neural Network (CNN) in Keras –
https://towardsdatascience.com/building -a-convolutional -neural -network -cnn-in-keras –
329fbbadc5f5