TEHNOLOGII MODERNE IN INGINERIA SISTEMELOR INFORMATICE (TMISI) [604422]

UNIVERSITATEA SPIRU HARET
FACULTATEA DE INGINERIE SI INFORMATICA BUCURESTI
Programul de studii universitare de master (4 semestre, ciclul II Bologna):
TEHNOLOGII MODERNE IN INGINERIA SISTEMELOR INFORMATICE (TMISI)
REFERAT LA DISCIPLINA “ FIABILITATEA PROGRA MELOR ”
(Semestrul I I, 2020 )

DIAGNOZA SISTEMELOR SI
RECUNOASTEREA FORMELOR

Titularul disciplinei:
Prof. univ. dr. Grigore Albeanu
Masterand: [anonimizat]

1

Generalit ǎti

Diagnoza sistemelor (fault detection) utilizeaz ǎ între altele metoda numit ǎ
recunoasterea formelor (pattern recognition).
Termenul forme asa cum este utilizat în recunoasterea formelor reprezint ǎ o
generalizare a ceea ce îndeobste se întele ge prin form ǎ când se face referire la
geometria unor obiecte, o extindere la formele de manifestare ale unor structuri
din natur ǎ. În acest cadru general, fenomenele, obiectele si sistemele din natur ǎ
au anumite forme de manifestare ( patterns ) care fac po sibilǎ distinctia între
tipuri/clase diferite de fenomene/obiecte/sisteme.
Într-o exprimare matematic ǎ abstract ǎ elementele unui spatiu C al claselor sunt
asociate prin intermediul unei aplicatii G pe un spatiu P al formelor (de
manifestare). Formele din s patiul P sunt asociate la rândul lor prin mijlocirea
unei alte aplicatii M pe spatiul F al observatiilor sau al m ǎsurǎtorilor.

Numai elementele spatiului F sunt nemijlocit accesibile. În general f unctiile M
si G nu sunt inversabile asa încât trecerea de la spatiul observatiilor înapoi la
spatiul formelor si apoi la spatiul claselor pe o cale univoc ǎ nu este posibil ǎ.
În circumstantele de mai sus, recunoasterea formelor este o tehnic ǎ de a obtine
informatia în form ǎ redus ǎ (reduction ), de a aplica ( mapping ) informatia, de a
eticheta informatia ( labeling ).
În procesul de clasificare apare problema dubl ǎ a clasific ǎrii corecte sau gresite
si/sau a posibilit ǎtii de a distinge sau a face confuzie între forme care apartin
unor clase diferite.

2
Recunoasterea formelor prin clasificare, clasificatori

Iatǎ câteva definitii specifice. Prin clasificarea unor forme se întelege asocierea
datelor observate uneia sau alteia dintre cele c clase prespecificate , pe baza
extragerii caracteristicilor/atributelor semnificative si pe baza analizei acestor
atribute. Recunoasterea unor forme const ǎ în abilitatea de a clasifica. Uneori se
creaz ǎ o a (c + 1)-a clas ǎ care corespunde inclasificabilului (clasa “necunoscut”
sau “decizie imposibil ǎ”). O clas ǎ de forme este o multime de forme care
împart uzual unele atribute comune, cunoscut ǎ fiind originea lor comun ǎ. Cheia
definirii unor astfel de clase st ǎ în capacitatea de a identifica atribute sau
caracteristici potrivite si mǎsuri adecvate ale similarit ǎtii formelor . Uneori este
necesar ǎ o preprocesare, o operatie de filtrare sau de transformare a datelor
brute pentru a facilita evalu ǎrile menite a extrage caracteristici ale formelor si a
minimiza zgomotul. Zgomotul este un concept care -si are originea în
transmiterea informatiei. În recunoasterea formelor zgomotul reprezint ǎ o serie
de adaosuri str ǎine de fenomenul observat cum sunt distorsiunile sau erorile
asupra datelor/formelor, erorile în faza de preprocesare, eroril e în extragerea
caracteristicilor/atributelor, erorile în datele de instruire si de verificare.
Un clasificator este uzual o functie dar poate fi si un algoritm care face o
partitionare a spatiului caracteristicilor în regiuni de decizie purtând anumite
etichete. Dac ǎ vectorul caracteristicilor în particular numerice este d-
dimensional atunci regiunile sunt o partitie a spatiului Rd. Regiunile sunt prin
urmare formate din puncte separate. Exceptie fac universurile vagi (fuzzy ) unde
regiunile de decizie se întrep ǎtrund . Între regiunile de decizie exist ǎ frontiere de
decizie. Dac ǎ regiunile sunt definite, atunci procesul de clasificare este simplu.
Se aplic ǎ unei forme eticheta regiunii c ǎreia îi apartine. Problema definirii
acestor regiuni este îns ǎ dificil ǎ si este che ia întregii probleme a clasific ǎrii.
Clasificatorii se bazeaz ǎ pe functii discriminante. Într -o clasificare în c clase,
functiile discriminant gi(x), i = 1, 2, …, c actioneaz ǎ dupǎ regula atribuie forma
x clasei w m (regiunii Rm) dacǎ
gx gx i cimm i () (), ,,…,;   12 . O frontier ǎ
de decizie este definit ǎ de egalitatea
lkxgxgl k   ),( )( .
Instruirea unui sistem de recunoastere a formelor, înv ǎtarea formelor de c ǎtre
un astfel de sistem tine seama de experienta sau de cunostintele apriori care
trebuie totdeauna ut ilizate la proiectarea unui sistem de recunoastere a formelor.
Acele cunostinte se constituie în asa -numitele multimi de înv ǎtare. Ele
constituie o baz ǎ de date care furnizeaz ǎ informatii importante asupra modului
cum trebuie asociate datele observate cu c lase de forme. Instruirea/înv ǎtarea
utilizeaz ǎ forme tipice, reprezentative pentru formele care apar în aplicatia
realǎ.
Sunt utilizate mai multe variante ale recunoasterii formelor: una este varianta
statistic ǎ, alta este varianta sintactic ǎ/structural ǎ si, mai nou, varianta cu retele
neuronale.

3
Procedurile ingineriei sistemelor de recunoastere a formelor parcurg orientativ
urmǎtorii pasi:
1. Studiul claselor de forme sub aspectul structural si sub aspectul
probabilistic. Explorarea posibilit ǎtilor de defini re a unor m ǎsuri ale
similarit ǎtii/disimilarit ǎtii între clase/în interiorul claselor. Studiul unor
aspecte deformante, al unor propriet ǎti invariante si al surselor de zgomot.
2. Determinarea accesibilit ǎtii unor caracteristici/m ǎsurǎtori specifice.
3. Evaluare a performantelor sistemului de recunoastere a formelor raportat ǎ la
resursele disponibile, acuratetea clasific ǎrilor raportat ǎ la resursele hard .
4. Disponibilitatea unor date de verificare/instruire (training sets).
5. Disponilbiltatea unor tehnici de-a gata de recunoastere a formelor.
6. Dezvoltarea unor posibilit ǎti de simulare a sistemului de recunoastere a
formelor.
7. Verificarea/instruirea sistemului ( training ).
8. Verificarea performantelor sistemului prin simulare.
9. Parcurgerea iterativ ǎ a pasilor de mai sus pentr u ameliorarea performantelor
sistemului de recunoastere a formelor.
În sistemele de recunoastere a formelor se folosesc variate masuri de
similitudine. În spatiile metrice, distanta euclidian ǎ

d
ii iTyx yxyx yx yxd
12) ( ) () ( ),(

sau metrica mai general ǎ
dxy xyp i ip
idp
(,)/




11

sunt utilizate foarte frecvent. Foarte uzual ǎ este si distanta ponderat ǎ
2 2) () (),(QT
Q yx yxQyx yxd 

cu Q o matrice de ponderi pozitiv definit ǎ, care dac ǎ este si simetric ǎ se poate
factoriza sub forma Q = TTT si atunci matricea T reprezint ǎ o posib ilǎ
transformare de spatiu liniar
x1 = Tx
y1 = Ty
cu norma euclidian ǎ în spatiul adres ǎ egalǎ cu cea ponderat ǎ în spatiul surs ǎ.
Pentru distantele mentionate, care sunt derivate din produsul scalar de
vectori
xy, , sunt valabile inegalit atea lui Schwartz si inegalitatea
triunghiului. Dac ǎ
xxx1/ atunci
 xy1, este proiectia vectorului y pe
directia x.
Dacǎ vectorii x si y sunt binari de aceeasi lungime atunci este de utilizat distanta
Hamming definit ǎ ca suma în multimea numerelor naturale a rezultatelor
însum ǎrii modulo 2 a bitilor de acelasi rang ai celor doi vectori.
Pentru multimi finite se foloseste metrica Tanimoto

4

) ( )( )() (1) () (1),(BA cardB cardA cardBA card
BA cardBA cardBAd 
mai ales atunci când elementele multimilor sunt egale ca impor tantǎ. În multe
situatii, distanta Levenshtien
dAB card Acard B card ABL(,)max{ (), ()} ( )  

este mai potrivitǎ.
Pentru siruri/secvente de numere, fie acestea u si v, se au în vedere lungimile
care pot fi diferite si ordinea elementelor. Elemente utilizate în constructia
mǎsurilor de similitudine si/sau lipsei de similitudine sunt incluziunea (un sir
contine un alt sir), suprapunerea (subsirul cel mai cuprinz ǎtor comun celor dou ǎ
siruri), similaritatea variational ǎ (costul minim al convertirii unui sir la altul)
etc.
Din descom punerea distantei
  2 2 22 ) ( y xy x yx d

rezult ǎ o contributie constant ǎ irelevant ǎ datǎ de termenii prim si ultim din
expresia desf ǎsurat ǎ si o contributie care poate fi o m ǎsurǎ a similitudinii dat ǎ
de termenul central. Un maxim al acestuia din urm ǎ produce un minim al
distantei între formele x si y. Termenul central, f ǎrǎ coeficientul –2, este
covariatia nenormalizat ǎ a celor dou ǎ caracteristici complete x si y. Împ ǎrtirea
cu produsul normelor, dac ǎ astfel de norme sunt definite, conduce la covariatia
normalizat ǎ sau corelatia caracterisiticilor. Un maxim al acesteia presupune o
asem ǎnare/similitudine pronuntat ǎ a celor dou ǎ forme.
Varianta unui spatiu scalat este exemplificat ǎ prin forma prototip ( template ) (1
2 3 4) de reg ǎsit în secventa de intrare ( 7 6 3 4 1 2 4 3 1 2 3 4 5 6 5 4). Prin
mediere a numerelor dou ǎ câte dou ǎ se ob tin forma prototip (1,5 3,5) si
respectiv , secventa (6,5 3,5 1,5 3,5 1,5 3,5 5,5 4, 5) si, dup ǎ o nou ǎ mediere, în
aceeasi manier ǎ se obtin (2,5) si (5 2,5 2,5 5). Recunoasterea s e produce în
trepte. Este aici de observat economia de calcule multiplicative fat ǎ de metoda
corelatiei.
Metoda spatiului scalat este generalizabil ǎ prin crearea unei familii de
caracteristici
(,) ()( ,) xy fxgxuydu  



cu f(x) forma de recunoscut si g(x, y) un nucleu al unor convolutii în care apare
si parametrul de scalare y.
O functie nucleu foarte utilizat ǎ este functia Gauss







 2
21exp
21),(yx
yyxg


care este un nucleu de continut unitar adic ǎ integrala lui pe axa real ǎ este egal ǎ
cu 1. El realizeaz ǎ o netezire variabil ǎ cu rezolutia dat ǎ de parametrul y.

5

Diagnozǎ prin retele neuronale artificiale

Amprentele defectiunilor diverse se pot recunoaste prin mijlocirea retelelor
neuronale artificiale. Retelele neuronale artificiale sunt reproduceri înc ǎ
modeste ale retelelor de neuroni ale fiintelor vii, în particular ale celor umane.
Retelele naturale de neuroni sunt cele mai rafinate sisteme de prelucrare a
informatiei. Chiar dac ǎ vitezele sunt de cele mai multe ori inferioare celor
realizate de calculatoa re, o retea cum este creierul uman dep ǎseste în rafinament
orice calculator electronic. În tratarea informatiei suntem capabili a percepe, a
prelucra semnalele primite, a extrage catacteristici reprezentative dintr -o lume
foarte complex ǎ si a decide. Acest e operatii le efectu ǎm curent, cu o vitez ǎ cel
putin acceptabil ǎ, în conditiile unei adaptabilit ǎti comportamentale remarcabile
vis-à-vis de situatii noi. Aceast ǎ din urm ǎ caracteristic ǎ este datorat ǎ reflexelor
rapide (de pild ǎ dimesionarea pupilar ǎ în ra port cu intensitatea sursei de
lumin ǎ) si capacit ǎtii de a înv ǎta. Dac ǎ reflexele sunt în mare m ǎsurǎ similare
unor scheme automate simple, capacitatea de a înv ǎta se refer ǎ la adaptarea
lentǎ la a executa o actiune nou ǎ (mersul pe biciclet ǎ, de pild ǎ) sau la a aplica o
teorie matematic ǎ nouǎ. Un sportiv de performant ǎ repet ǎ de nenum ǎrate ori
aceleasi scheme la antrenament pân ǎ când anumite misc ǎri devin aproape
inconstiente. Dobândeste astfel reflexe noi prin înv ǎtare. Matematicianul aplic ǎ
anumite elemen te teoretice la rezolvarea unor probleme si prin exercitiu repetat
învat ǎ sǎ rezolve si s ǎ formalizeze aspecte noi ale disciplinei sale.
Neuronul ca celul ǎ de baz ǎ a retelelor neuronale are un num ǎr de intr ǎri si o
iesire unic ǎ. Iesirea poate fi intrare pe ntru alti neuroni, uzual dup ǎ o
multiplicare cu un anumit num ǎr. Figura al ǎturat ǎ prezint ǎ schematic un neuron
cu trei intr ǎri.

Celula neuronal ǎ este caracterizat ǎ de o asa -numit ǎ functie de activ are, care
aplic ǎ intrǎrile pe multimea valorilor de iesire. Functia de activare pentru
celulele neuronale naturale este considerat ǎ a fi de forma unui salt marcat de un
prag de sensibiltate xp, conform figurii care urmeaz ǎ.

6

Variabila x este o combinatie liniar ǎ a intr ǎrilor reale multiple, care provin din
ambiant ǎ sau de la alti neuroni. Coeficientii acelei combinatii liniare se numesc
ponderi . Se observ ǎ cǎ neuronul are un prag de sensibiltate car e produce o
iesire nenul ǎ numai dac ǎ este dep ǎsit. Un x sub pragul xp face ca iesirea s ǎ fie
zero (nu produce iesire) .
O retea neuronal ǎ, fie ea natural ǎ sau artificial ǎ este compus ǎ din neuroni
interconectati în moduri foarte diverse. Conectarea poate fi ciclic ǎ, adic ǎ pe o
cale mai scurt ǎ sau mai lung ǎ cel putin un neuron din retea îsi serveste siesi
intrǎri, de regul ǎ mijlocit. Asemenea retele se numesc retele Hopfield si au
parte de o atentie aparte si de o tratare specific ǎ în literatura de specialitat e.
Foarte prezente în aplicatiile ingineresti sunt îns ǎ retelele stratificate pentru
care structura este de asa natur ǎ încât celulele neuronale sunt organizate în
straturi. Se disting un strat de intrare si un strat de iesire, singurele care contin
celule în contact nemijlocit cu mediul ambiant. Celulele din stratul de intrare
primesc stimuli din exterior, cele din stratul de iesire genereaz ǎ iesiri ale retelei,
rezultate ale unor calcule multiple executate predominant în paralel. Mai exist ǎ
unul sau mai mu lte straturi ascunse formate din celule la care accesul nemijlocit
pentru a m ǎsura/observa intr ǎrile si/sau iesirile nu este posibil. Conexiunile sunt
numai de la un strat la altul într -o ordine a straturilor bine stabilit ǎ. Stratul de
intrare furnizeaz ǎ intrǎri primului strat ascuns. Acesta stratului ascuns urm ǎtor
(dacǎ exist ǎ un strat ascuns urm ǎtor). Un penultim strat, si acesta ascuns
serveste intr ǎri stratului de iesire. Niciodat ǎ nu are loc un transfer de informatie
între celulele unui aceluiasi stra t de neuroni, niciodat ǎ spre un strat anterior.
Figura al ǎturat ǎ, care are înf ǎtisarea unui graf orientat cu celule neuronale în
noduri si cu leg ǎturile între neuroni pe arce reprezint ǎ tocmai o retea
stratificat ǎ. Reteaua reprezentat ǎ are un singur strat ascuns.

7

Arcelor li se ataseaz ǎ anumite valori denumite ca si mai devreme ponderi .
Arcele împreun ǎ cu ponderile atasate reprezint ǎ regula matematic ǎ de realizare
a acelor combinatii liniare a intr ǎrilor simple sau multiple ale fiec ǎrui neuron,
intrǎri provenite din mediul ambiant sau care sunt iesiri ale neuronilor dintr -un
strat precedent. Fuctiile de activare dau regula de calcul al iesirilor neuronilor si
implicit al intr ǎrilor pentru stratul neu ronal urm ǎtor.
Un element caracteristic al oric ǎrei retele neuronale este capacitatea de înv ǎtare.
Învǎtǎtura acumulat ǎ de o retea de neuroni cu functii de activare precizate este
stocat ǎ în ponderile asociate conexiunilor dintre neuroni. Într -un proces de
instruire, cum frecvent se spune în aplicatiile tehnice ale retelelor neuronale
artificiale, ponderile sunt aranjate de asa natur ǎ încât la intr ǎri similare,
rǎspunsul retelei, cu alte cuvinte iesirile ei s ǎ fie similare dacǎ nu identice .
Instruirea unei retele se face pe o multime de perechi intr ǎri-iesiri observate
experimental, numit ǎ si multime de înv ǎtare, multime fatalmente finit ǎ. În
cursul înv ǎtǎrii/instruirii retelei, ponderile sunt ajustate algoritmic pentru ca un
anumit criteriu de penalitate s ǎ fie minimizat. Intr ǎrile sunt uzual valori
observate ale unor m ǎrimi fizice. Iesirile pot fi niste etichete (acestea ar putea fi
diagnostice, de pild ǎ) sau alte m ǎrimi care sunt legate functional de intr ǎri nu
prin relatii functionale clar formulate si de ci tratabile prin calcule aritmetice
simple ci într -o manier ǎ mai curând tainic ǎ, misterioas ǎ. Rezult ǎ din ultima
afirmatie c ǎ retelele neuronale pot fi utilizate atât la clasific ǎri cât si la
interpol ǎri de functii înv ǎluite în mister cum sunt uneori rela tiile între variabile.
Clasific ǎrile pot avea în vedere simptome ale unei function ǎri defectuoase a
unui organism viu sau a unui sistem tehnic. În cazul acesta multimea de
învǎtare, o multime de perechi intr ǎri-iesiri se clasific ǎ prin etichetare: fiecare
set de intr ǎri se asociaz ǎ cu un dignostic care are eventual un nume. Reteaua
neuronal ǎ este instruit ǎ ca la iesire s ǎ produc ǎ indicatorul celui mai probabil
diagnostic. Astfel instruit ǎ, reteaua poate recunoaste diagnosticele respective
chiar dac ǎ, cum se întâmpl ǎ deseori, simptomele introduse ca intr ǎri nu
reproduc riguros simptome -intrǎri din multimea de înv ǎtare. Indicatorii de

8
diagnostic obtinuti la iesire ar putea fi un vector binar, câte un bit pentru fiecare
diagnostic. Desigur, iesirea se poate nua nta în numere în intervalul [0,1] care s ǎ
dea numai o indicatie a diagnosticului/diagnosticelor cel/cele mai probabile.
Decizia corect ǎ trebuie sprijinit ǎ mai departe pe alte informatii, pe experienta
acumulat ǎ de experti sau de un sistem expert ca element de inteligent ǎ
artificial ǎ orientat pe diagnoz ǎ.
În procesul de instruire/înv ǎtare este necesar un asa -numit criteriu de penalitate
care trebuie minimizat prin modificarea ponderilor atasate leg ǎturilor dintre
neuronii retelei. Cele mai utilizate criterii sunt cele bazate pe distante, de pild ǎ
cel al celor mai mici p ǎtrate. Iesirile observate experimental în conditii de
intrǎri cunoscute, si acestea observate, se constituie în valori tint ǎ pentru
învǎtare. Valorile calculate cu reteaua neuronal ǎ trebuie s ǎ vinǎ în procesul de
învǎtare cât mai aproape de valorile tint ǎ. Sub aspectul calculului efectiv
problema este de a stabili un extrem. Exist ǎ metode variate de stabilire a
extremelor functiilor. Metodele de gradient întâmpin ǎ o dificultate major ǎ în
cazul fuctiilor de activare de tipul salt/prag mentionate mai devreme : aceste
functii nu sunt derivabile . De aceea functiile de activare pentru retelele
neuronale au fost f ǎcute continue si derivabile printr -o usoar ǎ modificare.
Modificarea conduce la functia si gmoidal ǎ care are expresia
) (11)(
pxxex

si graficul din figura de mai jos.
Functia sigmoidal ǎ este tot de tipul salt dar saltul este neted. Saltul se apropie
oricât de mult de saltul net din cazul functiei prag pe m ǎsurǎ ce constanta
pozitiv ǎ  creste. Functia de activare r ǎmâne îns ǎ derivabil ǎ ceea ce este foarte
important pentru metodele de gradient.

Referitor la structura retelelor neuronale se pune întrebarea (dublǎ) natural ǎ:
câte s traturi de neuroni sunt necesare, câte celule sunt necesare în fiecare strat
de neuroni?
Stratul prim, cel de intrare trebuie s ǎ contin ǎ atâtea celule câte componente are
vectorul intr ǎrilor retelei. Stratul ultim care produce iesirile retelei trebuie s ǎ
contin ǎ nici mai mult nici mai putin decât num ǎrul de componente ale
vectorului de iesire. Rolul oric ǎrui strat neuronal interior/ascuns este acela de a
re-formula/re -aplica iesirile stratului anterior pentru a obtine o reprezentare mai

9
clar separabil ǎ, mai limpede clasificabil ǎ a datelor. Straturile interioare sunt
cele care permit atasarea unei semantici combinatiilor de intr ǎri ale stratului.
Kolmogorov a dat de timpuriu un r ǎspuns (partial) la problema num ǎrului de
celule dintr -un strat ascuns. R ǎspunsul bazat pe teoria aproxim ǎrii functiilor
sunǎ astfel: fiind dat ǎ o functie continu ǎ
  : ,() I R x yd c  , unde I = [0, 1]
si în consecint ǎ Id este cubul unitate d-dimensional, functia  poate fi
implementat ǎ într-o retea neuronal ǎ cu exact trei straturi, cu d unitǎti (celule) în
stratul de intrare, cu (2 c + 1) neuroni într -un unic strat ascuns si cu c unitǎti în
stratul de iesire.
Teorema dat ǎ de Kolmogorov este numai o teorem ǎ de existent ǎ. Construirea
efectiv ǎ a functiilor de activare este deschis ǎ. Posibilit ǎtile de aproximare a
functiei  cu functii de un gen sau altul r ǎmâne obiectul unor investigatii de
natur ǎ mai curând aplicativ ǎ.
Dupǎ cum s -a arǎtat mai devreme, retelele neuronale artificiale sunt deja larg
utilizate pentru a rezolva probleme de învǎtare în diverse domenii. Prin
utilizarea unor date experimentale existente, retelele neuronale “învat ǎ” relatiile
între intr ǎri si iesiri. Relatiile sunt aproape totdeauna neliniare si sunt cu totul
empirice, f ǎrǎ apel la vreo teorie din fundamentele f izicii , ale chimiei etc . Sub
acest unghi , retelele neuronale sunt pur si simplu modele regresionale complexe
a cǎror structur ǎ este determinat ǎ empiric. Desi retelele neuronale artificiale au
fost inspirate înc ǎ de la începuturi de retelele de celule nervo ase ale
organismelor vii, dezvolt ǎrile aplicative ulterioare ale acestor retele, pân ǎ la
cele mai recente, cunoscute si sub numele de modele conexioniste sunt produse
ale progreselor recente înregistrate de analiza functional ǎ.
O retea neuronal ǎ tipicǎ (desigur dintre cele stratificate, deocamdat ǎ cele mai
utilizate) este constituit ǎ din mai multe straturi de noduri interconectate, fiecare
nod cu o functie de activare si ponderi pe fiecare arc care conecteaz ǎ nodurile
retelei între ele. Iesirea fiec ǎrui nod este o functie neliniar ǎ de toate intr ǎrile
sale. Astfel, reteaua este o dezvoltare a relatiei neliniare necunoscute între
intrǎrile x si iesirile F într-un spatiu generat de asa -numitele functii de activare
ale nodurilor retelei. În particular, înv ǎtarea prin propagare direct ǎ în retele
stratificate poate fi privit ǎ ca sintetizarea unei aproxim ǎri a unei functii
multidimensionale în spatiul generat de functiile de activare
ix() , (i = 1, 2, …,
m), adic ǎ
Fx cxii
im
() () 

1

Cu date e mpirice la dispozitie, cu functiile de activare date si cu topologia
retelei cunoscut ǎ, parametrii ci, (i = 1, 2, …, m) sunt ajustati astfel încât eroarea
aproxim ǎrii sǎ fie minim ǎ.
Douǎ tipuri de functii de activare sunt utilizate de obicei: functiile globale si
functiile locale.
Functiile de activare globale sunt active pe un domeniu larg de valori ale
intrǎrilor si asigur ǎ o aproximare global ǎ a datelor empirice. Functiile de

10
activare locale sunt active numai într -o vecin ǎtate restrâns ǎ a unei valori de
intrare. Efectul lor se estompeaz ǎ pentru valori situate departe de centrul de
receptivitate al functiei de activare. Cele mai cunoscute functii de activare
globale (exemplificate mai devreme) sunt pragul liniar unitar utilizat în celulele
numite perceptro n si functia sigmoidal ǎ utilizat ǎ în retelele cu propagare
secvential ǎ invers ǎ (BPN – Back Propagation Network ).
Functiile de tipul radial sunt în esent ǎ locale si sunt utilizate în retelele cu baze
de functii radiale (RBFN – Radial Basis Function Network ). Figura care
urmeaz ǎ reprezint ǎ o asemenea functie.

În general, o functie radial ǎ asociat ǎ unui nod este de forma
 i i xhxx ()

Functia gaussian ǎ în varianta ei multidimensional ǎ

i n iT
inxWxxWxx xR ()det
()exp ( )( ),   


21
22

cu W o matrice pozitiv definit ǎ este de tipul radial.
În cazul unidimensional ea se scrie ca

 i
ii
ixxxxR () exp( ),  

1
2 22
2

Retelele de tipul RBFN pot, de asemenea, s ǎ aproximeze functiile continue cu o
eroare oricât de mic ǎ.
Pentru problemele cu dimensionalitate foarte extinsǎ, acesta este cazul instruirii
unei rete neuronale unde varabilele de decizie sunt ponderile, se recurge la
metode împrumutate de la regnul viu. Sectiunea imediat urmǎtoare contine un
asemenea recurs.

Algoritmi genetici

Problemele ingineresti cu dimensionalitate mare sau foarte mare se pot trata
prin metode bazate pe algoritmii genetici. Stabilirea extremelor unor functii
multimodale, structurarea optimǎ si instruirea retelelor neuronale sunt exemple
de asemenea probleme. Algoritmii genetici sunt un împrumut din biologie si se
bazeazǎ pe evolutionismul darwinian.

11
Se considerǎ o populatie alcǎtuitǎ din indivizi descrisi de structuri numite
cromozomi. Cromozomii sunt uzual structuri liniare, ansambluri de gene.
Figura alǎtur atǎ ilustreazǎ doi indivizi prin cromozomii lor, genele fiind
reprezentate prin culori.

Orice populatie este în evolutie. Indivizii care o alcǎtuiesc se combinǎ în
perechi pentru a genera urmasi. Procedeul curent este cel al combinǎrii –
încrucisǎrii. P rin combinare rezultǎ descendenti care sunt la rândul lor
caracterizati de cromozomi. Cromozomii lor rezultǎ printr -o lecturǎ încrucisatǎ
a cromozomilor parentali, în linii mari conform schemei din figura care
urmeazǎ. În partea de jos sunt reprezentati pr in cromozomii specifici
descendentii rezultati.
Nu este obligatoriu ca din combinare sǎ rezulte doi descendenti dar în multe
aplicatii tehnice aplicarea operatorului de combinare produce doi descendenti.
Desigur, punctul de comutare a lecturii de la un cro mozom la celǎlalt poate fi
pozitionat si altundeva. De asemenea, pot exista si mai multe puncte de
traversare.

Lectura cromozomilor parentali se poate face corect dar se poate face si cu
eroare. Dacǎ s -a produs o eroare, se spune cǎ a avut loc o mutatie. Asadar,
existǎ un al doilea operator genetic, operatorul de mutatie . Figura urmǎtoare
ilustreazǎ efectul unei mutatii. Sunt prezentati din nou descendentii rezultati
prin lectura corectǎ a genelor, apoi descendentii dintre care unul este afectat de
o muta tie la gena marcatǎ cu sǎgeatǎ.

12

În aplicatiile ingineresti se vorbeste de populatii de solutii ale unei probleme si
de determinarea evolutivǎ a solutiei acelei probleme. Este vorba mai ales de
probleme complexe, de dimensionalitate excesivǎ pent ru care nu sunt cǎi
analitice de solutionare, iar enumerarea tuturor solutiilor acceptabile este o
iluzie. Si aici, ca si în cazul populatiilor biologice se vorbeste de adecvarea mai
bunǎ sau mai slabǎ a solutiilor la problema tratatǎ, întocmai cum indiviz ii unei
specii sunt adecvati mai mult sau mai putin la problema supravietuirii într -un
mediu generator de variate provocǎri. Si într -un caz si în altul principiul
darwinian al selectiei naturale “ supravietuiesc cei mai adecvati ” lucreazǎ
sistematic pentru adaptarea solutiilor la problema fomulatǎ, respectiv a
indivizilor la problema supravietuirii si implicit a perpetuǎrii.
Din expunerea generalǎ de mai sus rezultǎ cǎ problemele tehnice si economice
se pot rezolva evolutiv dacǎ existǎ o codare prin cromozom i adecvati a
solutiilor admisibile si dacǎ se defineste corespunzǎtor o functie de adecvare.
Cromozomii din aplicatiile ingineresti pot avea forme diverse. La fel functiile
de adecvare. Cea mai frecventǎ codare este cea binarǎ: cromozomii sunt siruri
de bi ti, genele sunt bitii însisi.
Orice formǎ ar avea cromozomii, solutionarea unei probleme prin utilizarea
algoritmilor genetici parcurge o cale evolutivǎ, solutia se obtine prin evolutie .
Algoritmul porneste de la o populatie de solutii reprezentate prin cromozomi .
Solutiile dintr -o populatie sunt utilizate pentru a forma o nouǎ populatie de
solutii. Motivatia este cât se poate de naturalǎ: speranta cǎ noua populatie va fi
mai bunǎ decât populatia veche. Solutiile alese pentru a produce solutii noi,
pentru a produce descendenti , sunt alese pe baza potrivirii lor cu mediul
problemei de solutionat: cu cât sunt mai adecvate, cu atât ele au mai mari sanse
de a se reproduce .
Procedura este repetatǎ pânǎ când s -a generat un numǎr dat de populatii
succesive sau o an umitǎ conditie de adecvare a fost atinsǎ.
Algoritmii genetici (AG) cuprind în general pasii urmǎtori:
1. Generarea aleatoare a unei populatii initiale de n solutii acceptabile ale
problemei, reprezentate de n cromozomi
2. Evaluarea unei functii de adecvare f(x) pentru fiecare cromozom x din
populatie
3. Crearea unei populatii noi prin repetarea pasilor urmǎtori pânǎ ce populatia
nouǎ este completǎ
a. Selectia: se selecteazǎ o pereche de cromozomi pǎrinti în acord cu
adecvarea lor (cu cât sunt mai adecvati cu atât au sa nse mai mari de
a fi alesi pentru reproducere)
b. Încrucisarea: cu o probabilitate de încrucisare datǎ se încruciseazǎ
pǎrintii pentru a genera o pereche de descendenti (dacǎ nu are loc o
încrucisare descendentii vor fi cópii identice ale pǎrintilor)
c. Mutatia: cu o probabilitate precizatǎ se modificǎ unele pozitii, unele
gene din cromozomii descendentilor

13
4. Populatia generatǎ înlocuieste populatia veche si este folositǎ pentru o nouǎ
parcugere etapǎ cu etapǎ a algortimului
5. Dacǎ conditia de oprire este atinsǎ, alg oritmul se încheie si se retine solutia
cea mai bunǎ din populatia curentǎ, care este si ultima
6. Dacǎ conditia de oprire nu este atinsǎ se reiau evaluǎrile de la pasul 2.
Liniile generale ale algoritmilor genetici date mai sus au implementǎri variate.
Una d in probleme este, asa cum s -a spus, cum sǎ se creeze cromozomii, cum sǎ
se realizeze aceastǎ codare a indivizilor dintr -o populatie. În functie de forma
cromozomilor se definesc cei doi operatori de bazǎ ai algoritmilor genetici,
combinarea -încrucisarea si mutatia.
O altǎ problemǎ este selectarea judicioasǎ a pǎrintilor pentru încrucisare.
Selectarea se poate face în moduri diferite dar ideea generalǎ este a retine
pǎrintii dintre cei mai buni, în speranta cǎ descendentii lor vor fi si mai buni.
Poate inter veni un dubiu si anume cǎ alcǎtuirea populatiei noi numai din
descendenti ar putea conduce la pierderea cromozomilor cei mai buni din
generatia precedentǎ. Asta se poate întâmpla si, de aceea, se foloseste uneori
asa-zisul elitism . Asta înseamnǎ cǎ cel put in una din cele mai bune solutii din
generatia curentǎ este retinutǎ prin copiere în generatia urmǎtoare ceea ce o face
viabilǎ poate pânǎ în faza finalǎ a evaluǎrilor.
Modul cel mai obisnuit de codare cromozomicǎ constǎ în constituirea unei
secvente de va lori binare.
Cromozomii aratǎ în acest caz astfel:

Cromozomul k 1101100100110110
Cromozomul l 1101111000011110

Fiecare bit din secventǎ reprezintǎ o anumitǎ caracteristicǎ a solutiei. Uneori
secventa poate reprezenta unul sau mai multe numere. Desigur, sunt si alte
modalitǎti de codare. Codurile adoptate depind si de tipul problemei de
rezolvat. Se pot coda, de pildǎ, direct numere întregi sau reale, uneori anumite
permutǎri, structuri grafice etc.
Parametri pentru AG. Probabilitǎtile asociate încrucisǎ rii si mutatiei sunt
parametri de bazǎ ai algoritmilor genetici. Probabilitǎtile referitoare la
încrucisǎri se asociazǎ cu frecventa cu care un individ sau altul este selectat în
vederea încrucisǎrii: indivizii sau solutiile mai adecvate au probabilitǎti m ai
mari de a fi selectati pentru combinare, pentru aplicarea operatorului de
încrucisare. Când punctul, altfel aleator, de comutare a lecturii de pe un
cromozom pe celǎlalt este situat chiar pe prima sau pe ultima genǎ din secventa
cromozomialǎ descendenti i sunt cópii identice ale pǎrintilor. Încrucisarea este
fǎcutǎ în speranta cât se poate de naturalǎ conform cǎreia cromozomii noi vor
contine genele asociate pǎrtilor bune din cromozomii parentali si acesti noi
cromozomi vor reprezenta solutii mai bune ale problemei. Uneori se renuntǎ
total la o generatie de solutii de îndatǎ ce o nouǎ generatie este completǎ.
Alteori este îngǎduit ca o parte a populatiei sǎ supravietuiascǎ si în generatia

14
urmǎtoare pentru a pǎstra solutiile cele mai perfectionate ca materi al genetic
valoros pentru încrucisǎrile efectuate în etapa/etapele viitoare.
La mecanismul încrucisǎrilor se recurge aproape în orice algoritm genetic cu o
frecventǎ mare. Mutatia este folositǎ mai rar, mai curând ca accident. De aceea
probabilitatea de ap aritie a unei mutatii este fixatǎ la valori mici, sub 0,1.
Mutatia este folositǎ pentru a preveni stagnarea cǎutǎrii într -o zonǎ de adecvare
bunǎ numai relativ la o vecinǎtate restrânsǎ, ceva analog unui extrem local în
optimizare.
Un alt parametru importa nt este dimensiunea populatiei mentinutǎ de regulǎ
constantǎ de la o generatie la urmǎtoarea. Dacǎ populatia este redusǎ,
diversitatea cromozomialǎ este modestǎ si algoritmul genetic are posibilitǎti
slabe de încrucisare ceea ce se traduce în conducerea ex plorǎrii pe un spatiu
restrâns. Pe de altǎ parte populatiile prea numeroase fac ca algoritmii genetici
sǎ lucreze lent. O recomandare de luat în considerare are în vedere populatii de
zeci de indivizi -solutii.

15
BIBLIOGRAFIE

1. Dumitrescu, D. si H.Costin Retele neuronale. Teorie si aplicatii , Ed.Teora,
Bucuresti, Sibiu, 1996

2. Mihalache, A. Când calculatoarele gresesc. Fiabilitatea sistemelor de
programe (software), Ed.Didacticǎ si pedagogicǎ, Bucuresti 1995

3. Plank, J.S. A Tut orial on Reed -Solomon Coding for Fault -Tolerance in
RAID -like Systems plank@cs.utk.edu (1999)

4. Stefǎnescu, C. Sisteme tolerante la defecte , Matrix Rom, Bucuresti 1999

5. Vancea, R., St.Holban si D.Ciubotariu Recunoasterea formelor. Aplicatii ,
Ed.Academiei RSR, Bucuresti 1989