Facult atea de Inginerie In Limbi Straine Learning Vector Quantization Profesor c oordonator : SI.Dr Mihai Dascălu Student: Florin –Cristian ZAMFIR… [601087]

UNIVERSI TATEA
POLITE HNICA BUCU REST I
Facult atea de Inginerie In Limbi Straine

Learning Vector Quantization

Profesor c oordonator :
SI.Dr Mihai Dascălu

Student: [anonimizat] –Cristian ZAMFIR

2016

2
Cuprins
1. Importanța algoritmului ………………………………………3
2. Aplicatii practice ……………………………………………………………….4
3. Learning Vector Quantization prezentare generala ……………. 5
4. Avatajele si dezavantajele algoritmului ……………………….7
5. Set de date………………………………………………………7
6. Rezultate si interpretare ……………………………………….8
7. Bibliografie ……………………………………………………..9

3
1. Importanța algoritmului
In general Learning Vector Quantization(LVQ) este utilizat pentr u clasificarea unui algoritm .
LVQ este omologul sistemelor Vector Quantization.
LVQ poate fi înțeleasă ca un caz special al unei rețele neuronale artificiale , mai precis , aceasta
se aplică câștigătorului si a abordarii bazate pe învățare Hebbian . Acesta este un precursor
hărți auto – organizare ( SOM ) și la cel mai apropiat – K algoritmul Neighbor ( k – NN ) .
Un sistem LVQ este un prototip reprezentat de W = ( w ( i ) , … , w ( n) ) care sunt definite în
spațiul caracteristic al datelor observate . Poziția acestui așa -numit proto tip câștigător expirat este
adaptata , adică câștigătorul este mutat mai aproape.

Fig 1. Arhitectura retelei LVQ
Leraning Vector Quantization este un sistem de clasificare supravegheat care a fost introdus de
Kohonen in 1986 ( Kohonen , 1986) . Abordarea se bucură încă de o mare popularitate și
numeroase modificări ale algoritmului original. Clasificatorul este configurat în conformitate cu
un set de prototipuri marcate în spațiul de intrare în combinație cu o măsură a distanței .
Pentru marcarea unui eșantion necunoscut , clasificatorul efectuează o clasificare mai apropiată
de prototip , adică modelul este inclus în clasa reprezentată de cea ma i apropiată distanta . Cea
mai apropiată Clasificarea a prototipulut este strâns legată de KNN – cel mai apropiat vecin
clasificator (k – NN , Cover & Hart , 1967) , dar evită cerințele de stocare și calcul eforturile
enorme K – NN .
LVQ este utilizat din mai multe motive:
• Clasificatorii sunt rari și definesc un grup de distribuire a datelor.

4
• Problema multi -clasa a LVQ, fără a schimba algoritmul de învățare sau regula de decizie. În
mod similar, valorile lipsă sunt utilizate fara să fie înlocuite, dar pot fi pur și simplu ignorate
pentru comparația între datele de intrare; ca un model de formare cu caracteristici lipsă,
actualizarea afectează numai prototypemise cunoscut dimensiuni.
În plus, spre deosebire de programele de clasificare a neuroni lor , cum ar fi masina de vector de
sprijin sau de rețele feed -forward, clasificatorii LVQ sunt intuitivi . Prototipuri le reflecta
atributele specifice fiecărei caracteristici de clasă a probelor de intrare. Prin urmare, modelele
oferi te în continuare ofera o privire de ansamblu a naturii datelor.
2. Aplicatii practice
Acest codebook vector este plasat in datele de intrare cu scopul de a defini regiunile in spati u. In
aplicatiile standard, frontierele claselor sunt portiuni lineare.
 Cea mai extinsa utilizare o are in MatLab
 Gestionarea unui sistem de perceptie pentru mobilitate
 Redimensionarea imaginilor
Redimensionarea imaginilor a atras atentia multi -media. Redimensionarea imaginilor se
calculeaza ca raportul dintre pixelii transmisi si pixelii originali.
Ri=𝑃𝑖𝑥𝑒𝑙𝑖 𝑡𝑟𝑎𝑛𝑠𝑚𝑖𝑠𝑖
𝑃𝑖𝑥𝑒𝑙𝑖 𝑜𝑟𝑖𝑔𝑛𝑎𝑙𝑖

Fig 2. Schema bloc ”Descompunerea imaginii ”

5
3. Learning Vector Quantization prezentare generala
LVQ este o parte a unui Self Organizing Maps (SOM) format dintr -un vector de intrare{x} si
vectorii Veronoi {Wj}.
Algoritmul Learning vector Quantization incearca sa corecteze cateva probleme prin deplasarea
frontierelor dupa cum urmeaza:
a. Daca intrarea x si vectorul Veronoi au aceeasi eticheta de clasa atunci
∆wI(x)(t)= β(t)(x -wI(x)(t))
b. Daca intrarea x si vectorul Veronoi nu au aceeasi eticheta de clasa atunci
∆wI(x)(t)=- β(t)(x -wI(x)(t))
c. Daca corespund altor regiuni de intrare sunt neschimbati
Δw j(t) = 0

Fig 3. Arhitectura LVQ
O rețea LVQ are un prim strat și un al doilea strat liniar competitiv . Stratul competitive invata
sa clasifice vectori de intrare în mare modul Sami ca competitive straturile de Cluster cu auto –
organizare Harta neuronale rețeaua descrisă în acest subiect . Stratul liniar transformă clase
competitiv stratului în clasificările țintă definite de utilizator . Clasele învățate de stratul
competitiv sunt denumite Subclasele și clasele de stratul de liniar ca clase țintă .
Ambele straturi au un neuron pe clasa . Astfel, stratul competitiv poate învăța până la S1
Subclase . Acestea , la rândul lor , sunt combinate cu strat pentru a forma liniare clasele S2 țintă .
( S1 este întotdeauna mai mare decât S2 . )
Crearea unei retele LVQ
x = [ -3 -2 -2 0 0 0 0 +2 +2 +3; 0 +1 -1 +2 +1 -1 -2 +1 -1 0];
c = [1 1 1 2 2 2 2 1 1 1];
t = ind2vec(c);

6

Pentru un vector cu 20 de elemente si c o clasa a vectorului , putem transforma clasa c in vector
cu ajutorul structurii MatLab ind2vec(c);
Reteaua LVQ reprezinta grupuri de vectori cu neuroni ascunsi si grupuri le cluster cu neuroni de
iesire pentru a forma clasele dorite. Pentru formarea claselor si reprezentarea punctelor utiliza
structurile Matlab :
plotvec(x,c)
title('Input Vect ors');
xlabel('x(1)');
ylabel('x(2)');

Atunci când se formează rețeaua pentru a obține greutatea primul strat care conduc la corecta
clasificarea de vectori de intrare . Facem acest lucru cu trenul și cu următoarele comenzi . În
primul rând, să definească perioadele de formare la 150. Apoi, utilizați trenul :
net.trainParam.epochs = 150 ;
net = tren ( net , P , T ) ;
Acum confirma greutatea primului strat .
net.IW { 1,1 } ans =
0,3283 0,0051
-0,1366 0,0001
-0,0263 0,2234
0 -0,0685

7
4. Avatajele si dezavantajele algoritmului
In urma analizelor efectuate , am observant urmatoarele avantaje si dezavantaje ale utilizarii
algoritmului Learning Vector Qu antization .
Avantajele algoritmului
 Poate gestiona date cu valori lipsă
 Modelul poate genera actualizare progresivă
 Are abilitatea de a generaliza caracteristici în setul de date oferind un nivel de robustețe
Dezavantajele algoritmului
 Trebuie să fie capabil să genereze măsuri utile de la distanță pentru toate atributele
 Este dificil să se determine un număr de vectori dicționarului la o anumită problemă
 Acuratețea modelului este foarte dependentă de model inițial

5. Set de date
Algoritmul Learning Vector Quantization poate fi utilizat atat in MatLab cat si in Java, C#,
Ruby.
Aplicatia prezentata este una in Matlab

8
6. Rezultate si interpretare

Codul presupune o cautare in directorul current MatLab pentru toate fisierele cu extensia
.jpg.
La fiecare iterație a buclei o imagine este încărcata și redimensionată la 50 x 50 , acesta este
convertita la nuanțe de gri și apoi o măsurătoare histogramă se ia in pixeli [ vectori
caracteristici] ; Apoi rezultatele sunt anexate la 256 xn unei matrici cu un număr de – n din
fosta imagine scanat ă .
O hartă de rețea de organizare de sine este folos it pentru a identifica clasele . Matricea de
date este folosit a pentru a instrui rețele neuronale de învățare cuantica vectorială , care va fi
utilizat a pentru clasific area imaginilor prezentate .
Rețelele LVQ clasifică vectorii de intrare în clasele țin tă prin utilizarea unui strat competitiv
pentru a găsi vectori de intrare subclase și apoi să le combine în clasele țintă . Spre deosebire
de perceptroni , rețelele LVQ pot clasifica un set de vecto ri de intrare , nu numai seturi liniar
separabile de vectori de intrare .

9

7. Bibliografie
 M. Biehl, A. Ghosh, and B. Hammer, ”Dynamics and Generalization Ability of LVQ
Algorithms”, Journal of Machine Learning Research –
http://www.mathworks.com/help/nnet/ug/lear ning-vector -quantization -lvq-neural –
networks -1.html
 http://www.cs.bham.ac.uk/~jxb/NN/l18.pdf
 http://iota.ee.tuiasi.ro/~mgavril/SIA/SIA_0 5.pdf
 Aree Witoelar1 , Michael Biehl1 , and Barbara Hammer2 1 – University of Groningen
– Mathematics and Computing Science –
http://www.cs.rug.nl/~ biehl/Preprints/wsom07lvq.pdf
 “LVQ_PAK: The Learning Vector Quantization Program Package " by Kohonen,
Hynninen, K angas, Laaksonnen and Torkkola (1996)
http://wekaclassalgos.sourceforge.net /
 http://www.mathworks.com/help/nnet/ug/learning -vector -quantization -lvq-neural –
networks -1.html?searchHighlight=lvq