Retele Neuronale Art

CUPRINS

Introducere……………………………………………………………………………………………………iiiCapitolul 1: Arhitecturi neurale recurente……………………………………………………………..……..1

1.1. Arhitecturi neurale recurente unistrat……………………………………………………………………1

1.1.1. Memorii Hopfield – model asincron cu evoluție in timp discret………………………………………1

1.1.2. Memorii Little – model sincron cu evoluție in timp discret……………………………………………7

1.2 Arhitecturi neurale recurente cu doua straturi……………………………………………………….. 8
1.2.1. Memorii asociative bidirecționale……………….………………………………………………8

1.2.1.1. Noțiuni introductive……………………..………………………………………………8

1.2.1.2. Asociatorul linear………………………..……………………………………………10

1.2.1.3. Funcționarea memorii asociative bidirecționale ………..……………………………12

1.2.1.4. Stabilitatea bidirecționala …………………………………..………………………. 14

1.2.2. Mașina Boltzmann……………………………………………………………………………..19

1.2.2.1. Noțiuni introductive……………………………………………………………………19

1.2.2.2. Funcția Liapunov pentru mașina Boltzmann 20

1.2.3. Memorii asociative construite pe baza „Brain state in a box” generalizat……………………24

1.2.3.1. Noțiuni introductive…………………………………………………………………… 24

1.2.3.2. Dinamica modelului „Brain state in a box” generalizat ………………………………26

1.2.3.3. Memorii asociative realizate cu metoda „Brain state in a box” generalizata………….28

1.2.4. Aplicații asupra altor modele……………………………………………………………….….32

1.3. Arhitecturi neurale recurente multistrat……………………………………….………………….…34

1.3.1. Back – Propagarea recurenta…………………………………………………………………..34

Capitolul 2: Sisteme dinamice……………………………………………………………………………….38

2.1. Rezultate generale de modelare a sistemelor dinamice……………………………………………..38

2.1.1. Introducere………………………………………………………………..……………………38

2.1.2. Rezultate Liapunov..………………………………………………….…………………….….39

2.2. Stocarea memoriei adresabile prin conținut…………………………………………….…………..56

2.2.1. Ecuatiile aditive STM…………………………………………………………………..57

2.2.2. Modelul „Brain state in a box”…………………………………………………………58

2.2.3. Modelul McCulloch – Pitts …………………………………………………………….61

2.2.4. Mașina Boltzmann ……………………………………………………………………..62

2.2.5. Memorii asociative bidirecționale (BAM)………………………………………………62

Anexa pentru capitolul 2…..………………………………………………………………………………..67

Capitolul 3: Teoria rezonantei adaptive……………………………………………………………………..71

3.1. Introducere………………………………………………………………………………………………………71

3.2. Exemple de arhitecturi rezonante……………………………………………………………………75

3.2.1. Rețele neurale ART1………………………………………………………………………….75

3.2.1.1. Prezentare generala…………………………………………………………………..75

3.2.1.2. Subsistemul atentional……………………………………………………………….77

3.2.1.3. Procesarea pe F1……………………………………………………………………..78

3.2.1.4. Procesarea pe F2……………………………………………………………………..82

3.2.1.5. Ponderile LTM top-down……………………………………………………………83

3.2.1.6. Ponderile LTM bottom – up…………………………………………………………85

3.2.2. Rețele neurale ART2 …………………………………………………………………………88

3.2.2.1. Prezentare generala …………………………………………………………………..88

3.2.2.2. Principiile de proiectare ART2 ………………………………………………………88

3.2.2.3. Ecuațiile STM pentru ART2: F1 ……………………………………………………………………………………92

3.2.2.4. Ecuațiile STM pentru ART2: F2 ……………………………………………………..94

3.2.2.5. Ecuațiile LTM pentru ART2 ………………………………………………………..94

3.2.2.6. Ecuațiile de reset pentru ART2: Subsistemul de orientare……………………………95

3.2.2.7. Problema potrivire – respingere: alegerea valorilor LTM “top-down” inițiale ………96

3.2.2.8. Prin invatare creste senzitivitatea sistemului la o alegere greșita si se confirma

alegerea unei categorii……………………………………………………………….98

3.2.2.9. Alegerea unei noi categorii: valorile inițiale LTM “bottom-up”……………………..98

3.2.3. Rețele neurale ART2 alternative……………………………………………………………….99

3.2.4. Sistemul ARTMAP……………………………………………………………………………101

3.2.4.1. Introducere……………………………………………………………………………101

3.2.4.2. Modulele ARTa SI ARTb ……………………………………………………………..103

Capitolul 4: Prezentarea aplicației………………………………………………………………………….109

Bibliografie…………………………………………………………………………………………………………………………………117

Anexa

BIBLIOGRAFIE

Amit Daniel J.,(1992) „Modeling Brain Function”, Cambridge University Press

Anderson, N. H., Titterington, “Beyond the binary Boltzmann Machine”, IEEE

Transactions On Neural Networks, vol. 6, No. 5, Septembrie 1995

Carpenter, Gail A., Grossberg, Stephen “Pattern Recognition by self organization neural networks”(1991), MIT Press

Freeman, A. James, Skapura M. David “Neural Networks, Algoritms, aplications and Programming techiques”(1991),Addison-Wesley Publishing Company

Halanay A., ‘Introducere in teoria calitativa a ecuatiilor diferentiale’(1956), Intreprinderea Poligrafica numarul 3, Bucuresti

Hoppensteadt Frank C., Izhikevich Eugene M, (1997), Springer

Mitchell, M. Tom, “Machine Learning”(1997), McGraw – Hill Companies

Ryan T.W., Winter C.I. „Variations on adaptive resonance” (1991)

Schwartz Carey, „Adaptive Resonance Theory” ([anonimizat])

Zak, H. Stanislaw, Hui Stefen, “Synthesis of Brain state in a box Based Associative Memories” (1994), IEEE Transactions On Neural Networks, vol. 6, No. 5, Septembrie 1994

Zhou J., Bennet S., „A supervised learning network based on adaptive resonance theory” (1997) , University of Sheffield