Contributii la Implementarea Unei Interfete Creier Calculator

TEZĂ DE DOCTORAT

Contribuții la implementarea unei

interfețe creier-calculator

Cuprins

Lista figurilor

Lista tabelelor

Introducere

Scopul tezei

Organizarea tezei

Capitolul I

Context și stadiul actual al cercetărilor

1.1. Interfața creier – calculator

1.2. Structura unei interfețe creier – calculator

1.2.1. Achiziția semnalelor

1.2.2. Fenomene neurofiziologice și trăsături cerebrale

A. Atenția selectivă

B. Imaginarea motorie. Ritmurile senzorimotoare

1.2.3. Prelucrarea semnalelor

1.2.4. Controlul dispozitivelor exterioare

1.3. Concluzii

Capitolul 2.

Achiziția semnalelor electroencefalografice

2.1. Sistemul g.GAMMAsys

2.2. Software-ul BCI2000

2.3. Înregistrarea semnalelor de antrenare

2.3.1. Analiza Offline folosind coeficientul de determinare r2

2.3.2. Rezultatele analizei offline ce utilizează software-ul BCI2000

2.3.3. Metoda propusă pentru calculul coeficientului de determinare r2

2.3.4. Rezultatele analizei offline ce utilizează software-ul propus

2.4. Înregistrarea semnalelor de testare

2.5. Concluzii

Capitolul 3.

Metode de extragere a trăsăturilor din semnalele EEG

3.1. Analiza pe componente independente – Independent component analysis (ICA). Noțiuni teoretice

3.1.2. Separarea oarbă a surselor

3.1.3. Metoda propusă pentru extragerea trăsăturilor ce utilizează ICA și coeficientul de determinare

3.1.4. Rezultate obținute

3.1.5. Concluzii

3.2 Analiza wavelet multirezoluție. Noțiuni teoretice.

3.2.1 Reprezentarea timp frecvență de tipul wavelet

3.2.2. Transformata wavelet continuă

3.2.3. Transformata wavelet discretă

3.2.4. Transformata wavelet folosită în analiza multirezoluție

3.2.5. Aplicarea analizei multirezoluție pentru extragerea trăsăturilor din semnalele EEG achiziționate

3.2.6. Concluzii

3.3. Exponentul Hurst. Noțiuni teoretice

3.3.1. Estimarea exponentului Hurst prin metoda Higuchi

3.3.2. Estimarea exponentului Hurst prin metoda varianței agregate (Aggregate Variance Method)

3.3.3. Estimarea exponentului Hurst prin metoda momentului absolut (Absolute Moment Method)

3.3.4. Metoda propusă de evidențiere a caracteristicilor ritmurilor senzorimotoare ce utilizează exponentului Hurst și analiza wavelet multirezoluție

3.3.5. Rezultate obținute

3.3.5. Concluzii

Capitolul 4

Metode de clasificare a sarcinilor de imaginare motorie din semnalele EEG achiziționate

4.1. Metoda distanței Euclidiene, utilizată pentru clasificarea sarcinilor de imaginare motorie

4.1.1. Rezultate obținute

4.1.2. Concluzii 9

4.2. Clasificarea sarcinilor de imaginare motorie cu ajutorul clasificatorului ”cei mai apropiați K vecini” (K-Neareast Neighbours – KNN)

4.2.1. Metoda de clasificare k-NN utlizată

4.2.2. Rezultate

4.2.3. Concluzii

4.3. Clasificarea cu ajutorul analizei liniar discriminantă – Linear Discriminant Analysis (LDA)

4.3.1. Clasificarea cu ajutorul LDA când trăsăturile sunt extrase cu ajutorul trasformatei wavelet

4.3.2. Rezultate obținute

4.3.3. Clasificarea cu ajutorul LDA când trăsăturile sunt extrase cu ajutorul ICA

4.3.4. Concluzii

4.4. Comparație între clasificatoarele utilizate

Capitolul 5

Concluzii și contribuții

Contribuții personale

Perspective de viitor

Activitate științifică

Bibliografie

a

Lista figurilor

Fig. 1.1. Model funcțional pentru un sistem BCI 15

Fig.1.2. Apariția rimturilor senzorimotoare, [Pfu] 21

Fig. 1.3. Exemple de aplicații BCI [Gra] 26

Fig.2.1. g.GAMMAsys [Gug] 31

Fig. 2.2. Componentele și etapele pregătirii pentru achiziția de semnale 35

Fig 2.3. Interfața pentru analiza offline a software-ului BCI2000 37

Fig 2.4. Coeficientul de determinare calculat pentru semnalalul corespunzător imaginării 38

mișcării mâinii stângi vs. Relaxare (BCI2000) 38

Fig. 2.5. Spectrul de frecvență pentru canalul 6 (C4) pentru semnalalul corespunzător imaginării mișcării mâinii stângi vs. relaxare (partea stângă) și valoarea coeficientului de determinare la anumite frecvențe (partea dreaptă). 39

Fig. 2.6. Hărțile cerebrale pentru frecvențele de 12 și respectiv 14 Hz 39

Fig 2.7. Coeficientul de determinare calculat pentru semnalalul corespunzător imaginării 40

mișcării mâinii drepte vs. Relaxare (BCI2000) 40

Fig. 2.8. Spectrul de frecvență pentru canalul 1 (CP3) pentru semnalalul corespunzător imaginării mișcării mâinii drepte vs. relaxare (partea stângă) și valoarea coeficientului de determinare la anumite frecvențe (partea dreaptă). 40

Fig. 2.9. Hărțile cerebrale pentru frecvențele de 14 și respectiv 16 Hz 41

Fig. 2.10. Coeficientul de determinare calculat pentru semnalalul corespunzător imaginării 42

mișcării mâinii stângi vs. Relaxare (MATLAB) 42

Fig. 2.11. Coeficientul de determinare calculat pentru semnalalul corespunzător imaginării 43

mișcării mâinii drepte vs. Relaxare (MATLAB) 43

Fig. 2.12. Paradigma de testare de control al cursorului. Bila este cursorul și bara este ținta. A) Înainte ca bila să atingă ținta (subiectul își imaginează mișcarea mâinii), B) Atingerea țintei aceasta își schimba culoarea în galben, C) Înainte ca bila să atingă ținta (subiectul se relaxează), D) Atingerea țintei 46

Fig. 3.1.1. Coeficientul de determinare calculat pentru semnalalul filtrat corespunzător imaginarii 54

mișcării mâinii drepte vs. relaxare 54

Fig. 3.1.2. Coeficientul de determinare calculat pentru semnalalul filtrate corespunzător imaginarii 55

mișcării mâinii stângi vs. Relaxare 55

Fig. 3.1.3. Coeficientul de determinare calculat pentru semnalalul reconstruit după ce a fost aplicată ICA ( imaginare mișcare mâna dreptă vs. relaxare) 56

Fig. 3.1.4. Coeficientul de determinare calculat pentru semnalalul reconstruit după ce a fost aplicată ICA ( imaginare mișcare mâna stângă vs. relaxare) 56

Fig. 3.2.1. Descompunerea multirezoluție pe 4 nivele 62

Fig. 3.2.2. Coeficientul detaliului de ordinul 4 pentru semnalul corespunzător imaginării mișcării mâinii drepte și pentru semnalul înregistrat în timpul relaxării pe canalul C3 64

Fig. 3.2.3. Coeficientul detaliului de ordinul 3 pentru semnalul corespunzător imaginării mișcării mâinii drepte și pentru semnalul înregistrat în timpul relaxării pe canalul C3 65

Fig. 3.2.4. Coeficientul detaliului de ordinul 4 pentru semnalul corespunzător imaginării mișcării mâinii drepte și pentru semnalul înregistrat în timpul relaxării pe canalul CP3 66

Fig. 3.2.5. Coeficientul detaliului de ordinul 3 (wavelet Symlets6) pentru semnalul corespunzător imaginării mișcării mâinii drepte și pentru semnalul înregistrat în timpul relaxării 67

Fig. 3.2.6. Coeficientul detaliului de ordinul 4 (wavelet Symlets6) pentru semnalul corespunzător imaginării mișcării mâinii stângi și pentru semnalul înregistrat în timpul relaxării 69

Fig. 3.2.7. Coeficientul detaliului de ordinul 3 (wavelet Symlets6) pentru semnalul corespunzător imaginării mișcării mâinii stângi și pentru semnalul înregistrat în timpul relaxării 70

Fig. 3.2.8. Coeficientul detaliului de ordinul 4 (wavelet Symlets6) pentru semnalul corespunzător imaginării mișcării mâinii stângi și pentru semnalul înregistrat în timpul relaxării 71

Fig. 3.2.9. Coeficientul detaliului de ordinul 3 (wavelet Symlets6) pentru semnalul corespunzător imaginării mișcării mâinii stângi și pentru semnalul înregistrat în timpul relaxării 73

Fig. 3.3.10. Reprezentarea grafică a rezultatelor obținute cu toate cele trei metode pentru semnalele corespunzătoare mișcării/imaginării mișcării mâinii drepte (a) respectiv stângi (b) versus relaxare (Notații: H – metoda Higuchi pentru sarcina de mișcare, Hi – Metoda Higuchi pentru imaginarea mișcării, M – Metoda momentului absolut pentru sarcina de mișcare, Mi – Metoda momentului absolut pentru imaginarea mișcării, V- Metoda de varieție agregată pentru sarcina de mișcare, Vi- Metoda de varianță agregată pentru imaginarea mișcării) 86

Fig. 4.1.1. Paternul de mișcare a mâinii drepte (linie albastră) paternul de mișcare a mâinii stângi (linie roz) și paternul de relaxare (linie roșie) pentru subiectul ID=”10_t” pe canalul C3 90

Fig. 4.1.2. Diferența dintre paternuri (canalul C3) pentru subiectul ”10_t” 90

Fig. 4.1.3. Paternurile de imaginare a mișcării (linie roșie) și paternul de relaxare (linie albastră) pentru subiectul ”11_t” pentru canalul C3 91

Fig. 4.1.4. Diferența dintre paternuri (canalul C3) pentru subiectul ”11_t” 91

Fig. 4.1.5. Rezultatele clasificării pentru toate 45 de trăsături (de la 8-30Hz adică 16-60 de trăsături) pentru subiectul ”10_t” pe canalele C3, CP3 și P3 92

Fig. 4.1.6. Reprezentarea procentelor de clasificare pe canalele C3, CP3, P3 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte 95

Fig. 4.1.7. Reprezentarea procentelor de clasificare pe canalele C4, CP4, P4 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 95

Fig. 4.2.1. Reprezentarea procentelor de clasificare pe canalul C3, pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte 100

Fig. 4.2.2. Reprezentarea procentelor de clasificare pe canalul CP3, pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte 101

Fig. 4.2.3. Reprezentarea procentelor de clasificare pe canalul P3, pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte 102

Fig. 4.2.4. Reprezentarea procentelor de clasificare pe canalul C4 pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 104

Fig. 4.2.5. Reprezentarea procentelor de clasificare pe canalul CP4 pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 105

Fig. 4.2.6. Reprezentarea procentelor de clasificare pe canalul P4 pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 106

Fig. 4.2.7. Reprezentarea procentelor de clasificare pe canalul C3, CP3 și P3 pentru k=1 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte 107

Fig. 4.2.8. Reprezentarea procentelor de clasificare pe canalul C4, CP4 și P4 pentru k=1 cu ambele waveleturi vs procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 108

Fig. 4.3.1. Reprezentarea procentelor de clasificare pentru canalele C3, CP3, P3 cu ambele LDA-urile implementate și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte 114

Fig. 4.3.2. Reprezentarea procentelor de clasificare pentru canalele C4, CP4, P4 cu ambele LDA-urile implementate și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 116

Fig. 4.3.3. Reprezentarea procentelor de clasificare pentru canalele C3, CP3, P3 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte 118

Figura 4.3.4. Reprezentarea procentelor de clasificare pentru canalele C4, CP4, P4 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 120

Fig. 4.3.5. Reprezentarea grafică a rezultalelor cu toate metodele de clasificare folosite pentru subiecții ce realizează sarcina de mișcare/imaginarea mișcării mâinii drepte 122

Figura 4.3.6. Reprezentarea grafică a rezultalelor cu toate metodele de clasificare folosite pentru subiecții ce realizează sarcina de mișcare/imaginarea mișcării mâinii stângi 122

Lista tabelelor

Tabel II.I. Informații despre subiecți 44

Tabelul III.I. Media exponentului Hurst calculat cu metolor de clasificare pe canalele C4, CP4, P4 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 95

Fig. 4.2.1. Reprezentarea procentelor de clasificare pe canalul C3, pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte 100

Fig. 4.2.2. Reprezentarea procentelor de clasificare pe canalul CP3, pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte 101

Fig. 4.2.3. Reprezentarea procentelor de clasificare pe canalul P3, pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte 102

Fig. 4.2.4. Reprezentarea procentelor de clasificare pe canalul C4 pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 104

Fig. 4.2.5. Reprezentarea procentelor de clasificare pe canalul CP4 pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 105

Fig. 4.2.6. Reprezentarea procentelor de clasificare pe canalul P4 pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 106

Fig. 4.2.7. Reprezentarea procentelor de clasificare pe canalul C3, CP3 și P3 pentru k=1 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte 107

Fig. 4.2.8. Reprezentarea procentelor de clasificare pe canalul C4, CP4 și P4 pentru k=1 cu ambele waveleturi vs procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 108

Fig. 4.3.1. Reprezentarea procentelor de clasificare pentru canalele C3, CP3, P3 cu ambele LDA-urile implementate și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte 114

Fig. 4.3.2. Reprezentarea procentelor de clasificare pentru canalele C4, CP4, P4 cu ambele LDA-urile implementate și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 116

Fig. 4.3.3. Reprezentarea procentelor de clasificare pentru canalele C3, CP3, P3 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte 118

Figura 4.3.4. Reprezentarea procentelor de clasificare pentru canalele C4, CP4, P4 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi 120

Fig. 4.3.5. Reprezentarea grafică a rezultalelor cu toate metodele de clasificare folosite pentru subiecții ce realizează sarcina de mișcare/imaginarea mișcării mâinii drepte 122

Figura 4.3.6. Reprezentarea grafică a rezultalelor cu toate metodele de clasificare folosite pentru subiecții ce realizează sarcina de mișcare/imaginarea mișcării mâinii stângi 122

Lista tabelelor

Tabel II.I. Informații despre subiecți 44

Tabelul III.I. Media exponentului Hurst calculat cu metoda higuchi (descompunerea multirezoliție realizată cu Coif4, Db2, Sym6) 79

Tabelul III.II. Media exponentului Hurst calculat cu metoda momentului absolut (descompunerea multirezoliție realizată cu Coif4, Db2, Sym6) 80

Tabelul III.III. Media exponentului Hurst calculat cu metoda de varianță agregată (descompunerea multirezoliție realizată cu Coif4, Db2, Sym6) 81

Tabelul III.IV. Media exponentului Hurst calculat cu metoda higuchi (descompunerea multirezoliție realizată cu Coif4, Db2, Sym6) 82

Tabelul III.V. Media exponentului Hurst calculat cu metoda momentului absolut (descompunerea multirezoliție realizată cu Coif4, Db2, Sym6) 83

Tabelul III.VI. Media exponentului Hurst calculat cu metoda de varianță agregată (descompunerea multirezoliție realizată cu Coif4, Db2, Sym6) 84

Tabel IV.I.I Rezultatele optime obținute cu distanța Euclidiană în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii drepte 93

Tabel IV.I.II Rezultatele optime obținute cu distanța Euclidiană în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii Stângi 94

Tabel IV.II.I Rezultatele optime obținute cu K – NN (k=1:5) pe canalul C3 în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii drepte 99

Tabel IV.II.II Rezultatele optime obținute cu K – NN (k=1:5) pe canalul CP3 în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii drepte 100

Tabel IV.II.III Rezultatele optime obținute cu k-NN (k=1:5) pe canalul P3 în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii drepte 102

Tabel IV.II.IV Rezultatele optime obținute cu K-NN (k=1:5) pe canalul C4, în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii Stângi 103

Tabel IV.II.V Rezultatele optime obținute cu k-NN (k=1:5) pe canalul CP4, în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii Stângi 104

Tabel IV.II.VI Rezultatele optime obținute cu K-NN (k=1:5) pe canalul P4, în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii Stângi 105

Tabel IV.III.I Rezultatele clasificatorului LDA pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte vs relaxare 113

Tabel IV.III.II Rezultatele clasificatorului LDA pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi vs relaxare 115

Tabel IV.III.III Rezultatele clasificatorului LDA pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii dreptevs relaxare 117

Tabel IV.III.IV Rezultatele clasificatorului LDA pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi vs relaxare 119

Introducere

De-a lungul timpului, oamenii au avut fantezii despre capacitatea de a comunica și de a interacționa cu mașini doar prin simpla gândire sau de a crea dispozitive care citesc gândurile. Aceste idei au captat imaginația oamenilor sub formă de mituri antice și povești science fiction.

În anul 1966 a fost difuzat un episod din binecunoscutul serial TV, Star Trek, care descrie un bărbat ce suferă de sindromul locked-in și care controlează un scaun cu rotile, construit să răspundă la comenzile date prin intermediul semnalelor cerebrale. Acest sindrom se manifestă prin paralizia corpului, în timp ce persoana este intactă din punct de vedere cognitiv. În acest caz paralizia constă în pierderea controlului voluntar al tuturor mușchilor. Persoanele care suferă de acest sindrom nu pot să-și miște mâinile, picioarele sau mușchii feței și depind de respirația artificială. Mintea activă și funcțională este captivă într-un corp total paralizat – așa cum este descris și în episodul din Star Trek. Singurul mod de comunicare cu mediul extern este un dipozitiv care citește semnalele de la creier și le convertește în semnale de control și comunicare.

Un asemenea dispozitiv este numit interfața creier-calculator (Brain Computer Interface – BCI). În anii 60, controlul dispozitivelor cu ajutorul semnalelor de la creier era considerat de domeniul science fiction. Cu toate că înregistrarea semnalelor de la creier a atras atenția încă din anul 1922, când cercetătorul german Hans Berger [Mil] a înregistrat activitatea electrică a creierului, tehnologia de măsurare și procesare a semnalelor pentru a înțelege modul de funționare a creierului era totuși destul de limitată. În zilele noastre situația s-a schimbat. Cercetările în domeniul neuroștiițific din ultimii ani au condus la o înțelegere mult mai bună a creierului uman. Algoritmii de procesare de semnal și capacitățile computerelor au avansat foarte mult și foarte rapid, încât procesarea în timp real a semnalelor de la creier nu necesită echipamente foarte scumpe și foarte voluminoase.

Actualitatea temei de cercetare

În ultimii ani controlul dispozitivelor ”prin puterea minții” este un subiect foarte controversat dar și foarte cercetat atât în domeniul gadgeturilor de ultimă generație, cum ar fi telefoane mobile inteligente, laptopuri și tablete și chiar televizoare inteligente, dar și în domeniul medicinei, pentru a fi utilizate de pesoanele cu dizabilități pentru care aceste tehnologii ar putea reprezenta singura posibilitate de comunicare cu mediul exterior.

Scopul tezei

Lucrarea de față urmărește îmbunătățirea și diversificarea metodelor de procesare de semnal pentru implementarea unui sistem BCI ce are la bază fenomenele neurologice înregistrate în timpul sarcinilor motorii.

Scopul acestei teze constă în este extragerea, selectarea și clasificarea trăsăturilor semnalelor EEG, ce au la bază ritmurile senzorimotoare, pentru implementarea sistemelor BCI. Pentru atingerea scopului propus au fost parcurse trei etape :

Înțelegerea modului de funcționare a sistemelor BCI și a fenomenelor neurologice implicate.

Achiziția de semnalele EEG ce au la bază ritmurile senzorimotoare, înregistrate în timpul sarcinilor motorii/de imaginare motorie.

Aplicarea și optimizarea metodelor de extragere, selecție și clasificare a trăsăturilor semnalelor EEG.

Organizarea tezei

Teza de doctorat ”Contribuții la implementarea unei interfețe creier – calculator” este structurată pe patru capitole de fond la care se adaugă introducerea și un ultim capitol care sintetizează contribuțiile și concluziile ce se desprind din derularea întregului stagiu de pregătire doctorală. Teza se desfășoară pe parcursul a 136 de pagini, incluzând 56 de figuri și 16 tabele.

Primul capitol conține o prezentare generală a sistemelor BCI și un studiu asupra stadiului actual al cercetărilor în acest domeniu. Acest capitol oferă un fundament teoretic și o bibliografie adecvată, ambele pentru a putea înțelege celelalte trei capitole. Capitolul I cuprinde o scurtă introducere despre sistemul BCI, structura acestuia și modul în care se realizează achiziția de semnale EEG ce se utilizează în acest domeniu. De asemenea, sunt descrise fenomenele neurologice și trăsăturile cerebrale cele mai utilizate pentru implementarea unui astfel de sistem. Sistemele BCI constau în achiziția de semnale, procesare acestora și asigurarea controlului dispozitivelor exterioare. În acestă teză se tratează în preponderent primele două probleme. Controlul unui cursor pe monitorul unui calculator este realizat cu ajutorul software-ului BCI2000. În cadrul acestui capitol sunt descrise, succint, cele mai utilizate metode de preprocesare, extragere de trăsături și de clasificare utilizate până în prezent în domeniul BCI. Este realizat, de asemenea, un studiu despre dispozitivele ce pot fi controlate cu ajutorul BCI și aplicații realizate în acest domeniu.

Capitolul al doilea prezintă modul și condițiile în care au fost realizate înregistrările cerebrale. După achiziția de semnal se realizează analiza offline realizată atât cu ajutorul software-ului BCI2000 cât și cu o metodă propusă de calcul a coeficientului de determinare. Acest capitol conține și un tabel cu informații despre înregistrările viabile de la 45 de subiecți analizați. Baza de date realizată conține atât semnale înregistrate în timpul antrenării, cât și semnale achiziționate în timpul testării.

Capitolul al treilea descrie metodele utilizate pentru extragerea trăsăturilor din semnalele EEG. Prima metodă propusă este analiza pe componente inependente (ICA), o metodă destul de utilizată în domeniul BCI, însă implementată împreună cu coeficientul de determinare r2, ne oferă o bună discriminare a ritmurilor senzorimotoare. Cea de-a doua metodă este descompunerea wavelet multirezoluție. Această metodă permite reducerea dimensiunii datelor și accesul la semnale subcomponente cu bezile de frecvență de interes. Se determină și cele mai potrivite tipuri de wavelturi pentru datele achizițonate. Al treilea instrument utilizat pentru extragerea trăsăturilor semnalelor EEG achiziționate este exponentul Hurst, determinat prin trei metode diferite, metoda Higuchi, metoda de varianță agregată și metoda momentului absolut. Aceste metode propuse evidențiază o bună discrimare a ritmurilor senzorimotoare.

Capitolul al patrulea descrie metodele utilizate pentru clasificarea trăsăturilor semnalelor EEG. Aceast capitol își propune îmbunătățirea metodelor de clasificare prin implementarea a două noi metode și prin optimizarea unora deja existente în literatura din domeniul BCI. Prima metodă propusă pentru clasificare sarcinilor motorii a semnalelelor achiziționate se bazeaza pe distanța euclidiană. Acestă metodă propusă este simplă, rapidă, dar depinde foarte mult de selecția frecvențelor pentru clasificare. Rata maximă de clasificare obținută prin acestă metodă propusă este de 82%. În continuare se elaborează algoritmi implementați în MATLAB pentru aplicarea clasificării LDA. Extragerea trăsăturilor pentru clasificare se realizează în trei moduri diferite:

cu ajutorul transformatei wavelet multirezoluție;

prin normalizarea matricei de trăsături obținută din coeficienții wavelet;

cu ajutorul analizei pe componente independete.

Rata maximă de clasificare obținută este de 91% cu primele două metode și de 95% cu cea de-a treia.

A treia metodă de clasificare utilizată este k-NN. Această metodă se aplică, de asemenea, pe matricea de trăsături formată din coeficienții wavelet. Rezultatele maxime obținute în urma aplicării programului de clasificare k-NN, elaborat în MATLAB, sunt de 95%.

Capitolul cinci este dedicat concluziilor și evaluării contribuțiilor autoarei. Acest capitol este urmat de lista lucrărilor publicate și de bibliografie.

Capitolul I

Context și stadiul actual al cercetărilor

Interfața creier – calculator

Ideea de bază a unui sistem BCI este aceea de a măsura activitatea electrică, magnetică sau orice alte manifestări fizice ale activității creierului și de le transforma în comenzi pentru un calculator sau orice alt dispozitiv (scaun cu rotile, neuroproteză). Altfel spus, scopul BCI este acela de a traduce intențiile umane – reprezentate prin semnale potrivit alese – în semnale de control pentru un dispozitiv de ieșire [Gra].

O BCI nu trebuie să depindă de traseele de ieșire normale ale nervilor periferici și ale mușchilor. În ultimele două decenii, s-au efectuat multe studii care au evaluat posibilitatea ca semnalele înregistrate de pe scalp sau în interiorul creierului să fie folosite pentru o nouă tehnologie ce nu necesită controlul mușchilor.

O interfață creier – calculator este un sistem care permite comunicarea fără mișcare; informația se transmite numai prin gânduri, convertite în semnalele generate de creier. O BCI este uneori denumită interfață neurală directă (Direct Neural Interface) sau interfață creier- mașină (Brain – Machine Interface) și poate fi caracterizată, pe scurt, ca o cale de comunicație directă dintre creier și un dispozitiv extern.

Privită din alt punct de vedere, o BCI poate reprezenta o nouă și provocatoare modalitate de comunicare și pentru persoane fără dizabilități. De exemplu, în domeniul comunicațiilor multimedia, aplicații interesante pot fi plimbarea într-o realitate virtuală, [Bay3], controlul unei realități virtuale sau transformarea în sunete a activității creierului (compoziții muzicale).

În ultimul deceniu, au fost realizate prototipuri BCI de diferite grupuri de cercetători, [Nic], [Mil1],[Wol], [Wic], [All], [Dor]. Sistemele BCI monitorizează activitatea creierului utilizatorului și traduce intențiile lui în comenzi, fără a activa mușchi sau nervi periferici. S-au dezvoltat diferite concepte de sisteme BCI: de control a unui robot sau a unui scaun cu rotile, [Mil2], [Mil3], [Mil4], [Car], de control a unei neuroproteze, [Mul], [Mul1], [Pfu], de selecție a literelor dintr-o tastatură virtuală, [Bir], [Don], [Mil2], [Obe], [Wil], de navigare pe internet, [Kar], [Ben], [Mug], de navigare în realități virtuale, [Bay], [Lee] și pentru diferite jocuri, [Kre], [Nij], [Tan].

Odată cu trecerea timpului tehnologia va avansa și mai mult, iar în viitor cred că vom controla calculatoarele sau dispozitivele pentru jocuri prin comenzi vocale, prin privire sau prin gânduri. Acest val de dispozitive care au drept semnale de intrare, semnalele de la creier va ajuta la conștientizarea socială a BCI și va încuraja și mai mult dezvoltarea acestor interfețe.

Structura unei interfețe creier – calculator

Interfața creier – calculator are nevoie de semnal de reacție pentru a putea funcționa în mod corect. De fapt, aceasta funcționează prin interacțiunea unor regulatoare adaptive (adaptive controllers): creierul (privit ca un astfel de regulator care produce semnalele) și intrefața însăși, cea care traduce semnalele în comenzi.

În Fig. 1.1 sunt reprezentate componentele unui sistem BCI. Semnalele electrice de la creier sunt înregistrate cu electrozi plasați pe scalp, pe suprafața corticală sau în creier. Semnalele sunt amplificate și digitizate. Caracteristicele pertinente ale semnalelor sunt extrase, prelucrate și traduse în comenzi care controlează un dispozitiv de ieșire, cum ar fi un program de scriere pe un monitor, un scaun cu rotile monitorizat sau un membru protetic. Feedback-ul de la dispozitiv permite utilizatorului să modifice semnalele creierului pentru a menține performanțele dispozitivului eficient.

Fig. 1.1. Model funcțional pentru un sistem BCI

1.2.1. Achiziția semnalelor

Prima achiziție de semnale cerebrale a fost realizată în anul 1922. Hans Berger a fost primul savant care a reușit să înregistreze activitatea creierului uman, prin electroencefalogramă (EEG). EEG este o tehnică de achiziție a activității electrice a creierului cu ajutorul electrozilor plasați pe scalp. Pe langă EEG, care a devenit una din cele mai uzuale metode de achiziție a semnalelor cerebrale, au fost dezvoltate și alte tehnici electrice, magnetice, hemodinamice.

Achiziția semnalelor cerebrale poate fi de două tipuri: invazivă sau noninvazivă. Metoda invazivă constă în implantarea electrozilor pe suprafața cortexului (electrocorticogramă – ECoG) sau în interiorul cortexului (Matrice multielectrod – MEA). Acesta metodă are avantajul obținerii unor semnale de înaltă precizie și calitate însă necesită o operație chirurgicală destul de riscantă. Implantarea elecrozilor este realizată de obicei pacienților cu dizabilități severe pentru care acest lucru ar putea reprezenta singura metodă de îmbunătățire a calității vieții.

Metodele noninvazive măsoară activitatea creierului cu ajutorul electrozilor plasați pe suprafața scalpului. Aceste metode nu sunt deloc riscante, precum cele invazive și sunt folosite foarte mult și în cercetare. Cu toate că sunt metode nonivazive, magnetoencefalografia (MEG) și rezonanța magnetică funcțională (fMRI) folosesc echipamente de dimensiuni mari, ce necesită o bună ecranare, de acea se pot folosi doar în laboratoare specializate. Pe de altă parte, EEG și spectroscopia în infraroșu apropiat (NIRS) sunt dispozitive portabile și relativ ieftine și în același timp mai potrivite pentru cercetarea BCI. În ciuda avantajelor, metodele noninvazive oferă semnale cu artefacte datorate mișcării corpului, de calitatea inferioară semnalelor obținute prin meteode invazive.

Se poate spune că EEG este o metodă ușoară, neinvazivă, sigură, rapidă, economică și în comparație cu alte metode ca MEG sau fMRI, nu necesită o pregătire deosebită a subiectului. Interpretarea datelor poate fi făcută mai ușor datorită multitudinilor de metode de analiză și procesare existente. Toate aceste avantaje sunt importante atunci când se dorește implementarea unei BCI.

1.2.2. Fenomene neurofiziologice și trăsături cerebrale

Achiziția semnalelor cerebrale este un prim pas important pentru comunicarea creier – calculator. Achiziția de semnale nu este însă de ajuns, pentru că BCI nu poate citi mintea umană și nu poate descifra gândurile. Un sistem BCI poate doar să detecteze și să clasifice trăsături specifice, în semnalele cerebrale, care sunt asociate cu diferite activități sau sarcini. Utilizatorul sistemului BCI trebuie să realizeze diferite sarcini și strategii mentale pentru a produce aceste trăsături. Strategiile mentale stau la baza comunicării creier – calculator și determină sarcina pe care utilizatorul o are de îndeplinit pentru a produce diferite trăsături pe care BCI să le poată interpreta. Cele mai întâlnite strategii mentale sunt cele selective (de concentrare a atenției pe diferite ținte) și cele de imaginare motorie.

Atenția selectivă

Sistemele BCI bazate pe atenția selectivă necesită stimuli auditivi, vizuali sau somatosenzoriali exteriori oferiți de paradigmele BCI. Majoritatea sistemelor utilizează stimuli vizuali.

Paradigmele ce au la bază atenția vizulă pot fi implementate prin două abordări diferite ale sistemului BCI care se bazează pe stimuli diferiți, sarcini mentale diferite și, de asemnea, o procesare diferită. Aceste abordări sunt numite după trăsăturile cerebrale pe care le produc și anume potențialul P300 și potențialul evocat de regim permanent, produs de stimuli vizuali (Steady – State Visual Evoked Potential – SSVEP).

Potențialele evocate vizual (visual evoked potentials – VEP) sunt mici schimbări în semnalul EEG. Ele sunt genarate ca răspuns la un stimul vizual precum o lumină pâlpâitoare. Proprietățile lor depind de tipul de stimul vizual. Aceste potențiale sunt mai proeminente în zona occipitală.

Dacă un stimul vizual este prezentat repetitiv, cu o frecvență cuprinsă în domeniul 2-90 Hz, în EEG apare un răspuns electric oscilatoriu, cu aceeași frecvență ca și cea a stimulului. Un astfel de răspuns se numește SSVEP. Diferența dintre VEP și SSVEP este dată de frecvența de repetiție a stimulului. Astfel, un SSVEP poate fi detectat prin examinarea componenței spectrale a semnalului înregistrat în regiunea vizuală, adică în zonele occipitale. Atunci când acțiunile sunt asociate cu ținte care pâlpâie cu diferite frecvențe, subiectul poate controla BCI prin direcționarea privirii către ținta ce corespunde acțiunii dorite. BCI care se bazează pe acest principiu depinde de abilitatea subiectului de a-și controla direcția privirii.

Stimulii auditivi, vizuali sau somatosenzoriali cu o apariție neregulată sau particulară, atunci când sunt amestecați cu stimuli repetitivi sau obișnuiți, produc în mod normal, în cortexul parietal, după aproximativ 300 ms de la apariția stimulului, un semnal EEG cu un vârf pozitiv, [Don], [Gar]. Acest potențial a fost numit P300. În sistemele BCI, unui subiect i se aplică anumiți stimuli (asociați anterior cu anumite acțiuni). Pontețialul P300 apare numai în cazul răspunsurilor alese pentru acțiunea dorită, iar BCI îl utilizează pentru a determina intenția subiectului [Mak], [Pol], [Deb], [Ran], [Hug]. O interfață care utilizează potențialul P300 are, la prima vedere, avantajul că nu necesită o perioadă de învățare. P300 se modifică în funcție de condițiile impuse de paradigmă și se poate modifica de asemenea în timp.

Potențialul P300 este o deviație pozitivă în EEG care apare la aproximativ 300-400ms după prezentarea neașteptată a unor stimuli relevanți. Timpul de apariție a acestei componente poate varia de la 250ms chiar până la 900ms cu amplitudini de la minimum 5μV până la limita uzuală de 20μV pentru potențialele auditive și cele evocate vizual, însă s-au întâlnit și amplitudini mai mari de 40μV [Sal]. Potențialul P300 are o frecvență de aproximativ 3 Hz.

Aceste semnale fac parte din categoria celor care apar în strânsă legătură cu un stimul pe care subiectul l-a perceput mental (Event Related Potential – ERP). Ele sunt folosite în studiile care arată modul în care encefalul împarte stimulii în categorii și evaluează probabilitatea unor evenimente. Semnalele generate pot avea cauze endogene, particulare funcționării sistemnului nervos ca răspuns la un anumit stimul din trecut, sau a prelucrării ulterioare a unui astfel de stimul, sau exogene, datorate unui eveniment perceput în timp real de către subiectul investigației. Un astfel de caz îl reprezintă semnalele, denumite generic P300, care au ca sursă de generare lobul medio-temporal și cel frontal, fiecare dintre cele două zone fiind în legătură cu procesarea unui tip diferit de informație și mod de stimulare, [ Sal].

Imaginarea motorie. Ritmurile senzorimotoare

Miscarea unui membru sau chiar o singură contracție a mușchiului determină schimbări în activitatea cerebrală. De fapt, și pregătirea unei mișcări sau imaginarea mișcării modifică ritmurile senzori-motoare. Ritmurile senzori-motoare (SMR) se referă la oscilațiile înregistrate în activitatea creierului din zonele somatosenzoriale și motorii. Oscilațiile creierului sunt de obicei clasificate în functie de benzile de frecvență specifice care sunt numite după litere grecești (delta: <4 Hz, teta: Hz 4-7, alfa: 8-12 Hz, beta: 12-30 Hz, gama:> 30 Hz). Activitatea ritmului alfa înregistrat în zonele senzori-motoare mai este numit și ritm mu. Descreșterea activității oscilatorii într-o bandă de frecvență specifică este numită eveniment de desincronizare (event related desynchronization – ERD) [Loo]. Similar, creștrea activității oscilatorii într-o bandă de frecvență specifică este numită eveniment de sincronizare (event related syncronization – ERS). Paternurile ERD – ERS pot fi produse de către imaginarea motorie, care reprezintă imaginarea mișcării unui membru fară a se executa mișcarea propiu-zisă. Benzile de frecvență de interes în semnalul EEG, în acest caz, sunt cele ale rimurilor mu si beta. BCI invazive utilizează de obicei și ritmul gama, care este mai greu de detectat cu electrozi montați pe scalp. Imaginarea mișcării mâinii stângi produce o activitate mai proeminentă în partea dreaptă a creierului. Activitatea determinată de mișcarea mâinii este localizată în partea contralaterală a creierului. Imaginarea mișcării piciorului determina activitate în partea centrală a creierului. O deosebire între mișcarea piciorului stâng și cel drept nu este vizibilă în EEG deoarece ariile corticale implicate sunt mult prea apropiate. Similar, paternurile ERD-ERS a fiecărui deget nu pot fi deosebite în EEG. Pentru a produce paternuri ce pot fi detectate, zonele corticale implicate trebuie să fie suficient de mari, astfel încât activitatea rezultată să fie suficient de vizibilă în comparație cu restul EEG (EEG de fond). Zona mâinilor, zona picioarelor și cea a limbii sunt relativ mari și topografic diferite. Prin urmare, un BCI poate fi controlat prin imaginarea mișcării mâinii stângi, mâinii drepte, a piciorului și a limbii. Caracteristicile ERD-ERS produse de către imaginarea motorie sunt similare în topografie și comportamentul lor spectral cu paternurile determinate de mișcările reale. Deoarece aceste paternuri provin din zone motorii și somatosenzoriale, care sunt direct conectate la căile normale de ieșire neuromusculare, imaginarea mișcării este o strategie mintală adecvată în special pentru sistemele BCI, [Dur].

În contrast cu sistemul BCI bazat pe atenția selectivă, BCI bazat pe imaginarea mișcării nu depinde de stimulii externi. Imaginarea mișcării este o abilitate ce trebuie învățată. BCI bazat pe imaginarea mișcării nu funcționează foarte bine în timpul primei sesiuni. În schimb, spre deosebire de sistemele ce se bazează pe atenția selectivă, aici este necesar un anumit timp de învățare. Performanța și timpul de formare variază de la un subiect la altul. Pentru a atinge o performanța bună, în cazul unei sarcini cu 2 variante, sunt necesare 1-4 ore de antrenare. Perioada de învățare este necesară pentru a atinge un anumit grad de control și este necesară în majoritatea tipurilor de BCI.

Desincronizarea ritmurilor mu și beta în timpul sarcinilor motorii

Mișcările voluntare duc la o desincronizare circumscrisă în limita înaltă a benzii ritmului alfa și limita joasă a benzii ritmului beta, localizate în zone senzorimotorii. Desincronizarea este mai pronunțată în regiunea central contralaterală și devine simetric bilaterală odată cu execuția mișcării.

Durata desincronizării ritmului mu contralateral este aproape indentică pentru mișcarea vioaie sau înceată a degetelor și începe cu 2 s înainte de debutul mișcării. Mișcarea degetelor de la mâna dominantă este acompaniată de un ERD pronunțat în emisfera contralaterală și de un ERD foarte slab în partea ipsilaterală, în timp ce mișcarea degetului de la mâna non-dominantă este precedată de un ERD mai slab în partea laterală. Diferite modele de reactivitate au fost observate la componentele rimtului mu în limita înaltă si cea joasă a benzii de frecvență, [Dur].

Imaginarea și pregătirea mișcării pot produce modele replicabile în EEG pentru zonele primare senzoriale si motorii. Acest lucru este în concordanță cu faptul că imaginarea motorie este realizată de aceleași structuri ale creierului implicate în programarea și pregătirea mișcării. De exemplu, imaginarea mișcării mâinii drepte sau stângi rezultă în desincronizarea ritmului mu și beta în zona contralaterală a mâinii, foarte similar în topografie cu planificarea și execuția mișcării în sine.

Desincronizarea ritmului mu nu este un fenomen unitar. Dacă diferite benzi de frecvență sunt distinse între limitele extinse ale benzii alfa, au loc două modele distincte de desincronizare. Desincronizarea in limita joasa a benzii mu (in intervalul 8-10 Hz) se obține pe parcursul majorității sarcinilor motorii. Aceasta este topografic răspândită pe tot cortexul sensorimotor și probabil reflectă pregătirea motorie generală și atenția, [Pfu1].

Cele patru imagini din Fig.1.2 indică ERD a ritmului mu în banda 10-12 Hz în regiunea central contralaterală rezultată în urma imaginării mișcării degetului. Se observă și o activitate ipsilaterală. Primele două imagini din stânga indică o activitate în regiunea centrală, ceea ce se poate întâmpla în cazul imaginării mișcării mâinii stângi. Celelalte două imagini din dreapta arată o activitate în regiunea Rolandica stângă, care s-ar putea produce în timpul imaginării mișcării mâinii drepte. Imaginea de jos stânga arată ce arii motorii și senzoriale conduc diferite părți ale corpului. Imaginea de jos dreapta indică „ humunculus motor”, care reflectă cantitatea de țesut cerebral dedicat diferitelor părți ale corpului. Arii ca cele ale mâinii sau ale gurii au reprezentări foarte mari deoarece oamenii pot face mișcări foarte fine cu acestea și au în aceste zone o sensibilitate mare. Alte regiuni cum ar fi spatele sau picioarele primesc o atenție relativ scăzută din partea creierului. Axa A-A arată că imaginea din dreapta, este o secțiune coronală prin creier, însemnând o felie verticală care separă partea frontală a creierului de cea occipitală.

Fig.1.2. Apariția rimturilor senzorimotoare, [Pfu]

Desincronizarea în limita înaltă a benzii mu (în intervalul 10-12 Hz) este limitată topografic și este legată mai degrabă de aspectele specifice ale sarcinii. Componenta de frecvență joasă a ritmului mu arată un ERD similar pentru mișcarea mâinii, respectiv, piciorului, în timp ce componenta înaltă arată diferite modele ERD în timpul mișcării mâinii și ERS în timpul mișcării piciorului. Această reactivitate a diferitelor componente mu sugereaza o disociere funcțională între componenta înaltă și cea joasă a frecvenței benzii mu.

Se pot dezvolta două modele în timpul sesiunii de training a sistemelor BCI bazate pe imaginare motorie: desincronizarea contralaterală a componentei mu și concomitent creșterea puterii (ERS) în partea ipsilaterală. În contrast cu simetrica bilaterală a ritmului mu de frecvență joasă (ERD), numai ritmul mu de frecvență înaltă arată un ERS ipsilateral.

Aceste rezultate indică o activitate primară a cortexului motor în timpul simulării mișcării. Prin urmare, putem spune că ERD pre-mișcare și ERD în timpul imaginării mișcării reflecta un tip similar de pregătire și setare a rețelelor neurale în ariile senzorimotoare. Studiile de imagistică funcțională a creierului și stimularea magnetică transcraniana (TMS) arată o creștere a răspunsului motor în timpul imaginării mentale a mișcării, care sprijină în continuare implicarea cortexului sensorimotor primar în imaginarea motorie. Observația că imaginarea mișcării conduce la un ERS ipsilateral semnificativ și un ERD contralateral sprijină conceptul de rețea neuronală cu comportament antagonist.

În studiile recente, au fost investigate mai multe sarcini de imaginare motorie, cum ar fi imaginarea mișcării mâinii stângi, drepte, a piciorului sau a limbii. Practic, imaginarea mișcării mâinii activează rețele neuronale din zona corticală reprezentativă mâinii, care se manifestă prin ERD a ritmului mu. Un astfel de ERD a ritmului mu a fost întâlnit la toți subiecții cu o dominanță contralaterală clară. În cazul imaginării mișcării piciorului, ERD central a fost slab și nu a fost întâlnit la toți subiecții. Motivul pentru acest lucru poate fi faptul că aria de reprezentare a piciorului este ascunsă de peretele median. Această arie este dificil de detectat cu electrozi neinvazivi pe scalp care sunt de obicei utilizați pentru măsurarea semnalelor din apropierea suprafeței exterioare a creierului exact sub craniu.

Imaginarea mișcării limbii induce oscilații mu în apropiere sau chiar în zona de reprezentarea a piciorului.

1.2.3. Prelucrarea semnalelor

Un sistem BCI înregistrează și procesează semnalele cerebrale în timp real pentru a detecta trăsături care să reflecte intenția utilizatorului. Procesarea semnalelor cuprinde trei stadii: preprocesarea, extragerea de trăsături și detecția și clasificarea.

Preprocesare semnalelor cerebrale se realizează înaintea extragerii de trăsături pentru a crește raportul semnal zgomot al semnalului. Selectarea caracteristicilor si reducerea dimensiunilor datelor se realizează fără a pierde informații relevante din semnal. Prin preprocesare ne propunem să reducem numărul de caracteristici și/sau de canale folosite pentru a lucra cu date cât mai compacte și fără zgomote. Ideal ar fi să se identifice caracteristicile semnificative sau utile în stadiul de clasificare, iar celelalte (incluzând artefactele) să fie omise. Adesea, pe parcursul preprocesării sunt folosite diferite tehnici de filtrare spațială sau în domeniul frecvență [Wol], [Kos], [McF].

Cele mai utilizate metode de preprocesare folosite în BCI sunt: referința medie comună (Common average referencing- CAR), [Che], [Fab], [Kub], [Li], referința Laplaciana, [Dor] ,[McF1] ,[Mil] ,[Wol2], [Wan], analiza componentelor principale, [Hu], [Thu], [Xu], [Yoon], [Li1], analiza componentelor independente, [Pet], [Wu], [Ser], [Xu].

Pattern-urile cerebrale utilizate în BCI prezintă diferite caracteristici și proprietăți. De exemplu, frecvența și amplitudinea sunt caracteristici esențiale ale ritmurilor senzorimotoare și SSVEP-urilor. Rata de ardere a neuronilor individuali este o caracteristică importantă a sistemelor BCI invazive care folosesc înregistrări intracorticale. Extragerea trăsăturilor poate fi privită ca un alt pas în pregătirea semnalului pentru clasificare.

Având în vedere complexitatea semnalelor EEG, dar și designul sistemelor BCI, trebuie să ținem cont de următoarele, [Lot]:

– artefacte și valori extreme: semnalele EEG au de obicei un raport semnal –zgomot destul de bun;

– dimensionalitate mare: în sistemele BCI, vectorii de trăsături sunt de obicei de dimensiuni mari. Diferite trăsături sunt extrase din mai multe canale și din intervale de timp diferite și concatenate într-un singur vector;

– informații despre timp: trăsăturile BCI trebuie să conțină informații din domeniul timp;

– non-staționaritate: trăsăturile BCI sunt non-staționare din moment ce semnalele EEG variază în timp și de la o sesiune la alta;

Există multe metode de extragerea a trăsăturilor, în funcție de tipul sistemului BCI. Cele mai folosite metode sunt: banda de putere, corelația încrucișată între benzile de putere, reprezentarea în frecvență, reprezentarea timp-frecvență, analiza spectrală, modelare parametrică, dinamica neliniară, tehnici utilizate pentru P300, cum ar fi alegerea vârfurilor (Peak picking – PP).

Trăsăturile pot fi extrase din semnalele EEG prin estimarea distribuției puterii în benzi de frecvență predefinite. Pfurtsheller [Pfu1], utilizează benzile de putere și demonstrează că frecvențele ritmurilor alfa și beta indică o bună discriminare între imaginarea mișcării mâinii drepte, respectiv, mâinii stângi. Aceste benzi de frecvență variază între 8 și 12 Hz și 12-30 Hz. Acestă metodă a mai fost folosită și de către [McF], [McF2], [Neu], [Wol3], [Wol4].

Coeficienții de corelație încrucișată sunt calcultați prin compararea diferitelor locații și a diferitelor benzi de frecvență, pentru a obține informații cu privire la semnalele EEG, [Far], [Mus], [Bay3], [Bay4], [Wan1].

Reprezentarea în frecvență a trăsăturilor este foarte utilizată în procesarea de semnal datorită accesibilității, vitezei de calcul și a posibilității de interpretare directă a rezultatelor, [Wol], [Bla]. Aproape o treime din cercetătorii BCI au folosit și folosesc densitatea spectrală de putere (power prectral density – PSD), [Bas].

Reprezentarea timp-frecvență este una din cele mai utilizate metode de extragere a trăsăturilor semnalelor EEG. Datorită naturii neliniare și non-staționare a semnalelor EEG, metoda clasică bazată pe transformata Fourier este ineficientă pentru extragerea trăsăturilor, deoarece nu se obțin informații cu privire la distribuția în timp a conținutului de frecvență al caracteristicilor semnalului.

Metodele timp-frecvență descompun semnalele EEG în serii de benzi de frecvență și puteri instantanee, [Bas1], [Bir1], [Bor], [Gar], [Gla], [Hug1], [Lem], [Qin].

Algoritmii ce au la baza transformata wavelet, [Qin], [Xu1], [Hai], necesită alegerea unei funcții wavelet mamă, pentru a putea extrage informații din semnalul EEG. Cunoașterea activității fiziologice a creierului ne ajută la alegerea celei mai potrivite funcții mamă.

În statistică, un model parametric sau o familie parametrică se referă la o familie de distribuții care pot fi descrise cu ajutorul unui număr finit de parametri. În BCI, cel mai utilizat model parametric este modelul autoregresiv (AR) și variante ale acestuia, cum ar fi modelul cu parametri AR multivariați, parametri AR cu ieșire exogenă, parametri AR adaptivi, [Bur], [Gra1], [Gug1], [Hug1], [Pfu2], [Pfu3], [Sch1].

O mare parte din ceea ce este cunoscut despre sistemele fiziologice a fost învățat folosind teoria sistemelor liniare. Cu toate acestea, multe semnale biomedicale sunt aparent aleatoare sau aperiodice în timp. Tradițional, caracterul aleator al semnalelor biologice a fost atribuit zgomotului sau interacțiunii dintre numărul foarte mare de componente constitutive. Un sistem dinamic este orice sistem care evoluează în timp, [Aka]. Cercetarea dinamicii neliniare în domeniul BCI nu este foarte avansată, existând puține încercări, [Pho], [Loo]. Din acest motiv, acest domeniu al dinamicii neliniare a fost tratat, din punct de vedere al exponentului Hurst, și în acestă teză.

Clasificarea constă în construirea unui model pornind de la date de învățare astfel încât să poată fi aplicat pe alte date, de exemplu pe date de testare, sau pe alte date de învățare.

Există mai multe tipuri de clasificatori utilizați pentru sistemele BCI, împărțiți în cinci categorii: clasificatori liniari, rețele neuronale, clasificatori neliniari bayesieni, clasificatori care calculează cel mai apropiat vecin și clasificatori combinați.

Clasificatorii liniari sunt clasificatori discriminanți care utilizează funcții liniare pentru a distinge clasele de clasificare. Acești algoritmi sunt cei mai folosiți pentru apicații BCI. Cei mai utilizați algoritmi liniari sunt analiza liniară discriminantă (Linear Discriminant Analysis – LDA) și Support Vectore Machine (SVM). LDA sau Fisher LDA folosește hiperplanuri pentru a separa datele care aparțin diferitelor clase, [Boo], [Bos], [Hua], [Lem1], [Mul], [Jia].

SVM folosește de asemenea un hiperplan pentru a identifica clasele. În acest caz hiperplanul are proprietatea de a maximiza limitele, [Bla1], [Gua], [Gar], [Gla], [Pet], [Thu].

Rețelele neurale (Neural Networks – NN) sunt de asemenea foarte utilizate în cercetarea BCI. Rețelele neurale sunt reprezentate de amsamble de neuroni arificiali care învață din datele de antrenare. MultiLayer Percepron (MLP) este un exemplu de clasificator de tipul rețea neuronală, [And], [Hua], [Hun], [Pal], [Su], [Tav].

Clasificatorul Bayesian alocă vectorului de trăsături clasa cu cea mai mare probabilitate, [Cur], [Lem], [Pen], [Rob].

Algoritmul tradițional al celui mai apropiat vecin (1-NN) alocă un eșantion de intrare neclasificat A, acelei clase care corespunde celui mai apropiat vecin al lui A. Acest algoritm poate fi extins la cei mai apropiați k vecini (k-NN – k Nearest Neighbors) ai lui A, astfel încât A este atribuit clasei care este reprezentată printr-o majoritate a celor mai apropiate k eșantioane vecine. K-NN a fost folosit în comunitatea BCI de [Bla], [Pin], [Pre].

În majoritatea lucrărilor despre BCI, clasificarea se realizează folosind un singur clasificator. O tendință recentă este de a folosi mai multe clasificatoare agregate în diferite moduri, [Tow], [Bir2], [Hin], [Kai], [Neu1], [Wol2].

1.2.4. Controlul dispozitivelor exterioare

Sistemele BCI au o gama foarte variată de aplicații de la foarte simple la complexe. Există aplicații BCI de ortografiere, jocuri simple pe calculator, de control al unui scaun cu rotile, de navigație pe intrenet sau într-un mediu virtual, [Bla2], [Pfu1], [Sel].

De obicei, aplicațiile sunt special construite pentru un anumit tip de BCI fiind parte integrată a sistemului. Sistemele BCI care se pot conecta și pot controla efectiv alte dispozitive sunt destul de rare.

Un număr tot mai mare de sisteme permit controlul dispozitivelor mai sofisticate, inclusiv orteze, proteze, brațe robotice sau chiar roboți mobili, [Gra2], [Lee1], [Pfu5], [Mil3], [Vel], [Mul2]. În Fig 1.3 sunt prezentate cele mai importante aplicații ale sistemului BCI. BCI poate controla orice aplicație pe care orice alta interfață o poate controla, dar acest lucru se realizează cu un transfer de informație mai scăzut. Din această cauză, a ratei de transfer scăzute a informației, BCI nu sunt bine adaptate pentru a controla aplicații mai solicitante și mai complexe. De exemplu, chat-ul on-line rapid sau apucatul unei sticle cu ajutorul unui braț robotic, unele jocuri pe calculator, au nevoie de mai multă informație pe secundă decât poate sistemul BCI să ofere. Acestă problemă poate fi rezolvată uneori prin implementarea de diferite scurtături.

Fig. 1.3. Exemple de aplicații BCI [Gra]

De exemplu, un pacient bolnav de scleroză amiotrofică laterală folosește o aplicație pentru a comunica cu îngirjitorul său. Pacientului îi este sete și vrea să transmită acest lucru. Pacientul poate îndeplini acestă sarcină prin selectarea individuală a fiecărei litere pentru a transmite mesajul ”apă”, sau ”apă, te rog”. Din moment ce acestă dorință poate fi una obișnuită a pacientului, ar fi de folos dacă am crea un simbol special pentru această comandă. În acest fel pacientul poate transmite mesajul mult mai rapid, printr-o singură sarcină mentală. Mai multe astfel de scurtături pot deservi diferite sarcini, dar aceste scurtături pot îngrădi flexibilitatea scrierii de mesaje individuale. Un sistem BCI ideal ar putea fi o combinație între comenzile simple care permit scrierea de mesaje individuale și scurtături care permit transimterea de mesaje predefinite. Cu alte cuvinte, este foarte importantă combinarea dintre orientarea spre proces (de nivel scăzut) și orientare spre scop (de nivel înalt). Controlul la nivel scăzut semnifică faptul că utilizatorul trebuie să gestioneze toate interacțiunile complexe implicate în realizarea unei sarcini, cum ar fi ortografierea literelor individuale pentru a transmite un mesaj. În schimb orientarea spre scop, sau controlul de nivel înalt înseamnă că utilizatorii comunică aplicației scopul lor. Astfel de aplicații trebuie să fie suficient de inteligente pentru a efectua în mod autonom toate subsarcinile necesare atingerii obiectivului. În orice intrefață, utilizatorii nu ar trebui să fie nevoiți să realizeze sarcini inutile de control de nivel scăzut.

Permiterea controlului la nivel scăzut în cazul unui scaun cu rotile sau a unui braț robotic, nu ar fi doar frustrant și încet, dar și periculos.

Controlul scaunului cu rotile semi-autonom Rolland III, [Man], poate fi realiza prin diferite modalități de intrare, cum ar fi joystick-ul (la nivel scăzut) sau de control discret (la nivel înalt). Este suportată navigarea autonomă și semi-autonomă. Robotul pentru reabilitare Freind II, [Mar], (Mână robotică funcțională cu intrefață user friendly pentru persoane cu dizabilități) este un sistem semiautonom realizat pentru asistența persoanelor cu dizabilități în viața de zi cu zi. Acesta este un sistem bazat pe un scaun cu rotile convențional echipat cu un sistem de camera stereo, un braț de robot cu 7 grade de libertate, un clește de prindere cu senzor de forță, o tavă inteligentă cu senzori de greutate, o suprafață tactilă și o unitate de calcul constând în trei PC-uri industriale independente. FRIEND II poate realiza diferite operații în mod autonom. Un exemplu de o astfel de oparațiune este ”turnarea băuturii în pahar”. În acest scenariu, sistemul detectează sticla și paharul (ambele situate în poziții arbitrare pe tavă), apucă sticla, se duce sticla spre pahar, evitând în același timp orice obstacol de pe tavă, umple paharul cu lichidul din sticlă, iar în cele din urmă pune sticla înapoi în poziția sa inițială, evitându-se din nou orice obstacole posibile.

Aceste tipuri de dispozitive de asistare ajută foarte mult utilizatorul și-i ușurează munca. Robotul de reabilitare oferă o colecție de sarcini care sunt realizate autonom și poate fi inițiată prin comenzi simple. Fără această inteligență, utilizatorul ar trebui să controleze direct multe aspecte de operaționare a dispozitivului. Astfel de aplicații complexe nu sunt disponibile publicului larg, sunt încă subiecte de cercetare și sunt în curs de evaluare în laboratoarele de cercetare. Succesul acestor aplicații, sau chiar orice aplicație BCI, va depinde de fiabilitatea lor și de acceptarea lor de către utilizatori.

Aceste aplicații oferă un avantaj major față de tehnologiile de asistență convențională în cazul pacienților ce sufera de sindromul locked-in și pentru care nu există sisteme de control și de comunicare altrenativă. Comunicarea prin intremediul BCI este singura posibilitatea practică pentru acesti pacienți. Cu toate acestea, situația este diferită pentru utilizatorii cu handicap mai puțin sever sau pentru cei sănătoși, deoarece aceștia sunt în măsură să comunice prin mijloace naturale sau prin mijloace de comunicare convenționale, cum ar fi tastatura sau sistemele de urmărire a ochilor.

Până nu de mult, se presupunea că pacienții sunt de acord să utilizeze BCI doar dacă alte mijloace de comunicare nu ar fi utile. Deși BCI câștigă încrederea a tot mai multor grupe de utilizatori, există și anumite cazuri în care BCI rămâne destul de lent și nesigur. De exemplu, cele mai multe proteze nu pot fi controlate în mod eficient cu ajutorul BCI. Cu toate acestea, există mai multe încercări în acest domeniu ce utilizează BCI invazive sau noninvazive, [Vel], [Mul2], [Hoc].

Suntem destul de optimiști în privința viitorului sistemelor BCI. Acestea devin din ce în ce mai sigure și ușor de folosit. Tendința este ca aplicațiile să poată funcționa și în afara laboratorului ulizându-se un numar cât mai redus de electrozi EEG (ideal, chiar un singur electrod) care să fie ușor de instalat, poate chiar portabil. Laboratoarele BCI din Graz au dezvoltata un astfel de sistem. Acest sistem folosește imaginarea motorie pentru detectarea patternurilor ERD în benzile ritmurilor beta, înregistrarea semnalului reazilându-se de un singur canal EEG, [Plu6].

Sistemele BCI mai pot fi utilizate pentru neuroreabilitare. Scopul BCI în acest caz este de tratare a diferitelor deficiențe produse de infarct, ADHD, autism sau diferite deficiențe emoționale.

BCI pentru neuroreabilitare este un concept nou care utilizează neurofeedback-ul, funcționând în mod diferit față de BCI convențională. În cazul aplicațiilor de comunicare și control, neurofeedback-ul este necesar pentru a învăța să utilizăm BCI. Scopul final al acestei aplicații este de a realiza cea mai bună performanță de control sau de comunicare. Neurofeedback-ul este doar un mijloc de realizare a scopului final. În cazul aplicațiilor de neuroreabilitare, situația este diferită, aplicația reprezintă de fapt partea de învățare. BCI este cea mai avansată metodă de neurofeedback disponibilă.

Concluzii

Sistemele BCI reprezintă un domeniu de cercetare relativ nou, în care oameni de știință cu pregătire diferită lucrează împreună pentru a dezvolta sisteme care interconectează creierul și calculatorul pentru a oferi persoanelor cu dizabilități, și nu numai, noi canale de ieșire pentru creier, care nu depind de mușchi sau nervi periferici. Creșterea comunității BCI este reflectată de numărul tot mai mare de publicații în domeniu, dar și de instituții implicate în cercetare [Bra].

În concluzie acest capitol cuprinde atât o prezentare generală a sistemului BCI cât și un studiu asupra stadiului actual al cercetărilor în domeniu. Sunt prezentate echipamentele principale utilizate pentru achiziția de semnal cerebral, metodele de prelucrare de semnal uitlizate în acest domeniu dar și dispozitivele ce pot fi controlate cu ajutorul BCI, ceea ce a presupus documentare și cercetare în literatura de specialitate.

Capitolul 2.

Achiziția semnalelor electroencefalografice

Achiziția semnalelor reprezintă primul pas în cercetarea BCI. Ar putea exista multe voci care să spună că achiziția de semnale este o pierdere de timp și că se poate lucra foarte ușor cu semnalele de pe intrenet, însă am preferat să înregistrăm propriile semnale din mai multe motive. Semnalele de pe intrenet nu ne oferă întotdeauna toate informațiile necesare, nu știm de fiecare dată în ce condiții au fost realizate înregistrările și nu știm părerea subiectului despre experiment și cât de mult a reușit acesta să se concentreze.

În cadrul cercetării au participat aproximativ 60 de subiecți voluntari. Din aceștia doar 45 au generat semnale EEG viabile, ce pun în evidență fenomenele neurologice de interes. În concluzie, 25% din subiecții investigați nu reușesc să discrimineze ritmurile senzorimotoare. Acest lucru se poate datora în primul rând slabei concentrări a subiectului în timpul paradigmei, datorită apariția unor factori perturbatori în laboratorul în care s-au realizat înregistrările sau chiar din cauza oboselii, sau pur și simplu subiecții nu au reușit să realizeze sarcina de imaginare a mișcării membrelor superioare.

Achiziția semnalelor s-a realizat cu ajutorul sistemul g.GAMMAsys, dezvoltat de g.tec și a software-ului BCI2000.

2.1. Sistemul g.GAMMAsys

Datele au fost înregistrate cu ajutorul sistemului de achiziție de semnale EEG realizat de firma g.tec Guger Technologies OEG din Austria. Acest sistem, g.GAMMAsys, este format din sistemul de achitiție g.MOBIlab, g.GAMMAcap-ul cu electrozii și din amplificatorul g.GAMMAbox.

Produsul denumit g.GAMMAsys (Fig. 2.1), oferă un sistem de cercetare/dezvoltare complet, în mediul de programare MATLAB, și include toate componentele hardware și software necesare achiziției de semnal, analizei online și offline și clasificării semnalelor, dar și furnizarea de neurofeedback.

Fig.2.1. g.GAMMAsys [Gug]

g.MOBIlab+ este disponibil cu până la 8 canale EEG, este portabil și oferă conectivitate wireless.

Avantajele sistemului BCI oferit de g.tec sunt: [Lee2]:

sistem de cercetare complet pentru EEG și ECoG;

existența paradigmelor pentru citirea literelor și controlul cursorului pe un ecran de monitor;

integrarea experimentelor în timp real și analiză offline;

rulează utilizând modulele hardware de achiziție de semnal g.MOBIlab+;

paradigme al căror cod sursă permite adaptări și dezvoltarea de aplicații noi.

Modulul g.MOBIlab+este un instrument pentru achiziția biosemnalelor cu un aparat portabil și procesarea pe un PC de buzunar, PC sau notebook. El permite investigarea biosemnalelor provenite de la creier.

g.MOBIlab+ poate fi combinat cu sistemul de culegere de semnale EEG oferite de g.tec numit g.GAMMAcap, ce pote fi folosit cu maximum 8 electrozi. Dispozitivul are o autonomie mare în funcționare, până la aproape o săptămână și funcționează cu o interfață standard serială.

Este disponibil în varianta g.MOBIlab cu Wireless și Flash, care oferă transferul datelor wireless la un PC de buzunar, notebook sau desktop PC prin tehnologie Bluetooth. După verificarea vizuală a calității biosemnalelor, poate fi deconectat de la computer, datele fiind stocate pe un card de memorie flash.

Performanțele tehnice ale modulului g.MOBIlab+:

Canale EEG: 8;

Filtre: 0,5 – 100 Hz;

Senzitivitate: 500 µV (monopolar);

Intrări/ieșiri adiționale: Intrări/ieșiri digitale: 4;

Intrări digitale (TTL): 4; +5V

Alimentarea: 4 baterii standard AA sau acumulatori (timp de funcționare 25 – 100 ore)

Achiziția datelor: ADC: 16 biți și 256 Hz/canal; interfață serială (RS232); Bluetooth 2.0 / clasa I (+)

Standard: IEC 60601-1 pentru aplicații de cercetare

Card intern de stocare: Micro-SD

2.2. Software-ul BCI2000

Sistemul BCI2000 este un software propus pentru cercetarea interfețelor creier-calculator. Acest sistem poate fi utilizat pentru achiziția de date, pentru prezentarea stimulilor și pentru aplicații simple pe calculator. Sistemul BCI2000 a fost dezvoltat, începând cu anul 2000 într-un proiect al programului Brain Computer Interface R&D din centrul Wadsworth New York, contribuții substanțiale aducând și institutul de medicină psihologică și neurobiologie comportamentală de la Universitatea Tubingen din Germania.

Misiunea proiectului BCI2000 este de a facilita cercetarea și dezvoltarea aplicațiilor din toate domeniile care depind de achiziția în timp real, procesarea și feedback-ul biosemnalelor.

În anul 1990, Dr. Jonathan Wolpaw și Dr. Niels Birbaumer doi dintre pionierii BCI2000, au recunoscut necesitatea unui software care să faciliteze implementarea unui sistem BCI. Abia la mijlocul anului 2000 a fost implementată prima generație de sistem BCI2000, de către Gerwin Schalk și Dennis McFarland de la centrul Wadsworth. Aceste eforturi au fost răsplătite cu primele înregistrări viabile, obținute în iulie 2001. Datele achiziționate în primul experiment pot fi prelucrate și astăzi cu instrumentele oferite de BCI2000.

Sistemul BCI2000 se află într-o continuă dezvoltare având un impact substanțial asupra cercetărilor din domeniu BCI. În decembrie 2009, BCI2000 era utilizat în aproape 500 de laboratoare din întreaga lume. Articolul original ce prezintă BCI2000 (2004) a primit premiul Best Paper Award de la IEEE Transaction on Biomedical Engineering, și a fost citat în peste 200 de articole și 120 publicații. Aceste publicații includ cele mai impresionante demonstrații și aplicații BCI și se poate menționa: prima interfața creier calculator online ce utilizează semnale magnetoencefalografice, [Mel1], prima BCI în timp real ce utilizează EEG de înaltă rezoluție, [Cin], controlul unui robot humanoid cu ajutorul unei BCI neinvazive, [Bel]. BCI2000 reprezintă de asemenea singura modalitate de utlizare a unei BCI pe termen lung, acasă, pentru persoanele cu dizabilități severe. În ultimii ani, astfel de pacienți au utilizat acest sistem acasă pentru procesare de cuvinte, email, controlul mediului înconjurător și comunicare zilnică cu familia sau prietenii.

Pe scurt, BCI2000 facilitează evoluția cercetărilor în domeniul BCI și progresul obținut, de la utilizarea în laboratoare izolate la demonstrații clinice relevante și aplicații utile persoanelor cu dizabilități. Datorită numeroaselor avantaje, BCI2000, poate fi considerat sistemul standard de cercetare BCI.

Un sistem BCI este proiectat special pentru o anumită metodă și, prin urmare, nu se potrivește pentru studii sistematice. Ca răspuns la această problemă, s-a dezvoltat sistemul BCI2000, [Mel]. BCI2000 poate încorpora singură sau în combinație orice semnale de la creier, metode de prelucrare a semnalelor, dispozitive de ieșire și protocoale de operare. Acest sistem funcționează bine în exploatarea online, iar BCI2000 satisface cerințele stricte în timp real a sistemelor BCI. Datorită necesității unei forței de muncă reduse și a costurilor mici, BCI2000 facilitează punerea în aplicare a diferitelor sisteme BCI și a altor experimente psihofiziologice.

BCI2000 are intenția de a ajuta dezvoltarea și cercetarea BCI. Acest sistem oferă o platformă flexibilă care facilitează evaluarea, comparația, combinarea semnalelor alternative ale creierului, metodele de procesare care sunt esențiale pentru progresul continuu. Prin reducerea timpului, efortului și a cheltuielilor de testare a unor noi modele, oferind un format standardizat de date pentru analiza offline, BCI2000 poate crește rata de progres atât în laboratoarele de cercetare cât și în aplicațiile clinice. Pentru a atinge acest scop, BCI2000 are două principii de bază. Primul este un model de sistem de patru module care cuprinde cele patru funcții esențiale ale oricărui sistem BCI: achiziție de semnal, procesare de semnal, realizarea controlului la ieșire și protocolul de funcționare. Ca rezultat, BCI2000 ar trebui să permită punerea în aplicare a oricărui proiect de intefață creier calculator. Al doilea principiu este maximizarea independenței, interschimbabilitatea pentru fiecare modul și componentă a lui. Ca urmare, o schimbare într-un modul sau o componentă ar trebui să impună schimbări mai mici sau mai mari în sistem.

BCI2000 are un harware ușor accesibil și relativ ieftin care satisface cu ușurință cerințele de funcționare în timp real al BCI. BCI2000 s-a dovedit capabil să satisfacă diferite nevoi în procesarea de semnal a modelelor BCI bazate pe ritmuri senzorimotorii, ritmuri corticale de suprafață, potențiale corticale lente și potențialul P300 și să furnizeze ieșiri diferite necesare pentru mai multe tipuri de paradigme (de exepmlu, de control al cursorului și de selecție a caracterelor dintr-o matrice).

2.3. Înregistrarea semnalelor de antrenare

Datele au fost înregistrate cu ajutorul a opt electrozi neinvazivi plasați pe scalp conform standardului international 10-20. Canalele alese pentru plasarea elecrozilor sunt: CP3, CP4, CP3, C3, Pz, C4, P4 și Cz. Aceste canale au fost alese în ambele emisfere, conform apariției ritmurilor senzorimotoare in aceste zone. Electrodul de referință se plasează pe urechea dreaptă. În Fig. 2.2 sunt prezentate componentele sistemului de achiziție și etapele premergătoare achiziției semnalelor EEG. În primă fază se măsoară distanța dintre inion și nasion, iar electrodul de masă, ce este plasat pe canalul FP1, trebuie să fie amplasat la 10% din distanța măsurată. Apoi se fixează electrozii pe cască și se realizează contactul cu pielea cu ajutorul unui gel conductor. După realizarea acestor etape se poate trece la înregistrarea datelor, dar nu înainte de a informa subiectul asupra sarcinilor pe care va trebui să le îndeplineacă în timpul paradigmei.

Fig. 2.2. Componentele și etapele pregătirii pentru achiziția de semnale

Înregistrările sunt realizate pe 60 voluntari sănătoși, în laboratorul de procesare de semnale biomedicale din cadrul facultății de bioinginerie medicală.

Subiecții sunt așezați în fața unui monitor pe care ori sunt afișate, succesiv, săgeți spre stânga și spre dreapta ori nu se afișează nimic. Ei trebuie să se uite atent la direcția indicată de săgeată și să-și imagineze mișcarea mâinii indicate de aceasta, iar în momentul în care pe monitor nu apare nimic, subiectul trebuie să se relaxeze. Fiecare săgeată spre stânga și spre dreapta este afișată de 30 de ori. Frecvența de eșantionare este de 256Hz, iar timpul de apariție a stimului vizual este de 2 secunde.

Prima data prelucrăm datele obținute pentru a putea fi utilizate în experimentele și analizele ulterioare, astfel că sunt extrase semnalele corespunzătoare imaginării mișcării mâinii stângi, respectiv mâinii drepte, și cele corespunzătoare relaxării, apoi se mediază pe cele 30 de încercări.

2.3.1. Analiza Offline folosind coeficientul de determinare r2

Analiza offline se bazează pe calculul coeficientului de determinare r2 și pe inspecția vizuală a spectrului EEG.

Indexul statistic r2 are valori între 0 și 1 și poate fi considerat ca un indice ce arată cât de diferite sunt două semnale (la o(un) anumit(ă) frecvență/canal). Diferența dintre semnale poate fi explicată prin faptul că acestea provin de la diferite surse (în cazul nostru corespund diferitelor sarcini – de mișcare/imaginare și de relaxare). O valoare a lui r2 apropiată de 1 indică o bună discriminare a ritmurilor senzorimotoare. Coeficientul r2 se calculează după cum urmează:

(4.1)

Unde:

M- numărul surselor;

Ni- numărul datelor asociate cu sursa i;

µi- valoarea așteptată calculată pentru toate datele care aparțin sursei i

µ- valoarea așteptată calculată global pentru toate datele (independete de sursă)

yij- este data j asociată sursei i.[Edw]

Coeficientul de determinare a fost utilizat prima data pentru semnalele EEG de către ințiatorii sistemului BCI2000 [Mel] și pune în evidență caracteristicile ritmurilor senzorimotoare.

Analiza offline a ritmurilor senzorimotoare, cu software-ul BCI2000, ne mai oferă două rezultate: afișarea formelor de undă și hărțile cerebrale. Formele de undă sunt utile pentru investigarea canalelor specifice, în timp ce hărțile cerebrale sunt utile pentru investigarea ferestrelor de timp specifice. Pentru a genera hărți cerebrale trebuie să se țină cont de modul în care au fost aranjați electrozii.

2.3.2. Rezultatele analizei offline ce utilizează software-ul BCI2000

După fiecare paradigmă de antrenare, semnalele achiziționate sunt analizate offline pentru a putea decide dacă acestea au fost sau nu înregistrate corect din punct de vedere al discriminării ritmurilor senzorimotoare. Petru acesta, în primă instanță, se folosește toolbox-ul pentru analiză offline furnizat de către software-ul BCI2000, care are la bază coeficientul de determinare, r2.

În Fig. 2.3 este reprezentată interfața pentru analiza offline a software-ului BCI2000. În acestă fereastră se încarcă datele achiziționate și se generează rezultatele din Fig. 2.4. În Fig. 2.3 se observă că valoarile cele mai mari ale lui r2 s-au obținut pentru canalul 6 (C4) dar și pentru canalele 1 (CP3), 2 (CP4), 4 (C3) și 7 (P4). Canalele de interes în cazul imaginării mișcării mâinii stângi sunt C4, CP4 și P4, iar cea mai bună valoare a lui r2, de aproximativ 0,3, s-a obținut pe canalul C4, care va fi utilizat în continuare pentru afișarea formelor de undă. Prin urmare, în interfața pentru analiza offline se completează la Spectra Channels: 6, iar la Topo Frequencies (Hz): 12 14, frecvențele la care am obținut valori mari ale lui r2. Se încarcă montajul cu 8 electrozi (modificat pentru electrozii folosiți) pentru afișarea hărții cerebrale.

Condiția 1 states.StimulusCode==1 corespunde datelor înregistrare atunci când se imaginează mișcarea mâinii stângi, această condiție se modifică, states.StimulusCode==2, când afișăm rezultatele pentru imaginarea mișcării mâinii drepte. Condiția 2 states.StimulusCode==0 corespunde datelor înregistrate atunci când subiectul se relaxează.

Fig 2.3. Interfața pentru analiza offline a software-ului BCI2000

Fig 2.4. Coeficientul de determinare calculat pentru semnalalul corespunzător imaginării

mișcării mâinii stângi vs. Relaxare (BCI2000)

În Fig. 2.5. în partea stângă este reprezentat spectrul de frecvență pe canalul C4, pentru semnalul corespunzător imaginării mișcării mâinii stângi și pentru semnalul corespunzător relaxării. În acest grafic se observă desincronizarea ritmurilor senzorimotoare începând de la 10Hz pâna după 20Hz, semnalul corespunzător relaxării având o amplitudine mai mare față de semnalul corespunzător imaginării mișcării în această bandă de frecvență.

În graficul din partea dreaptă sunt reprezentate valorile lui r2 la diferite frecvențe. Se observa că maximul coeficientului de determinare se obține în apropierea frecvenței de 18-20 Hz (corespunzătoare ritmului beta).

Fig. 2.5. Spectrul de frecvență pentru canalul 6 (C4) pentru semnalalul corespunzător imaginării mișcării mâinii stângi vs. relaxare (partea stângă) și valoarea coeficientului de determinare la anumite frecvențe (partea dreaptă).

Hărțile cerebrale pentru semnalul corespunzător imaginării mișcării mâinii stângi sunt reprezentate în Fig. 2.6. Se observă foarte bine că valori mai crescute ale coeficientului de determinare se înregistrează în zona contralaterală imaginării mișcării adică în partea dreaptă pe canalul C4.

Fig. 2.6. Hărțile cerebrale pentru frecvențele de 12 și respectiv 14 Hz

În Fig. 2.7 este reprezentat coeficientul de determinare pentru semnalul corespunzător imaginării mișcării mâinii drepte versus semnalul înregistrat în timpul relaxării. Se observă că am obținut valori mai mari pentru r2 pe canalele 1 (CP3), 3 (P3) și 4 (C3) în intervalul de frecvență 14-22 Hz. Cea mai mare valoare obținută pentru coeficientul de determinare este pe canalul CP3 în intervalul 14-16Hz astfel că utilizăm acest canal pentru reprezentarea spectrului de frecvență.

Fig 2.7. Coeficientul de determinare calculat pentru semnalalul corespunzător imaginării

mișcării mâinii drepte vs. Relaxare (BCI2000)

În Fig. 2.8. în partea stângă este reprezentat spectrul de frecvență pe canalul CP3, pentru semnalul corespunzător imaginării mișcării mâinii drepte și pentru semnalul corespunzător relaxării. În acest grafic se observă desincronizarea ritmurilor senzorimotoare în banda de frecvență 12-22Hz.

În graficul din partea dreaptă sunt reprezentate valorile lui r2 la diferite frecvențe. Se observa că maximul coeficientului de determinare se obține în apropierea frecvenței de 20 Hz (corespunzătoare ritmului beta).

Fig. 2.8. Spectrul de frecvență pentru canalul 1 (CP3) pentru semnalalul corespunzător imaginării mișcării mâinii drepte vs. relaxare (partea stângă) și valoarea coeficientului de determinare la anumite frecvențe (partea dreaptă).

În Fig. 2.9. se observă că valori mai crescute ale coeficientului de determinare pentru semnalul corespunzător imginării mișcării mâinii drepte se înregistrează în partea stângă pe canalele C3 și CP3.

Fig. 2.9. Hărțile cerebrale pentru frecvențele de 14 și respectiv 16 Hz

2.3.3. Metoda propusă pentru calculul coeficientului de determinare r2

Pentru analiza offline a tuturor semnalelor înregistrare am realizat propriul software, în mediul de lucru MATLAB, pentru calculul coeficientului de determinare. Metoda propusă realizează urmatorii pașii:

importarea în programul MATLAB a unei înregistrări de antrenare;

extragerea semnalelor corespunzătoare imaginării/mișcării mâinii drepte respectiv mâinii stângi și relaxării;

convertirea fiecărui semnal (de relaxare sau de mișcare/imaginare mișcare a mâinii drepte sau stângi) în domeniul frecvență cu ajutorul densității spectrale de putere;

medierea semnalelor după numărul de repetări a sarcinilor de mișcare/imaginare (30 de apariții pentru săgeată stânga și respectiv drepta) și de relaxare (2×30 de apariții a ecranului alb);

calcularea coeficientului de determinare conform relației (4.1) pentru semnalul corespunzător sarcinii de mișcare/imaginare a mișcării mâinii drepte versus semnalul corespunzător relaxării și pentru semnalul corespunzător sarcinii de mișcare/imaginare a mișcării mâinii stângi versus semnalul corespunzător relaxării;

afișarea grafică a rezulatelor în funcție de frecvență și canale.

Acest software are avantajul că furnizează direct rezultatele fără a fi nevoie să utilizăm intrefața de analiza offline, iar rezultatele sunt mult maiedificatoare, fiind concentrate pe un număr mai redus de canale. Un alt avantaj al metodei propuse este reprezentat de diferențele de precizie ale lui r2, valorile acestuia obținute cu sotfware-ul implementat fiind mai mari decât cele obținute cu BCI2000.

2.3.4. Rezultatele analizei offline ce utilizează software-ul propus

Software-ul propus se bazează, de asemnea, pe reprezentarea coeficientului r2, determinat comparând spectrele asociate fiecărei sarcini motorii cu spectrul înregistrat în perioada de relaxare.

În Fig. 2.10. este reprezentat coeficientul de determinare pentru semnalul corespunzător imaginării mișcării mâinii stângi versus semnalul înregistrat în timpul relaxării. Se observă valori crescute a lui r2 pe canalele CP4, C4 dar și pe canalul P4 în intervalul de frecvență 15-20 Hz. Aceste canale sunt plasate în partea dreaptă a scalpului. Spre deosebire de reprezentarea obținută pentru același semnal cu software-ul BCI2000, consider reprezentarea obținută cu propriul software mult mai clară și concentrată pe doar două canale, CP4 și C4 (din zona contralaterală mișcării). De asemenea se observă că cea mai mare valoare a lui r2 este de aproximativ 0,45 în comparație cu 0,3 obținut cu BCI2000.

Fig. 2.10. Coeficientul de determinare calculat pentru semnalalul corespunzător imaginării

mișcării mâinii stângi vs. Relaxare (MATLAB)

În figura Fig. 2.11. este reprezentat coeficientul de determinare pentru semnalul corespunzător imaginării mișcării mâinii drepte, versus semnalul înregistrat în timpul relaxării. Se observă că se obțin valori mai mari pentru r2 pe canalele CP3, P3 și C3 în intervalul de frecvență 15-20 Hz. Aceste canale sunt plasate în partea stângă a scalpului, iar acest lucru demonstrează că datele înregistrate sunt corecte și avem desincronizare în emisfera contralaterală mâinii mișcate imaginar. Se observă o valoare mare a lui r2 și pe canalul P4, dar se consideră a fi o eroare deoarece acest canal se află în partea dreaptă a scalpului. De asemenea se observă că am obținut cu software-ul în MATLAB valoarea maximă a lui r2 de aproximativ 0,3 în timp ce cu BCI2000 s-a obținut aproximativ 0,25. Pentru toți subiecții se obțin valori mai mari pentru r2 cu software-ul implememtat decât cu cel utilizat de BCI2000.

Fig. 2.11. Coeficientul de determinare calculat pentru semnalalul corespunzător imaginării

mișcării mâinii drepte vs. Relaxare (MATLAB)

Analizând asfel semnalele de la toți subiecții am întocmit TABELUL I. Acest tabel oferă informații pentru 45 subiecți deoarece doar aceștia discriminează ritmurile senzorimotoare din cei 60 care au efectuat experimentul. Tabelul I conține informații despre frecvența de apariție a ritmurilor senzorimotoare și canalele corespunzătoare, cât și valoarea maximă a indexului statistic r2.

Tabel II.I. Informații despre subiecți

2.4. Înregistrarea semnalelor de testare

Pentru clasificare avem nevoie de două tipuri de înregistrări: înregistrările realizate în paradigma de învățare și înregistrări realizate în timpul testării.

În timpul testării se utilizează imaginarea/mișcarea unei singure mâini, cea pentru care s-au obținut cele mai bune rezultate la analiza offline, asftel clasificarea se va realiza separat pentru mâna stângă, respectiv mâna dreaptă.

În această paradigma de testare subiectul trebuie să conducă o bilă astfel încât ea să atingă ținta, reprezentată de o bară de culoare roz. Când ținta este in partea de sus a ecranului, subiectul trebuie să miște sau să-și imagineze mișcarea mâinii, iar când ținta este in partea de jos a monitorului, subiectul trebuie să se relaxeze. În momentul când bila atinge ținta, acesta își schimbă culoarea (Fig. 2.4). La finalul experimentului software-ul BCI2000 afisează procentul de succes al experimentului (având la bază un program de clasificare LDA).

Fig. 2.12. Paradigma de testare de control al cursorului. Bila este cursorul și bara este ținta. A) Înainte ca bila să atingă ținta (subiectul își imaginează mișcarea mâinii), B) Atingerea țintei aceasta își schimba culoarea în galben, C) Înainte ca bila să atingă ținta (subiectul se relaxează), D) Atingerea țintei

2.5. Concluzii

În acest capitol este prezentată prima etapă a implementării interfeței creier-calculator, achiziția de semnale EEG. Achiziția de semnale reprezintă un pas deosebit de important, decisiv chiar, în ceea ce privește succesul și rezultatele etapelor următoare, necesitând resurse importante de timp dar și de voluntari dornici să realizeze experimentele.

Cercetarea pe date achizționate personal este mult mai eficientă, cunoscându-se toate detaliile și condițiile în care au fost efectuate înregistrările dar și părerile voluntarilor și declarațiile acestora cu privire la experiment și dacă au reușit sau nu să-și imagineze mișcarea, acest lucru fiind unul nu tocmai ușor de realizat. Există de asemena pesoane care nu dezvoltă ritmurile senzorimotoare, aceste înregistrări fiind excluse din cercetările ulterioare. De asemnea, unii subiecți nu au reușit să-și imagineze mișcarea membrelor superioare, deși în cazul mișcării, atunci când s-a realizat analiza offline, s-au obșinut rezultate destul de bune.

În cei trei ani de cercetare doctorală, s-a realizat o mică bază de date, viabile, ce conține 45 de semnale EEG, înregistrate atât în timpul mișării cât și imaginării mișcării mâinilor. Chiar dacă subiecții ce au participat la experimente au fost în număr mai mare de 45, nu toți au discriminat ritmurile senzorimotoare, în concluzie nu toate datele înregitrate ne sunt folositoare. Această bază de date conține atât semnale de antrenare (în număr de 45) cât și semnale de testare (în număr de 35), ceea ce este destul de rar întâlnit în bazele de date disponibile pe intrenet.

Analiza offline realizată cu ajutorul software-ului BCI2000, este primul instrument utilizat după realizarea înregistrărilor pentru a putea ști dacă datele sunt viabile. Coeficintul de determinare este un indice care arată diferența dintre două semnale. Afișarea coeficentului de determinare pentru semnalul corespunzător imaginării versus semnalul corespunzător relaxării indică canalele pe care se obțin cele mai mari diferențe între aceste două semnale. Canalele pe care se obțin cele mai mari valori ale lui r2 reprezintă canalele optime de detecție a ritmurilor senzorimotoare. Astfel, în cazul imaginării mișcării mâinii drepte cele mai bune canale de detecție obținute sunt C3, CP3 și P3 ce se află în emisfera stângă a creierului, iar în cazul imaginării mișcării mâinii stângi canalul optim obținut este C4, plasate în zona contralaterală imaginării mișcării.

O contribuție importantă o reprezintă realizarea propriului cod de calcul al coeficientului de determinare și obținerea de rezultate mai clare și valori mai crescute ale lui r2 cu acesta. În cazul imaginării mișcării mâinii drepte cele mai bune canale de detecție obținute sunt CP3, P3 și C3 ce se află în emisfera stângă a creierului, iar în cazul imaginării mișcării mâinii drepte canalele optime sunt CP4 și C4, plasate în zona contralaterală imaginării mișcării. Cele mai mari valori ale lui r2, pentru subiectul analizat, au fost obținute pe canalele CP3 (0,45 față de aproximativ 0,28 cu BCI2000) și CP4 (0,3 față de 0,25 cu BCI2000). Prin urmare, pentru semnalul corespunzător imaginării mișcării mâinii stângi versus semnalul înregistrat în timpul relaxării se obține o valoare a lui r2 cu aproximativ 40% mai mare decât cea obținută cu BCI2000, iar în cazult semnalului coresunzător imaginării mișcării mâinii drepte versus relaxare se obține o valoare cu aproximativ 25% mai mare față de BCI2000.

Capitolul 3.

Metode de extragere a trăsăturilor din semnalele EEG

Semnalele EEG conțin un mix necunoscut de componente care reprezintă procesele creierului. De aceea este foarte importantă găsirea unor intrumente fiabile de procesare a semnalului pentru a extrage caracteristici ale semnalelor sistemului BCI.

Pentru extragerea caractersiticilor semnalelor achiziționate s-au folosit trei metode: analiza pe componente independente, analiza wavelet multirezoluție și exponentul Hurst.

3.1. Analiza pe componente independente – Independent component analysis (ICA). Noțiuni teoretice

ICA este o metodă statistică care are scopul de a găsi o reprezentare liniară pentru care componentele sunt idenpendente statistic. În realitate nu se poate găsi o reprezentare cu componente cu adevărat independente statistic, dar se poate găsi o reprezentare cu componente independente statistic intr-o măsură cât mai mare posibilă, în sensul maximizării unei funcții care măsoară independența. ICA descompune datele în componente independente, cu scopul de a estima procese biologice independente.

În prelucrarea semnalului EEG, ICA a demonstrat o capacitate bună de separare a semnalelor culese de pe scalp, în surse independente funcțional, cum ar fi componente neuronale care provin din diferite zone ale creierului și componente care reprezintă artefacte (oculare de mișcare sau de clipire, musculare, cardiace și alte zgomote). Datorită superiorității sale în separarea surselor EEG, ICA a fost aplicată cu succes în cercetările EEG pentru a reduce artefactele, pentru a spori raportul semnal zgomot al semnalelor EEG înregistrate în timpul diferitelor sarcini și pentru a facilita localizarea surselor EEG.

ICA poate fi definită ca o metoda de descompunere a datelor multivariate în subcomponentele independente statistic. În referința [Hyv], ICA este definită riguros utilizându-se modelul statistic al ”variabilelor latente”. În conformitate cu acest model, vom observa n variabile aleatoare care sunt combinații liniare de n variabile latente aleatoare ca:

pentru i=1, …, n (3.1.1)

, unde aij, j=1, …, n sunt coeficienți reali. Variabilele latente sunt numite și componente independente sau surse. Ele sunt numite latente pentru că nu pot fi observate. Sursele si sunt independente statistic. Componentele independente, si, și coeficienții de mixare, aij, sunt necunoscuți și trebuie determinați utilizând doar datele observate xi.

Modelul variabilelor latente pentru ICA este mai bine reprezentat sub formă de matrice. Dacă reprezintă semnalul original multivariat care transformat după matricea H, produce X, astfel:

(3.1.2)

Apoi, ICA identifică matricea de demixare W astfel:

(3. 1.3)

Astfel matricea rezultată Y este:

, (3. 1.4)

unde fiecare linie a matricei W reprezintă un filtru liniar pentru estimarea componentelor independete (IC) și fiecare coloană a matricei H-1 reprezintă ponderile electrozilor (ex. proiectie spatială) unei componente independente.

După cum s-a menționat mai înainte, ICA are nevoie doar de semnalele originale care sunt în orice moment de timp, t, independente statistic.

3.1.2. Separarea oarbă a surselor

Aplicația clasică a modelului ICA este separarea oarbă a surselor (Blind Sorce Separation – BSS). BSS constă în reconstrucția a N surse independente statistic provenind de la M combinații ale acestora.

pentru (3.1.5)

Unde reprezintă sursele semnalelor, amestecurile liniare observate și matricea de mixare care este necunoscută. Termenul de ”blind” se traduce aici prin faptul că nu se știe nimic sau aproape nimic despre semnalul sursă sau despre matricea A.

În lucrarea [Bel1], Belouchrani propune algoritmul ”Second-Order Blind Identification” (SOBI) pentru semnalele staționare cu spectre distincte. SOBI se bazează pe proprietatea de diagonalizare comună a matricei de corelație observată . Acestă matrice satisface relația:

(3.1.6)

unde este sursa semnalului (necunoscută) cu matricea de corelație diagonalizată. A reprezintă diagonalizarea comună a oricărui set K de matrice . Se poate demonstra că dacă toate sursele semnalului au spectre distincte (nu diferă doar prin scală), atunci se poate găsi un set de decalaje pentru care diagonalizarea comună este unică.

În [Bel1] este propusă estimarea lui A ca diagonalizarea comună a unui set de matrice de corelație estimate . Cu toate acestea, deși setul matricelor de corelație reale admit diagonalizare exactă, este apoape imposibilă diagonalizarea comună a setului de matricei estimate. Este totuși posibil să obținem estimatori pentru A, recurgând la aproximarea diagonalizării comune, în două etape:

Prima etapă este găsirea unei matrice ”albite (whitening)” , astfel (matricea de indentitate). Apoi, toate matricile sunt transformate similar,

(3.1.7)

În cea de-a doua etapă este găsită unitatea de aproximare a diagonalizării comune,, a setului de transformare, utilizând rotații Jacobi succesive [Gol], [Car1].

Astfel, estimarea matricii A este dată de relația:

(3.1.8)

, unde este pseudo-inversa lui , iar estimarea semnalului sursă este data de relația:

(3.1.9)

3.1.3. Metoda propusă pentru extragerea trăsăturilor ce utilizează ICA și coeficientul de determinare

Metoda propusă pentru extragerea trăsăturilor din semnalele EEG are la bază metoda ICA și coeficientul de determinare r2 si presupune următoarele etape:

se importă câte o înregistrare realizată în timpul antrenării;

se extrag semnalele corespunzătoare imaginării/mișcării mâinii drepte respectiv mâinii stângi și relaxării;

se convertește fiecare semnal (de relaxare sau de mișcare/imaginare mișcare a mâinii drepte sau stângi) în domeniul frecvență cu ajutorul densității spectrale de putere;

se filtrează fiecare semnal (de mișcare/imaginare a mișcării mâinii drepte/stângi și de relaxare) cu un filtru trece bandă de tipul Butterworth între 8 și 30 Hz. S-a ales acestă bandă de interes pentru că ritmurile mu si beta au frecvețele în acestă bandă;

se calculează coeficientului de determinare (conform metodei propuse în capitolul anterior) pentru semnalul filtrat corespunzător sarcinii de mișcare/imaginare a mișcării mâinii drepte versus semnalul filtrat corespunzător relaxării și pentru semnalul filtrat corespunzător sarcinii de mișcare/imaginare a mișcării mâinii stângi versus semnalul filtrat corespunzător relaxării;

afișarea grafică a rezulatelor în funcție de frecvență și canale;

se aplică algoritmul ICA, ce are la bază algoritmul SOBI, acsobiro [Cic], obținut din toolbox-ul open source EEGLAB, pentru toate cele trei semnale, pentru a estima matricea de mixare și sursele;

se normalizează coloanele matricei surselor;

se calculează normele coloanelor matricii de mixare;

se ordonează descrescător aceste coloane după normele corespunzătoare;

se rețin primele trei coloane a matricii de mixare iar restul se egalează cu zero;

se reconstruiește semnalul după primele trei surse;

se calculează coeficientului de determinare pentru semnalele reconstruite după aplicarea ICA corespunzătore sarcinilor de mișcare/imaginare a mișcării mâinii drepte/stângi versus semnalul recontruit corespunzător relaxării

afișarea grafică a rezulatelor în funcție de frecvență și canale.

Metoda a fost implementata în mediul software MATLAB.

3.1.4. Rezultate obținute

În urma aplicării metodei ce combină ICA și coeficientul de determinare se obțin patru reprezentări grafice pentru fiecare înregistrare. Rezultatele filtrării sunt afișate tot cu ajutorul coefientului de determinare în figurile 3.1.1 și 3.1.2.Valori mai mari ale lui r2 pot fi observate pe canalele CP3, C3 și P3 în banda de frecvență 15-22Hz pentru sarcina de imaginare a mișcării mâinii drepte, în Fig. 3.1.1.

Fig. 3.1.1. Coeficientul de determinare calculat pentru semnalalul filtrat corespunzător imaginarii

mișcării mâinii drepte vs. relaxare

În Fig. 3.1.2 sunt reprezentate rezultatele filtrării semnalului înregistrat în timpul imaginării mișcării mâinii stângi și se poate observa că cele mai mari valori ale lui r2 s-au obținut pe canalele C4, CP4 la 15-22 Hz.

Fig. 3.1.2. Coeficientul de determinare calculat pentru semnalalul filtrate corespunzător imaginarii

mișcării mâinii stângi vs. Relaxare

Coeficienții de determinare obținuți în urma reconstrucției semnalului după aplicarea ICA sunt reprezentați în Fig. 3.1.3 și 3.1.4. Se poate observa că după aplicarea ICA, în cazul imaginării mișcării mâinii drepte, cele mai mari valori ale lui r2 sunt pentru canalele C3, Cz și CP3 în banda de frecvență 22-27 Hz, corespunzatoare ritmului beta. Acest lucru arată faptul că ICA este o metodă propice, care indică o bună discriminare a ritmurilor senzorimotoare pe canalul C3, care este considerat a fi cel mai bun pentru înregistrarea activității motorii a mâinii drepte.

Fig. 3.1.3. Coeficientul de determinare calculat pentru semnalalul reconstruit după ce a fost aplicată ICA ( imaginare mișcare mâna dreptă vs. relaxare)

În Figura 3.1.4, pentru semnalul corespunzător imaginării motorii a mâinii stângi, cele mai mari valori ale lui r2 s-au obținut pentru canalul C4 la frecvența de 22-27Hz.

Fig. 3.1.4. Coeficientul de determinare calculat pentru semnalalul reconstruit după ce a fost aplicată ICA ( imaginare mișcare mâna stângă vs. relaxare)

3.1.5. Concluzii

ICA este o metodă des utilizată pentru extragerea trăsăturilor din semnalele EEG achizițioante prin diferite paradigme BCI [Erf], [Pet], [Wu], [Ser], [Li1].

În acest paragraf s-a propus o metodă de extragere a trăsăturilor semnalelor EEG ce ce combină ICA și coeficientul de determinare. Metoda se aplică pentru semnalele filtrate în banda 8 – 30Hz.

Dacă în urma filtrării se observă că cele mai bune valori ale lui r2 s-au obținut pentru canalele CP3 (r2 = 0,25), C3(r2 ≈ 0,24) și P3 (r2 ≈ 0,24), pentru semnalul corespunzător mișcării/imaginării mișcării mâinii drepte și CP4 (r2 = 0,35) și C4 (r2 ≈ 0,33), pentru semnalul corespunzător mișcării/imaginării mișcării mâinii stângi, în banda de frecvență 15-22Hz, după reconstrucția semnalului în urma aplicării ICA se obțin valori mai mici ale lui r2 însă pe canele C3 (r2 = 0,16) și C4 (r2 = 0,18) în banda de frecvență 22-27Hz.

Se observă că în urma aplicării ICA valorile cele mai mari ale coeficientului de determinare se concentrează pe cele două canale, C3 și C4, care sunt considerate cele mai bune pentru discrimarea ritmurilor senzorimotoare, acest lucru constituind un avantaj al metodei propuse. Deși valoarea acestor coeficienți este mai mică cu aproximativ 40% față de valorile obținute pentru semnalul filtrat, acest lucru este de înțeles, datorită faptului că r2 se calculează pentru semnalul reconstruit după primele trei surse.

În concluzie, ICA este o metodă utilă pentru descompunerea amestecurilor în subcomponente, ce poate fi utilizată pentru extragerea trăsăturilor din semnalele achiziționate în cadrul interfețelor creier calculator care au la bază imaginarea motorie.

3.2 Analiza wavelet multirezoluție. Noțiuni teoretice.

3.2.1 Reprezentarea timp frecvență de tipul wavelet

Termenul de wavelet se referă la o formă oscilatorie ce are capacitatea de a descrie un semnal în domeniile timp și frecvență.

Transformata wavelet este un instrument matematic care poate fi folosit pentru extragerea informațiilor din diferite tipuri de date, inclusiv semnale ECG, EEG, semnale audio dar și imagini.

Funcția , reală sau complexă, continuă, ce are următoarele proprietăți:

– Integrala funcției este 0:

(3.2.1)

– Funcția este de energie finită:

, (3.2.2)

Pentru extragerea mai eficientă a informațiilor în domeniul timp-frecvență, se poate construi o familie wavelet pornind de la funcția mamă, , ce este definită într-un interval finit. Funcția wavelet fiică, , este apoi formată prin translarea în timp cu un factor u și un factor de scară, s.

(3.2.3)

3.2.2. Transformata wavelet continuă

Având în vedere limitările pe care le impun transformata Fourier (slabă localizare în domeniul timp) și transformata Fourier scurtă– STFT (localizare în timp și o slabă localizare în domeniul frecvență), Grossman și Morlet, [Gro], formulează transformata wavelet continuă (TWC). Spre deodebire de aceste două transformate, care descompun semnalul în baze de exponențiale complexe, transformata wavelet descompune semnalul prin combinarea dilatărilor și translărilor unei funcții oscilante simple numită wavelet. Acestă diferență conferă transformatei wavelet avantajul de a efectua analiza multirezoluție, acest lucru însemnând că se realizează analiza diferitelor frecvențe în mod diferit (în contrast cu STFT care analizează diferite frecvențe în același mod). Utilizând această tehnică, rezoluția în timp este scăzută când analizăm porțiuni de semnal de frecvență înaltă, iar când analizăm porțiuni de frecvență joasă a aceluiași semnal, rezoluția în timp este cresută. Astfel, principala caracteristică a transformatei wavelet este producerea unei ferestre timp-frecvență care este automat scurtată pentru frecvențe înalte și mărită când frecvențele sunt joase, menținând suprafața ferestrei constantă. Acest tip de analiză este potrivit pentru semnale care au componente de frecvență joasă pe intervale mari de timp și componente de frecvență înaltă pe intrevale scurte de timp, ceea ce este întâlnit la majoritatea semnalelor. Se consideră o funcție , iar pentru analiza acesteia se folosește un wavelet mamă , translat și dilatat ca în (3.2.2) astfel putem scrie transformata wavelet a lui x(t) la momentul de timp u și cu factorul de scară s:

, (3.2.4)

Din ecuația (3.4) putem spune că transfomata wavelet continuă este convoluția dintre semnalul de analizat și inversa funcției, , derivată din funcția mamă. reprezintă complexul conjugat al funcției .

Reprezentarea de tipul timp-factor de scară dată de relația (3.2.4) este o reprezentare de două variabile u și s.

Parametrul u are aceeași semnificație ca în transformata Fourier scurtă. Este pus în legătură cu localizarea ferestrei, deoarece fereastra glisează de-a lungul semnalului. Termenul corespunde informației de timp în domeniul transformat. În analiza wavelet, variabila scară, s, este similară cu noțiunea de scară de la hărți. Scări mari corespund unei vederi globale, fără detalii, iar scările mici corespund detaliilor. Factorul de normalizare face ca energia funcției fereastră să fie aceeași, indiferent de valorile lui u și s, adică [Gro]:

(3.2.5)

pentru toate valorile lui u și s. Pentru orice valoare a lui s, funcția este o deplasare a funcției cu u unități de-a lungul axei timpului. Astfel, variabila u reprezintă o întârziere sau o translare. Din

(3.2.6)

rezultă că este o versiune decalată în timp și scalată în amplitudine a funcției , [Rao]. Deoarece variabila s determină scalarea în timp sau dilatarea, aceasta se numește variabilă de dilatare. Variabila s apare la numitor, ceea ce face ca să determine o dilatare a semnalului și , o compresie.

3.2.3. Transformata wavelet discretă

Transformata wavelet continuă realizează proiecția unui semnal dependent de o singură variabilă, t, într-o funcție dependentă de două variabile independente s și u. Este evident că această transformare este redundantă. O soluție pentru eficientizarea acestei metode de analiză constă în definirea unei transformate wavelet care folosește variante discretizate ale parametrului de dilatare s și parametrului de translare u. Pentru s se alege un întreg, putere a unui parametru de dilatare fix s0, adică . Diferite valori ale parametrului m corespund la wavelet-uri de diferite lățimi. Discretizarea parametrului de translare u trebuie să depindă de m: wavelet-uri înguste (frecvențe ridicate) se translează în pași mici pentru a acoperi întregul domeniul timp, în timp ce wavelet-uri largi (frecvențe joase) se translează cu pași mari. Deoarece lațimea funcției este proporțională cu , se alege să se discretizeze cu , unde este fix și , [Val].

Funcția wavelet discretă se realizează prin modificarea reprezentării wavelet date de relația (3.2.3). Se obține:

(3.2.7)

Deși este numită wavelet discretă, această funcție este continuă pe intervale. Efectul discretizării waveletului constă în faptul că spațiul timp-scară este eșantionat la intervale discrete de timp. Transformata wavelet discretă DWT este definită de următoarea relație:

(3.2.8)

3.2.4. Transformata wavelet folosită în analiza multirezoluție

În cazul transformatei wavelet continue, semnalul este analizat utilizând scalarea și translarea unei funcții wavelet mamă. În cazul trasnformatei wavelet discrete, este realizată reprezentarea timp-scală a unui semnal discret printr-o metodă bazată pe filtrare digitală. Transformata wavelet discretă analizează semnalul la diferite rezoluții (analiză multirezoluție), prin descompunerea semnalului în benzi de frecvență succesive.

O teorie detaliată a analizei wavelet multirezoluție se găsește în lucrările, [Dau], [Rao], [Mal], iar algoritmul utilizat pentru calcularea transformatei wavelet multirezoluție, numit algoritmul Mallat se găsește în lucrarea [Mal].

Algoritmul lui Mallat calculează DWT prin filtrări complementare trece jos (FTJ) și filtrări trece sus (FTS) succesive și subeșantionări. Răspunsul la impuls al filtrului FTS este notat h(n), iar cel al filtrului FTJ cu g(n). Dacă semnalul este notat cu x(n), după fiecare nivel de descompunere obținem:

(3.9)

(3.10)

unde yH(n) și yL(n) reprezintă răspunsurile la impuls ale filtrelor FTS și FTJ, la fiecare nivel, după subeșantionarea cu 2. Răspunsul la impuls al filtrului, yH(n), este reprezentat de coeficientul detaliului de ordinul unu, în timp ce răspunsul la impuls al filtrului, yL(n), este coeficientul aproximării de ordinul unu, care sunt în continuare descompuși și filtrați, obținându-se coeficienții detaliului și aproximării de ordin doi. La fiecare nivel, FTS generează detalii, în timp ce FTJ produce aproximările.

Ecuațiile (3.2.9) și (3.2.10) reprezintă filtrarea semnalelor cu ajutorul filtrelor digitale, care corespund convoluției semnalului cu răspunsul la impuls al filtrelor. Factorul 2n reprezintă subeșantionarea. Pentru fiecare nivel de descompunere, filtrele produc semnale ce se întind numai pe jumătate din banda semnalului din care provin. Acest lucru dublează rezoluția în frecvență, deoarece incertitudinea în frecvență este redusă la jumătate. Ținând seama de teorema eșantionării care spune că dacă banda semnalului original este F, atunci frecvența de eșantionare minimă este 2F (relație echivalentă și pentru pulsația Ω), în situația aceasta, în care banda nu mai este F (pulsație Ω) ci F/2 (pulsație Ω/2), rezultă că frecvența de eșantionare minimă este F (pulsație Ω). Astfel se poate renunța la jumătate dintre eșantioane fără a se pierde din informație. Această subeșantionare cu 2 înjumătățește rezoluția în timp deoarece întreg semnalul este reprezentat printr-un număr de două ori mai mic de eșantioane, [Pol1].

Semnalul original poate fi reconstruit prin urmarea pașilor în mod invers, se concatenează toți coeficienții detaliului și aproximării, începând cu ultimul nivel de descompunere.

3.2.5. Aplicarea analizei multirezoluție pentru extragerea trăsăturilor din semnalele EEG achiziționate

În capitolul precedent s-a pus în evidență faptul că ritmurile senzorimotoare sunt mai evidente pe canalele C3 și CP3 pentru semnalele corespunzătoare imaginării mișcării mâinii drepte și canalele C4 și CP4 pentru semnalele înregistrate în timpul imaginării mișcării mâinii stângi. Așadar, am aplicat analiza wavelet multirezoluție doar pentru aceste canale. Ținând cont că frecvența semnalului EEG înregistrat este între 0-128 Hz, iar spectrulul ritmului mu este între 8 și 12 Hz iar a ritmului beta între 12 și 30 Hz este necesară descompunerea wavelet multirezoluție până la nivelul 4.

După primul nivel de descompunere semnalul EEG este descompus în coeficientul detaliului cu frecvență înaltă D1 (64-128 Hz) și coeficientul aproximării de frecvență joasă A1 (0-64 Hz). La următorul nivel coeficientul A1 este decompus la rândul său în coeficientul detaliului D2 (32-64 Hz) și coeficientul aproximării A2 (0-32 Hz). Urmând acest procedeu se obțin și D3 (16-32 Hz), A3 (0-16 Hz), D4 (8-16 Hz) și A4 (0-8 Hz) (Fig. 3.2.1).

Fig. 3.2.1. Descompunerea multirezoluție pe 4 nivele

Am testat descompunerea mutltirezoluție cu toate ordinele waveturilor Daubechies, Coiflet, Symlets, Biorthogonal, dar cele mai potrivite pentru punerea în evidență a desincronizării ritmurilor senzorimotoare, în cazul semnalelor achiziționate, s-au dovedit a fi, în urma analizei vizuale a formelor de undă, Daubechies2, Coiflet4 și Symlets4.

Analiza wavelet multirezoluție este aplicată pe canalele C3, CP3, C4 și CP4. Semnalele sub-componente ce sunt reprezentate în continuare sunt cele de interes: coeficientul detaliului de ordin 4 cu frecvența 8-16 Hz (corespunzătoare ritmului mu) și coeficientul detaliului de ordinul 3 cu frecvența de 16-32 Hz (corespunzător ritmului beta). În figurile următoare trebuie să observăm desincronizarea ritmurilor senzorimotoare, ceea ce în cazul nostru reprezintă o scădere în amplitudine a semnalului corespunzător mișcării sau imaginării mișcării față de semnalul corespunzător relaxării.

În Fig. 3.2.2 este reprezentat coeficientul detaliului de ordinul 4, calculat cu ajutorul waveleturilor Coiflet4, Daubechies2 și Symlets4, pentru semnalul corespunzător imaginării mișcării mâinii drepte și pentru semnalul înregistrat în timpul relaxării, pe canalul C3. Pentru semnalul descompus cu waveletul Coiflet4 se observă desincronizarea ritmului beta în banda de frecvență 14,5-15Hz, iar pentru același semnal descompus cu Symlets4 putem spune că avem o desicronizare la aproximativ 12 Hz, unde semnalul corespunzător imaginării mișcării mâinii drepte descrește brusc și are aceeași amplitudine cu semnalul corespunzător relaxării. Nu se evidentiaza o desincronizare în cazul semnalului descompus cu waveletul Daubechies2.

Fig. 3.2.2. Coeficientul detaliului de ordinul 4 pentru semnalul corespunzător imaginării mișcării mâinii drepte și pentru semnalul înregistrat în timpul relaxării pe canalul C3

În Fig. 3.2.3 este reprezentat coeficientul detaliului de ordinul 3 pentru semnalul corespunzător imaginării mișcării mâinii drepte și pentru semnalul înregistrat în timpul relaxării, tot pe canalul C3 și pentru cele trei waveleturi. În acestă figură se observă clar desincronizarea ritmului beta la 18 Hz, 23 și aproximativ 26-27Hz când descompunerea multirezoluție se realizează cu Coiflet4, la 18Hz, 22Hz și 23Hz când s-a utilizat waveletul Daubechies2 și la frecvențele de 19Hz, 22Hz și 26-27Hz în cazul waveletului Symlet6. În toate trei graficele se observă cum amplitudinea semnalului corespunzător imaginării mișcării scade, iar cea corespunzătoare semnalului de relaxare crește în dreptul valorilor de frecvență indicate.

Fig. 3.2.3. Coeficientul detaliului de ordinul 3 pentru semnalul corespunzător imaginării mișcării mâinii drepte și pentru semnalul înregistrat în timpul relaxării pe canalul C3

În Fig. 3.2.4 este reprezentat coeficientul detaliului de ordinul 4 pentru semnalul corespunzător imaginării mișcării mâinii drepte și pentru semnalul înregistrat în timpul relaxării, pe canalul CP3. În acestă figură se observă foarte bine o desincronizare a ritmului beta în banda de frecvență 14-15 Hz pentru descompunerea realizată cu Coiflet4. În schimb când descompunerea multirezoluție se realizează cu Daubechies2 și cu Symlet6 se observă slabe desincronizări a ritmului mu la 10 Hz pentru cel de-al doilea grafic și respectiv a ritmului beta la aproximativ 15Hz pentru cel de-al treilea grafic.

Fig. 3.2.4. Coeficientul detaliului de ordinul 4 pentru semnalul corespunzător imaginării mișcării mâinii drepte și pentru semnalul înregistrat în timpul relaxării pe canalul CP3

În cazul coeficientul detaliului de ordinul 3 calculat pentru semnalul corespunzător imaginării mișcării mâinii drepte și pentru semnalul înregistrat în timpul relaxării, pe canalulul CP3, în figura Fig. 3.2.5, se observă desincronizări ale ritmului beta la 16Hz, 18-19Hz, 22Hz și 27Hz în primul grafic, la 18Hz și 22Hz în cel de-al doilea grafic și la 18-20Hz, 23Hz dar și la 27Hz în cel de-al treila grafic.

Fig. 3.2.5. Coeficientul detaliului de ordinul 3 (wavelet Symlets6) pentru semnalul corespunzător imaginării mișcării mâinii drepte și pentru semnalul înregistrat în timpul relaxării

Pentru semnalul corespunzător imaginării mișcării mâinii stângi versus relaxare, în cazul coeficientului detaliului de ordinul 4, în figura Fig. 3.2.6 se observă foarte bine desincronizarea ritmului mu în benzile de frecvență 8-9Hz și 11-12Hz când se utilizează waveletul Coiflet4, la 10 Hz în cel de-al doilea grafic și la 9,5-11 Hz și 12-13 Hz când descompunerea se realizează cu waveletul Symlet6 (unde se observă foarte bine o creștere în amplitudine a semnalului corespunzător relaxării față de semnalul corespunzător imaginării mișcării).

Fig. 3.2.6. Coeficientul detaliului de ordinul 4 (wavelet Symlets6) pentru semnalul corespunzător imaginării mișcării mâinii stângi și pentru semnalul înregistrat în timpul relaxării

În Fig. 3.2.7 este calculat coeficientul detaliului de ordinul 3 pentru semnalul corespunzător imaginării mișcării mâinii stângi și pentru semnalul înregistrat în timpul relaxării, pentru canalul C4. În primul grafic se observă destul de slab unele desincronizări ale ritmului beta la aproximativ17 Hz, 19 Hz, 25 Hz și 26-27Hz. În cel de-al doilea grafic se observă foarte bine desincronizarea ritmului beta la frecvențele de 24Hz și 27Hz.

Fig. 3.2.7. Coeficientul detaliului de ordinul 3 (wavelet Symlets6) pentru semnalul corespunzător imaginării mișcării mâinii stângi și pentru semnalul înregistrat în timpul relaxării

Pentru coeficientul detaliului de ordinul 4 calculat pentru semnalul corespunzător imaginării mișcării mâinii stângi versus relaxare pe canalul CP4, se observă în figura Fig. 3.2.8 o desincronizare evidentă a ritmului mu la 8Hz și în banda de frecvență 11-13 Hz pentru primul grafic. În cazul celui de-al doilea grafic se observa o desincronizare slabă la aproximativ 8Hz. Când descompunerea multirezoluție se realizează cu waveletul Symlet6 se observă o desincronizare evidentă în banda de frecvență 11-13Hz.

Fig. 3.2.8. Coeficientul detaliului de ordinul 4 (wavelet Symlets6) pentru semnalul corespunzător imaginării mișcării mâinii stângi și pentru semnalul înregistrat în timpul relaxării

În Fig 3.2.9 este reprezentat coeficientul detaliului de ordinul 3 pentru semnalul corespunzător imaginării mișcării mâinii stângi și pentru semnalul înregistrat în timpul relaxării pe canalul CP4 cu cele trei waveleturi. În primul grafic, când se folosește Coiflet4, se observă desincronizarea ritmului beta de valori înalte în banda de frecvență 24-27 Hz. În al doilea grafic desincronizarea ritmului beta este foarte evidentă la 21-22Hz, 24Hz și 26-27Hz. În ultimul grafic, cele mai mari amplitudini ale semnalului corespunzător relaxării față de semnalul corespunzător imaginării mișcării sunt la frecvențele de 21Hz, 24Hz și 26-27Hz.

Fig. 3.2.9. Coeficientul detaliului de ordinul 3 (wavelet Symlets6) pentru semnalul corespunzător imaginării mișcării mâinii stângi și pentru semnalul înregistrat în timpul relaxării

3.2.6. Concluzii

Transformata wavelet favorizează detectarea ritmurilor senzorimotoare ce pot fi folosite pentru o interfață creier–calculator utilizată de persoanele cu deficiențe neuromotorii, dar cu starea sistemului nervos central și a analizatorului vizual în stare bună. Cu ajutorul descompunerii multirezoluție pe patru nivele se poate analiza semnalul în benzile de frecvență 8-16 Hz și 16-32 Hz ceea ce este foarte util deorece ritmurile senzorimotoare au frecvențe în aceste intervale. Cu ajutorul acestei descompuneri se observă foarte bine canalele pe care se detectează mai eficient aceste ritmuri. Aceste canale sunt C3, CP3, C4 și CP4 ce sunt plasate în ambele emisfere în zonele senzorimotoare.

Descompunerea multirezoluție se realizează cu ajutorul a trei funcții wavelet mamă, Daubechies2, Coiflet4 și Symlets4. S-a ales afișarea rezultatelor pentru aceste trei funcții după ce s-a testat descompunerea și cu alte tipuri de waveleturi, însă acestea au părut a fi cele mai potrivite pentru semnalele EEG înregistrate în timpul sarcinilor motorii. Din inspecția vizuală a spectrelor de frecvență, se observă o mai bună discriminare a ritmurilor senzorimotorii când se folosește Coiflet4 și Daubechies2.

Inspecția vizuală nu poate fi considerată un criteriu viabil de analiză, de aceea eficiența descompunerii wavelet multirezoluție va fi mai bine pusă în evidență utilizată împreună cu alte metode de extragere a caracteristicilor (exponentul Hurst) și cu metode de clasificare (Capitolul 4).

În concluzie, analiza wavelet multirezoluție este o metodă de luat în seamă pentru detecția ritmurilor senzorimotoare, fiind în avantaj față de metoda directă de analiză a semnalului EEG, când semnalul nu este descompus pe sub-benzi. Metoda permite reducerea dimensiunii datelor, iar acest lucru constituie un avantaj important.

3.3. Exponentul Hurst. Noțiuni teoretice

Coeficientul Hurst apare în mai multe domenii ale matematicii aplicate inclusiv în teoria haosului, procese de memorie și analiză spectrală. Estimarea coeficientului Hurst, inițial dezvoltată în hidrologie, a fost aplicată în domenii care variază de la biofizică la rețele de computere. Cu toate acestea, tehnicile moderne folosite pentru estimare provin din matematică, [Ber].

Semnalele EEG sunt semnale care au neliniarități evidente și, ca mai toate semnalele biologice, prezintă zone cu similarități. Pentru a putea pune în evidență aceste zone, nu se pot utiliza strategiile binecunoscute, cum ar fi analiza Fourier, din cauza nestaționarității. Totuși, nu există o opinie unanim acceptată în ceea ce privește caracterul determinist sau aleator al acestor semnale. Din acest motiv se folosesc diverse metode, menite să releve caracteristicile de interes pentru o anumită cercetare.

Coeficientul Hurst este unul dintre indicatorii care ar putea fi folosiți pentru caraterizarea semnalelor EEG, datorită faptului că aceste semnale pot fi privite și ca procese cu memorie extinsă. Acest coeficient a fost introdus în 1951 în lucrarea lui Hurst, [Hur] și este, în egală măsură, atât un indicator al similarității cât și al memoriei extinse a unui proces, cele două aspecte care pun în evidență autocorelațiile.

Complexitatea structurilor similare cu ele însele este cuantificată cu ajutorul dimensiunii fractale, care este un număr zecimal într-un astfel de caz. Dimensiunea fractală, D, poate fi calculată cu relația [Ber]:

, (3.3.1)

unde γ reprezintă parametru de auto-similaritate.

Coeficientul Hurst și dimensiunea fractală sunt legate la rândul lor prin formula

(3.3.2)

Dimensiunea fractală ne indică rugozitatea unei suprafețe [Man1]. Un exponent Hurst de valoare mică are o dimensiune fractală mare și o suprafața rugoasă în timp ce o valoare Hurst mare are o dimensiune fractală mică si o suprafață mai netadă. În cazul nostru suprafața este reprezentată de distribuția semnalului, iar o valoare mare a exponentului Hurst indică desincronizare.

Din ultimele două relații se poate deduce simplu legătura dintre coeficientul Hurst și parametrul de auto-similaritate, γ:

(3.3.3)

Având în vedere legătura dintre cele trei mărimi, se poate deduce ușor că dimensiunea fractală a semnalelor EEG, poate fi obținută indirect, prin calculul coeficientului Hurst.

Valorile exponentului Hurst variaza între 0 și 1. O valoare a exponentului Hurts egală cu 0,5 indică faptul că nu avem corelație între seriile de timp. indică o corelație scăzută între seriile de timp, iar indică un grad de corelație crescut.

Coeficientul Hurst nu se poate determina, adică el exprimă ceea ce este de fapt observat în natură; este mai mult estimat decât calculat.

Există mai multe metode care se pot utiliza pentru estimarea coeficientului Hurst: metoda dispersiei diferențiale, metoda dispersiei totale și metoda statisticii domeniului rescalat, metoda Higuchi, metoda de varianță agregată, metoda momentului absolut etc. În continuare vor fi prezentate numai metodele folosite pentru punerea în evidență a ritmurilor senzorimotoare.

3.3.1. Estimarea exponentului Hurst prin metoda Higuchi

Metoda Higuchi calculează dimensiunea fractală a eșantioanelor [Hig]. Aceasta constă în formarea de noi forme de undă prin selectarea interactivă a diferitelor eșantioane cu punctul de pornire m și factorul de întârziere k. Prima dată se selectează un factor de întârziere maxim, kmax Pentru fiecare factor k, unde k este variat de la 1 la kmax, se formează k serii noi de timp, , unde punctul de start al seriei este definit de către m și eșantioanele sunt alese la fiecare k eșantioane pentru a forma noua serie de timp.

(3.3.7)

unde m este punctul de start pentru fiecare formă de undă și este variat de la 1 la k, k este factorul de întârziere dintre eșantioane, iar N dimensiunea ferestrei. Lungimea fiecărei forme de undă este apoi calculată ca suma distențelor dintre două puncte consecutive.

(3.3.8)

unde este factorul de normalizare și N este lungimea ferestrei. Lungimile pentru fiecare factor de întârziere, k, sunt mediate astfel,

(3.3.9)

unde k este variat de la 1 la kmax și L(k) este media lungimii unui factor de întârziere ales, k.

Ne așteptăm ca pentru formele de undă foarte netede și regulate, lungimea formei de undă să descrescă proportional cu creșterea factorului de întârziere dintre eșantioane.

3.3.2. Estimarea exponentului Hurst prin metoda varianței agregate (Aggregate Variance Method)

Metoda varianței agregate este descrisă în [Ber] și se bazează pe proprietatea de autosimilaritate dintre eșantioanele unui process. X este considerat a fi o serie de timp de lungime N, care este împărțit în M subserii de lungime m. Pentru fiecare subserie, seriile agregate se formeaza prin:

(3.3.10)

Din cauza autosimilaritații are aceeași distribuție ca pentru valori mari ale lui m. În particular, . Varianța lui este egală pentru fiecare (din ipoteza de staționaritate), iar un estimator plauzibil este:

(3.3.11)

unde reprezintă media eșantioanelor lui:

(3.3.12)

Estimarea luise obține prin reprezentarea grafică a mărimii în funcție de pe o scară dublu logaritmică. Când estimarea varianței este egală cu valoarea reală, toate punctele (estimatorii) se află pe o dreaptă cu panta . În practică, panta este estimată prin potrivirea unei linii drepte prin puncte (estimatori). Estimatorii lui se găsesc dintre estimatorii pantei.

3.3.3. Estimarea exponentului Hurst prin metoda momentului absolut (Absolute Moment Method)

Metoda momentului absolut este o generalizare a metodei de varianță agregată. Aceasta se bazează pe aceleași principii, (finit-dimensional) are aceeași distibuție ca pentru valori mari ale lui

(3.3.13)

Reprezentarea graficului pe scara log-log a nivelului de agregare versus primul moment absolut al seriei de ar trebui sa fie o linie dreptă cu panta , dacă datele sunt dependente pe intervale lungi.

3.3.4. Metoda propusă de evidențiere a caracteristicilor ritmurilor senzorimotoare ce utilizează exponentului Hurst și analiza wavelet multirezoluție

Utilizarea exponentului Hurst în domeniul sistemelor BCI ce au la bază sarcini motorii este relativ recentă, [Haz], [Pho1]. Dintre metodele de estimare a exponetului Hurst utilizate, doar metoda Higuchi a mai fost folosită pentru semnale EEG înregistrate pentru aplicații BCI [Loo]. Metodele de varianță agregată și a momentului absolut nu s-au mai utilizat pentru punerea în evidență a caracteristicilor semnalelor EEG. Particularitățile acestor metode indică, însă, faptul că ar fi potrivite pentru estimarea exponetului Hurst și pentru punerea în evidența a caracteristicilor semnalelor EEG înregistrate în timpul sarcinilor motorii, în cadrul sistemelor BCI.

Metoda propusă constă în combinarea metodelor de calcul al exponentului Hurst cu analiza wavelet multirezoluție. Acestă metodă constă în calcularea exponentului Hurst prin metodele Higuchi, de varianță agregată și a momentului absolut, pentru sub-componetele semnalelor cu frecvețe corespunzătoare ritmurilor senzorimotoare.

Metoda propusă urmărește pașii:

se importă în programul MATLAB succesiv câte o înregistrare realizată în timpul antrenării;

se extrag semnalele corespunzătoare imaginării/mișcării mâinii drepte respectiv mâinii stângi și relaxării;

se extrag semnalele corespunzătoare canalelor de interes (C3 și CP3 pentru semnalele corespunzătoare mișcării/imaginării mișcării mâinii drepte și C4, CP4 pentru semnalele corespunzătoare mișcării/imaginării mișcării mâinii stângi);

se realizează descompunerea wavelet multirezoluție pentru semnalele de pe fiecare canal, utilizându-se succesiv waveturile Daubechies2, Coiflet4 și Symlet6

se calculează exponentul Hurst, succesiv prin cele trei metode: Higuchi, de varianță agrerată și metoda momentului absolut, pentru semnalele sub-componente: coeficientul detaliului de ordin 4 cu frecvența 8-16 Hz (corespunzătoare ritmului mu) și coeficientul detaliului de ordinul 3 cu frecvența de 16-32 Hz (corespunzătoare ritmului beta);

se mediază valorile exponeților Hurst obținuți, pe numărul de încercări (30 execuții a mișcării/imaginări a mișcării fiecărei mâini și 30 de relaxări (considerându-se perioada de relaxare după fiecare tip de sarcină));

în final valorile exponeților Hurst obținute sunt mediate pe toate înregistrările, separat pentru imaginarea mișcării (20) și execuția mișcării (25), iar apoi s-a realizat medierea lor.

Rezultatele obținute prin metoda propusă sunt prezentate sub formă de tabel în paragraful următor.

3.3.5. Rezultate obținute

Tabelele III.I – III.VI conțin valorile exponenților Hurst obținute pentru semnalele corespunzătoare mișcării/imaginării mișcării mâinii drepte, pe canalele C3 și CP3 care trebuie să fie mai mari față de valorile înregistrate pentru semnalul de relaxare și pentru semnalele corespunzătoare mișcării/imaginării mișcării mâinii stângi, pe canalele C4 și CP4 care, de asemenea, trebuie să fie mai mari față de valorile înregistrate pentru semnalul de relaxare.

Tabele III.I-III.III conțin valorile exponentului Hurst pentru semnalele înregistrate în timpul mișcării propriu-zise a mâinii drepte/stângi.

În tabelul III.I coeficientul Hurst a fost calculat folosindu-se metoda Higuchi. Se observă că valori mai mari pentru exponentul Hurst s-au obținut pentru semnalul cu banda de frecvența 8-16 Hz pentru toate canalele, excepție canalul CP4 atunci când semnalul este descompus cu waveletul Db2. Pentru semnalul cu banda de frecvența 16-32 Hz, s-au obținut valori mai mari ale exponentului Hurst pe toate canalele pentru waveleturile Db2 și Sym6, iar pentru Coif4 doar pe canalul CP3.

Tabelul III.I. Media exponentului Hurst calculat cu metoda higuchi (descompunerea multirezoliție realizată cu Coif4, Db2, Sym6)

În Tabelul III.II pentru semnalul cu banda de frecvența 8-16 Hz s-au obținut valori mari ale exponentului Hurst pentru toate canalele și toate wavelet-urile utilizate pentru descompunere. Pentru sub-componenta cu banda de frecvență 16-32 Hz rezultatele nu sunt la fel de bune pentru toate canalele. Astfel, pe canalele C3 și C4 se obțin valori mai mari ale coeficienților Hurst pentru toate waveleturile, pe canalul CP3 se obține o valoare mai mare când se utilizează Sym6, iar pe canalul CP4 când decompunerea se realizează cu Coif4 și Sym6.

Tabelul III.II. Media exponentului Hurst calculat cu metoda Momentului Absolut (descompunerea multirezoliție realizată cu Coif4, Db2, Sym6)

Tabelul III.III conține valorile exponentului Hurst calculate prin metoda de varianță agregată. Pentru sub-componenta cu banda de frecvența 8-16 Hz se obțin valori mari pentru toate wavelurile pentru canalele C3 și CP3, iar pentru canalele de interes în cazul mișcării mâinii stângi se obțin valori mai mari când descompunerea este realizată cu waveleturile Coif4 și Sym6. Pentru subcomponenta cu banda de frecvența 16-32 Hz rezultatele sunt destul de slabe, obținându-se valori mai mai doar cu Coif4 pe canalele CP3 și C4 și cu Sym6 pe canalele C3 și CP3.

Tabelul III.III. Media exponentului Hurst calculat cu metoda de varianță agregată (descompunerea multirezoliție realizată cu Coif4, Db2, Sym6)

Tabele III.IV-VI conțin valorile exponentului Hurst pentru semnalele înregistrate în timpul imaginării mișcării mâinii drepte/stângi.

În tabelul III.IV coeficientul Hurst a fost calculat folosindu-se metoda Higuchi. Se observă că valori mai mari pentru exponentul Hurst s-au obținut pentru semnalul cu banda de frecvența 8-16 Hz pentru toate canalele. Pentru subcomponenta cu banda de frecvența 16-32 Hz s-au obținut valori mari pentru descompunerile cu Db2 și Sym6 pentru canalele C3, CP3 și CP4, iar pentru canalul C4 pentru descompunerea cu Db2.

Tabelul III.IV. Media exponentului Hurst calculat cu metoda higuchi (descompunerea multirezoliție realizată cu Coif4, Db2, Sym6)

Tabelul III.V conține valorile exponentului Hurst calculate prin metoda momentului absolut. Se observă că valori mai mari pentru exponentul Hurst s-au obținut pentru semnalul cu banda de frecvența 8-16 Hz pentru toate canalele, excepție canalul CP4 atunci când semnalul este descompus cu waveletul Db2. Pentru semnalul cu banda de frecvență 16-32 Hz se observă valori mai mari doar pe canalul C3 cu waveletul Sym6 și canalul CP3 când se utilizează wavelturile Db2 și Sym6.

Tabelul III.V. Media exponentului Hurst calculat cu metoda Momentului Absolut (descompunerea multirezoliție realizată cu Coif4, Db2, Sym6)

Tabelul III.III conține valorile exponentului Hurst calculate prin metoda de varianță agregată. De asemnea, valorile obținute sunt mai bune pentru subcomponenta cu banda de frecvență 8-16 Hz, unde se obțin valori mai mari pentru toate canalele și waveleturile, cu excepția lui Coif 4 pentru canalul C4 și Db2 pentru canalul CP4, față de sub-componenta 16-32 Hz unde se obțin valori mai mari pe canalul C3 cu Sym6, canalul C4 cu Db2 și Sym6, dar și canalul CP4 cu Coif4 și Db2.

Tabelul III.VI. Media exponentului Hurst calculat cu metoda De varianță agregată (descompunerea multirezoliție realizată cu Coif4, Db2, Sym6)

3.3.5. Concluzii

Exponentul Hurst este o altă metodă utilizată pentru extragerea trăsăturilor din semnalele EEG achiziționate și pentru a pune în evidență caracteristicile ritmurilor senzorimotoare. Pentru calculul exponentului Hurst am utilizat metoda Higuchi, metoda de varianță agregată și metoda momentului absolut și le-am aplicat pentru canalele C3 și CP3 (corespunzătoare mâinii drepte) și C4 și CP4 (corespunzătoare mâinii stângi) care sunt considerate cele mai bune pentru înregistrarea rimturilor senzorimotoare. Analiza multirezoluție se aplică pe subcomponetele semnalelor cu bandă de frecvență corespunzătoare ritmurilor mu și respectiv ritmului beta.

Utilizarea exponetului Hurst, calculat cu cele trei metode, pentru a pune în evidență caracteristicile semnalelor EEG înregistrate în timpul sarcinilor motorii, reprezintă o contribuție importantă a acestei teze. Aceste metode nu au mai fost folosite până acum în domeniul BCI, pentru a pune în evidență ritmurile senzorimotoare.

O valoare mare a exponentului Hurst indică desincronizare, de aceea trebuie să urmărim ca valorile obținute să fie mai mari pentru semnalul corespunzător mișcării/imaginării mișcării mâinii drepte față de semnalul corespunzător relaxării pe canalele C3 și CP3 și pentru semnalul corespunzător mișcării/imaginării mișcării mâinii stângi față de semnalul corespunzător relaxării pe canalele C4 și CP4, ca să avem o bună discriminare a ritmurilor senzorimotoare. Cele mai multe astfel de valori se obțin cu metoda Higuchi, pentru ambele sarcini motorii.

În Fig. 3.3.1 sunt reprezentate grafic rezultatele pentru toate metodele, separat pentru sarcina de mișcare /imaginarea mișcării a mâinii drepte și cea de de mișcare /imaginarea mișcării a mâinii stângi. Codul culorilor ce trebuie de umărit este reprezentat de coloanele albastre (corespunzătoare sarcinii de mișcare/imaginarea mișcării mâinii pentru semnalul cu banda de frecvență 8-16Hz) care trebuie să fie mai înalte decât cele roșii (corespunzătoare relaxării pentru semnalul cu banda de frecvență 8-16Hz) și coloanele galbene (corespunzătoare sarcinii de mișcare/imaginarea mișcării mâinii pentru semnalul cu banda de frecvență 16-32Hz) care trebuie să fie mai înalte decât cele verzi (corespunzătoare relaxării pentru semnalul cu banda de frecvență 16-32Hz). Se observă în prima figura că toate coloanele albastre, în toate situațiile, sunt mai înalte decât cele roșii. Astfel putem concluziona că subiecții care au participat la studiu și au realizat sarcina de mișcare sau de imaginare a mișcării mâinii drepte discriminează mai bine ritmul mu și beta de joasă frecvență (8-16Hz). În ceea ce privește coloanele galbene, acestea sunt mai înalte în special pentru exponentul Hurst calculat prin metoda Higuchi, care se dovedește, astfel, a fi cea mai bună metodă pentru calculul exponetului Hurst. În cea de-a două reprezentare, corespunzătoare subiecților care au participat la studiu și au realizat sarcini de mișcare sau de imaginare a mișcării mâinii stângi, se observă de asemenea că pentru coloanele albastre avem mai multe rezultate favorabile, în comparație cu cele galbene. Coloanele albastre sunt mai înalte decât cele roșii în majoritatea situațiilor, cu excepția variantei când se folosește metoda de varianță agregată cu waveletul Daubechies2, pentru ambele sarcini motorii, pe canalul CP4. În ceea ce privește coloanele galbene, acestea sunt în foarte puține situații mai înalte decât cele verzi. Metoda cea mai bună pentru calculul exponentului Hurst este și în aceste caz, metoda Higuchi.

În concluzie, extragerea trăsăturilor cu ajutorul exponetului Hurst, este o metodă de luat în seamă atunci când se lucrează cu semnale EEG înregistrate în timpul sarcinilor motorii. Cea mai bună metodă folosită pentru calculul exponetului Hurst este metoda Higuchi. În ceea ce privește subiecții care au participat la studiu, aceștia discrimează mai mult ritmul mu (8-12Hz) și ritmul beta de frecvențe joase (12-16Hz).

Fig. 3.3.10. Reprezentarea grafică a rezultatelor obținute cu toate cele trei metode pentru semnalele corespunzătoare mișcării/imaginării mișcării mâinii drepte (a) respectiv stângi (b) versus relaxare (Notații: H – metoda Higuchi pentru sarcina de mișcare, Hi – Metoda Higuchi pentru imaginarea mișcării, M – Metoda momentului absolut pentru sarcina de mișcare, Mi – Metoda momentului absolut pentru imaginarea mișcării, V- Metoda de varieție agregată pentru sarcina de mișcare, Vi- Metoda de varianță agregată pentru imaginarea mișcării)

Capitolul 4

Metode de clasificare a sarcinilor de imaginare motorie din semnalele EEG achiziționate

4.1. Metoda distanței Euclidiene, utilizată pentru clasificarea sarcinilor de imaginare motorie

În continuare se propune o metoda de clasificarea a sarcinilor de imaginare motorie ce se bazează pe trăsăturile spectrale și pe distanța Euclidiană. Acestă metodă propusă este simplă, rapidă, dar depinde foarte mult de selecția frecvențelor pentru clasificare.

Definiția distanței Euclidiene dintre două puncte a și b este:

(4.1.1)

În acest experiment, tehnicile de extragere a trăsăturilor de clasificare pot fi grupate în două categorii: prima include metode de analiză spectrală în funcție de frecvență, iar a doua metodă realizează analiza spectrală în funcție de timp și frecvență.

S-a utilizat densitatea spectrală de putere pentru a extrage informații relevante din semnalele utilizate. În continuare sunt descriși pașii de procesare pentru metoda propusă:

se segmenteză, se normalizează și se notează seriile de timp;

se calculează densitatea spectrală de putere cu ajutorul transformatei Fourier pentru fiecare segment și pentru fiecare canal EEG (pentru 2s din semnalul EEG, eșantionat cu frecvența de eșantionare de 256Hz, avem 512 eșantioane și în același timp 512 coeficienți FFT, astfel încât, fiecărei frecvențe îi corespund doi coeficienți FFT);

se calculează paternurile de relaxare și cele de imaginare a mișcării respectiv mișcare pentru fiecare canal, pentru semnalele EEG de antrenare (notate Pmișcare sau Pimaginare și Prelaxare) (paternurile reprezintă de fapt media densităților spectrale de putere calculate la pasul anterior);

se calculează diferența dintre paternul de mișcare/imaginare și paternul de relaxare pentru fiecare canal (Dmr = Pmișcare – Prelaxare);

se setează frecvența de interes, în acest caz 8 – 30 Hz;

se găsește ordinului celor mai importante trăsături conform mărimii diferenței dintre cele două paternuri (cele mai importante trăsături/frecvențe corespund celor mai mari diferențe între cele două paternuri);

se alege numărul de trăsături ulitizate pentru clasificare în funcție de relevanța amplitudinilor liniilor spectrale și poziția lor în spectru;

se compară fiecare serie de timp a puterii spectrale de testare cu paternul de relaxare și respectiv paternul de mișcare/imaginare. Comparația este realizată pentru frecvențele determinate în etapele anterioare, folosind distanța Euclidiană;

se determină clasa de apartenență pe baza distanței Euclidiene;

se stabilește canalul de decizie (C3 sau CP3 sau P3) pe baza diferenței dintre cele două paternuri. Canalul decisiv este canalul cu cea mai mare distanță Euclidiană dintre cele două paternuri.

4.1.1. Rezultate obținute

Metoda de clasificare propusă s-a aplicat pe înregistrările achiziționate. Pentru ilustrare am selectat rezultatele obținute pe subiectul ”10_t” care efectuează în timpul antrenării diferite sarcini: de mișcare a mâinii drepte, de mișcare a mâinii stângi și de relaxare.

În Fig. 4.1.1 sunt reprezentate spectrele de frecvență a subiectului ”10_t” în timpul sarcinilor motorii. Am reprezentat puterile spectrale în banda de frecvență 8-30Hz, care corespunde ritmurilor senzorimotoare, pentru canalul C3. În Fig. 4.1.1 sunt reprezentați, în loc de banda de frecvența 8-30 Hz, coeficienții FFT 16-60 (pentru fiecare frecvență corespund doi coeficienți). Se observă că pe canalul C3 avem o putere scăzută în timpul mișcării mâinii drepte față de mișcarea mâinii stângi, iar în timpul relaxării avem o creștere a puterii. Acest lucru indică desincronizarea ritmurilor senzorimotoare și o dominare contralaterală importantă în timpul mișcării mâinilor. Pentru acest subiect rata de clasificare obținută prin metoda propusă este de 81,82% față de 81% cât s-a obținut cu clasificatorul folosit de BCI2000.

Fig. 4.1.1. Paternul de mișcare a mâinii drepte (linie albastră) paternul de mișcare a mâinii stângi (linie roz) și paternul de relaxare (linie roșie) pentru subiectul ID=”10_t” pe canalul C3

În Fig. 4.1.2 sunt reprezentate diferențele dintre cele două paternuri (de relaxare respectiv mișcare) și se observă mari diferențe în banda 10-13Hz, în timp ce pentru celelalte frecvențe diferența nu este semnificativă. În acest caz este foarte ușor de ales frecvențele pentru clasificare, însă acest lucru nu este valabil pentru toți subiecții.

Fig. 4.1.2. Diferența dintre paternuri (canalul C3) pentru subiectul ”10_t”

În Fig. 4.1.3 sunt reprezentate două paternuri pentru subiectul ”11_t” și nu se observă sub-benzi cu schimbări semnificative, deși paternul de relaxare are amplitudinea mai mare decât paternul de imaginare a mișcării mâinii drepte. Pentru acest subiect rata de clasificare maximă obținută cu clasificatorul ce utilizează distanța Euclidiană este de 72,73% cu mult mai mare decât procentul obținut cu sotfware-ul BCI2000, de 36%.

Fig. 4.1.3. Paternurile de imaginare a mișcării (linie roșie) și paternul de relaxare (linie albastră) pentru subiectul ”11_t” pentru canalul C3

Fig. 4.1.4 prezintă diferențele dintre paternuri și se observă că în acest caz este mai dificil să stabilim care sunt frecvențele relevante pentru clasificare.

Fig. 4.1.4. Diferența dintre paternuri (canalul C3) pentru subiectul ”11_t”

În Fig. 4.1.5 sunt prezentate rezultatele clasificării pentru toate cele 45 de trăsături (de la 16 la 60 de trăsături (coefienți FFT) ce corespund frecvenței de 8-30 Hz) pentru subiectul ”10_t”. Se observă că se obțin rezultate maxime de 82% pentru canalul C3 în intervalul de trăsăsturi 14-28 și pentru 4, 34, 35, 43 de trăsăsturi. Pentru canalul CP3 rata de clasificare maximă de 77% se obține pentru 4, 5, 6, 20, 21, 37 de trăsăsturi, iar pentru canalul P3 rata maximă de 64% se obține pentru 4, 5, 41 de trăsăsturi. Astfel se poate observa că numărul de trăsături pentru care se obține maximul de clasificare pentru toate cele trei canale este de 4 trăsături. Acest lucru se obține pentru acestă înregistrare, nu de fiecare dată găsim un număr de trăsături pentru care obținem maximul de clasificare pe toate canalele. Pentru majoritatea înregistrărilor numărul de trăsături pentru care se obține maximul de clasificare pentru un canal nu este același și pentru ratele maxime ale celorlalte două canale, sau poate nici măcar pentru încă un canal.

Fig. 4.1.5. Rezultatele clasificării pentru toate 45 de trăsături (de la 8-30Hz adică 16-60 de trăsături) pentru subiectul ”10_t” pe canalele C3, CP3 și P3

În Tabelul IV.I.I sunt prezentate rezultatele optime obținute cu clasificatorul ce utilizează distanța Euclidiană în comparație cu rezultatele clasificării obținute cu BCI2000 atunci când subiecții realizează sarcina de mișcare/imaginare a mișcării mâinii drepte. Numărul de trăsături pentru care am obținut aceste valori optime, diferă de la un subiect la altul și chiar pentru același subiect în înregistrări diferite. Acest lucru este de înțeles datorită faptului că nici o înregistrare a aceluiași subiect nu se poate compara cu alta, nivelul de concentrare fiind unul diferit și, de asemenea, fiecare subiect detectează mai bine sau mai slab ritmurile senzorimotoare și în benzi de frecvență diferite. Astfel că rezultatele obținute cu metoda propusă sunt pentru majoritatea subiecților mai bune decât cele obținute cu BCI2000, în cazul imaginării mișcării fiind mai multe astfel de situații. Rezultate mai slabe s-au obținut pentru subiectul ”4_t” și ”33_t” unde am obținut o rată de clasificare de 68% în ambele situații, spre deosebire de BCI2000 cu care s-a obținul 72% respectiv 77%. De asemenea, pentru subiectul ”23_t” s-a obținut aceeași rată de clasificare pentru ambele clasificatoare. Cea mai bună clasificare obținută cu metoda propusă este de 82%, pentru subiectul 17_t2, iar cea mai mare diferență între cela două clasificatoare este de 37 de procente pentru subiectul ”11_t”, pentru care s-a obținut 73% cu distanța Euclidiană și 36% cu BCI2000.

În cazul rezultatelor obținute pentru subiecții care au realizat sarcina de mișcare a mâinii drepte se observă, de asemnea, procente mai bune în cazul clasificării cu distanța Euclidiană unde din nouă subiecți doar pentru trei s-au obținut rezultate mai slabe. Cea mai bună rată de clasificare obținută cu distanța euclidiană este, de asemenea de 82%, pentru subiectul ”6_t”. Cea mai mare diferență între cele două clasificatoare este de 18% în favoarea clasificatorului implementat pentru subiectul ”6_t1” și de 26% în favoarea BCI2000, pentru subiectul ”12_t”. Realizând media pentru cele două clasificatoare se obține 67.42% pentru clasificatorul BCI2000 și 71.44% pentru clasificatorul ce utilizează distanța Euclidiană.

Tabel IV.I.I Rezultatele optime obținute cu distanța Euclidiană în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii drepte

În Tabelul IV.I.II sunt prezentate rezultatele optime obținute cu clasificatorul ce are la bază distanța Euclidiană în comparație cu rezultatele clasificării obținute cu BCI2000 atunci când subiecții realizează sarcina de mișcare/imaginare a mișcării mâinii stângi. În cazul imaginării mișcării se obțin rezultate mai bune când se utilizează metoda propusă de clasificare, pentru majoritatea subiecților cu excepția subiectului ”15_t”. În cazul mișcării propiu-zise a mâinii se obțin rezultate mai bune doar pentru 4 din 7 subiecți. Cea mai mare rată de clasificare obținută este de 77% pentru ambele sarcini motorii. Cea mai mare diferență între rezultatele celor două clasificatoare este de 32% în favoarea clasificatorului implementat, pentru subiectul ”27_t” și de 9% în favoarea BCI2000, petru subiectul ”22_t”.

Tabel IV.I.II Rezultatele optime obținute cu distanța Euclidiană în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii Stângi

În Fig. 4.1.6 sunt reprezentate procentele de clasificare pe canalele C3, CP3, P3 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte. Aceste rezultate sunt obținute cu numărul de trăsături pentru care se obțin cele mai bune rate de clasificare (numărul de trăsături din tabelele IV.I.I și IV.I.II). Se observă în acest grafic, că cele mai multe rezultate maxime s-au obținut pe canalul CP3, urmat de canalul C3, iar pe canalul P3 doar pentru o singură înregistrare, ”17_t”.

Fig. 4.1.6. Reprezentarea procentelor de clasificare pe canalele C3, CP3, P3 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte

În Fig. 4.1.7 sunt reprezentate procentele de clasificare pe canalele C4, CP4, P4 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi. În acest grafic se observă că cele mai multe rate de clasificare optime s-au obținut pe canalul P4, în timp ce maximul de clasificare pentru aceste înregistrări, 77%, s-a obținut de cele mai multe ori pe canalele C4 și CP4.

Fig. 4.1.7. Reprezentarea procentelor de clasificare pe canalele C4, CP4, P4 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi

4.1.2. Concluzii

O contribuție importanta a acesti teze este implementarea acestei noi metode de clasificare ce se bazează pe distanța Euclidiană calculată între paternurile de mișcare/imaginare a mișcării și relaxare, determinate din datele de antrenare și datele de testare. Datele de antrenare și de testare reprezintă desitatea spectrală de putere a semnalelor EEG. Acestă nouă metodă propusă este una simplă și rapidă, dar este puternic dependentă de selecția frecvențelor de clasificare. Alegerea trăsăturilor optime (frecvențelor optime) conduce la îmbunătățirea rezultatelor obținute cu BCI2000. Pentru trăsăturile optime am obținut o medie a clasificării de 71.44% față de 67.42% cu BCI2000, pentru subiecții ce realizează sarcini de imaginare motorie/mișcare a mâinii drepte, și de 70.41% față de 65.94% cu BCI2000, pentru subiecții ce realizează sarcini de imaginare motorie/mișcare a mâinii stângi.

Deși metoda utilizată pentru clasificare este destul de simplă și ușor de aplicat, rezultatele obținute sunt unele destul de satisfăcătoare, obținându-se rezultate mai bune cu clasificatorul ce utilizează distanța Euclidiană fața de BCI2000 pentru un procent de aproximativ 70% din subiecți. Setarea intervalului de frecvență de lucru între 8-30Hz, facilitează căutarea numărului de trăsături optime ce se vor utiliza la clasificare.

4.2. Clasificarea sarcinilor de imaginare motorie cu ajutorul clasificatorului ”cei mai apropiați K vecini” (K-Neareast Neighbours – KNN)

KNN este o metodă non-paramentrică utilizată pentru clasificare. Algoritmul K-NN este printre cei mai simpli dintre toți algoritmii de învățare de tipul mașină.

Presupunem că fiecare eșantion din setul de date are n attribute pe care le combinăm pentru a forma un vector n-dimensional:

x= (x1, x2, …, xn) (4.2.1)

Aceste n atribute sunt considerate a fi variabile independente. Fiecare eșantion mai are și alt atribut, notat cu y (variabilă dependentă), a cărei valoare depinde de celelalte n atribute de tipul x. Presupunem că y este o variabilă nominală și că există o funcție scalară, f, căreia i se atribuie o clasă, y=f(x), pentru fiecare astfel de vector. Nu se sție nimic despre f, cu excepția faptului că este o funcție netedă. Presupunem că un astfel de set, T, conține vectori împreună cu clasele lor corespunzătoare [Cov].

x(i), y(i) pentru i=1, 2,…,T (4.2.2)

Acest set reprezintă setul de antrenare.

Problema pe care trebuie să o rezolvăm este următoarea: să presupunem că avem un nou eșantion x=u. Dorim să găsim clasa de care aparține acest eșantion. Dacă am ști funcția f, am calcula pur și simplu, v=f(u), pentru a ști cum să clasficăm acest nou eșantion, dar nu știm nimic despre f, cu excepția faptului că este suficient de netedă. Idea metodei K-NN este de a identifica k eșantioane în setul de antrenare, ale căror variabile independente x, să fie similare cu u și de a folosi aceste eșantioane, k, pentru a clasifica acest nou eșantion într-o clasă v. Având în vedere că f este o funcție netedă, o idee rezonabilă ar fi să cautăm eșantioanele cele mai apropiate în datele noastre de antrenare (în funcție de variabilele independente) și apoi să calculăm v pornind de la valorile lui y pentru aceste eșantioane.

Când vorbim despre vecini, acest luctru implică o distanță sau o măsură de diferențiere pe care o putem calcula pentru eșantioane în funcție de variabilele independente. În acestă lucrare s-a folosit cea mai populară măsura a distanței, distanța euclidiană (Ecuația 4.1.1).

Cel mai simplu caz al algoritmului K-NN este pentru k=1, unde eșantionul cel mai apropiat de u, se caută în setul de antrenare, iar setul v=y, unde y reprezintă clasa celui mai apropiat eșantion vecin. Se poate remarca că utilizarea acestei metode simple și intuitive cu un singur vecin cel mai apropiat poate fi foarte utilă atunci când avem un număr mare de eșantioane în setul de antrenare. Este posibil, ca atunci când avem de a face cu o cantitate mare de date, orice metodă sofisticată de clasificare să nu reducă la nici jumătate erorile de clasificare obținute prin metoda simplă 1-NN.

Pentru K-NN extindem idea metodei 1-NN. Găsim cei mai apropiați k vecini de u și apoi utilizăm o regulă de decizie a majorității pentru a clasifica noul eșantion. În aplicații valoarea lui k se alege de ordinul unităților cel mult a zecilor și foarte rar de ordinul sutelor. Se observă că dacă k=n, n reprezentând numărul de eșantioane din setul de date de antrenare, pur și simplu se prezice clasa care are majoritatea din datele de antrenare, pentru toate eșantioanele, indiferent de u.

Clasificarea datelor cu ajutorul K-NN presupune parcurgerea a 5 pași:

determinarea lui k;

determinarea distanței dintre noul eșantion și toate datele de antrenare;

sortarea distanțelor și determinarea celui mai apropiat k vecin pe baza celei de-a k distanțe minime;

selectarea claselor acestor vecini;

determinarea clasei majoritare.

4.2.1. Metoda de clasificare k-NN utlizată

Primul pas în clasificare este crearea matricei de trăsături. Pentru antrenarea, dar și testarea clasificatorului k-NN vom utiliza trăsături obținute cu ajutorul transformatei wavelet multirezoluție. Descompunerea multirezoluție este realizată cu ajutorul a două tipuri de waveleturi, Coiflet4 și Daubechies2 pe canalele C3, CP3 și P3 pentru semnalele corespunzătoare imginării mișcării/ mișcării mâinii drepte și pe canalul C4, CP4 și P4 pentru semnalele corespunzătoare imginării mișcării/ mișcării mâinii stângi.

Ținând cont că, frecvența semnalului EEG înregistrat este între 0-128 Hz, iar spectrulul ritmului mu este între 8 și 12 Hz iar a ritmului beta între 12 și 30 Hz este necesară descompunerea wavelet multirezoluție până la nivelul 4.

După primul nivel de descompunere semnalul EEG este descompus în coeficientul detaliului cu frecvență înaltă D1 (64-128 Hz) și coeficientul aproximării de frecvență joasă A1 (0-64 Hz). La următorul nivel coeficientul A1 este decompus la rândul său în coeficientul detaliului D2 (32-64 Hz) și coeficientul aproximării A2 (0-32 Hz). Urmând acest procedeu se obțin și D3 (16-32 Hz), A3 (0-16 Hz), D4 (8-16 Hz) și A4 (0-8 Hz). Ambele semnale, de antrenare și de test vor fi descompuse astfel.

Trăsăturile de clasificare vor fi alese dintre coeficienții detaliului de ordinul 3 și ordinul 4, ritmurile senzorimotoare având frecvența cuprinsă în intervalul de frecvență a acestor coeficienți. Algoritmul k-NN se aplică pentru valorile lui k alese între 1 și 5. Clasificarea se realizează între două clase: de relaxare și de mișcare/imaginare mișcare. Numărul de trăsături pentru care se obțin ratele de clasificare maxime diferă de la un subiect la altul și pentru același subiect de la un canal la altul ca și în cazul clasificicării cu distanța euclidiană.

4.2.2. Rezultate

Rezultatele obținute în urma aplicării metodei de clasificare ce are la bază algoritmul k-NN sunt prezentate în Tabelele IV.II.I-IV.II.VI.

În Tabelul IV.II.I sunt reprezentate rezultatele optime obținute cu clasificatorul k-NN pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte, pe canalul C3. Rezultatele obținute sunt mai bune, pentru toți subiecții, față de ratele de clasificare obținute de BCI2000. Cel mai mare procent de clasificare obținut este de 95% pentru trei subiecți, ”12_t1” (k=1), ”25_t” (k=1) și ”34_t” (k=3), care au realizat sarcina de mișcare a mâinii drepte. În cazul sarcinii de imaginare motorie a mâinii drepte, cea mai mare rată de clasificare s-a obținut de 91%, pentru subiecții ”9_t” (k=3) și ”33_t” (k=3). Cea mai mare diferență dintre ratele de clasificare obținute cu cele două clasificatoare este de 37% pentru subiectul ”19_t”. Dacă analizăm mediile aritmetice calculate pentru toți subiecții se observă că cea mai mare medie s-a obținut pentru k=1 în cazul ambelor waveleturi utilizate pentru descompunere. Media maximă obținută este de 82,5% față de 67,65%, media cu software-ul BCI2000.

Tabel IV.II.I Rezultatele optime obținute cu k – NN (k=1:5) pe canalul C3 în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii drepte

În graficul din Fig. 4.2.1 sunt reprezentate sub formă de coloană procentele de clasificare obținute pentru subiecții ce realiazează sarcina de imaginare a mișcării sau de mișcare a mâinii drepte pentru trăsăturile obținute prin descompunere multirezoluție realizată cu cele două tipuri de waveleturi, pentru cele 5 valori ale lui k. Prima coloană, albastră, reprezintă ratele de clasificare obținute cu BCI2000. Se poate observa foarte bine, că procentele de clasificare obținute cu clasificatorul k – NN sunt mai mari decât cele obținute cu BCI2000, pentru toți subiecții. Cele mai mari procente s-au obținut pentru subiecții care realizează sarcina de mișcare pentru valori ale lui k=1, 2 și 3.

Fig. 4.2.1. Reprezentarea procentelor de clasificare pe canalul C3, pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte

Rezultatele optime obținute cu clasificatorul k-NN pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte, pe canalul CP3, sunt prezentate în Tabelul IV.II.II. Pentru acest canal se obțin rate de clasificare de maxim 91% pentru sarcina de imaginare a mișcării și 95% pentru sarcina de mișcare a mâinii drepte. Procentele de clasificare rezultate în urma aplicării clasificatorului k-NN sunt în general mai mari față de procentele obținute cu BCI2000, cu excepția subiectului ”12_t1” pentru care s-a obținut o rată de clasificare cu 4% mai mică față de BCI2000. Cele mai mari procente s-au obținut pentru subiecții ”9_t”, de 91% pentru k=1 și descompunerea multirezoluție realizată cu Coiflet4 și k=5 când se utilizează waveletul Daubechies2, și ”34_t” pentru k=1, de 95%, când folosim Coiflet4 și pentru k=3 și k=5, de 91%, când se utilizează Daubechies2. Dacă realizăm media aritmetică a ratelor de clasificare pentru toți subiecții, se observă că cea mai mare valoare, de 82,6%, se obține pentru k=1 și Coiflet4, față de 67,65% cu BCI2000.

Tabel IV.II.II Rezultatele optime obținute cu K – NN (k=1:5) pe canalul CP3 în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii drepte

Reprezentarea sub formă de coloane a rezultatelor clasificării din Tabelul IV.II.II, se regăsește în figura Fig. 4.2.2. Se observă că, în general, cele mai mari rate de clasificare se obțin pnetru k=1 și k=5.

Fig. 4.2.2. Reprezentarea procentelor de clasificare pe canalul CP3, pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte

Tabelul IV.II.III conține ratele de clasificare obținute cu clasificatorul k-NN pe canalul P3, atunci când subiecții realizează sarcina de mișcare/imaginare a mișcării mâinii drepte. Pentru acest canal se obțin rezultate mai bune cu clasificatorul implementat decât cu cel folosit de BCI2000, pentru toți subiecții. Rata maximă de clasificare este de 95% si se obține pentru subiectul ”4_t” cu k=1 și Coiflet4 atunci când se realizează sarcina de imaginare motorie. O rată de clasificare foarte bună, de 91%, se obține pentru mai mulți subiecți pentru k=1 (3 subiecți – 9_t1 (Db2) , 19_t (Coif4), 34_t (Db2)) k=3 (3 subiecți – 4_t (Db2), 6_t (Coif4), 12_t1 (Coif4)) și k=5 (1subiect – 17_t2 (Db2)). Dacă realizăm media aritmetică a ratelor de clasificare pentru toți subiecții, se observă că cea mai mare valoare, de 82,65%, se obține pentru k=1 și Daubechies2, față de 67,65% cu BCI2000.

Tabel IV.II.III Rezultatele optime obținute cu k-NN (k=1:5) pe canalul P3 în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii drepte

Din reprezentarea grafică a ratelor de clasificare obținute cu clasificatorul k-NN pe canalul P3 (Fig. 4.2.3), se observă că cele mai multe rate de clasificare optime se obțin pentru k=1 indiferent de waveletul folosit pentru descompunerea multirezoluție.

Fig. 4.2.3. Reprezentarea procentelor de clasificare pe canalul P3, pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte

În Tabelul IV.II.IV sunt reprezentate rezultatele optime obținute cu clasificatorul k-NN pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi, pe canalul C4. Matricea de trăsături este formată cu ajutorul coeficienților wavelet obținuți în urma descompunerii multirezoluție cu waveturile Coiflet4 și Daubechies2. Aceste rate de clasificare maxime, se obțin pe intervale diferite de trăsături, acestea fiind diferite de la un subiect la altul și chiar pentru aceleși subiect în sesiuni de înregistrări diferite. În cazul sarcinii de imaginare motorie, se observă că rezultatele clasificării sunt mai bune decât rezulatele obținute cu BCI2000, pentru toți subiecții, cu excepția lui ”15_t” pentru care s-a obținut un procent mai mic cu 4% fața de BCI2000. Rata maximă de clasificare este de 91% pentru subiecții ”1_t” (k=1) și ”28_t” (k=1). În cazul sarcinii de mișcare a mâinii stângi, se observă că pentru subiectul ”18_t1” obținem o rată de clasificare mai mică cu 4 procente decât rata de clasificare obținută cu BCI2000. În cazul acestor înregistrări cea mai bună rată de clasificare este de 86%.

Tabel IV.II.IV Rezultatele optime obținute cu K-NN (k=1:5) pe canalul C4, în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii Stângi

În Fig. 4.2.4 sunt reprezentate sub formă de coloană rezultatele din Tabelul IV.II.V. În acest grafic se poate observa mai bine faptul că cele mai bune rezultate s-au obținut pentru subiecții care realizează sarcina de imaginare motorie a mâinii stângi, pentru valori ale lui k=1 și k=3 în cea mai mare parte.

Fig. 4.2.4. Reprezentarea procentelor de clasificare pe canalul C4 pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi

Tabelul IV.II.V conține ratele de clasificare obținute cu k-NN pe canalul CP4, în comparație cu rezultatele clasificării obținute cu BCI2000 atunci când subiecții realizează sarcina de imaginare a mișcării/mișcare a mâinii stângi. Maximul ratei de clasificare s-a obținut de 91% pentru sarcina de imaginare a mișcării pentru subiecții ”1_t”(pentru k=1 (Db2) și k=3 (Coif4)), ”15_t”(pentru k=1 și k=3 (Db2)) și ”28_t” (pentru k=1(Coif4)) și de 95% pentru sarcina de mișcare a mâinii stângi pentru subiectul ”22_t” (pentru k=1 (Coif4)). Analizând mediile aritmetice calculate pentru toți subiecții și toate situațiile, cea mai mare valoare s-a obținut pentru k=1, 83,8% (Db2) și 83,35% (Coif4).

Tabel IV.II.V Rezultatele optime obținute cu k-NN (k=1:5) pe canalul CP4, în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii Stângi

Din reprezentarea grafică a ratelor de clasificare obținute cu clasificatorul k-NN pe canalul CP4 (Fig. 4.2.5), se observă că cele mai multe rate de clasificare optime se obțin pentru k=1 indiferent de waveletul folosit pentru descompunerea multirezoluție. De asemenea, rezultate bune se obțin și când valoarea lui k=3.

Fig. 4.2.5. Reprezentarea procentelor de clasificare pe canalul CP4 pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi

În Tabelul IV.II.IV sunt reprezentate rezultatele optime obținute cu clasificatorul k-NN pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi, pe canalul P4. Cea mai mare rată de clasificare, 95%, se obține pentru sarcina de imaginare a mișcării mâinii stângi, pentru subiectul ”30_t” pentru k=1 și descompunerea multirezoluție realizată cu Db2. Procente de 91% se obțin pentru k=3 și Db2 pentru subiecții ”1_t” și ”28_t” atunci când realizează sarcina de imaginarie motorie și pentru subiecții ”2_t” pentru k=1 și k=3 (Coif4), ”3_t1” pentru k=3 (Coif4) și ”8_t” pentru k=5 (Coif4). În acest caz, se poate observa că valorile maxime ale clasificării s-au obținut cu waveletul Db2, pentru sarcina de imaginare motorie și cu Coif4 atunci când se realizează sarcina de mișcare propiu-zisă a mâinii stângi. Dacă realizăm media aritmetică a ratelor de clasificare pentru toți subiecții, se observă că cea mai mare valoare, de 83%, se obține pentru k=3 și Coif4.

Tabel IV.II.VI Rezultatele optime obținute cu K-NN (k=1:5) pe canalul P4, în comparație cu rezulatele obținute cu BCI2000 pentru imaginarea mișcării/mișcarea mâinii Stângi

În Fig. 4.2.6 sunt reprezentate sub formă de coloană rezultatele din Tabelul IV.II.VI. În acest grafic se poate observa mai bine faptul că cele mai bune rezultate s-au obținut pentru valori ale lui k=1 și k=3, în cea mai mare parte.

Fig. 4.2.6. Reprezentarea procentelor de clasificare pe canalul P4 pentru k=1:5 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi

4.2.3. Concluzii

K-NN este o metodă de clasificare simplă, precisă și destul de sigură pentru a fi folosită în implementarea intrefețelor creier calculator, ce face posibilă analiza semnalele EEG înregistrate în timpul sarcinilor motorii.

Extragerea trăsăturilor se realizează cu ajutorul analizei wavelet multirezoluție. Acestă metodă ne permite descompunerea semnalului în subcomponente de interes cu benzile de frecvență corespunzătoare ritmurilor senzorimotoare. Metoda permite reducerea dimensiunii datelor și extragerea trăsăturilor de interes.

Se obțin rate de clasifcare mai bune cu clasificatorul k-NN decât cu clasificatorul utilizat de BCI2000. Cea mai mare rată de clasificare obținută este de 95% când subiecții realizează sarcina de imaginare a mișcării mâinii drepte pe canalul P3, sarcina de mișcare a mâinii drepte pe canalul C3 și CP3, sarcina de imaginare a mișcării mâinii stângi pe canalul P4 și sarcina de mișcare a mâinii stângi pe canalul CP4. Un procent mai mic de clasificare, de 86%, se obține pentru canalul C4 când se realizează sarcina de mișcare a mâinii stângi.

Analizând mediile aritmetice ale procentelor de clasificare obținute, se observă că cea mai mare medie obținută este de aproximativ 82% față de aproximativ 67% cu BCI2000 pentru k=1, pentru ambele waveleturi. Pentru canalele CP4 și P4 se obține o medie maximă de aproximativ 83% pentru k=1 (ambele waveleturi) respectiv k=3 (Coif4), în cazul subiecților ce realizează sarcini de mișcare/imaginarea mișcării mâinii stângi. De aici putem concluziona că cele mai multe rate de clasificare optime s-au obținut cu k=1 indiferent de waveletul folosit la descompunerea multirezoluție.

Pentru a putea face o comparație între rezultatele clasificării obținute cu k-NN și BCI2000, am afișat sub formă de coloane cele mai bune rezultate pentru fiecare din canale (Fig. 4.2.7), în cazul subiecților ce realizează sarcini de imaginare/mișcare a mâinii drepte, pentru k=1. Analizând acet grafic putem spune că cele mai multe rezultate optime s-au obținut pe canalele C3 și CP3. Mediile pentru aceste trei canale, pentru k=1, sunt destul de apropiate, astfel că este greu să alegem un singur canal optim pentru clasificarea k-NN a semnalelor înregistrate.

Fig. 4.2.7. Reprezentarea procentelor de clasificare pe canalul C3, CP3 și P3 pentru k=1 cu ambele waveleturi și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte

În figura Fig. 4.2.8 sunt afișate sub formă de coloane cele mai bune rezultate pentru canalele C4, CP4 și P4 pentru subiecții ce realizează sarcina de imaginare/mișcare a mâinii stângi. Analizând aceste reprezentări nu putem spune pe care din canale se obțin cele mai multe valori optime, pe toate cele trei canale obținându-se rezultate bune. Analizând însă mediile aritmetice pe cele trei canale pentru clasificarea realizată pentru k=1 și, respectiv, k=3 pentru canalul P4, se observă că cele mai bune medii s-au obținut pe canalul CP4.

Fig. 4.2.8. Reprezentarea procentelor de clasificare pe canalul C4, CP4 și P4 pentru k=1 cu ambele waveleturi vs procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi

În concluzie, clasificatorul k-NN utilizat ne oferă rezultate mai bune decât clasificatorul folosit de BCI2000.

4.3. Clasificarea cu ajutorul analizei liniar discriminantă – Linear Discriminant Analysis (LDA)

LDA este folosită pentru a găsi o combinație liniară de caracteristici care pot separa cel mai bine două sau mai multe clase. Obiectivul LDA este de a reduce dimeniunile datelor în timp ce se păstrează cât mai mult posibil din informațiile discrimatorii ale claselor.

Presupunem un set de eșantioane D-dimensionale {x(1,x(2,…,x(N}, din care N1 elemente aparțin clasei ω1 și N2 elemente aparțin clasei ω2. y se obține prin proiectarea eșantioanelor x pe o dreaptă:

, (4.3.1)

unde w reprezintă vetorul de proiecție.

Dintre toate liniile posibile dorim să le selectăm pe acelea care maximizează separarea scalarilor. Acest lucru este ilustrat pentru un caz bidimensional în Fig. 4.3.1.

Fig. 4.3.1 Separarea scalarilor

Cu scopul de a găsi un vector de proiecție bun, este nevoie să definim o măsură de separare între proiecții. Vectorul medie a fiecărei clase pentru x și y este:

și (4.3.2)

Apoi se definește funcția LDA ca distanța dintre mediile proiectate:

(4.3.3)

Acestă distanță dintre mediile proiectate nu este este o măsură foarte sigură pentru că nu se ține cont de deviația standard dintre clase (Fig. 4.3.2).

Fig. 4.3.2 Reprezentarea distanțelor dintre mediile proiectate

Soluția propusă de Fisher [Fis] este de a maximiza funcția care reprezintă diferența dintre medii, normalizând-o printr-o împrăștiere în cadrul clasei (within class scatter). Pentru fiecare clasă definim împrăștierea, un echivalent al varianței, astfel:

(4.3.4)

Unde reprezintă împrăștierea proiecțiilor în cadrul clasei.

Analiza liniar discriminantă Fisher se efectuează prin calculul relației:

, (4.3.5)

unde J(w) este o funcție de maximizare.

Prin urmare, vom căuta proiecția pentru care exemple din aceeași clasă sunt proiectate cât mai apropiate posibil și, în același timp, mediile proiecției sunt cât mai depărtate posibil (Fig. 4.3.3).

Figura 4.3.3 Reprezentarea proiecțiilor pentru două clase

În scopul de a găsi proiecția optimă w*, avem nevoie să exprimăm J(w) ca o funcție explicită de w:

(4.3.6)

(4.3.7)

, unde este matricea de împrăștiere din cadrul clasei

Împrăștierea proiecției y poate fi exprimată ca o funcție a matricei de împrăștiere în spațiul caracteristic x.

(4.3.8)

(4.3.9)

Similar, diferența dintre mediile proiectate poate fi exprimată în funcție de mediile din spațiul caracteristic original:

(4.3.10)

Matricea SB este numita matricea de împrăștiere dintre clase. De reținut este faptul că SB este produsul exterior dintre doi vectori, iar rangul său este cel mult unu [Fis].

Putem defini analiza liniar discriminantă a lui Fisher în funcție de Sw și SB, astfel:

(4.3.11)

Pentru a găsi extremul lui J(w) derivăm și egalăm cu zero relația:

(4.3.12)

Împărțim la :

(4.3.13)

Având valoarea proprie generalizată ,, se obține:

(4.3.14)

Această expresie este cunoscută sub numele de discriminant liniar Fisher, deși nu este un discriminat, ci mai degrabă o alegere specifică a direcției pentru proiectarea datelor până la o singură dimensiune.

4.3.1. Clasificarea cu ajutorul LDA când trăsăturile sunt extrase cu ajutorul trasformatei wavelet

În această metodă matricea de trăsături se formează la fel ca în paragraful 4.2.1, însă descompunerea multirezoluție se realizează de această dată doar cu waveletul Coiflet4. Clasificarea se va face pentru cele trei canale C3, CP3 și P3, corespunzătoare imaginării motorii/ mișcării mâinii drepte și respectiv C4, CP4 și P4, corespunzătoare imaginării motorii/ mișcării mâinii stângi.

Componentele matricei de trăsături se selectează din coeficienții detaliului de ordinul 4 cu frecvența de 8-16Hz și coeficienții detaliului de ordinul 3 cu banda de frecvența 16-32Hz. Acestă matrice de trăsături se calculează atât pentru semnalele de antrenare cât și pentru cele de testare. Clasificarea se realizează între două clase: de relaxare și de imaginare a mișcării/mișcare.

Metoda propusă pentru clasificarea LDA constă în normalizarea matricii de trăsături formată din coeficienții wavelet, ai detaliului, de ordinul 3 și 4.

Software-ul BCI2000 utilizează de asemenea un clasificator LDA. Rata de clasificare se afișează la încheierea paradigmei de testare. Datorită faptului că acestă paradigmă nu este foarte riguroasă și din dorința de a lucra cu propriul clasificator, am realizat două software-uri în MATLAB pentru calculul LDA: primul utilizează matricea de trăsături formată din coeficienții detaliului de ordinul 3 și 4, iar cel de-al doilea folosește aceeași matrice, dar normalizată.

4.3.2. Rezultate obținute

Ca și în cazul celorlalte clasificatoare utilizate, numărul de trăsături pentru care se obțin ratele de clasificare maxime diferă de la un subiect la altul, datorită modului diferit de realizarea a sarcinilor, dar și datorită concentrării diferite, fiecare subiect fiind unic în felul său. De asemenea, numărul de trăsătui optime diferă pentru aceleși subiect de la un canal la altul datorită faptului că ritmurile senzorimotoare sunt discriminate diferit pe fiecare canal. Astfel, tabelele ce urmează conțin ratele de clasificare maxime, obținute de fiecare dată pentru un număr diferit de trăsături.

Tabelul IV.III.I conține ratele de clasificare obținute cu LDA și LDA cu matricea de trăsături normalizată pentru toate cele trei canale, în comparație cu rezultatele obținute cu LDA cu software-ul BCI2000. În ceea ce privește semnale înregistrate când subiecții au realizat sarcina de imaginare a mișcării mâinii drepte, obținem prin metodele LDA implementate, pentru toți subiecții, rezultate mai bune decât cele obținute cu BCI2000. Cel mai mare procent de clasificare este de 86%, obținut de cele mai multe ori când se folosește LDA cu matricea de trăsături normalizată. Pentru subiectul ”9_t” se obține rata de clasificare maximă în metodei prouse, pe canalul P3. În cazul subiectului ”19_t” se obține rata maxima de 85% pentru toate canalele când clasificarea este realizată cu LDA normalizată. Pentru subiecții ”23_t” și ”33_t” ratele maxime se obțin cu LDA-ul clasic, pe canalul CP3 respectiv C3. În cazul subiecților ce realizează sarcina de mișcare a mâinii drepte, se obțin rate de clasificare mai mari cu metodele implementate, pentru toți subiecții cu excepția subiectului ”12_t1” pentru care cu BCI2000 se obține 90%, iar cu metoda LDA propusă 86%. Rata maximă de clasificare și în cazul subiecților ce realizează sarcina de mișcare a mâinii drepte este de 86%. Acestă rată de clasificare se obține cu LDA-ul clasic pentru subiecții ”32_t” (canalele C3 și P3 ) și ”34_t” (canalul P3) și cu LDA-ul normalizat pentru subiecții ”6_t2” (canalele C3 și P3) și ”10_t” (canalul CP3). Realizând mediile aritmetice pentru toți subiecții, pe fiecare canal și pentru fiecare metodă, cel mai mare procent este de 78,94% și este obținut cu LDA-ul normalizat pe canalul C3. Pentru ambele metodele implentate și pentru toate canale s-au obținut medii mai mari decât pentru media ratelor de clasificare cu LDA-ul folosit de BCI2000.

Tabel IV.III.I Rezultatele clasificatorului LDA pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte vs relaxare

Fig. 4.3.1 conține reprezentarea grafică a procentelor de clasificare pentru canalele C3, CP3, P3 cu ambele LDA-urile implementate versus procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte. Din acest grafic se poate observa că cele mai mari rate de clasificare s-au obținut cu metoda LDA propusă, dar și pe canalul C3 cu LDA-ul clasic.

Fig. 4.3.1. Reprezentarea procentelor de clasificare pentru canalele C3, CP3, P3 cu ambele LDA-urile implementate și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte

Tabelul IV.III.II conține ratele de clasificare obținute cu LDA și LDA cu matricea de trăsături normalizată pentru toate cele trei canale, în comparație cu rezultatele obținute cu LDA cu software-ul BCI2000, pentru subiecții ce realizează sarcini de imaginare motorie/mișcare a mâinii stângi. Dintre toți subiecții doar pentru unul singur, ”15_t”, se obțin rezultate mai slabe cu LDA-urile implementate decât cu LDA-ul folosit de BCI2000. Cele mai mari procente de clasificare s-au obținut pentru subiectul ”1_t” pe canalele C4 (91% – LDA ) și P4 (91% – LDA normalizat) (63% – BCI2000) care și-a imaginat mișcarea mâinii stângi și pentru subiecții ”8_t” pe canalul P4 (LDA – 91%, BCI2000 – 77%) și ”18_t” pe canalul CP4 (LDA norm – 91%, BCI2000 – 45%) care au realizat sarcina de mișcare a mâinii stângi. Realizând mediile aritmetice pentru toți subiecții, pe fiecare canal și pentru fiecare metodă, cel mai mare procent este de 79,52% și este obținut cu LDA-ul implementat pe canalul P4. Medii mari ale procentelor de clasificare s-au obținut și pentru metoda LDA propusă pe canalul CP4 (79,05%) și P4 (79,35%) fața de BCI2000 (67,58%).

Tabel IV.III.II Rezultatele clasificatorului LDA pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi vs relaxare

Fig. 4.3.2 conține reprezentarea grafică a procentelor de clasificare pentru canalele C3, CP3, P3 cu ambele LDA-urile implementate și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte. În acest grafic se evidențiază coloana mov (canal P4 – LDA, coloana vișinie (canal C4 -LDA) și coloana bleu (canal P4 – LDA norm), de unde putem concluziona că pentru aceste canale și aceste metode s-au obținut cele mai bune rate de clasificare.

Fig. 4.3.2. Reprezentarea procentelor de clasificare pentru canalele C4, CP4, P4 cu ambele LDA-urile implementate și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi

4.3.3. Clasificarea cu ajutorul LDA când trăsăturile sunt extrase cu ajutorul ICA

Pentru obținerea matricei de trăsături se urmează pașii descriși și în Capitolul 3.1.

Semnalul se filtrează cu un filtru trece bandă de tipul Butterwotrh între 8 și 30 Hz. Am ales acestă bandă de interes pentru că ritmurile mu si beta au frecvețele în acestă bandă.

După filtrare, se aplică algoritmul ICA descris în capitolul 2. (2.1.3)

Matricea trăsăturilor se formează din semnalul recontruit după aplicarea ICA, pe canalele C3, CP3, P3 pentru semnalele înregistrate în timpul mișcării/imaginării mișcării mâinii drepte și C4, CP4, P4 pentru semnalele înregistrate în timpul mișcării/imaginării mișcării mâinii stângi. Se urmează aceiași pași atât pentru semnalele de antrenare cât și pentru cele de testare, apoi se clasifică cu ajutorul LDA.

Tabelul IV.III.III conține ratele de clasificare obținute cu LDA pentru toate cele trei canale, în comparație cu rezultatele obținute cu LDA cu software-ul BCI2000, pentru subiecții ce realizează sarcini de imaginare motorie/mișcare a mâinii drepte. Analizând acest tabel putem concluziona că acestă metodă de clasificare ne oferă rezultate foarte bune în comparație cu procentele de clasificare obținute cu BCI2000, pentru aproximativ 70% din subiecți, dar și unele foarte slabe, cum ar fi subiectul ”19_t” pentru care se obține 45% cu BCI2000 și 41% cu LDA pe canalul C3 și doar 36% pe canalele CP3 și P3. Cea mai mare rată de clasificare obținută este de 95%, pentru subiectul ”32_t” obținuându-se acest procent cu LDA pentru toate cele trei canale, fața de 59% cu BCI2000. Același procent de 95% s-a obținut și pentru subiecții ”4_t” și ”23_t”, pe canalul C3, ”33_t1” pe canalele CP3 și P3 și ”33_t” și ”12_t1” pe canalul P3.

Tabel IV.III.III Rezultatele clasificatorului LDA pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii dreptevs relaxare

Fig. 4.3.3 conține reprezentarea grafică a procentelor de clasificare pentru canalele C3, CP3, P3, când se folosește LDA-ul ce are la bază extragerea trăsăturilor cu metoda ICA, și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte. În acest grafic se poate observa faptul că cele mai multe valori maxime ale clasificării s-au obținut pe canalele C3 și P3.

Fig. 4.3.3. Reprezentarea procentelor de clasificare pentru canalele C3, CP3, P3 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii drepte

Atunci când subiecții realizează sarcini de imaginare motorie/mișcare a mâinii stângi, rezultatele clasificatorului LDA sunt prezentate în tabelul IV.III.IV. Se observă că cea mai mare rată de clasificare s-a obținut de 95%, iar cele mai multe astfel de valori s-au obținut pentru canalul CP4. Doar pentru subiecții ”35_t” (BCI2000 = 77%, LDA = 73%) și ”3_t1” (BCI2000 = 86%, LDA = 77%) s-au obținut rezultate mai slabe cu metoda propusă față de clasificatorul folosit de BCI2000, ceea ce reprezintă un procent de 10%. Cea mai mare diferența între rezultatele obținute cu cele două clasificatorate este de 50% și s-a obținut pentru subiecții ”27_t” (BCI2000 = 45%, LDA = 95% pentru toate canalele) și ”18_t” (BCI2000 = 45%, LDA = 95% pe C4 și CP4). Analizând mediile aritmetice pentru cele trei canale, se observă că pentru canalele CP4 și P4 se obțin cele mai mari valori.

Tabel IV.III.IV Rezultatele clasificatorului LDA pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi vs relaxare

Fig. 4.3.4 conține reprezentarea grafică a procentelor de clasificare când se folosește LDA-ul ce are la bază extragerea trăsăturilor cu metoda ICA, pentru canalele C4, CP4, P4 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi. În acest grafic se poate observa faptul că cele mai multe valori maxime ale clasificării s-au obținut pe canalul CP4.

Figura 4.3.4. Reprezentarea procentelor de clasificare pentru canalele C4, CP4, P4 și procentele obținute cu BCI2000 pentru semnalele corespunzătoare imaginării mișcării/mișcării mâinii stângi

4.3.4. Concluzii

Se utilizează clasificatorul LDA pentru că este una din cele mai eficiente metode de clasificare ce se folosește în domeniul BCI. Am ales acestă metodă datorită simplității, a preciziei de aplicare dar și pentru că se folosește pentru software-ul BCI2000 în paradigma de testare.

Metoda de clasificare LDA am aplicat-o în trei moduri diferite. Pentru primele două metode, extragerea trăsăturilor se realizează cu ajutorul analizei wavelet multirezoluție. Acestă metodă ne permite descompunerea semnalului în subcomponente de interes cu benzile frecvență corespunzătoare ritmurilor senzorimotoare. Metoda permite reducerea dimensiunii datelor și extragerea trăsăturilor de interes. Deși în software-ul BCI2000 clasificarea se realizează doar pe canalele C3 și C4 corespunzătoare mișcării/imaginării mișcării mâinii drepte respectiv mâinii stângi, în metoda propusă clasificarea se aplică pe canalele C3, CP3, P3 pentru mișcărea/imaginarea mișcării mâinii drepte și C4, CP4 și P4 P3 pentru mișcărea/imaginarea mișcării mâinii stângi. Am extins clasificarea și pentru aceste canale, deoarece nu toți subiecții discriminează ritmurile senzorimotoare doar pe canale C3 și C4 și s-a putut observa cum se obțin rate de clasificare mai mari și pentru celelalte patru canale. Pentru prima metodă ce utilizează clasificatorul LDA, matricea trăsăturilor se formează din coeficienții detaliului de ordinul 4 cu frecvența de 8-16Hz și coeficienții detaliului de ordinul 3 cu banda de frecvența 16-32Hz. Pentru cea de-a doua metodă se utilizează aceeași matrice formată din coeficienții de descompunere multirezoluție, înșă matricea se normalizează, această metodă constituind o contribuție personală. A treia metodă de clasificare se aplică pe matricea de trăsături formată prin filtarea semnalului în banda de interes 8-30Hz și recostrucția acestui segment de semnal după aplicarea ICA.

Cele mai mari rate de clasificare obținute sunt de 91% cu primele două metode și de 95% cu cea de-a treia metodă. Deși am putea concluziona că metoda de clasificare care are la bază ICA este mai eficientă decât cele ce au la bază descompunerea multirezoluție, media aritmetică a procentelor de clasificare pentru toți subiecții ne contrazice. Astfel că, pentru sarcina de mișcare/imaginare a mișcării mâinii drepte, media maximă pentru LDA este de 78,68% (pe canalul CP3), pentru LDA cu matrice normalizată este de 78,94% (pe canalul C3), iar pentru LDA cu ICA este de 76%, în timp ce pentru sarcina de mișcare/imaginare a mișcării mâinii stângi media maximă pentru LDA este de 79,52% (pe canalul P4), pentru LDA cu matrice normalizată este de 79,35% (pe canalul P4), iar pentru LDA cu ICA este de 77% (pe canalele CP4 și P4).

În concluzie, ratele de clasificare obținute cu LDA prin toate cele trei metode sunt în general mai mari decât procentele obținute cu LDA-ul implementat de software-ul BCI2000, care, după cum s-a demonstrat în acest capitol, poate fi îmbunătățit.

4.4. Comparație între clasificatoarele utilizate

Pentru a putea compara rezultatele clasificatoarelor utilizate în acest studiu, am realizat graficele din Figurile 4.3.5 și 4.3.6 corespunzătoare subiecților ce realizează sarcini de mișcare/imaginare a mișcării mâinii drepte, respectiv sarcini de mișcare/imaginare a mișcării mâinii stângi. Pentru clasificatorul K-NN am ales varianta cu k=1 pentru ambele waveleturi folosite la descompunerea multirezoluție, iar pentru LDA am afișat doar rezultatele pentru canalul C3, pentru toate cele trei metode.

În Fig. 4.3.5 se poate observa că cele mai multe valori maxime ale clasificării, de 95%, se obțin cu clasificatorul LDA ce are la bază ICA, dar tot cu acest clasificator, pentru 6 situatii se obțin și cele mai scăzute valori ale clasificării, mai mici chiar decât cele obținute cu BCI2000. De aici putem concluziona că acestă metodă este una destul de sensibilă pentru a fi folosită pentru implementarea unei interfețe creier calculator.

De asemenea, 95%, se mai obține când se folosește clasificatorul K-NN în două situații. Cu acestă metodă de clasificare se obțin rezultate foarte bune pentru majoritatea subiecților atât cu varianta ce folosește pentru descompunere waveletul Db2, cât și cea care folosește Coif4.

Rezultate destul de bune, pentru toți subiecții se obțin și cu LDA ce are la bază matricea trăsăturilor normalizată.

Se observă că pentru majoritatea subiecților se obțin rate de clasificare mai mari cu metodele propuse și implementate decât cu cea a software-ului BCI2000.

Fig. 4.3.5. Reprezentarea grafică a rezultalelor cu toate metodele de clasificare folosite pentru subiecții ce realizează sarcina de mișcare/imaginarea mișcării mâinii drepte

În Fig. 4.3.6 se observă că cele mai multe rate maxime de clasificare de 95% (6 subiecți), se obțin, de asemenea, cu clasificatorul LDA ce are la bază metoda ICA. Cu aceeași metodă de clasificare se obțin, însă, și cele mai multe rate de clasificare minime (5 subiecți). Metode de clasificare stabile, cu care se obțin rezultate bune pentru toți subiecții, sunt K-NN și LDA ce utilizează trăsături din descompunerea multirezoluție.

Figura 4.3.6. Reprezentarea grafică a rezultalelor cu toate metodele de clasificare folosite pentru subiecții ce realizează sarcina de mișcare/imaginarea mișcării mâinii stângi

În concluzie, clasificatorul cel mai sigur, precis și cu care se obțin cele mai multe rate de clasificare mai mari decât cele obținute cu BCI2000, este clasificator K-NN. Cea mai mare rată de clasificare obținută cu acest clasificator este de 95%. Deși cele mai multe rezultate maxime de 95% se obțin cu clasificatorul LDA ce are la bază metoda ICA, tot cu acesta se obțin și cele mai slabe rezultate. Acest clasificator este unul instabil și de o acuratețe slabă. Un alt clasificator cu care se obțin cele mai multe rezultate mai mici decât cele obținute cu BCI2000, în proporție de aproximativ 30% din totalul subiecților, este clasificatorul ce utilizează diatanța euclidiană.

Capitolul 5

Concluzii și contribuții

În acestă teză sunt prezentate și tratate cele trei componente ale interfeței creier calculator: achiziția de semnale, procesarea acestor semnale și controlul unui dispozitiv exterior. Controlul calculatorului se realizează doar cu ajutorul sistemul BCI2000, în timpul înregistrării semnalelor de testare, când subiecții controlează o bilă pe monitorul unui calculator doar mișcând sau imaginând mișcarea unei mâini. Achiziția de semnale EEG și procesare acestora a reprezentat, în schimb, principala preocupare.

Contribuțiile personale se evidențiază încă din primul capitol, prin realizarea unui studiu asupra stadiului actual al cercetărilor în domeniul BCI.

Prima etapă a impementării unui sistem BCI o reprezintă achiziția de semnale EEG. Achiziția de semnale reprezintă un pas deosebit de important, decisiv chiar, în ceea ce privește succesul și rezultatele etapelor următoare, necesitând resurse importante de timp dar și de voluntari dornici să realizeze experimentele.

O altă contribuție importantă o reprezintă creare unei baze de date, proprii, cu semnale EEG înregistrare în timpul sarcinilor motorii. Utilizarea acestei baze de date constitue un avantaj major în cercetare ulterioară datorită faptului că se cunosc toate condițiile în care s-au realizat înregistrările. Se cunosc de asemenea părerile voluntarilor cu privire la experiment, dacă aceștia au reușit sau nu să-și imagineze mișcarea unui membru, acest lucru fiind unul nu tocmai ușor de realizat.

Există, de asemenea, pesoane care nu dezvoltă ritmurile senzorimotoare sau pur și simplu nu reușesc să-și imagineze că mișcă un membru, aceste înregistrări fiind excluse din cercetările ulterioare. De asemnea, unii subiecți nu au reușit să-și imagineze mișcarea membrelor superioare, deși în cazul mișcării, atunci când s-a realizat analiza offline, s-au obținut rezultate destul de bune.

În concluzie, achiziția semnalelor EEG reprezintă un factor deosebit de important pentru obținerea performanțelor în domeniul BCI, de aceea în etapele următoare se va lucra doar cu datele considerate viabile. Analiza offline are un rol foarte important în luarea deciziei de viabilitate a datelor. În primă instanță s-a utilizat analiza offline pusă la dispoziție de software-ul BCI2000. Acestă primă metodă de analiză a semnalelor înregistrate, calculează coeficientul de determinare, r2, pentru semnalul corespunzător imaginării versus semnalul corespunzător relaxării. Canalele pe care se obțin cele mai mari valori ale lui r2 reprezintă canalele optime de detecție a ritmurilor senzorimotoare. Pe baza acestor infomații se implementeză în mediul MATLAB, propriul software de calcul al coeficientului de determinare, obținându-se rezultate mult mai clare, acest fapt reprezentând de asemenea o contribuție.

Cu ajutorul analizei offline se decide asupra semnalelor înregistrate, astfel realizându-se o mică bază de date, ce conține semnale EEG de la 45 de subiecți, înregistrate atât în timpul mișării cât și imaginării mișcării mâinilor. Chiar dacă subiecții ce au participat la experimente au fost în număr mai mare de 45, nu toți au discriminat ritmurile senzorimotoare, în concluzie nu toate datele înregitrate ne sunt folositoare. Această bază de date conține atât întegistrări realizate în timpul antrenării (în număr de 45) cât și date de testare (în număr de 35), ceea ce este destul de rar întâlnit în bazele de date disponibile pe intrenet.

A doua etapă în cercetarea realizată o reprezintă procesarea de semnal care presupune în primul rând extragerea de trăsături și apoi clasificarea acestora.

În primă instanță, pentru extragerea de trăsături s-a utilizat ICA împreună cu filtrarea de tipul Butterwotrh, trece bandă, între 8 și 30 Hz. Afișarea rezultatelor obținute în urma aplicării ICA este realizată tot cu ajutorul coeficientului de determinare, această metodă reprezentând o contribuție personală. Graficile rezultate indică o bună discriminare a ritmurilor senzorimotoare, pe canalulC4 când se imaginează/se mișcă mâna stângă și pe canalul C3 când se imaginează/se mișcă mâna dreaptă.

În concluzie, ICA este o metodă utilă pentru descompunerea amestecurilor în subcomponente, ce poate fi folosită la implementarea interfețelor creier calculator care au la bază sarcinile motorii.

O altă metodă utilizată pentru extragerea trăsăturilor este analiza wavelet multirezoluție. Cu ajutorul descompunerii multirezoluție pe patru nivele se poate analiza semnalul în benzile de frecvență 8-16 Hz și 16-32 Hz ceea ce este foarte util deorece ritmurile senzorimotoare au frecvențe în aceste interval. Cu ajutorul acestei descompuneri se observă foarte bine canalele pe care se detectează mai eficient aceste ritmuri. Aceste canale sunt C3, CP3, C4 și CP4 ce sunt plasate în ambele emisfere în zonele senzorimotoare.

Deși s-au afișat rezultatele obținute doar cu Daubechies2, Coiflet4 și Symlets4, s-au realizat testări ale descompunerii multirezoluție pentru toate ordinele waveleturilor Daubechies, Coiflets, Symlets, Biorthogonal, însă am considereat doar acestea trei mai potrivite pentru observarea desincronizărilor ritmurilor senzorimotoare.

Analiza wavelet multirezoluție este o metodă de luat în seamă pentru detecția ritmurilor senzorimotoare care permite reducerea dimensiunii datelor, iar acest lucru constitue un avantaj important.

Inspecția vizuală nu poate fi considerată un cliteriu sigur de analiză, de aceea eficiența descompunerii wavelet multirezoluție va fi mai bine pusă în evidență utilizată împreună cu alte metode de extragere a caracteristicilor (exponentul Hurst) și cu metode de clasificare.

Astfel, a treia metodă de extragere a trăsăturilor utilizată, este exponentul Hurst calculat pentru semnalele descompunse în prealabil prin analiza wavelet multirezoluție.

O contribuție importantă a acestei teze o reprezintă utilizarea exponentului Hurst calculat cu metodele: Higuchi, de varianță agregată și a momentului absolut. Aceste metode nu au mai fost utilizate în domeniul BCI, pentru a pune în evidență ritmurile sensorimotoare. Determinarea valorilor exponentului Hurst s-a realizat pentru canalele C3 și CP3 (corespunzătoare mâinii drepte) și C4 și CP4 (corespunzătoare mâinii stângi).

Valorile mari obținute pentru semnalul corespunzător mișcării/imaginării mișcării mâinii drepte față de semnalul corespunzător relaxării pe canalele C3 și CP3 și pentru semnalul corespunzător mișcării/imaginării mișcării mâinii stângi față de semnalul corespunzător relaxării pe canalele C4 și CP4, indică o bună discriminare a ritmurilor senzorimotoare. Cele mai multe astfel de valori se obțin cu metoda Higuchi, pentru ambele sarcini motorii, însă rezultate foarte bune se obțin și în cazul celorlalte două metode utilizate.

În conzluzie rezultatele obținute prin aceste metode pun în evidență caracteristicele ritmurilor senzorimotoare.

Clasificarea sarcinilor de imaginare motorie din semnalele EEG achiziționate reprezintă cea mai importantă etapă a procesării de semnal, fără de care nu s-ar putea realiza controlul dispozitivelor exterioare.

Teza include rezultate obținute prin trei metode de clasificare: distanța euclidiană, k-NN și LDA.

O altă contribuție o reprezintă clasificarea ce se bazează pe distanța Euclidiană, calculată între paternurile de mișcare/imaginare a mișcării și relaxare, determinate din datele de antrenare și datele de testare. Acestă nouă metodă propusă este una simplă și rapidă, dar este puternic dependentă de selecția frecvențelor de clasificare. Alegerea trăsăturilor optime conduce la îmbunătățirea rezultatelor obținute cu BCI2000. Pentru trăsăturile optime am obținut o medie a clasificării de 71.44% față de 67.42% cu BCI2000, pentru subiecții ce realizează sarcini de imaginare motorie/mișcare a mâinii drepte, și de 70.41% față de 65.94% cu BCI2000, pentru subiecții ce realizează sarcini de imaginare motorie/mișcare a mâinii stângi. Rezultatele nu diferă foarte mult de cele obținute cu BCI2000, însă având în vedere simplitatea clasificatorului, avem încredere că utilizarea unuia mai complex va da rezultate mult mai bune. Se obțin rate de clasificare mai bune cu clasificatorul ce utilizează distanța Euclidiană fața de BCI2000 pentru un procent de aproximativ 70% din subiecți.

A doua metodă de clasificare folosită este k-NN. Acestă metodă nu a fost foarte folosită pentru sistemele BCI, însă rezultatele obținute pentru datele înregistrate sunt unele foarte bune. Cea mai mare rată de clasificare obținută este de 95% când subiecții realizează sarcina de imaginare a mișcării mâinii drepte pe canalul P3, sarcina de mișcare a mâinii drepte pe canalul C3 și CP3, sarcina de imaginare a mișcării mâinii stângi pe canalul P4 și sarcina de mișcare a mâinii stângi pe canalul CP4. Analizând mediile aritmetice ale procentelor de clasificare obținute, se observă că cea mai mare medie obținută este de aproximativ 83%, pe canalele CP4 și P4 pentru k=1 (ambele waveleturi) respectiv k=3 (Coif4), în cazul subiecților ce realizează sarcini de mișcare/imaginarea mișcării mâinii stângi. Cele mai multe rate de clasificare optime s-au obținut cu k=1 indiferent de waveletul folosit la descompunerea multirezoluție. Se obțin rezultate mai bune cu clasificatorul k-NN fața de cel utilizat de BCI2000 pentru un procent de aproximativ 97% din subiecți.

Metoda de clasificare LDA este aplicată în trei moduri diferite. Pentru primele două metode, extragerea trăsăturilor se realizează cu ajutorul analizei wavelet multirezoluție, iar pentru cea de-a treia s-a folosit ICA. S-a realizat clasificarea și cu acest tip de clasificator, pentru că acesta este utilizat și în software-ul BCI2000. Deși în software-ul BCI2000 clasificarea se realizează doar pe canalele C3 și C4 corespunzătoare mișcării/imaginării mișcării mâinii drepte respectiv mâinii stângi, în software-ul implementat clasificarea se aplică pe canalele C3, CP3, P3 pentru mișcărea/imaginarea mișcării mâinii drepte și C4, CP4 și P4 P3 pentru mișcărea/imaginarea mișcării mâinii stângi. Am extins clasificarea și pentru aceste canale, deoarece nu toți subiecții discriminează ritmurile senzorimotoare doar pe canale C3 și C4 și s-a putut observa cum se obțin rate de clasifcare mai mari și pentru celelalte patru canale.

Pentru prima metodă ce utilizează clasificatorul LDA, matricea trăsăturilor se formează din coeficienții detaliului de oridul 4 cu frecvența de 8-16Hz și coeficienții detaliului de ordinul 3 cu banda de frecvența 16-32Hz. Pentru cea de-a doua metodă se utilizează aceeași matrice formată din coeficienții de descompunere multirezoluție, însă matricea se normalizează. Utilizarea matricii normalizate ce antrenează clasificatorul LDA, reprezintă de asemenea o contribuție personală. Ratele de clasificare obținute prin acestă metodă sunt mai bune sau la fel ca cele obținute cu prima metodă.

A treia metodă de clasificare se aplică pe matricea de trăsături formată prin filtarea semnalului în banda de interes 8-30Hz și recostrucția acestui segment de semnal după aplicarea ICA.

Cele mai mari rate de clasificare obținute sunt de 91% cu primele două metode și de 95% cu cea de-a treia metodă. Cu toate acestea se obțin rezultate mai bune cu clasificatorul LDA ce are la bază ICA fața de cel utilizat de BCI2000 pentru un procent de aproximativ 82% din subiecți, în timp ce pentru clasificatoarele ce are la bază descompunerea multirezoluție pentru aproximativ 90% din subiecți.

În concluzie, cele mai multe rate de clasificare mai mari decât cele obținute cu BCI2000 se obțin cu clasificator K-NN. Cea mai mare rată de clasificare obținută cu acest clasificator este de 95%. Deși aceleași rezultate maxime de 95% se obțin și cu clasificatorul LDA ce are la bază metoda ICA, tot cu acesta se obțin și cele mai slabe rezultate. Acest clasificator putând fi catalogat ca instabil și de o acuratețe destul de slabă.

Contribuții personale

În concluzie, autoarea a propus câteva idei noi, apoi, folosind programul MATLAB, a probat măsura în care ele dovedesc perfomanțele notabile:

În capitolul III se propune o metodă de extragere a trăsăturilor semnalelor EEG, ce utilizează ICA și coeficientul de determinare. Afișarea semnalului reconstruit, după aplicarea ICA, cu ajutorul coeficientului de determinare ne indică o bună desincronizare a ritmurilor senzorimotoare, concentrată pe canalele C3 și C4, față de afișarea semnalului original când desincronizarea este evidentă pe mai multe canale. Dezavantajul acestei metode este reprezentat de faptul că se obțin valori mai scăzute ale coeficientului r2, însă acest lucru se explică prin faptul că acest coeficient este calculat pentru semnalul reconstruit după primele trei surse.

Tot în capitolul III se propune o altă metodă de evidențiere a ritmutilor senzorimotoare ce calculează exponetul Hurst cu ajutorul analizei wavelet multirezoluție. Exponentul Hurst este calculat pentru semnalele sub-componete cu benzile de frecvență corespunzătoare ritmurilor senzorimotoare, cu ajutorul a trei metode : Higuchi, de varianță agregată și a momentului absolut. Se realizează, de asemenea, o comparație între rezultatele obțiunte cu cele trei metode de calcul a exponentului Hurst.

Pentru realizarea clasificării sarcinilor motorii, din semnalele EEG achiziționate, se propune, în capitolul IV, metoda distanței euclidiene. Acestă metodă propusă este simplă, rapidă, dar depinde foarte mult de selecția frecvențelor pentru clasificare. Media ratelor de clasificare obținute prin metoda propusă, este de aproximativ 71% față de 66% cât s-a obținut cu clasificatorul utilizat de software-ul BCI2000.

Continuând cu implementarea de metode de clasificare, se analizează utilizarea clasificatorului LDA ce utilizează trăsături extrase cu ajutorul analizei wavelet multirezoluție și cu ajutorul ICA. Ca o modificare a primei metode, autoarea propune normalizarea matricei de trăsături formate din coeficienții wavelet. Rata maximă de clasificare obținută prin acestă metodă este de 91%, iar media maximă pentru toți subiecții este de aproximativ 80% față de 67% cât s-a obținut cu software-ul BCI2000.

Alte contribuții personale ale autoarei aduse prin acestă teză pot fi rezumate astfel:

realizarea unui studiu asupra stadiului actual al cercetărilor în domeniul BCI;

realizarea unei baze de date cu semnale EEG ce au la bază sarcini motorii, înregistrate atât în perioada de antrenare cât și în cea de testare;

implementarea propriului software, în mediul de lucru MATLAB, pentru analiza offline ce are la bază coeficientul de determinare;

elaborarea de programe MATLAB pentru determinarea celor mai potrivite tipuri de waveleturi pentru descompunerea multirezoluție a semnalelor achiziționate;

implementarea unui cod de clasificare ce utilizează algoritmul k-NN cu valori ale lui k alese între 1 și 5 și obținerea unei rate de clasificare maxime de 95%;

compararea rezultatelor obținute cu diferitele metode de clasificare aplicate.

Perspective de viitor

Semnalele achiziționate, metodele de extragere a trăsăturilor și cele de clasificare constituie un suport adecvat pentru elaborarea planurilor și deciziilor imediat următoare. Rezultatele obținute susțin continuare acestor cercetări din punct de vedere al controlului dispozitivelor exterioare.

Astfel că, pe viitor îmi doresc să obțin un proiect de finanțare pentru implemetarea unei BCI care să controleze un scaun cu rotile sau un braț robotic, în care să fie implicați medici, bioingineri, ingineri în robotică, informaticieni, matematicieni. Numai împreună cu o echipă mai mare de specialiști se poate duce la îndeplinirea unui astfel de proiect.

Activitate științifică

R. Aldea, M. Fira, A. Lazăr, „Classifications of motor imagery tasks using k-nearest neighbors”, Proceedings of the 12th Symposium on Neural Network Applications in Electrical Engineering (NEUREL), 25-27 November 2014, Belgrade, Serbia, Piscataway: IEEE Service Center.- Lucrarea acceptată spre publicare (ISI Proceeding)

M. Fira, R. Aldea, A. Lazăr, L. Goraș, „Classifications of motor imagery tasks in brain computer interface using euclidian distance”, Proceedings of the 12th Symposium on Neural Network Applications in Electrical Engineering (NEUREL), 25-27 November 2014, Belgrade, Serbia, Piscataway: IEEE Service Center.- Lucrarea acceptată spre publicare (ISI Proceedings)

R. Aldea, M. Fira, “Classifications of Motor Imagery Tasks in Brain Computer Interface Using Linear Discriminant Analysis” International Journal of Advanced Research in Artificial Intelligence (IJARAI), 3(7), 2014. http://dx.doi.org/10.14569/IJARAI.2014.030702 (revistă BDI B+)

R. Aldea, „Wavelet – based EEG subbands decomposition to hightlight sensorimotor rhythms”, Buletinul Institutului Politehnic Iasi”, Vol. LIX (LXIII), Fasc. 3, pp. 49-58, 2013 (revistă BDI B+)

R. Aldea, D. Tărniceriu, ” Estimating Hurst exponent in motor imagery-based Brain Computer Interface”, The 7th International conference- Speech technology and human-computer dialogue-SpeD, Cluj-Napoca, 16-19 Octombrie, 2013 (ISI Proceeding)

R. Aldea, O. Eva, “Detecting sensorimotor rhythms from the EEG signals using the independent component analysis and the coefficient of determination”, International Symposium on Signals, Circuits and Systems- ISSCS 2013, pp. 13–16, Iasi, 11-12 Iulie, 2013 (ISI Proceeding)

R. Aldea, “Multiresolution wavelet analysis and Hurst estimation used for highlighting sensorimotor rhythms”, Buletinul Institutului Politehnic Iasi”, Vol. LIX (LXIII), pp. 63-71, 2013.(revistă BDI B+)

R. Aldea, A.M. Lazăr, O posibilitate de detecție a potențialului P300 cu ajutorul transformatei wavelet multirezoluție, RevMedChir, Ianuarie-Martie 2012, Vol. 116, ISSN: 0048-7848 (revistă BDI B+)

R. Aldea, Analiza potențialului P300 cu ajutorul platformei BCI2000, Conferința Națională de Bioinginerie pentru studenți și tineri cercetători, Editia a XIV-a, Iași, 2011

R. Aldea, Utilizarea potentialului P300 pentru implementarea unei interfete creier-calculator, Simpozionul de Bioinginerie Medicală pentru studenți și tineri cercetători , Editia a XIII-a, Iași, 2010

N. Adochiei, R. Aldea, Determinarea variabiliății ritmului inimii, Simpozionul de Bioinginerie Medicală pentru studenți și tineri cercetători , Editia a XIII-a, Iași, 2010

R. Aldea, Detectia crizei de epilepsie utilizând transformata wavelet și dinamica neliniară, Simpozionul de Bioinginerie Medicală pentru studenti și tineri cercetători, Editia a XII-a, Iași, 2009

Bibliografie

[Aka] Akay M., Nonlinear Biomedical signal processing, Dynamic Analysis and Modeling, IEEE Press, Vol II, 1-25, 2001

[Ald] Aldea R., “Multiresolution wavelet analysis and Hurst estimation used for highlighting sensorimotor rhythms,” Buletinul Institutului Politehnic Iasi, Vol. LIX (LXIII), pp. 63-71, 2013.

[Ald1] Aldea R., O. Eva, “Detecting sensorimotor rhythms from the EEG signals using the independent component analysis and the coefficient of determination,” ISSCS Proceedings, pp. 13–16, 2013

[All] Allison, B. Z., Wolpaw, E. W., and Wolpaw, J. R. (2007). Brain–computer interface systems: progress and prospects. Expert Rev. Med. Devices 4, 463–474.

[And] Anderson C W, Stolz E A and Shamsunder S 1998 Multivariate autoregressive models for classification of spontaneous electroencephalographic signals during mental tasks IEEE Trans. Biomed. Eng. 45 277–86

[Bas] Bashashati, A.; Fatourechi, M.;Ward R. K. & Birch, G. E. (2007). A survey of signal processing algorithms in brain-computer interfaces based on electrical brain signals, J. Neural Eng., June, Vol. 4, No. 2, pp. R32-R57.

[Bas] Bashashati A, Ward R K and Birch G E 2005 A new design of the asynchronous brain–computer interface using the knowledge of the path of features Proc. 2nd IEEE-EMBS Conf. on Neural Engineering (Arlington, VA) pp 101–4

[Bay] Bayliss, J. D. (2003). Use of the evoked potential P3 component for control in a virtual apartment. IEEE Trans. Neural Syst. Rehabil. Eng. 11, 113–116.

[Bay1] Bayliss J.D., Ballard D. H., A Virtual Reality Testbed for Brain Computer Interface Research, IEEE Transactions on Rehabilitation Engineering, vol 8, no 2, 188-190, 2000.

[Bay2] Bayliss J.D., A Flexible Brain-Computer Interface, PhD thesis, Department of Computer Science University of Rochester, 2001.

[Bay3] Bayliss J.D., Use of the Evoked Potențial P3 Component for Control în a Virtual Apartment, IEEE Transactions Rehabilitation Engineering, vol. 11, no. 2, 113–116, 2003.

[Bay4] Bayliss, J. D. & Ballard, D. H. (1999). Single trial P300 recognition in a virtual environment. Proc. Int. ICSC Symp. on Soft Computing in Biomedicine, (Genova, Italy).

[Ben] Bensch, M., Karim, A. A., Mellinger, J., Hinterberger, T., Tangermann, M., Bogdan, M., Rosenstiel, W., and Birbaumer, N. (2007). Nessi: an EEGcontrolled web browser for severely paralyzed patients. Comput. Intell. Neurosci. 2007, 5, Article ID 71863.doi:10.1155/2007/71863.

[Bel] Bell, C.J., Shenoy, P., Chalodhorn, R., Rao, R.P: Control of a humanoid robot by a noninvasive brain –computer interface in humans. J.Neural Eng. 5(2) 214-220 (2008)

[Bel1] Belouchrani A., Abed-Meraim K., Cardoso J.-F., Moulines E., „A blind separation technique using second order statistics” IEEE Tran. Signal Preccesing, vol. 45, no 2, pp 434-444, 1997

[Ber] Beran J., Statistic for long memory processes. New York, NY, 1994.

[Bir] Birbaumer, N., Ghanayim, N., Hinterberger, T., Iversen, I., Kotchoubey, B., Kübler, A., Perelmouter, J., Taub, E., and Flor, H. (1999). A spelling device for the paralysed. Nature 398, 297–298.

[Bir1] Birch G E, Mason S G and Borisoff J F 2003 Current trends in brain–computer interface research at the neil squire foundation IEEE Trans. Neural Syst. Rehabil. Eng. 11 123–6

[Bir2] Birbaumer N, Kubler A, Ghanayim N, Hinterberger T, Perelmouter J, Kaiser J, Iversen I, Kotchoubey B, Neumann N and Flor H 2000 The thought translation device (TTD) for completely paralyzed patients IEEE Trans. Rehabil. Eng. 8 190–3

[Bla] Blankertz, B.; Dornhege, G.; Krauledat, M.; Müller, K. R.; Kunzmann, V.; Losch, F. & Curio, G. (2006). The Berlin brain-computer interface: EEG-based communication without subject training. IEEE Trans. on Rehabilitation Engineering, Vol. 14, No. 2., pp. 147- 152.

[Bla1] Blankertz B, Curio G and Muller K R 2002a Classifying single trial EEG: Towards brain–computer interfacing Advances in Neural Information Processing Systems vol 14, ed T G Dietterich, S Becker and Z Ghahramani (Cambridge, MA: MIT Press) pp 157–64

[Bla2] Blankertz B., G. Dornhege, M. Krauledat, K. Müller, and G. Curio, The non-invasive Berlin Brain-Computer Interface: fast acquisition of effective performance in untrained subjects. NeuroImage, 37, Aug., 539–550, (2007).

[Bor] Borisoff J F, Mason S G, Bashashati A and Birch G E 200 Brain–computer interface design for asynchronous control applications: Improvements to the LF-ASD asynchronous brain switch IEEE Trans. Biomed. Eng. 51 985–92

[Bos] Bostanov V 2004 BCI competition 2003–data sets ib and IIb: feature extraction from event-related brain potentials with the continuous wavelet transform and the t-value scalogram IEEE Trans. Biomed. Eng. 51 1057–61

[Boo] Boostani R and Moradi M H 2004 A new approach in the BCI research based on fractal dimension as feature and adaboost as classifier J. Neural Eng. 1 212–7

[Bra] Brahim H., „Brain-Computer Interface BCI literature – a bibliometric study”, ISSPA, page 626-629. IEEE, (2010)

[Bra1] BrainMaster Technologies, Inc Web site. http://www.brainmaster.com/. Accessed September 5, 2012.

[Bur] Burke D, Kelly S, de Chazal P and Reilly R 2002 A simultaneous filtering and feature extraction strategy for direct brain interfacing Proc. 24th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society (Houston, TX)

pp 279–80

[Car] Carlson T., Robert Leeb, Ricardo Chavarriaga, and José del R. Millán, The birth of the brain-controlled wheelchair, IROS, page 5444-5445. IEEE, (2012)

[Car1] Cardoso J.-F., ”Jacobi angles for simultaneous diagonalization” SIAM journal on matrix analysis application, vol. 17, no. 1, pp. 161-164, 1996

[Cic] Cichocki, S. Amari, Adaptive Blind Signal and Image Processing, Wiley, 2003

[Cin] Cincotti, F., Mattia, D., Aloise, F., Bufalari, S., Astolfi, L., De Vico Fallani, F., Tocci, A., Bianchi, L., Marciani, M.G., Gao, S., Millan, J., Babiloni, F.: High-resolution EEG techniques for brain – computer interface application. J. Neurosci. Methods 167(1),31-42 (2008)

[Che] Cheng M, Jia W, Gao X, Gao S and Yang F 2004 Mu rhythm-based cursor control: an offline analysis Clin. Neurophysiol. 115 745–51

[Cov] Cover T.M., and. Hart P.E, “Nearest neighbor pattern classification”, IEEE Transactions on Information Theory, 13, pp. 21–27, 1967

[Cur] Curran E, Sykacek P, Stokes M, Roberts S J, Penny W, Johnsrude I and Owen A M 2004 Cognitive tasks for driving a brain–computer interfacing system: a pilot study IEEE Trans. Neural Syst. Rehabil. Eng. 12 48–54

[Dau] Daubechies I., Ten Lectures on Wavelets, SIAM, Philadelphia, 1992

[Deb] Debener S. et al., What is novel în the novelty oddball paradigm? Functional Significance of the novelty P3 event-related potențial as revealed by independent component analysis, Cognitive Brain Research, vol. 22, no. 3, 309-321, 2005.

[Dor] Dornhege, G., Millán, J. d. R., Hinterberger, T., McFarland, D. J., and Müller, K. -R. (eds). (2007). Towards Brain– Computer Interfacing. Cambridge, MA: MIT Press.-s-a modificat

[Dor] Dornhege G, Blankertz B, Curio G and Muller K R 2004 Boosting bit rates in noninvasive EEG single-trial classifications by feature combination and multiclass paradigms IEEE Trans. Biomed. Eng. 51 993–1002

[Don] Donchin E., Spencer K., Wijesinghe R., The mental prosthesis: assessing the speed of a P300-based brain-computer interface, IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 8, no. 2, 174-179, 2000.

[Dud] Duda R., Hart P. and Stork D., 2000 Pattern Classification (2nd Edition), Wiley-Interscience.

[Dur] Durka P. J., J. Zygierewicz, H. Klekowicz, J. Ginter, and K. J. Blinowska, “On the statistical significance of event-related EEG desynchronization and synchronization in the time-frequency plane.,” IEEE transactions on bio-medical engineering, vol. 51, no. 7, pp. 1167–75, Jul. 2004.

[Edw] Edward RD, Seungchan K, Yidong C. Coefficient of determination in nonlinear signal processing. Signal Processing 2000; 80(10): 2219-2235

[EEG] EEG Info Web site. http://www.eeginfo.com/. Accessed September 5, 2012.

[Elb] Elbert T, Rockstroh B, Lutzenberger W, Birbaumer N. Bio-feedback of slow cortical potentials. I. Electroencephalogr ClinNeurophysiol. 1980;48(3):293-301.

[Erf] Erfanian A, Erfani A „ICA-based classification scheme for EEG-based brain–computer interface: the role of mental practice and concentration skills” Proc. 26th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society (San Francisco, CA) pp 235–8, 2004

[Fab] Fabiani G E, McFarland D J, Wolpaw J R and Pfurtscheller G 2004 Conversion of EEG activity into cursor movement by a brain–computer interface (BCI) IEEE Trans. Neural Syst. Rehabil. Eng. 12 331–8

[Far] Farwell L. A., Donchin E., Talking off the top of your head: a mental prosthesis utilizing event-related brain potentials, Electroencephalography and Clinical Neurophysiology 70 510–513, 1988.

[Fet] Fetz EE. Operant conditioning of cortical unit activity. Science.1969;163(3870):955-958

[Fis] Fisher R. A. The use of multiple measurements in taxonomic problems.Annals of Eugenics, 7:179-188, 1936

[Gar] Garcia G, Ebrahimi T and Vesin J M 2003a Correlative exploration of EEG signals for direct brain–computer communications Proc. IEEE Int. Conf. on Acoustics, Speech, and Signal Processing (Hong Kong) pp 816–9

[Gar1] Garrett D, Peterson D A, Anderson C W and Thaut M H 2003 Comparison of linear, nonlinear, and feature selection methods for EEG signal IEEE Trans. Neural Syst. Rehabil. Eng. 11 141–4

[Gas] Gastaut H. Electrocorticographic study of the reactivity of rolandic rhythm. Rev Neurol (Paris). 1952;87:176-182

[Geo] Georgiev S. and Z. Minchev, “EEG Fractal Dimension Measurement before and after Human Auditory Stimulation,” pp. 70–81, 2009.

[Gla] Glassman E L 2005 A wavelet-like filter based on neuron action potentials for analysis of human scalp electroencephalographsIEEE Trans. Biomed. Eng. 52 1851–62

[Gla1]

[Gra] Graimann B., Allison B. Pfurtscheller G., BRAIN–COMPUTER INTERFACES Revolutionizing Human–Computer Interaction., Springer ,Graz, Austria, April 2010

[Gra1] Graimann B, Huggins J E, Schlogl A, Levine S P and Pfurtscheller G 2003b Detection of movement-related desynchronization patterns in ongoing single-channel electrocorticogram IEEE Trans. Neural Syst. Rehabil. Eng. 11 276–81

[Gra2] B. Graimann, B. Allison, C. Mandel, T. Lüth, D. Valbuena, and A. Gräser, Non-invasive braincomputer interfaces for semi-autonomous assistive devices. Robust Intell Syst, 113–138,(2009).

[Gro] Grossman A. and J. Morlet. Decomposition of Hardy functions into square integrable wavelets of constant shape. SIAM J. Math. Anal, 15: 723 – 736, 1984.

[Gol]. Golub G. H and Loan C. F. V., Matrix Computations. Baltimore, MD:Johns Hopkins Univ. Press, 1989

[Gua] Guan C, Thulasidas M and Wu J 2004 High performance P300 speller for brain–computer interface Proc. IEEE Int. Workshop on Biomedical Circuits and Systems (Singapore) pp S3/5/INV-S3/13–16

[Gug] Guger TechnologiesWeb site. http://www.gtec.at/. Accessed September 5, 2012.

[Gug1] Guger C, Edlinger G and Pfurtscheller G 2003b How many people are able to operate an EEG-based brain–computer interface (BCI)? Presented at the 2nd Int. Meeting on Brain–Computer Interfaces for Communication and Control (Albany, NY)

[Hai] Haibin, Z; Xu, W. & Hong, W. (2008). Brain-computer interface design using relative wavelet energy. The 2nd International Conference on Control and Decision, pp. 3558-3561, 2-4 July.

[Haz] Hazrati, M. K., Erfanian, A., and Hofmann, U. G.: Fractal Components from Electroencephalogram Provide Features for Brain Computer Interface. Proceedings of Biosignal 2010: Analysis of Biomedical Signals and Images, Brno University of Technology, vol. 20, pp. 387-393, 2010

[Hig] Higuchi T., Approach to an irregular time series on the basis of the fractal theory, vol. 31, no. 2, pp. 277–283, 1988.

[Hin] Hinterberger T and Baier G 2005 Parametric orchestral sonification of EEG in real time IEEE Multimedia 12 70–9

[Hoc] Hochberg LR, Serruya MD, Friehs GM, et al. Neuronal ensemble control of prosthetic devices by a human with tetraplegia. Nature. 2006;442(7099):164-171.

[Hu] Hu J, Si J, Olson B P and He J 2004 Principle component feature detector for motor cortical control Proc. 26th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society (San Francisco, CA) pp 4021–4

[Hua] Huan N J and Palaniappan R 2004 Neural network classification of autoregressive features from electroencephalogram signals for brain–computer interface design J. Neural Eng. 1 142–50

[Hug] Huggins J.E. et al., Detection of event related potențials for development of a direct brain interface, Journal of Clinical Neurophysiology, vol. 16, no. 5, 448–455, 1999.

[Hug1] Huggins J E et al 2003 Electrocorticogram as the basis for a direct brain interface: Opportunities for improved detection accuracy Proc. 1st IEEE-EMBS Conf. on Neural Engineering (Capri Island, Italy) pp 587–90

[Hun] Hung C I, Lee P L, Wu Y T, Chen L F, Yeh T C and Hsieh J C 2005 Recognition of motor imagery electroencephalography using independent component analysis and machine classifiers Ann. Biomed. Eng. 33 1053–70

[Hur] Hurst H., Long-Term Storage Capacity of Reservoirs. Trans. Am. Soc. Civil Eng., 116, 770-799, 1951.

[Hyv] Hyvärinen A., Oja E. “Independent component analysis: algorithms and application”,Neural Networks 13, 2000, pp. 411-430.

[Jia] JiaW, Zhao X, Liu H, Gao X, Gao S and Yang F 2004 Classification of single trial EEG during motor imagery based on ERD Proc. 26th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society (San Francisco, CA) pp 5–8

[Kai] Kaiser J, Kubler A, Hinterberger T, Neumann N and Birbaumer N 2002 A non-invasive communication device for the paralyzed Minim. Invasive Neurosurg. 45 19–23

[Kar] Karim, A. A., Hinterberger, T., Richter, J., Mellinger, J., Neumann, N., Flor, H., Kübler, A., and Birbaumer, N. (2006). Neural internet: web surfing with brain potentials for the completely paralyzed. Neurorehabil. Neural Repair 20, 508–515.

[Kre] Krepki, R., Blankertz, B., Curio, G., and Müller, K.-R. (2007). The Berlin brain–computer interface (BBCI): towards a new communication channel for online control in gaming applications. J. Multimedia Tools Appl. 33, 73–90.

[Kru] Krusienski DJ, Shih JJ. Control of a visual keyboard using anelectrocorticographic brain-computer interface. Neurorehabil Neural Repair. 2011;25(4):323-331.

[Kol] Kolodziej M., Majkowski A., Rak R., Linear discriminant analysis as EEG features reduction technique for brain-computer interfaces, PRZEGLĄD ELEKTROTECHNICZNY (Electrical Review), ISSN 0033-2097, R. 88 NR 3a/2012

[Kos] Kostov A. and M. Polak, Parallel man-machine training in development of EEG-based cursor control. IEEE Trans Rehabil Eng, 8(2), 203–205, (2000).

[Kub] Kubler A, Nijboer F, Mellinger J, Vaughan T M, Pawelzik H, Schalk G, McFarland D J, Birbaumer N and Wolpaw J R 2005 Patients with ALS can use sensorimotor rhythms

[Kuh] Kuhlman WN. EEG feedback training: enhancement of somatosensory cortical activity. Electroencephalogr Clin Neurophysiol. 1978;45(2):290-294.

[Laz] Lazăr Anca Mihaela, Prelucrarea discreta a semnalelor medicale unidimesionale, Vol. 2, Ed. “Gh.Asachi” Iasi,2005

[Li] Li Y, Gao X, Liu H and Gao S 2004b Classification of single-trial electroencephalogram during finger movement IEEE Trans. Biomed. Eng. 51 1019–25

[Li1] Li Y, Cichocki A, Guan C and Qin J 2004a Sparse factorization preprocessing-based offline analysis for a cursor control experiment Proc. IEEE Int. Workshop on Biomedical Circuits and Systems (Singapore) pp S3/5/INV-S3/5/5–8

[Lee] Leeb, R., Friedman, D., Müller-Putz, G. R., Scherer, R., Slater, M., and Pfurtscheller, G. (2007a). Self-paced (asynchronous) BCI control of a wheelchair in virtual environments: a case study with a tetraplegics. Comput. Intell. Neurosci, 2007, 8, Article ID 79642. doi:10.1155/2007/79642.

[Lee1] Leeb R., D. Friedman, G.R. Müller-Putz, R. Scherer, M. Slater, and G. Pfurtscheller, Self- Paced (Asynchronous) BCI control of a wheelchair in virtual environments: A case study with a Tetraplegic. Comput Intell Neurosci, 79642, (2007).

[Lem] Lemm S, Schafer C and Curio G 2004 BCI competition 2003–data set III: probabilistic modeling of sensorimotor mu rhythms for classification of imaginary hand movements IEEE Trans. Biomed. Eng. 51 1077–80

[Lem1] Lemm S, Blankertz B, Curio G and Muller K R 2005 Spatio-spectral filters for improving the classification of single trial EEG IEEE Trans. Biomed. Eng. 52 1541–8

[Loo] Loo C. K, A. Samraj, and G. C. Lee, “Evaluation of Methods for Estimating Fractal Dimension in Motor Imagery-Based Brain Computer Interface,” Discrete Dynamics in Nature and Society, vol. 2011, pp. 1–8, 2011.

[Lux] Lux T., Marchesi M., Scaling and criticality in a stochastic multi-agent model of a financial market, Nature, 397, 498-500, 1999.

[Mak] Makeig S. et al., Blind Separation of Auditory Event-related Brain Responses into Independent Components, Proceedings of the National Academy of Sciences of the United States of America, vol. 94, 10979–10984, 1997.

[Mal] Mallat S., “A Wavelet Tour of Signal Processing,” 1999.

[Man] Mandel C., K. Huebner, and T. Vierhuff, “Towards an autonomous wheelchair: Cognitive aspects in service robotics,” in Proceedings of Towards Autonomous Robotic Systems, 2005.

[Man1] Mandelbrot B. B, The Fractal Geometry of Nature, vol. 51, no. 3, p. 286, 1983.

[Mar] Martens, C.; Lang, O.; Ruchel, N.; Ivlev, O. & Gräser, A. (2001). A FRIEND for Assisting Handicapped People. IEEE Robotics and Automation Magazine, Vol. 7, No. 1, March 2001, pp. 57-65, ISSN 1070-9932

[McF] McFarland D.J., L.M. McCane, S.V. David, and J.R. Wolpaw, Spatial filter selection for EEG-based communication. Electroencephalogr Clin Neurophysiol, 103(3), 386–394, (1997).

[McF1] McFarland D J, Anderson C W, Muller K R, Schlogl A and Krusienski D J 2006 BCI meeting 2005—workshop on BCI signal processing: feature extraction and translation IEEE Trans. Neural Syst. Rehabil. Eng. 14 135–8

[McF2] McFarland D J, Sarnacki W A, Vaughan T M and Wolpaw J R 2005 Brain–computer interface (BCI) operation: signal and noise during early training sessions Clin. Neurophysiol.116 56–62

[Mil] Millett, D. (2001), "Hans Berger: From Psychic Energy to the EEG", Perspectives in Biology and Medicine 44 (4): 522–42

[Mil1]Millán, J. d. R. (2002). “Brain–computer interfaces,” in Handbook of Brain Theory and Neural Networks, 2nd Edn,ed. M. A. Arbib (Cambridge, MA: The MIT Press), 178–181.

[Mil2] Millán, J. d. R., Renkens, F., Mourińo, J., and Gerstner, W. (2004a). Brainactuated interaction. Artif. Intell. 159, 241–259.

[Mil3] Millán, J. d. R., Renkens, F., Mourińo, J., and Gerstner, W. (2004b). Noninvasive brain-actuated control of a mobile robot by human EEG. IEEE Trans. Biomed. Eng. 51, 1026–1033.

[Mil4] Millán, J. d. R., Galán, F., Vanhooydonck, D., Lew, E., Philips, J., and Nuttin, M. (2009). “Asynchronous non-invasive brain-actuated control of an intelligent wheelchair,” in Proceedings of the 31st Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Minneapolis, MN: IEEE.

[Mel] Mellinger J., G. Schalk: BCI2000: A General-Purpose Software Platform for BCI Research, In: G. Dornhege, J. del R. Millán, T. Hinterberger, D.J. McFarland, K.-R. Müller (eds.), Toward Brain-Computer Interfacing, MIT Press, 2007.

[Mel1] Mellinger, J., Shalk, G., Braun, C., Preissl, H., Rosenstiel, W., Birbaumer, N., Kubler, A.: An MEG-based brain-computer interface (BCI). NeuroImage 36(3), 581-593 (2007)

[Mug] Mugler, E., Bensch, M., Halder, S., Rosenstiel, W., Bogdan, M., Birbaumer, N., and Kübler, A. (2008). Control of an internet browser using the P300 event-related potential. Int. J. Bioelectromagn. 10, 56–63.

[Mul] Müller-Putz, G. R., Scherer, R., Pfurtscheller, G., and Rupp, R. (2005). EEG-based neuroprosthesis control: a step towards clinical practice. Neurosci. Lett. 382, 169–174.

[Mul1] Müller-Putz, G. R., Scherer, R., Pfurtscheller, G., and Rupp, R. (2006). Brain–computer interfaces for control of neuroprostheses: from synchronous to asynchronous mode of operation. Biomed. Tech. 51, 57–63.

[Mul2] Müller-Putz G.R. and G. Pfurtscheller, Control of an Electrical Prosthesis With an SSVEPBased BCI, IEEE Trans Biomed Eng, 55, 361–364, (2008).

[Mun] Munteanu F., Cristian I. , Suteanu C. Smoothing dimensions for time series characterization, Fractals vol.III nr.2 1995

[Mus] Musha, T.; Terasaki, Y.; Haque, H.A. & Ivanitsky, G.A. (1997). Feature extraction from EEGs associated with emotions. Artificial Life and Robotics, Vol. 1, No. 1, pp. 15-19.

[Neu] Neuper C, Scherer R, Reiner M and Pfurtscheller G 2005 Imagery of motor actions: differential effects of kinesthetic and visual-motor mode of imagery in single-trial EEG Brain Res. Cogn. Brain Res. 25 668–77

[Neu1] Neumann N, Hinterberger T, Kaiser J, Leins U, Birbaumer N and Kubler A 2004 Automatic processing of self-regulation of slow cortical potentials: evidence from brain–computer communication in paralysed patients Electroencephalogr. Clin. Neurophysiol. 115 628–35

[Nic] Nicolelis, M. A. L. (2001). Actions from thoughts. Nature 409, 403–407.

[Nij] Nijholt, A., Tan, D., Allison, B., Millán, J. d. R., Graimann, B., and Jackson, M. M. (2008b). “Brain–computer interfaces for HCI and games,” in Proceedings of ACM CHI 2008, Florence.

[Obe] Obermaier, B., Müller, G. R., and Pfurtscheller, G. (2003). “Virtual keyboard” controlled by spontaneous EEG activity. IEEE Trans. Neural Syst. Rehabil. Eng. 11, 422–426

[Pal] Palaniappan R 2005 Brain–computer interface design using band powers extracted during mental tasks Proc. IEEE-EMBS Conf. on Neural Engineering (Arlington, VA) pp 321–4

[Pen] Penny W D, Roberts S J, Curran E A and Stokes M J 2000 EEG-based communication: a pattern recognition approach IEEE Trans. Rehabil. Eng. 8 214–5

[Pet] Peterson D A, Knight J N, Kirby M J, Anderson C W and Thaut M H 2005 Feature selection and blind source separation in an EEG-based brain–computer interface EURASIP J. Appl. Signal Process. 19 3128–40

[Pol] Polich J., Herbst K., P300 as a clinical assay: rationale, evaluation and findings, International Journal of Psychophysiology, vol. 38, no. 1, 3-19, 2000.

[Pol1] Polikar R., The Story of Wavelets, Physics and Modern topics in Mechanical and Electrical Engineering (ed. N Mastorakis), 192-197, World Scientific and Eng. Society Press, 1999.

[Pho]Phothisonothai M and M. Nakagawa, “Fractal-based EEG data analysis of body parts movement imagery tasks.,” The journal of physiological sciences”: JPS, vol. 57, no. 4, pp. 217–26, Aug. 2007.

[Pho1] Phothisonothai M. and M. Nakagawa, “EEG signal classification method based on fractal features and neural network.,” Conference proceedings”, Annual International Conference of the IEEE Engineering in Medicine and Biology Society. IEEE Engineering in Medicine and Biology Society. Conference, vol. 2008, pp. 3880–3, Jan. 2008.

[Pfu] Pfurtscheller, G., Guger, C., Müller, G., Krausz, G., and Neuper, C. (2000). Brain oscillations control hand orthosis in a tetraplegic. Neurosci. Lett. 292, 211–214.

[Pfu1] Pfurtscheller G, Neuper C, Flotzinger D and Pregenzer M 1997 EEG-based discrimination between imagination of right and left hand movement Electroencephalogr. Clin. Neurophysiol. 103 642–51

[Pfu2] Pfurtscheller G, Neuper C, Guger C, Harkam W, Ramoser H, Schlogl A, Obermaier B and Pregenzer M 2000 Current trends in graz brain–computer interface (BCI) research IEEE Trans. Rehabil. Eng. 8 216–9

[Pfu3] Pfurtscheller G and Lopes da Silva F H 1999 Event-related EEG/MEG synchronization and desynchronization: basic principles Clin. Neurophysiol. 110 1842–57

[Pfu4]. G. Pfurtscheller, G.R. Müller-Putz, A. Schlögl, B. Graimann, R. Scherer, R. Leeb, C. Brunner, C. Keinrath, F. Lee, G. Townsend, C. Vidaurre, and C. Neuper, 15 years of BCI research at Graz University of Technology: current projects. IEEE Trans Neural Syst Rehabil Eng, 14, Jun., 205–210, (2006).

[Pfu5] Pfurtscheller G., C. Neuper, G.R. Müller, B. Obermaier, G. Krausz, A. Schlögl, R. Scherer, B. Graimann, C. Keinrath, D. Skliris,M.Wörtz, G. Supp, and C. Schrank, Graz-BCI: state of the art and clinical applications. IEEE Trans Neural Syst Rehabil Eng, 11, Jun., 177–180, (2003).

[Pfu6] Pfurtscheller G., T. Solis-Escalante, R. Ortner, and P. Linortner, Self-Paced operation of an SSVEP-based orthosis with and without an imagery-based brain switch: A feasibility study towards a Hybrid BCI. IEEE Trans Neural Syst Rehabil Eng, 18(4), Feb., 409–414, (2010).

[Qin] Qin L and He B 2005 A wavelet-based time-frequency analysis approach for classification of motor imagery for brain–computer interface applications J. Neural Eng. 2 65–72

[Ran] Ranta-aho P.O. et al., Single trial estimațion of Multichannel Evoked Potențial Measurements, IEEE Transaction on Biomedical Engineering, vol 50, no 2, February, 2003.

[Rob] Roberts S J and Penny W 2003 Real-time brain–computer interfacing: a preliminary study using bayesian learning Med. Biol. Eng. Comput. 38 56–61

[Rao] Rao R., Bopardikar A., Wavelet Transforms- Introduction to Theory and Applications, Addison-Wesley Longman, 1998.

[Sal] Salil H. Patel, Pierre N. Azzam, Characterization of N200 and P300: Selected Studies of the Event – Related Potential. International Journal of Medical Sciences 2005

[Sch] Schalk G., McFarland D.J., Hinterberger T., Birbaumer N., Wolpaw J.R., Bci2000: a general-purpose brain-computer interface (bci) system. IEEE Transactions on Biomedical Engineering, vol. 51, no. 6, 1034–1043, 2004.

[Sch1] Schlogl A, Keinrath C, Scherer R and Pfurtscheller G 2003 Information transfer of an EEG-based brain–computer

interface Proc. IEEE-EMBS Conf. on Neural Engineering (Capri Island, Italy) pp 641–4

[Ser] Serby H, Yom-Tov E and Inbar G F 2005 An improved P300-based brain–computer interface IEEE Trans. Neural Syst. Rehabil. Eng. 13 89–98

[Sel] Sellers et al., A P300 event-related potential brain–computer interface (BCI): The effects of matrix size and inter stimulus interval on performance, Biological Psychology 70(2006):242-252. April 2006

[Shi] Shih Jerry J.; Dean J. Krusienski; and Jonathan R. Wolpaw, Brain-Computer Interfaces in Medicine, Mayo Clin Proc. n March 2012;87(3):268-279

[Su] Su Ryu C, Song Y, Yoo D S, Choi S, Moon S S and Sohn J H 1999 EEG-based discrimination between yes and no Proc. 21st Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society & Annual Fall Meeting of the Biomedical Engineering Society (Atlanta, GA) p 444

[Tan] Tangermann, M. W., Krauledat, M., Grzeska, K., Sagebaum, M., Vidaurre, C., Blankertz, B., and Müller, K.-R. (2008). “Playing pinball with non-invasive BCI,” in 22nd Annual Conference on Neural Information Processing Systems, Vancouver.

[Tar] Tărniceriu D., Bazele prelucrării numerice a semnalelor, Ed. Politehnium, Iași, 2008.

[Tav] Tavakolian K, Nasrabadi A M and Rezaei S 2004 Selecting better EEG channels for classification of mental tasks Proc. IEEE Int. Symp. on Circuits and Systems 537–40

[Thu] Thulasidas M, Guan C, Ranganatha S, Wu J K, Zhu X and Xu W 2004 Effect of ocular artifact removal in brain–computer interface accuracy Proc. 26th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society (San Francisco, CA) pp 4385–8

[Tow] Townsend G, Graimann B and Pfurtscheller G 2004 Continuous EEG classification during motor imagery—simulation of an asynchronous BCI IEEE Trans. Neural Syst. Rehabil. Eng. 12 258–65

[Val] Valens C., A really friendly guide to wavelets, https://www.cs.unm.edu/~williams/cs530/arfgtw.pdf

[Vid] Vidal JJ. Toward direct brain-computer communication. Annu Rev Biophys Bioeng. 1973;2:157-180.

[Vel] M. Velliste, S. Perel, M.C. Spalding, A.S. Whitford, and A.B. Schwartz, Cortical control of a prosthetic arm for self-feeding. Nature, 453, 1098–1101, (2008).

[Wan] Wang T, Deng J and He B 2004a Classifying EEG-based motor imagery tasks by means of time-frequency synthesized spatial patterns Clin. Neurophysiol. 115 2744–53

[Wan1]Wang, T.; Deng, J. & He, B. (2004b). Classification of motor imagery EEG patterns and their topographic representation. Proc. 26th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society, (San Francisco, CA), pp. 4359-4362.

[Wic] Wickelgren, I. (2003). Tapping the mind. Science 299, 496–499.

[Wil] Williamson, J., Murray-Smith, R., Blankertz, B., Krauledat, M., and Müller, K.-R. (2009). Designing for uncertain, asymmetric control: interaction design for brain–computer interfaces. Int. J. Hum. Comput. Stud. 67, 827–841.

[Wol] Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., and Vaughan, T. M. (2002). Brain–computer interfaces for communication and control. Clin.Neurophysiol. 113, 767–791.

[Wol1] Wolpaw JR. et.al., Brain-Computer Interface Technology: A Review of the First International Meeting, IEEE Transactions on Rehabilitation Engineering., vol. 8, no. 2, 164-173, 2000

[Wol2] Wolpaw J R and McFarland D J 2004 Control of a two-dimensional movement signal by a noninvasive brain–computer interface in humans Proc. Natl Acad. Sci. USA 101 17849–54

[Wol3] Wolpaw JR, McFarland DJ, Neat GW, Forneris CA. An EEG-based brain-computer interface for cursor control. Electroencephalogr Clin Neurophysiol. 1991;78(3):252-259.

[Wol4] Wolpaw J R, McFarland D J, Vaughan T M and Schalk G 2003 The wadsworth center brain–computer interface (BCI) research and development program IEEE Trans. Neural Syst. Rehabil. Eng. 11 204–7

[Wu] Wu R C, Liang S F, Lin C T and Hsu C F 2004 Applications of event-related-potential-based brain–computer interface to intelligent transportation systems Proc. IEEE Int. Conf. On Networking, Sensing and Control (Taipei, Taiwan) pp 813–8

[Yoo] Yoon H, Yang K and Shahabi C 2005 Feature subset selection and feature ranking for multivariate time series IEEE Trans. Knowl. Data Eng. 17 1186–98

[Xu] Xu N, Gao X, Hong B, Miao X, Gao S and Yang F 2004a BCI competition 2003–data set IIb: enhancing P300 wave detection using ICA-based subspace projections for BCI applications IEEE Trans. Biomed. Eng. 51 1067–72

[Xu1] Xu, B-G. & Song, A-G. (2008). Pattern recognition of motor imagery EEG using wavelet transform. J. Biomedical Science and Engineering, Vol. 1, pp. 64-67

[www1] http://www.wireheading.com/delgado/brainchips.pdf [1 December 2013].

[www2] http://news.bbc.co.uk/2/hi/science/nature/471786.stm [1 December 2013].

[www3]http://neurogadget.com/2011/02/09/brain-controlled-prosthetic-armfirst-to-pass-speedy-approval-process/891 [2 December 2013].

[www4]http://neurogadget.com/2011/09/26/brain-controlled-tv-available-inchina-this-october/2649 [3 December 2013].

[www5]http://neurogadget.com/2012/01/09/ibms-next-5-in-5-predicts-smallermind-reading-devices-by-2017/3416 [10 January 2013].

[www6]http://www.mathworks.com/matlabcentral/fileexchange/29673-lda-linear-discriminant-analysis/content/LDA.m (10.04. 2014)

Bibliografie

[Aka] Akay M., Nonlinear Biomedical signal processing, Dynamic Analysis and Modeling, IEEE Press, Vol II, 1-25, 2001

[Ald] Aldea R., “Multiresolution wavelet analysis and Hurst estimation used for highlighting sensorimotor rhythms,” Buletinul Institutului Politehnic Iasi, Vol. LIX (LXIII), pp. 63-71, 2013.

[Ald1] Aldea R., O. Eva, “Detecting sensorimotor rhythms from the EEG signals using the independent component analysis and the coefficient of determination,” ISSCS Proceedings, pp. 13–16, 2013

[All] Allison, B. Z., Wolpaw, E. W., and Wolpaw, J. R. (2007). Brain–computer interface systems: progress and prospects. Expert Rev. Med. Devices 4, 463–474.

[And] Anderson C W, Stolz E A and Shamsunder S 1998 Multivariate autoregressive models for classification of spontaneous electroencephalographic signals during mental tasks IEEE Trans. Biomed. Eng. 45 277–86

[Bas] Bashashati, A.; Fatourechi, M.;Ward R. K. & Birch, G. E. (2007). A survey of signal processing algorithms in brain-computer interfaces based on electrical brain signals, J. Neural Eng., June, Vol. 4, No. 2, pp. R32-R57.

[Bas] Bashashati A, Ward R K and Birch G E 2005 A new design of the asynchronous brain–computer interface using the knowledge of the path of features Proc. 2nd IEEE-EMBS Conf. on Neural Engineering (Arlington, VA) pp 101–4

[Bay] Bayliss, J. D. (2003). Use of the evoked potential P3 component for control in a virtual apartment. IEEE Trans. Neural Syst. Rehabil. Eng. 11, 113–116.

[Bay1] Bayliss J.D., Ballard D. H., A Virtual Reality Testbed for Brain Computer Interface Research, IEEE Transactions on Rehabilitation Engineering, vol 8, no 2, 188-190, 2000.

[Bay2] Bayliss J.D., A Flexible Brain-Computer Interface, PhD thesis, Department of Computer Science University of Rochester, 2001.

[Bay3] Bayliss J.D., Use of the Evoked Potențial P3 Component for Control în a Virtual Apartment, IEEE Transactions Rehabilitation Engineering, vol. 11, no. 2, 113–116, 2003.

[Bay4] Bayliss, J. D. & Ballard, D. H. (1999). Single trial P300 recognition in a virtual environment. Proc. Int. ICSC Symp. on Soft Computing in Biomedicine, (Genova, Italy).

[Ben] Bensch, M., Karim, A. A., Mellinger, J., Hinterberger, T., Tangermann, M., Bogdan, M., Rosenstiel, W., and Birbaumer, N. (2007). Nessi: an EEGcontrolled web browser for severely paralyzed patients. Comput. Intell. Neurosci. 2007, 5, Article ID 71863.doi:10.1155/2007/71863.

[Bel] Bell, C.J., Shenoy, P., Chalodhorn, R., Rao, R.P: Control of a humanoid robot by a noninvasive brain –computer interface in humans. J.Neural Eng. 5(2) 214-220 (2008)

[Bel1] Belouchrani A., Abed-Meraim K., Cardoso J.-F., Moulines E., „A blind separation technique using second order statistics” IEEE Tran. Signal Preccesing, vol. 45, no 2, pp 434-444, 1997

[Ber] Beran J., Statistic for long memory processes. New York, NY, 1994.

[Bir] Birbaumer, N., Ghanayim, N., Hinterberger, T., Iversen, I., Kotchoubey, B., Kübler, A., Perelmouter, J., Taub, E., and Flor, H. (1999). A spelling device for the paralysed. Nature 398, 297–298.

[Bir1] Birch G E, Mason S G and Borisoff J F 2003 Current trends in brain–computer interface research at the neil squire foundation IEEE Trans. Neural Syst. Rehabil. Eng. 11 123–6

[Bir2] Birbaumer N, Kubler A, Ghanayim N, Hinterberger T, Perelmouter J, Kaiser J, Iversen I, Kotchoubey B, Neumann N and Flor H 2000 The thought translation device (TTD) for completely paralyzed patients IEEE Trans. Rehabil. Eng. 8 190–3

[Bla] Blankertz, B.; Dornhege, G.; Krauledat, M.; Müller, K. R.; Kunzmann, V.; Losch, F. & Curio, G. (2006). The Berlin brain-computer interface: EEG-based communication without subject training. IEEE Trans. on Rehabilitation Engineering, Vol. 14, No. 2., pp. 147- 152.

[Bla1] Blankertz B, Curio G and Muller K R 2002a Classifying single trial EEG: Towards brain–computer interfacing Advances in Neural Information Processing Systems vol 14, ed T G Dietterich, S Becker and Z Ghahramani (Cambridge, MA: MIT Press) pp 157–64

[Bla2] Blankertz B., G. Dornhege, M. Krauledat, K. Müller, and G. Curio, The non-invasive Berlin Brain-Computer Interface: fast acquisition of effective performance in untrained subjects. NeuroImage, 37, Aug., 539–550, (2007).

[Bor] Borisoff J F, Mason S G, Bashashati A and Birch G E 200 Brain–computer interface design for asynchronous control applications: Improvements to the LF-ASD asynchronous brain switch IEEE Trans. Biomed. Eng. 51 985–92

[Bos] Bostanov V 2004 BCI competition 2003–data sets ib and IIb: feature extraction from event-related brain potentials with the continuous wavelet transform and the t-value scalogram IEEE Trans. Biomed. Eng. 51 1057–61

[Boo] Boostani R and Moradi M H 2004 A new approach in the BCI research based on fractal dimension as feature and adaboost as classifier J. Neural Eng. 1 212–7

[Bra] Brahim H., „Brain-Computer Interface BCI literature – a bibliometric study”, ISSPA, page 626-629. IEEE, (2010)

[Bra1] BrainMaster Technologies, Inc Web site. http://www.brainmaster.com/. Accessed September 5, 2012.

[Bur] Burke D, Kelly S, de Chazal P and Reilly R 2002 A simultaneous filtering and feature extraction strategy for direct brain interfacing Proc. 24th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society (Houston, TX)

pp 279–80

[Car] Carlson T., Robert Leeb, Ricardo Chavarriaga, and José del R. Millán, The birth of the brain-controlled wheelchair, IROS, page 5444-5445. IEEE, (2012)

[Car1] Cardoso J.-F., ”Jacobi angles for simultaneous diagonalization” SIAM journal on matrix analysis application, vol. 17, no. 1, pp. 161-164, 1996

[Cic] Cichocki, S. Amari, Adaptive Blind Signal and Image Processing, Wiley, 2003

[Cin] Cincotti, F., Mattia, D., Aloise, F., Bufalari, S., Astolfi, L., De Vico Fallani, F., Tocci, A., Bianchi, L., Marciani, M.G., Gao, S., Millan, J., Babiloni, F.: High-resolution EEG techniques for brain – computer interface application. J. Neurosci. Methods 167(1),31-42 (2008)

[Che] Cheng M, Jia W, Gao X, Gao S and Yang F 2004 Mu rhythm-based cursor control: an offline analysis Clin. Neurophysiol. 115 745–51

[Cov] Cover T.M., and. Hart P.E, “Nearest neighbor pattern classification”, IEEE Transactions on Information Theory, 13, pp. 21–27, 1967

[Cur] Curran E, Sykacek P, Stokes M, Roberts S J, Penny W, Johnsrude I and Owen A M 2004 Cognitive tasks for driving a brain–computer interfacing system: a pilot study IEEE Trans. Neural Syst. Rehabil. Eng. 12 48–54

[Dau] Daubechies I., Ten Lectures on Wavelets, SIAM, Philadelphia, 1992

[Deb] Debener S. et al., What is novel în the novelty oddball paradigm? Functional Significance of the novelty P3 event-related potențial as revealed by independent component analysis, Cognitive Brain Research, vol. 22, no. 3, 309-321, 2005.

[Dor] Dornhege, G., Millán, J. d. R., Hinterberger, T., McFarland, D. J., and Müller, K. -R. (eds). (2007). Towards Brain– Computer Interfacing. Cambridge, MA: MIT Press.-s-a modificat

[Dor] Dornhege G, Blankertz B, Curio G and Muller K R 2004 Boosting bit rates in noninvasive EEG single-trial classifications by feature combination and multiclass paradigms IEEE Trans. Biomed. Eng. 51 993–1002

[Don] Donchin E., Spencer K., Wijesinghe R., The mental prosthesis: assessing the speed of a P300-based brain-computer interface, IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 8, no. 2, 174-179, 2000.

[Dud] Duda R., Hart P. and Stork D., 2000 Pattern Classification (2nd Edition), Wiley-Interscience.

[Dur] Durka P. J., J. Zygierewicz, H. Klekowicz, J. Ginter, and K. J. Blinowska, “On the statistical significance of event-related EEG desynchronization and synchronization in the time-frequency plane.,” IEEE transactions on bio-medical engineering, vol. 51, no. 7, pp. 1167–75, Jul. 2004.

[Edw] Edward RD, Seungchan K, Yidong C. Coefficient of determination in nonlinear signal processing. Signal Processing 2000; 80(10): 2219-2235

[EEG] EEG Info Web site. http://www.eeginfo.com/. Accessed September 5, 2012.

[Elb] Elbert T, Rockstroh B, Lutzenberger W, Birbaumer N. Bio-feedback of slow cortical potentials. I. Electroencephalogr ClinNeurophysiol. 1980;48(3):293-301.

[Erf] Erfanian A, Erfani A „ICA-based classification scheme for EEG-based brain–computer interface: the role of mental practice and concentration skills” Proc. 26th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society (San Francisco, CA) pp 235–8, 2004

[Fab] Fabiani G E, McFarland D J, Wolpaw J R and Pfurtscheller G 2004 Conversion of EEG activity into cursor movement by a brain–computer interface (BCI) IEEE Trans. Neural Syst. Rehabil. Eng. 12 331–8

[Far] Farwell L. A., Donchin E., Talking off the top of your head: a mental prosthesis utilizing event-related brain potentials, Electroencephalography and Clinical Neurophysiology 70 510–513, 1988.

[Fet] Fetz EE. Operant conditioning of cortical unit activity. Science.1969;163(3870):955-958

[Fis] Fisher R. A. The use of multiple measurements in taxonomic problems.Annals of Eugenics, 7:179-188, 1936

[Gar] Garcia G, Ebrahimi T and Vesin J M 2003a Correlative exploration of EEG signals for direct brain–computer communications Proc. IEEE Int. Conf. on Acoustics, Speech, and Signal Processing (Hong Kong) pp 816–9

[Gar1] Garrett D, Peterson D A, Anderson C W and Thaut M H 2003 Comparison of linear, nonlinear, and feature selection methods for EEG signal IEEE Trans. Neural Syst. Rehabil. Eng. 11 141–4

[Gas] Gastaut H. Electrocorticographic study of the reactivity of rolandic rhythm. Rev Neurol (Paris). 1952;87:176-182

[Geo] Georgiev S. and Z. Minchev, “EEG Fractal Dimension Measurement before and after Human Auditory Stimulation,” pp. 70–81, 2009.

[Gla] Glassman E L 2005 A wavelet-like filter based on neuron action potentials for analysis of human scalp electroencephalographsIEEE Trans. Biomed. Eng. 52 1851–62

[Gla1]

[Gra] Graimann B., Allison B. Pfurtscheller G., BRAIN–COMPUTER INTERFACES Revolutionizing Human–Computer Interaction., Springer ,Graz, Austria, April 2010

[Gra1] Graimann B, Huggins J E, Schlogl A, Levine S P and Pfurtscheller G 2003b Detection of movement-related desynchronization patterns in ongoing single-channel electrocorticogram IEEE Trans. Neural Syst. Rehabil. Eng. 11 276–81

[Gra2] B. Graimann, B. Allison, C. Mandel, T. Lüth, D. Valbuena, and A. Gräser, Non-invasive braincomputer interfaces for semi-autonomous assistive devices. Robust Intell Syst, 113–138,(2009).

[Gro] Grossman A. and J. Morlet. Decomposition of Hardy functions into square integrable wavelets of constant shape. SIAM J. Math. Anal, 15: 723 – 736, 1984.

[Gol]. Golub G. H and Loan C. F. V., Matrix Computations. Baltimore, MD:Johns Hopkins Univ. Press, 1989

[Gua] Guan C, Thulasidas M and Wu J 2004 High performance P300 speller for brain–computer interface Proc. IEEE Int. Workshop on Biomedical Circuits and Systems (Singapore) pp S3/5/INV-S3/13–16

[Gug] Guger TechnologiesWeb site. http://www.gtec.at/. Accessed September 5, 2012.

[Gug1] Guger C, Edlinger G and Pfurtscheller G 2003b How many people are able to operate an EEG-based brain–computer interface (BCI)? Presented at the 2nd Int. Meeting on Brain–Computer Interfaces for Communication and Control (Albany, NY)

[Hai] Haibin, Z; Xu, W. & Hong, W. (2008). Brain-computer interface design using relative wavelet energy. The 2nd International Conference on Control and Decision, pp. 3558-3561, 2-4 July.

[Haz] Hazrati, M. K., Erfanian, A., and Hofmann, U. G.: Fractal Components from Electroencephalogram Provide Features for Brain Computer Interface. Proceedings of Biosignal 2010: Analysis of Biomedical Signals and Images, Brno University of Technology, vol. 20, pp. 387-393, 2010

[Hig] Higuchi T., Approach to an irregular time series on the basis of the fractal theory, vol. 31, no. 2, pp. 277–283, 1988.

[Hin] Hinterberger T and Baier G 2005 Parametric orchestral sonification of EEG in real time IEEE Multimedia 12 70–9

[Hoc] Hochberg LR, Serruya MD, Friehs GM, et al. Neuronal ensemble control of prosthetic devices by a human with tetraplegia. Nature. 2006;442(7099):164-171.

[Hu] Hu J, Si J, Olson B P and He J 2004 Principle component feature detector for motor cortical control Proc. 26th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society (San Francisco, CA) pp 4021–4

[Hua] Huan N J and Palaniappan R 2004 Neural network classification of autoregressive features from electroencephalogram signals for brain–computer interface design J. Neural Eng. 1 142–50

[Hug] Huggins J.E. et al., Detection of event related potențials for development of a direct brain interface, Journal of Clinical Neurophysiology, vol. 16, no. 5, 448–455, 1999.

[Hug1] Huggins J E et al 2003 Electrocorticogram as the basis for a direct brain interface: Opportunities for improved detection accuracy Proc. 1st IEEE-EMBS Conf. on Neural Engineering (Capri Island, Italy) pp 587–90

[Hun] Hung C I, Lee P L, Wu Y T, Chen L F, Yeh T C and Hsieh J C 2005 Recognition of motor imagery electroencephalography using independent component analysis and machine classifiers Ann. Biomed. Eng. 33 1053–70

[Hur] Hurst H., Long-Term Storage Capacity of Reservoirs. Trans. Am. Soc. Civil Eng., 116, 770-799, 1951.

[Hyv] Hyvärinen A., Oja E. “Independent component analysis: algorithms and application”,Neural Networks 13, 2000, pp. 411-430.

[Jia] JiaW, Zhao X, Liu H, Gao X, Gao S and Yang F 2004 Classification of single trial EEG during motor imagery based on ERD Proc. 26th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society (San Francisco, CA) pp 5–8

[Kai] Kaiser J, Kubler A, Hinterberger T, Neumann N and Birbaumer N 2002 A non-invasive communication device for the paralyzed Minim. Invasive Neurosurg. 45 19–23

[Kar] Karim, A. A., Hinterberger, T., Richter, J., Mellinger, J., Neumann, N., Flor, H., Kübler, A., and Birbaumer, N. (2006). Neural internet: web surfing with brain potentials for the completely paralyzed. Neurorehabil. Neural Repair 20, 508–515.

[Kre] Krepki, R., Blankertz, B., Curio, G., and Müller, K.-R. (2007). The Berlin brain–computer interface (BBCI): towards a new communication channel for online control in gaming applications. J. Multimedia Tools Appl. 33, 73–90.

[Kru] Krusienski DJ, Shih JJ. Control of a visual keyboard using anelectrocorticographic brain-computer interface. Neurorehabil Neural Repair. 2011;25(4):323-331.

[Kol] Kolodziej M., Majkowski A., Rak R., Linear discriminant analysis as EEG features reduction technique for brain-computer interfaces, PRZEGLĄD ELEKTROTECHNICZNY (Electrical Review), ISSN 0033-2097, R. 88 NR 3a/2012

[Kos] Kostov A. and M. Polak, Parallel man-machine training in development of EEG-based cursor control. IEEE Trans Rehabil Eng, 8(2), 203–205, (2000).

[Kub] Kubler A, Nijboer F, Mellinger J, Vaughan T M, Pawelzik H, Schalk G, McFarland D J, Birbaumer N and Wolpaw J R 2005 Patients with ALS can use sensorimotor rhythms

[Kuh] Kuhlman WN. EEG feedback training: enhancement of somatosensory cortical activity. Electroencephalogr Clin Neurophysiol. 1978;45(2):290-294.

[Laz] Lazăr Anca Mihaela, Prelucrarea discreta a semnalelor medicale unidimesionale, Vol. 2, Ed. “Gh.Asachi” Iasi,2005

[Li] Li Y, Gao X, Liu H and Gao S 2004b Classification of single-trial electroencephalogram during finger movement IEEE Trans. Biomed. Eng. 51 1019–25

[Li1] Li Y, Cichocki A, Guan C and Qin J 2004a Sparse factorization preprocessing-based offline analysis for a cursor control experiment Proc. IEEE Int. Workshop on Biomedical Circuits and Systems (Singapore) pp S3/5/INV-S3/5/5–8

[Lee] Leeb, R., Friedman, D., Müller-Putz, G. R., Scherer, R., Slater, M., and Pfurtscheller, G. (2007a). Self-paced (asynchronous) BCI control of a wheelchair in virtual environments: a case study with a tetraplegics. Comput. Intell. Neurosci, 2007, 8, Article ID 79642. doi:10.1155/2007/79642.

[Lee1] Leeb R., D. Friedman, G.R. Müller-Putz, R. Scherer, M. Slater, and G. Pfurtscheller, Self- Paced (Asynchronous) BCI control of a wheelchair in virtual environments: A case study with a Tetraplegic. Comput Intell Neurosci, 79642, (2007).

[Lem] Lemm S, Schafer C and Curio G 2004 BCI competition 2003–data set III: probabilistic modeling of sensorimotor mu rhythms for classification of imaginary hand movements IEEE Trans. Biomed. Eng. 51 1077–80

[Lem1] Lemm S, Blankertz B, Curio G and Muller K R 2005 Spatio-spectral filters for improving the classification of single trial EEG IEEE Trans. Biomed. Eng. 52 1541–8

[Loo] Loo C. K, A. Samraj, and G. C. Lee, “Evaluation of Methods for Estimating Fractal Dimension in Motor Imagery-Based Brain Computer Interface,” Discrete Dynamics in Nature and Society, vol. 2011, pp. 1–8, 2011.

[Lux] Lux T., Marchesi M., Scaling and criticality in a stochastic multi-agent model of a financial market, Nature, 397, 498-500, 1999.

[Mak] Makeig S. et al., Blind Separation of Auditory Event-related Brain Responses into Independent Components, Proceedings of the National Academy of Sciences of the United States of America, vol. 94, 10979–10984, 1997.

[Mal] Mallat S., “A Wavelet Tour of Signal Processing,” 1999.

[Man] Mandel C., K. Huebner, and T. Vierhuff, “Towards an autonomous wheelchair: Cognitive aspects in service robotics,” in Proceedings of Towards Autonomous Robotic Systems, 2005.

[Man1] Mandelbrot B. B, The Fractal Geometry of Nature, vol. 51, no. 3, p. 286, 1983.

[Mar] Martens, C.; Lang, O.; Ruchel, N.; Ivlev, O. & Gräser, A. (2001). A FRIEND for Assisting Handicapped People. IEEE Robotics and Automation Magazine, Vol. 7, No. 1, March 2001, pp. 57-65, ISSN 1070-9932

[McF] McFarland D.J., L.M. McCane, S.V. David, and J.R. Wolpaw, Spatial filter selection for EEG-based communication. Electroencephalogr Clin Neurophysiol, 103(3), 386–394, (1997).

[McF1] McFarland D J, Anderson C W, Muller K R, Schlogl A and Krusienski D J 2006 BCI meeting 2005—workshop on BCI signal processing: feature extraction and translation IEEE Trans. Neural Syst. Rehabil. Eng. 14 135–8

[McF2] McFarland D J, Sarnacki W A, Vaughan T M and Wolpaw J R 2005 Brain–computer interface (BCI) operation: signal and noise during early training sessions Clin. Neurophysiol.116 56–62

[Mil] Millett, D. (2001), "Hans Berger: From Psychic Energy to the EEG", Perspectives in Biology and Medicine 44 (4): 522–42

[Mil1]Millán, J. d. R. (2002). “Brain–computer interfaces,” in Handbook of Brain Theory and Neural Networks, 2nd Edn,ed. M. A. Arbib (Cambridge, MA: The MIT Press), 178–181.

[Mil2] Millán, J. d. R., Renkens, F., Mourińo, J., and Gerstner, W. (2004a). Brainactuated interaction. Artif. Intell. 159, 241–259.

[Mil3] Millán, J. d. R., Renkens, F., Mourińo, J., and Gerstner, W. (2004b). Noninvasive brain-actuated control of a mobile robot by human EEG. IEEE Trans. Biomed. Eng. 51, 1026–1033.

[Mil4] Millán, J. d. R., Galán, F., Vanhooydonck, D., Lew, E., Philips, J., and Nuttin, M. (2009). “Asynchronous non-invasive brain-actuated control of an intelligent wheelchair,” in Proceedings of the 31st Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Minneapolis, MN: IEEE.

[Mel] Mellinger J., G. Schalk: BCI2000: A General-Purpose Software Platform for BCI Research, In: G. Dornhege, J. del R. Millán, T. Hinterberger, D.J. McFarland, K.-R. Müller (eds.), Toward Brain-Computer Interfacing, MIT Press, 2007.

[Mel1] Mellinger, J., Shalk, G., Braun, C., Preissl, H., Rosenstiel, W., Birbaumer, N., Kubler, A.: An MEG-based brain-computer interface (BCI). NeuroImage 36(3), 581-593 (2007)

[Mug] Mugler, E., Bensch, M., Halder, S., Rosenstiel, W., Bogdan, M., Birbaumer, N., and Kübler, A. (2008). Control of an internet browser using the P300 event-related potential. Int. J. Bioelectromagn. 10, 56–63.

[Mul] Müller-Putz, G. R., Scherer, R., Pfurtscheller, G., and Rupp, R. (2005). EEG-based neuroprosthesis control: a step towards clinical practice. Neurosci. Lett. 382, 169–174.

[Mul1] Müller-Putz, G. R., Scherer, R., Pfurtscheller, G., and Rupp, R. (2006). Brain–computer interfaces for control of neuroprostheses: from synchronous to asynchronous mode of operation. Biomed. Tech. 51, 57–63.

[Mul2] Müller-Putz G.R. and G. Pfurtscheller, Control of an Electrical Prosthesis With an SSVEPBased BCI, IEEE Trans Biomed Eng, 55, 361–364, (2008).

[Mun] Munteanu F., Cristian I. , Suteanu C. Smoothing dimensions for time series characterization, Fractals vol.III nr.2 1995

[Mus] Musha, T.; Terasaki, Y.; Haque, H.A. & Ivanitsky, G.A. (1997). Feature extraction from EEGs associated with emotions. Artificial Life and Robotics, Vol. 1, No. 1, pp. 15-19.

[Neu] Neuper C, Scherer R, Reiner M and Pfurtscheller G 2005 Imagery of motor actions: differential effects of kinesthetic and visual-motor mode of imagery in single-trial EEG Brain Res. Cogn. Brain Res. 25 668–77

[Neu1] Neumann N, Hinterberger T, Kaiser J, Leins U, Birbaumer N and Kubler A 2004 Automatic processing of self-regulation of slow cortical potentials: evidence from brain–computer communication in paralysed patients Electroencephalogr. Clin. Neurophysiol. 115 628–35

[Nic] Nicolelis, M. A. L. (2001). Actions from thoughts. Nature 409, 403–407.

[Nij] Nijholt, A., Tan, D., Allison, B., Millán, J. d. R., Graimann, B., and Jackson, M. M. (2008b). “Brain–computer interfaces for HCI and games,” in Proceedings of ACM CHI 2008, Florence.

[Obe] Obermaier, B., Müller, G. R., and Pfurtscheller, G. (2003). “Virtual keyboard” controlled by spontaneous EEG activity. IEEE Trans. Neural Syst. Rehabil. Eng. 11, 422–426

[Pal] Palaniappan R 2005 Brain–computer interface design using band powers extracted during mental tasks Proc. IEEE-EMBS Conf. on Neural Engineering (Arlington, VA) pp 321–4

[Pen] Penny W D, Roberts S J, Curran E A and Stokes M J 2000 EEG-based communication: a pattern recognition approach IEEE Trans. Rehabil. Eng. 8 214–5

[Pet] Peterson D A, Knight J N, Kirby M J, Anderson C W and Thaut M H 2005 Feature selection and blind source separation in an EEG-based brain–computer interface EURASIP J. Appl. Signal Process. 19 3128–40

[Pol] Polich J., Herbst K., P300 as a clinical assay: rationale, evaluation and findings, International Journal of Psychophysiology, vol. 38, no. 1, 3-19, 2000.

[Pol1] Polikar R., The Story of Wavelets, Physics and Modern topics in Mechanical and Electrical Engineering (ed. N Mastorakis), 192-197, World Scientific and Eng. Society Press, 1999.

[Pho]Phothisonothai M and M. Nakagawa, “Fractal-based EEG data analysis of body parts movement imagery tasks.,” The journal of physiological sciences”: JPS, vol. 57, no. 4, pp. 217–26, Aug. 2007.

[Pho1] Phothisonothai M. and M. Nakagawa, “EEG signal classification method based on fractal features and neural network.,” Conference proceedings”, Annual International Conference of the IEEE Engineering in Medicine and Biology Society. IEEE Engineering in Medicine and Biology Society. Conference, vol. 2008, pp. 3880–3, Jan. 2008.

[Pfu] Pfurtscheller, G., Guger, C., Müller, G., Krausz, G., and Neuper, C. (2000). Brain oscillations control hand orthosis in a tetraplegic. Neurosci. Lett. 292, 211–214.

[Pfu1] Pfurtscheller G, Neuper C, Flotzinger D and Pregenzer M 1997 EEG-based discrimination between imagination of right and left hand movement Electroencephalogr. Clin. Neurophysiol. 103 642–51

[Pfu2] Pfurtscheller G, Neuper C, Guger C, Harkam W, Ramoser H, Schlogl A, Obermaier B and Pregenzer M 2000 Current trends in graz brain–computer interface (BCI) research IEEE Trans. Rehabil. Eng. 8 216–9

[Pfu3] Pfurtscheller G and Lopes da Silva F H 1999 Event-related EEG/MEG synchronization and desynchronization: basic principles Clin. Neurophysiol. 110 1842–57

[Pfu4]. G. Pfurtscheller, G.R. Müller-Putz, A. Schlögl, B. Graimann, R. Scherer, R. Leeb, C. Brunner, C. Keinrath, F. Lee, G. Townsend, C. Vidaurre, and C. Neuper, 15 years of BCI research at Graz University of Technology: current projects. IEEE Trans Neural Syst Rehabil Eng, 14, Jun., 205–210, (2006).

[Pfu5] Pfurtscheller G., C. Neuper, G.R. Müller, B. Obermaier, G. Krausz, A. Schlögl, R. Scherer, B. Graimann, C. Keinrath, D. Skliris,M.Wörtz, G. Supp, and C. Schrank, Graz-BCI: state of the art and clinical applications. IEEE Trans Neural Syst Rehabil Eng, 11, Jun., 177–180, (2003).

[Pfu6] Pfurtscheller G., T. Solis-Escalante, R. Ortner, and P. Linortner, Self-Paced operation of an SSVEP-based orthosis with and without an imagery-based brain switch: A feasibility study towards a Hybrid BCI. IEEE Trans Neural Syst Rehabil Eng, 18(4), Feb., 409–414, (2010).

[Qin] Qin L and He B 2005 A wavelet-based time-frequency analysis approach for classification of motor imagery for brain–computer interface applications J. Neural Eng. 2 65–72

[Ran] Ranta-aho P.O. et al., Single trial estimațion of Multichannel Evoked Potențial Measurements, IEEE Transaction on Biomedical Engineering, vol 50, no 2, February, 2003.

[Rob] Roberts S J and Penny W 2003 Real-time brain–computer interfacing: a preliminary study using bayesian learning Med. Biol. Eng. Comput. 38 56–61

[Rao] Rao R., Bopardikar A., Wavelet Transforms- Introduction to Theory and Applications, Addison-Wesley Longman, 1998.

[Sal] Salil H. Patel, Pierre N. Azzam, Characterization of N200 and P300: Selected Studies of the Event – Related Potential. International Journal of Medical Sciences 2005

[Sch] Schalk G., McFarland D.J., Hinterberger T., Birbaumer N., Wolpaw J.R., Bci2000: a general-purpose brain-computer interface (bci) system. IEEE Transactions on Biomedical Engineering, vol. 51, no. 6, 1034–1043, 2004.

[Sch1] Schlogl A, Keinrath C, Scherer R and Pfurtscheller G 2003 Information transfer of an EEG-based brain–computer

interface Proc. IEEE-EMBS Conf. on Neural Engineering (Capri Island, Italy) pp 641–4

[Ser] Serby H, Yom-Tov E and Inbar G F 2005 An improved P300-based brain–computer interface IEEE Trans. Neural Syst. Rehabil. Eng. 13 89–98

[Sel] Sellers et al., A P300 event-related potential brain–computer interface (BCI): The effects of matrix size and inter stimulus interval on performance, Biological Psychology 70(2006):242-252. April 2006

[Shi] Shih Jerry J.; Dean J. Krusienski; and Jonathan R. Wolpaw, Brain-Computer Interfaces in Medicine, Mayo Clin Proc. n March 2012;87(3):268-279

[Su] Su Ryu C, Song Y, Yoo D S, Choi S, Moon S S and Sohn J H 1999 EEG-based discrimination between yes and no Proc. 21st Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society & Annual Fall Meeting of the Biomedical Engineering Society (Atlanta, GA) p 444

[Tan] Tangermann, M. W., Krauledat, M., Grzeska, K., Sagebaum, M., Vidaurre, C., Blankertz, B., and Müller, K.-R. (2008). “Playing pinball with non-invasive BCI,” in 22nd Annual Conference on Neural Information Processing Systems, Vancouver.

[Tar] Tărniceriu D., Bazele prelucrării numerice a semnalelor, Ed. Politehnium, Iași, 2008.

[Tav] Tavakolian K, Nasrabadi A M and Rezaei S 2004 Selecting better EEG channels for classification of mental tasks Proc. IEEE Int. Symp. on Circuits and Systems 537–40

[Thu] Thulasidas M, Guan C, Ranganatha S, Wu J K, Zhu X and Xu W 2004 Effect of ocular artifact removal in brain–computer interface accuracy Proc. 26th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society (San Francisco, CA) pp 4385–8

[Tow] Townsend G, Graimann B and Pfurtscheller G 2004 Continuous EEG classification during motor imagery—simulation of an asynchronous BCI IEEE Trans. Neural Syst. Rehabil. Eng. 12 258–65

[Val] Valens C., A really friendly guide to wavelets, https://www.cs.unm.edu/~williams/cs530/arfgtw.pdf

[Vid] Vidal JJ. Toward direct brain-computer communication. Annu Rev Biophys Bioeng. 1973;2:157-180.

[Vel] M. Velliste, S. Perel, M.C. Spalding, A.S. Whitford, and A.B. Schwartz, Cortical control of a prosthetic arm for self-feeding. Nature, 453, 1098–1101, (2008).

[Wan] Wang T, Deng J and He B 2004a Classifying EEG-based motor imagery tasks by means of time-frequency synthesized spatial patterns Clin. Neurophysiol. 115 2744–53

[Wan1]Wang, T.; Deng, J. & He, B. (2004b). Classification of motor imagery EEG patterns and their topographic representation. Proc. 26th Annual Int. Conf. of the IEEE Engineering in Medicine and Biology Society, (San Francisco, CA), pp. 4359-4362.

[Wic] Wickelgren, I. (2003). Tapping the mind. Science 299, 496–499.

[Wil] Williamson, J., Murray-Smith, R., Blankertz, B., Krauledat, M., and Müller, K.-R. (2009). Designing for uncertain, asymmetric control: interaction design for brain–computer interfaces. Int. J. Hum. Comput. Stud. 67, 827–841.

[Wol] Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., and Vaughan, T. M. (2002). Brain–computer interfaces for communication and control. Clin.Neurophysiol. 113, 767–791.

[Wol1] Wolpaw JR. et.al., Brain-Computer Interface Technology: A Review of the First International Meeting, IEEE Transactions on Rehabilitation Engineering., vol. 8, no. 2, 164-173, 2000

[Wol2] Wolpaw J R and McFarland D J 2004 Control of a two-dimensional movement signal by a noninvasive brain–computer interface in humans Proc. Natl Acad. Sci. USA 101 17849–54

[Wol3] Wolpaw JR, McFarland DJ, Neat GW, Forneris CA. An EEG-based brain-computer interface for cursor control. Electroencephalogr Clin Neurophysiol. 1991;78(3):252-259.

[Wol4] Wolpaw J R, McFarland D J, Vaughan T M and Schalk G 2003 The wadsworth center brain–computer interface (BCI) research and development program IEEE Trans. Neural Syst. Rehabil. Eng. 11 204–7

[Wu] Wu R C, Liang S F, Lin C T and Hsu C F 2004 Applications of event-related-potential-based brain–computer interface to intelligent transportation systems Proc. IEEE Int. Conf. On Networking, Sensing and Control (Taipei, Taiwan) pp 813–8

[Yoo] Yoon H, Yang K and Shahabi C 2005 Feature subset selection and feature ranking for multivariate time series IEEE Trans. Knowl. Data Eng. 17 1186–98

[Xu] Xu N, Gao X, Hong B, Miao X, Gao S and Yang F 2004a BCI competition 2003–data set IIb: enhancing P300 wave detection using ICA-based subspace projections for BCI applications IEEE Trans. Biomed. Eng. 51 1067–72

[Xu1] Xu, B-G. & Song, A-G. (2008). Pattern recognition of motor imagery EEG using wavelet transform. J. Biomedical Science and Engineering, Vol. 1, pp. 64-67

[www1] http://www.wireheading.com/delgado/brainchips.pdf [1 December 2013].

[www2] http://news.bbc.co.uk/2/hi/science/nature/471786.stm [1 December 2013].

[www3]http://neurogadget.com/2011/02/09/brain-controlled-prosthetic-armfirst-to-pass-speedy-approval-process/891 [2 December 2013].

[www4]http://neurogadget.com/2011/09/26/brain-controlled-tv-available-inchina-this-october/2649 [3 December 2013].

[www5]http://neurogadget.com/2012/01/09/ibms-next-5-in-5-predicts-smallermind-reading-devices-by-2017/3416 [10 January 2013].

[www6]http://www.mathworks.com/matlabcentral/fileexchange/29673-lda-linear-discriminant-analysis/content/LDA.m (10.04. 2014)