Utilizarea interfeței creier -calculator (BCI) în controlul unei neuroproteze [305493]

UNIVERSITATEA DIN PETROȘANI

ȘCOALA DOCTORALĂ

DOMENIUL DE STUDII: INGINERIA SISTEMELOR

RAPORT DE CERCETARE 1

[anonimizat] (BCI) în controlul unei neuroproteze

Coordonator științific:

Prof.univ.dr.habil.ing. LEBA Monica

Doctorand: [anonimizat]. ROȘCA Sebastian Daniel

Petroșani

2018

C U P R I N S

CAPITOLUL I. 3

[anonimizat] (BCI). STADIUL ACTUAL 3

1.1. Tehnologii imagistice ale creierului 4

1.2. Electroencefalografia (EEG) 4

1.3. Învățarea utilizatorului pentru a controla semnalele creierului 5

1.4. Evaluarea impactului potențial 5

1.5. [anonimizat] (BCI) 6

1.5.1. Interfața BCI ca dispozitiv de navigare 7

1.5.2. Scurtă trecere în revistă a diferitelor tipuri de interfețe BCI 8

1.5.2.1. Interfețe BCI active 8

1.5.2.2. Interfețele BCI reactive 9

1.5.2.3. Interfețe BCI pasive 9

1.6. [anonimizat] (BCI) – Tipuri – Studiu 9

1.6.1. Tipuri de interfețe BCI 11

1.6.1.1. Interfețe BCI invasive 11

1.6.1.2. Interfețe BCI parțial invazive 12

1.6.1.3. Interfețe BCI neinvazive 13

1.7. [anonimizat] 14

1.7.1. Interfața BCI pentru tehnologia ajutătoare 14

1.7.1.1. Comunicarea 14

1.7.1.2. Controlul mediului 15

1.7.1.3. Mobilitatea 15

1.7.1.3.1. Controlul scaunului cu rotile 16

1.7.1.3.2. Robotica 16

1.7.2. Interfețe BCI pentru recreere 17

1.7.2.1. Jocuri 17

1.7.2.2. Realitatea virtuală 18

1.7.3. Expresia creativă 18

1.7.4. Interfața BCI pentru diagnosticul cognitiv și cunoașterea augmentată 19

1.7.5. Reabilitarea și controlul protetic 19

1.7.6. Controlul unei orteze robotizate cu ajutorul modelelor mentale 20

1.7.7. Controlul unui exoschelet pe baza sarcinilor mentale 21

1.8. Software 22

1.8.1. Instrumente bazate pe MATLAB pentru cercetarea interfeței BCI 22

1.8.2. Kit de Dezvoltare Software (SDK) Emotiv Ediție Educațională 23

1.8.3. EEGLAB 24

1.8.4. LIMO EEG 26

Bibliografie 28

CAPITOLUL I.

[anonimizat] (BCI). STADIUL ACTUAL

De-a [anonimizat] a comunica și de a interacționa cu mașinile prin propria gândire sau de a crea dispozitive care să poată privi în mintea și gândurile persoanei. Aceste idei au surprins imaginația omenirii sub forma unor mituri antice și a unor povești științifice contemporane.

[anonimizat], progresele tehnologiilor neurologice cognitive și imagistica creierului au început să ne ofere capacitatea de a interconecta direct cu creierul uman. Această abilitate este posibilă prin utilizarea de senzori care pot monitoriza o parte din procesele fizice care apar în creier și care corespund anumitor forme de gândire.

[anonimizat] a [anonimizat] a [anonimizat] (BCI), sisteme de comunicare care nu depind de capacitatea normală a nervilor periferici și a mușchilor. [anonimizat] a produce semnale care pot fi folosite pentru a controla computerele sau dispozitivele de comunicație.

Inițial, [anonimizat]. Eliminarea nevoii de mișcare în interfețele computerelor este o provocare și o recompensare, dar există și potențialul tehnologiilor de detectare a creierului ca mecanism de intrare care oferă acces la informații extrem de bogate despre starea utilizatorului. Accesul la aceste informații este valabil pentru cercetătorii interacțiunii om-calculator și deschide cel puțin trei domenii distincte de cercetare: controlul computerelor prin utilizarea gândirii singulare sau ca modalitate de intrare complementară, evaluarea sistemelor și a interfețelor și construirea de interfețe utilizator adaptive.

Impactul acestui lucru este extrem de ridicat, în special pentru cei care suferă leziuni neuromusculare devastatoare și boli neuro-degenerative, cum ar fi scleroza laterală amiotrofică, care privează persoanele de activitate musculară voluntară, lăsând intactă funcția cognitivă.

Credem că lucrul cu interfața creier-calculator este acum în faza de început și că există șansa de a o muta de la etapele de concept și de emulare la etapa de maturitate. Cu toate acestea, pentru a face acest lucru, nu numai că trebuie să continue descoperirile și invențiile în domeniu, dar și să înceapă să se construiască punți și să se mobilizeze cercetătorii să lucreze în alte domenii. Între timp, câmpul de interacțiune a computerului uman continuă să contribuie la extinderea lărgimii de bandă a informațiilor între om și mașină și, mai important, la conceperea de tehnologii care se integrează fără probleme în sarcinile noastre de zi cu zi.

Tehnologii imagistice ale creierului

Există două clase generale de tehnologii de imagistică a creierului: tehnologii invazive, în care senzorii sunt implantați direct pe sau în creier și tehnologii non-invazive, care măsoară activitatea creierului utilizând senzori externi. Deși tehnologiile invazive oferă o rezoluție temporală și spațială ridicată, acestea acoperă de obicei numai regiuni foarte mici ale creierului. În plus, aceste tehnici necesită proceduri chirurgicale care duc adesea la complicații medicale, pe măsură ce corpul se adaptează sau nu se adaptează la implanturi. În plus, odată ce au fost implantați, aceste tehnologii nu pot fi mutate pentru a măsura diferite regiuni ale creierului. În timp ce mulți cercetători experimentează astfel de implanturi [1] nu vom examina această cercetare în detaliu, deoarece considerăm că aceste tehnici sunt nepotrivite pentru munca de interacțiune om-calculator și utilizarea generală a consumatorilor.

Electroencefalografia (EEG)

EEG utilizează electrozii plasați direct pe scalp pentru a măsura potențialul electric slab (5-100 μV) generat de activitatea din creier (pentru o discuție detaliată despre EEG vezi [2]. Datorită lichidului, osului și a pielii care separă electrozii de activitatea electrică reală, semnalele tind să fie netezite și destul de zgomotoase. Prin urmare, în timp ce măsurătorile EEG au o rezoluție temporală bună cu întârzieri în zeci de milisecunde, rezoluția spațială tinde să fie slabă, cu o precizie de aproximativ 2-3 cm în cel mai bun caz, dar de obicei mai rea. Doi centimetri pe cortexul cerebral ar putea fi diferența dintre deducerea faptului că utilizatorul asculta muzică atunci când, de fapt, își mișcă mâinile.

Învățarea utilizatorului pentru a controla semnalele creierului

Pentru a utiliza cu succes interfețele curente de control direct asupra computerului, utilizatorii trebuie să învețe să manipuleze în mod intenționat semnalele creierului. Până în prezent, au existat două abordări pentru instruirea utilizatorilor pentru a-și controla semnalele creierului [3]. În primul rând, utilizatorii au executat sarcini cognitive specifice, cum ar fi imaginarea mișcării pentru a genera măsurarea activității creierului. Folosind această tehnică, utilizatorul poate trimite un semnal binar la calculator, de exemplu prin imaginarea secvențelor de odihnă și a activității fizice prin mutarea brațelor sau efectuarea loviturilor puternice. A doua abordare, numită condiționarea operantă, oferă utilizatorilor feedback continuu pe măsură ce încearcă să controleze interfața. Utilizatorii se pot gândi la orice sau la nimic atâta timp cât ating rezultatul dorit. De-a lungul multor sesiuni, utilizatorii dobândesc controlul interfeței fără a fi conștienți de modul în care aceștia desfășoară sarcina. utilizatorii găsesc această tehnică greu de stăpânit.

Evaluarea impactului potențial

Suntem încă într-un stadiu de început în cercetarea interfeței creier-calculator. Deoarece sistemele actuale necesită eforturi cognitive atât de mari și produc cantități mici de informații de control (cele mai bune sisteme obțin acum 25 de biți / minut), acestea rămân utile în principal în scenarii controlate cu grijă și numai pentru utilizatorii care nu au alternative motorii.

În timp ce cercetătorii cred că aceste interfețe vor deveni suficient de bune pentru a îmbunătăți foarte mult viețile utilizatorilor cu dizabilități, nu toată lumea este sigură că interfețele creier-calculator vor fi în cele din urmă suficient de bune pentru a înlocui complet mișcarea chiar și pentru utilizatorii sănătoși.

De fapt, mulți cercetători au opinii amestecate dacă acest lucru este util sau recomandabil în multe situații. Cu toate acestea se prevăd aplicații de nișă în care interfețele creier-calculator ar putea fi utile pentru persoanele în vârstă.

De exemplu, deoarece aceste interfețe ar putea evita întârzierea mentală care generează și execută mișcările motorii, ar funcționa bine în aplicații pentru care timpii de răspuns sunt cruciali. În plus, acestea ar putea fi utile în scenarii în care este dificil să se miște din punct de vedere fizic. Mecanismele de siguranță de pe avioane sau nave spațiale ar putea beneficia de astfel de interfețe. În aceste scenarii, piloții care se confruntă cu forțe fizice mari nu au prea mult timp să reacționeze la catastrofele iminente.

De asemenea, deoarece controlul creierului este intrinsec mai puțin vizibil decât mișcarea fizică, interfețele creier-calculator pot fi utile pentru operațiunile sub acoperire, cum ar fi aplicațiile de comandă și control sau supraveghere pentru personalul militar.

Interfețele creier-calculator ar putea avea succes și în aplicațiile de jocuri și divertisment. De fapt, cercetătorii au început deja să exploreze această zonă profitabilă pentru a exploata noutatea unui astfel de dispozitiv de intrare în această piață mare și în creștere. Un exemplu interesant al unui astfel de joc este Brainball, dezvoltat la Interactive Studio în Suedia [4]. În acest joc, doi jucători echipați cu EEG sunt așezați pe părțile opuse ale mesei. Jucătorii câștigă pur și simplu prin introducerea unei mingi în poarta adversă. Principiul neobișnuit a acestui joc este că utilizatorii mișcă mingea relaxându-se. Cu cât este mai relaxat utilizatorul cu atât mingea se mișcă mai mult. Prin urmare, mai degrabă decât gândind strategic și acționând intens jucătorul de succes trebuie să învețe să fie calm și pasiv.

Utilizarea interfeței creier-calculator (BCI)

Interfața creier-calculator (BCI) poate oferi comunicare și control pentru mulți utilizatori, dar nu pentru toți. Această problemă există la nivelul diferitelor interfețe creier-calculator, o interfață BCI „universală” care funcționează pentru toată lumea nu a fost niciodată dezvoltat., Unele soluții posibile au fost explorate, cum ar fi îmbunătățirea procesării semnalelor, instruiri și noi sarcini sau instrucțiuni. Aceste abordări nu au avut ca rezultat o interfață creier-calculator care funcționează pentru toți utilizatorii, probabil pentru că o minoritate de utilizatori nu pot produce modele detectabile ale activității creierului necesară unei anumite abordări a interfeței BCI.

Cercetarea interfețelor creier-calculator (BCI) a făcut recent progrese mari. Inițial eforturile de cercetare a interfeței BCI s-au axat în principal pe validarea verificării conceptului, de obicei prin testarea interfeței BCI cu subiecți sănătoși în laboratoare în loc de utilizatori vizați din spital [5]. De la comunicarea practică pentru utilizatorii cu handicap grav, fără nici o altă modalitate de a comunica, interfețele BCI au asigurat și multe aplicații noi și moduri de procesare a semnalelor. Pacienții și oamenii sănătoși au utilizat cu succes interfețele BCI bazate pe cele trei mari abordări neinvazive – interfețe creier-calculator P300 bazate pe flashuri intermitente, interfețe BCI (Steady State Visual Evoked Potential – SSVEP) bazate pe lumini oscilante și interfețe BCI de desincronizare a evenimentelor (Event Related Desynchronization – ERD) bazate pe mișcări imaginare.

Acest progres și entuziasm se reflectă în creșterea teatrală a publicațiilor evaluate de colegi, a prezentărilor de conferințe și a simpozioanelor, precum și a atenției mass-media [5]. În mijlocul acestor evoluții pozitive, o problemă majoră devine evidentă: interfețele BCI nu funcționează pentru toți utilizatorii.

În mod ideal, orice interfață ar trebui să funcționeze pentru orice utilizator. Cu toate acestea, în cele trei mari abordări neinvazive ale interfeței BCI, numeroase laboratoare raportează că foarte aproximativ 20% din subiecți nu pot obține controlul.

Utilizarea Electroencefalografiei (EEG) pentru interfața creier-calculator (BCI) oferă un cost-eficient, sigur, portabil și ușor de utilizat atât pentru utilizatorii sănătoși, cât și pentru cei cu dizabilități. Pentru un control protetic eficient al unui sistem BCI sau atunci când se utilizează interfața BCI ca un canal suplimentar de control pentru jocuri sau alte interfețe cu mașini umane generice, nu este necesar ca un utilizator să fie în mod continuu într-o stare activă, așa cum este practica actuală.

Interfața neinvazivă a creierului-computer (BCI) a devenit recent un subiect fierbinte cu activități de cercetare în afara domeniilor sale tradiționale de medicină, psihologie, neurologie și inginerie de reabilitare [6]. Au apărut multe aplicații noi dincolo de reabilitare [6] și, de asemenea, alte discipline, cum ar fi informatica, a început să contribuie cu procese de prelucrare a semnalelor, de învățare a mașinilor, de software și de concepte de interacțiune a mașinilor [6]. În plus, senzorii, amplificatoarele și software-ul cu sursă deschisă [6] au sporit ușurința manipulării interfeței BCI și, prin urmare, au redus pragul general pentru noile grupuri de a intra în acest domeniu extrem de interdisciplinar de neuro-tehnologie. În special, utilizarea tehnicilor de învățare automată permite o comunicare a interfeței BCI reușită pentru începători chiar din prima sesiune [6]: în loc de câteva sute de ore de pregătire a disciplinei acum mașina învață să decodeze stările creierului utilizatorilor interfeței BCI în mod individual [6]. Acest concept de „a lăsa mașina să învețe” (în locul subiecților) a fost introdus la Berlin, adaptând extracția și clasificarea caracteristicilor la datele obținute într-o așa numită etapă de calibrare scurtă (mai puțin de 5 minute) în care subiectul se concentrează pentru a genera reproductibil anumite stări ale creierului, de ex. ilustrarea mișcării. Mașina de învățare calculează un estimator statistic din datele de calibrare care permite apoi să deosebească aceste stări ale creierului învățate în timpul părții de feedback a experimentului în care subiectul poate comunica cu mașina doar prin puterea gândirii [6].

Versatilitatea practică a interfeței BCI – această nouă modalitate suplimentară de interacțiune între om și mașină – este încă departe de a fi explorată [6]. De reținut totuși, că, în ciuda perspectivelor luminoase ale viitorului, interfețele BCI bazate pe EEG se confruntă cu o serie de provocări [6].

Interfața BCI ca dispozitiv de navigare

Pentru pacienții care nu au control asupra membrelor lor utilitatea unei interfețe BCI de navigare este evidentă [7]. Totuși și pentru utilizatorii sănătoși poate fi de interes un dispozitiv de navigație alternativ sau suplimentar. Cea mai mare parte a timpului interacționăm cu sistemele folosind mâinile, dar în anumite situații, ar fi convenabil să existe un canal de control suplimentar așa cum este ilustrat prin dezvoltarea mișcării ochilor și a dispozitivelor de control pe bază de voce (fig. 1.1).

Fig.1.1. Situație tipică când folosim mâinile, ochii și urechile în același timp

Situațiile în care un canal suplimentar de control ar fi convenabil include zborul cu avionul, unde piloții au nevoie de mâini nu numai pentru navigare, ci și pentru evaluarea informațiilor despre zbor și de asemenea conducerea mașinii, unde este nevoie de mâini pentru a direcționa, pentru a schimba vitezele, pentru a regla radioul mașinii și pentru a răspunde la telefon. De preferință, un dispozitiv de intrare alternativ este intuitiv, reducând astfel cererea de resurse cognitive. Un bun exemplu în acest sens este Nintendo Wii®. Cerințele unui dispozitiv de navigare depind de nivelul pentru care este folosit.

Pentru a structura în continuare acest demers, se vor folosi cele trei categorii de interfețe BCI, așa cum sunt definite de Zander [7] : active, reactive și pasive. Aceste categorii se bazează pe efortul și sarcina utilizatorului de a controla interfața BCI. În prima categorie – interfețe creier-calculator active – utilizatorii manipulează în mod activ semnalele lor de creier pentru a controla interfața BCI. În tipul reactiv, utilizatorii pot da o comandă prin ajustarea atenției asupra stimulilor externi, așa-numiții stimuli ai cercetării. O interfață BCI pasivă analizează semnalele creierului fără a fi nevoie ca utilizatorul să efectueze sarcini mentale specifice.

1.5.2. Scurtă trecere în revistă a diferitelor tipuri de interfețe BCI

1.5.2.1. Interfețe BCI active

Interfețele BCI active se bazează pe utilizatorii care îndeplinesc în mod activ sarcini cognitive, cum ar fi ilustrarea mișcării (de exemplu, mișcarea imaginară a mâinii stângi sau a piciorului drept), asocierea imaginilor cu cuvinte și calculul mental. De obicei, participanții trebuie să se antreneze pentru a putea să-și îndeplinească sarcinile mentale astfel încât sistemul să le poată clasifica corect. Pentru a obține o performanță optimă, această perioadă de instruire poate dura luni. După ce semnalele creierului au fost clasificate, ele sunt traduse într-o comandă de sistem, cum ar fi întoarcere la stânga sau la dreapta, oprirea sau continuarea. Potrivirea dintre sarcina mentală și acțiunea de navigare rezultată este adesea arbitrară, încălcând obiectivul pentru controalele intuitive de navigație.

1.5.2.2. Interfețele BCI reactive

Interfețele BCI reactive, în general, sunt comandate de evenimente și măsoară răspunsurile creierului la stimuli vizuali, tactili sau auditivi. Aceste răspunsuri pot fi ajustate de către utilizator prin concentrarea atenției la stimulul important. Spre deosebire de interfețele BCI active, avantajul interfețelor BCI reactive este că nu necesită instruire pentru utilizatori. Dezavantajul este că utilizatorul depinde de indicațiile externe pentru a da o comandă.

1.5.2.3. Interfețe BCI pasive

În mod tradițional, interfețele BCI pasive au ca scop detectarea schimbărilor într-o stare cognitivă sau o stare afectivă a utilizatorului care apare spontan în timpul executării sarcinii. Acest tip de interfață BCI se folosește în principal pentru a spori sau facilita alte sarcini sau interacțiuni și nu atât pentru controlul voluntar. Cu toate acestea, sunt în curs de dezvoltare aplicații recente, de exemplu, jocul de control bazat pe activitatea alfa în terapiile neuro-feedback. În navigație, acest tip de interfață BCI ar putea folosi semnalele (spontane) ale creierului care apar atunci când utilizatorul decide cu privire la ruta preferată (nivelul de planificare) sau pentru a vira la stânga sau la dreapta la o intersecție (nivel de direcție).

1.6. Interfața Creier-Calculator (BCI) – Tipuri – Studiu

O interfață creier-calculator (BCI) oferă o cale de comunicare între creierul uman și sistemul informatic. Odată cu progresul din domeniile tehnologiei informației și neuroștiințelor a avut loc o creștere a interesului pentru transformarea ficțiunii în realitate. Scopul principal al cercetării interfeței BCI este de a dezvolta un sistem care să permită persoanelor cu dizabilități să comunice cu alte persoane și să ajute la interacțiunea cu mediile externe. Acest domeniu include componente cum ar fi compararea tehnologiilor invazive și noninvazive pentru a măsura activitatea creierului, evaluarea semnalelor de control (de exemplu activitatea creierului care poate fi utilizată pentru comunicare), dezvoltarea algoritmilor pentru traducerea semnalelor cerebrale în comenzi ale computerelor și dezvoltarea de noi aplicații a interfețelor BCI.

Interfața BCI a început cu inventarea de către Hans Berger a activității electrice a creierului uman și dezvoltarea electroencefalografiei (EEG). În 1924, Berger a înregistrat pentru prima dată semnale EEG de la un creier uman. Analizând semnalele EEG, Berger a reușit să identifice activitatea oscilantă din creier, cum ar fi valul alfa (8-12 Hz), cunoscut și ca valul lui Berger. Primul dispozitiv de înregistrare utilizat de Berger a fost foarte simplu, era în stadiile incipiente de dezvoltare și era obligat să introducă fire de argint sub scalpul pacienților. În etapele ulterioare, acestea au fost înlocuite cu folii de argint care erau prinse pe capul pacienților cu bandaje de cauciuc, mai târziu Berger conectându-le la un electrometru capilar Lippmann, cu rezultate dezamăgitoare. Mai târziu au avut succes dispozitivele de măsurare mai sofisticate, cum ar fi galvanometrul dublu-bobină de înregistrare Siemens. Berger a analizat interrelația alternanțelor din diagramele de unde EEG cu bolile cerebrale. EEG permit noi posibilități pentru cercetarea activităților creierului uman.

Interfața BCI, numită adesea o interfață minte-mașină (MMI) sau uneori numită interfață neurală directă sau o interfață creier-mașină (BMI), este un canal de comunicare directă între creier și un dispozitiv extern. Interfața BCI este o tehnologie care urmărește să transmită intențiile oamenilor direct din gândurile lor către lumea exterioară, intensificând capacitățile cognitive [8]. Interfațele BCI sunt adesea îndreptate spre asistarea, augmentarea sau repararea funcțiilor cognitive sau senzoriale ale omului. Interfața BCI poate fi folosită de persoanele care nu sunt în măsură să se exprime prin vorbire. În mod normal, acești oameni sunt "blocați", ceea ce înseamnă că nu își pot mișca fața sau niciunul din membrele lor. Domeniul cercetării și dezvoltării interfeței BCI a fost axat pe aplicații de neuroproteze. Scopul este de a restabili auzul, vederea și mișcarea deteriorată.

Neuroproteza este un domeniu al neuroștiințelor care se ocupă de proteze neurale. Putem folosi dispozitive artificiale pentru a înlocui funcția sistemului nervos, care nu este afectată și probleme legate de creier, ca și organe senzoriale. Neuroproteza cel mai larg utilizată este implantul cohlear care în 2006 a fost implantat la aproximativ 100.000 de persoane din întreaga lume. Există multe alte dispozitive neuroprotetice care au ca scop să redea vederea, inclusiv implanturile retinale. Diferenta dintre interfețele BCI si neuroproteză este: neuroproteza conectează sistemul nervos la un dispozitiv iar interfața BCI conectează creierul la un sistem informatic. Cu toate acestea, atât neuroproteza cât și interfața BCI se concentrează în principal pentru a atinge același obiectiv, cum ar fi redarea vederii, a auzului, a mișcării, a capacității de a comunica și chiar funcția cognitivă. Ambele utilizează metode experimentale similare și tehnici chirurgicale.

Interfața BCI oferă un nou canal de comunicare între creierul uman și computer. Activitatea mentală duce la modificări ale semnalelor electrofiziologice ca EEG. Interfața BCI detectează astfel de modificări și le transformă într-un semnal de control care poate fi folosit în diverse aplicații cum ar fi jocul video, mișcarea unui scaun cu rotile etc. Unul dintre obiectivele principale este de a permite pacientului complet paralizat să comunice cu mediul înconjurător. Aparatul ar trebui să poată învăța să facă diferența între diferitele modele de activitate a creierului cât mai exact posibil și utilizatorul interfeței BCI ar trebui să învețe să îndeplinească diferite sarcini mentale cum ar fi să producă semnale distincte ale creierului [8].

O interfață BCI este un sistem de comunicare și control care nu depinde în niciun fel de canalele de ieșire neuromusculare normale ale creierului. Intenția utilizatorului este transmisă de semnalele creierului (cum ar fi EEG) mai degrabă decât de nervii și mușchii periferici, iar aceste semnale ale creierului nu depind de generarea lor de la activitatea neuromusculară. Mai mult, ca sistem de comunicare și control o interfață BCI stabilește o interacțiune în timp real între utilizator și lumea exterioară. Utilizatorul primește feedback care reflectă rezultatul operării interfeței BCI și feedback-ul poate afecta intenția ulterioară a utilizatorului și expresia acestuia în semnalele creierului, așa cum se arată în fig. 1.2 [8]. Primul pas în dezvoltarea unui model eficient de interfață BCI este de a determina semnale de control potrivite de la EEG. Un semnal de control adecvat are următoarele atribute: (i) poate fi caracterizat cu precizie pentru fiecare persoană, (ii) poate fi ușor modificat sau tradus pentru a exprima intenția și (iii) poate fi detectat și urmărit în mod consecvent și fiabil [8]. Semnalele de clipire a ochiului la EEG au toate cele trei atribute de mai sus și, prin urmare, pot fi folosite ca semnal de control.

Fig.1.2. Reprezentarea unei interfețe BCI

1.6.1. Tipuri de interfețe BCI

Există mai multe tipuri de interfețe creier-computer, care sunt raportate. Scopul de bază al acestor dispozitive sau tipuri este de a intercepta semnalele electrice care trec între neuronii din creier și de a le traduce într-un semnal care este detectat de dispozitive externe.

1.6.1.1. Interfețe BCI invasive

Dispozitivele BCI invazive sunt cele implantate direct în creier și dau semnale de cea mai bună calitate. Aceste dispozitive sunt folosite pentru a asigura funcționalitatea persoanelor paralizate. Interfețele BCI invazive sunt, de asemenea, folosite pentru a restabili vederea prin conectarea creierului cu camerele externe și pentru a restabili utilizarea membrelor prin utilizarea brațelor și picioarelor robotice controlate de creier. Pe măsură ce se așează în materia cenușie, dispozitivele invazive produc semnale de înaltă calitate ale dispozitivelor BCI, dar sunt predispuse la formarea de țesut cicatricial, determinând semnalul să devină mai slab sau chiar pierdut, deoarece corpul reacționează la un obiect străin din creier.

Fig.1.3. Jens Neumann, un om cu orbire dobândită, fiind intervievat despre vederea cu ajutorul interfeței BCI la emisiunea Early Show de la a CBS

În domeniul științei vizuale, implanturile cerebrale directe au fost utilizate pentru a trata necongenitale, adică orbirea dobândită. Unul dintre primii oameni de știință care a venit cu interfața BCI pentru a restabili vederea ca cercetător privat este William Dobell. El a implantat primul prototip la Jerry, un om orbit la vârsta adultă, în 1978. A introdus o singură interfață BCI care conținea 68 de electrozi în cortexul vizual al lui Jerry și a reușit să producă senzația că vede lumina. În 2002, experimentul a fost implantat lui Jens Neumann, unde Dobell a folosit un implant mai sofisticat care permite o mai bună cartografiere a fosfinelor în vederea coerentă și după experiment, Neumann a fost intervievat la emisiunea de la CBS, așa cum se arată în fig.1.3. Interfețele BCI care se concentrează asupra mișcării neuroprotetice urmăresc fie să redea mișcarea persoanelor paralizate, fie să furnizeze dispozitive care să le ajute, cum ar fi interfețele cu computerele sau brațele robotice. Cercetătorii de la Universitatea Emory din Atlanta, conduși de Philip Kennedy și Roy Bakay, au fost primii care au instalat un implant în creier uman care a produs semnale de o calitate suficient de mare pentru a stimula mișcarea.

1.6.1.2. Interfețe BCI parțial invazive

Dispozitivele BCI parțial invazive sunt implantate în interiorul craniului, dar se așează în afara creierului mai degrabă decât în materia cenușie. Puterea semnalului care utilizează acest tip de interfață BCI este mai slabă atunci când se compară cu interfața BCI invazivă. Ele produc semnale de rezoluție mai bune decât interfețele BCI non-invazive. Interfața BCI parțial invazivă are un risc mai mic de formare a țesutului cicatricial în comparație cu interfața BCI invazivă.

Electrocorticografia (ECoG) utilizează aceeași tehnologie ca electroencefalografia neinvazivă, dar electrozii sunt încorporați într-un tampon din plastic subțire care este plasat deasupra cortexului, sub dura mater. Tehnologiile ECoG au fost primele implantate la oameni în 2004 de către Eric Leuthardt și Daniel Moran de la Universitatea Washington din St Louis. Într-un studiu ulterior, cercetătorii au permis unui adolescent să joace Space Invaders folosind implantul său ECoG. Această cercetare indică faptul că este dificil să se producă dispozitive cinematice BCI cu mai mult de o dimensiune de control folosind ECoG. Imaginea reactivă a luminii printr-o interfață BCI este încă de domeniul teoriei. Acestea ar implica implantarea laserului în interiorul craniului. Laserul ar fi antrenat de un singur neuron, iar reflexia neuronului stabilită printr-un senzor separat. Atunci când neuronul arde, lumina laser și lungimile de undă pe care le reflectă s-ar schimba ușor. Acest lucru ar permite cercetătorilor să monitorizeze neuronii unici, dar ar avea nevoie de un contact mai mic cu țesuturile și ar reduce riscul de formare a țesuturilor cicatriciale.

1.6.1.3. Interfețe BCI neinvazive

Interfața BCI neinvazivă are cea mai mică claritate a semnalului atunci când vine vorba de comunicarea cu creierul (craniul distorsionează semnalul) dar este considerată a fi foarte sigură în comparație cu alte tipuri. Acest tip de dispozitiv a fost creat cu succes pentru a da pacientului posibilitatea de a muta implanturile musculare și de a restabili mișcarea parțială. Tehnica non-invazivă este cea în care dispozitivele medicale de scanare sau senzorii sunt montați pe cască sau bandă pentru a citi semnalele creierului. Această abordare este mai puțin intruzivă, dar, de asemenea, citește semnalele mai puțin eficient, deoarece electrozii nu pot fi plasați direct pe partea dorită a creierului. Unul dintre cele mai populare dispozitive din această categorie este EEG sau electroencefalografia capabilă să ofere o rezoluție temporală fină. Este ușor de utilizat, ieftin și portabil.

Interfața BCI bazată pe EEG

Electroencefalografia (EEG) este un tip de interfață neinvazivă, care are un potențial ridicat datorită rezoluției sale temporale fine, ușurinței de utilizare, portabilității și costului scăzut de configurare. O metodă comună pentru proiectarea interfeței BCI este utilizarea semnalelor EEG extrase în timpul sarcinilor mentale [8]. EEG este înregistrarea activității electrice de-a lungul scalpului produsă de arderea neuronilor din creier. EEG se referă la înregistrarea activității electrice spontane a creierului într-o perioadă scurtă de timp, de obicei 20-40 minute, așa cum este înregistrată de la mai mulți electrozi plasați pe scalp. EEG este modificat prin imagistica mișcării și poate fi utilizat de către pacienți cu insuficiență de mișcare severă (de exemplu, stadiul târziu al sclerozei laterale amiotrofice) pentru a comunica cu mediul înconjurător și pentru a-i asista. O astfel de conexiune directă între creier și calculator este cunoscută ca o interfață BCI bazat pe EEG. Acestea au devenit un punct fierbinte în studiul ingineriei neuronale, al reabilitării și al științei creierului [8]. Cel mai frecvent utilizat semnal care este identificat și capturat cu metoda EEG se numește valul P300. P300 este un potențial legat de eveniment, o sarcină electrică măsurabilă care este direct legată de impuls. Prin urmare, prin capturarea P300, o interfață BCI poate traduce direct intenția persoanelor în comenzi electrice care controlează dispozitivele artificiale [8]. Un speller P300 se bazează pe acest principiu, unde detectarea undelor P300 permite utilizatorului să scrie caractere. Spellerul P300 este compus din două clasificări de probleme. Prima clasificare este de a detecta prezența unui P300 în electroencefalograma (EEG). A doilea corespunde combinației diferitelor răspunsuri P300 pentru determinarea caracterului potrivit pentru scriere. Este prezentată o nouă metodă de detectare a undelor P300. Acest model se bazează pe o rețea neuronală de convoluție (CNN) [8]. Aplicațiile interfețelor BCI au extinderi în multe domenii, cum ar fi medicina, armata, producție, jocuri și comunicații.

MEG and MRI

Magneto-encefalografia (MEG) și imagistica prin rezonanță magnetică funcțională (fMRI) sunt un alt tip de interfață neinvazivă. Ambele au fost utilizate cu succes ca interfețe BCI non-invazive. Într-un experiment vast, fMRI a permis ca doi utilizatori să fie scanați pentru a juca Pong în timp real prin modificarea răspunsului lor hemodinamic sau a fluxului de sânge din creier prin tehnici de biofeedback. Evaluările fMRI ale răspunsurilor hemodinamice în timp real au fost, de asemenea, folosite pentru a controla brațele robotului cu o întârziere de șapte secunde între gândire și mișcare [8].

Aplicații pentru interfețe creier-calculator

Interfețele creier-calculator au fost studiate timp de aproape treizeci de ani, motivul principal fiind furnizarea de tehnologii ajutătoare pentru persoanele cu dizabilități motorii foarte severe. Vitezele lente, rata ridicată de eroare, susceptibilitatea la artefact și complexitatea sistemelor BCI au fost provocări pentru punerea în aplicare a sistemelor manevrabile în lumea reală. Cu toate acestea, progresele recente în domeniul tehnologiilor de calcul și biosenzori au îmbunătățit perspectivele pentru aplicațiile interfețelor BCI, ceea ce le face promițătoare nu numai ca tehnologii ajutătoare ci și pentru aplicații de masă.

Motivația originală și încă răspândită pentru cercetarea interfeței creier-calculator a fost aceea de a furniza tehnologii ajutătoare pentru persoanele cu dizabilități fizice severe, în special sindromul blocat (paralizie completă și incapacitatea de a vorbi) cauzate de accidente vasculare cerebrale sau boli cronice, cum ar fi scleroza laterală amiotrofică (ALS). Explozia capacității de calcul și evoluția tehnologiilor din ultimii ani oferă o mai bună clasificare și interacțiuni mai eficiente ducând la posibilități foarte mari de control neuronal.

Clasificându-le în patru domenii principale urmează o prezentare generală și exemple de aplicații care au fost dezvoltate și studiate pentru controlul interfeței creier-calculator:

– prezentare generală a aplicațiilor interfețelor BCI în tehnologiile ajutătoare, inclusiv comunicare, controlul mediului, mobilitate (inclusiv robotică),

– interfețele BCI pentru recreere, inclusiv jocurile, realitatea virtuală și exprimare creativă,

– diagnosticarea și augmentarea cognitivă, inclusiv experiența utilizatorilor în utilizarea calculatorului și monitorizarea atenției, printre altele,

– posibilitățile interesante ale interfeței BCI în reabilitare și control protetic.

1.7.1. Interfața BCI pentru tehnologia ajutătoare

Recuperarea abilității de a comunica, de a controla mediul și de a-și asigura mobilitatea sunt preocupări critice pentru persoanele cu dizabilități fizice severe. Aceste trei domenii au fost în centrul majorității cercetărilor interfețelor BCI.

Comunicarea

Una dintre cele mai importante nevoi pentru persoanele cu dizabilități fizice grave este recuperarea abilității de a comunica. [9] au arătat că până și persoanele cu sindrom total blocat (TLS) au un confort de bună calitate a vieții dacă pot comunica cu familia, prietenii și îngrijitorii.

Cea mai rudimentară comunicare este capacitatea de a spune fiabil "Da" sau "Nu". Multe dintre sistemele de comunicare timpurii ale interfețelor BCI s-au bazat pe utilizatorii care învață să regleze aspecte ale ritmurilor cerebrale cu sarcini mentale.

Ortografia este o parte esențială a comunicării și au existat o mulțime de implementări a pronunției cu interfețe creier-calculator.

Accesul la internet ar putea schimba viața persoanelor cu dizabilități fizice grave. Mai multe grupuri de cercetători au explorat browserele web controlate de interfețe BCI. BrainBrowser (fig.1.4) descris în [9] s-a bazat pe ajustarea ritmului μ de pe cortexul de mișcare pentru a selecta comenzile de navigare precum „următor” și „anterior”.

Utilizatorii au selectat link-uri prin creșterea amplitudinii μ cu imaginile de mișcare pentru a trece la link-ul următor și folosind oprirea la intervale regulate (pauză pentru un interval de temporizare de două secunde) pentru a parcurge link-ul.

Fig.1.4. BrainBrowser- Browser web controlat neuronal

1.7.1.2. Controlul mediului

O altă provocare importantă pentru persoanele cu dizabilități fizice grave este controlul dispozitivelor din mediul înconjurător, de exemplu, un televizor, un termostat sau un dispozitiv de înregistrare video. [9] descrie o interfață BCI bazată pe SSVEP, care le permite utilizatorilor să folosească capacitățile de selecție distincte ale unei interfețe de control SSVEP pentru a forma numere pentru a efectua un apel telefonic. [8] descrie proiectul Aware Chair, care s-a axat pe integrarea controlului asupra mediului cum ar fi radio, lumini și televiziune într-un dispozitiv de comunicație montat pe un scaun cu rotile.

1.7.1.3. Mobilitatea

Desigur, una dintre cele mai solide tehnologii de asistare a interfeței BCI ar fi pentru persoanele cu dizabilități motorii severe recuperarea mișcării. Comunitatea cercetătorilor interfețelor BCI a depus eforturi semnificative pentru dezvoltarea de metode pentru controlul aplicațiilor de mobilitate, cum ar fi conducerea scaunelor cu rotile și manipularea roboților de la distanță.

1.7.1.3.1. Controlul scaunului cu rotile

Activitatea de început în cercetarea mobilității s-a ocupat cu roboți mobili mici pentru a simula sarcinile de navigație pentru scaunele cu rotile. [9] descrie o interfață BCI bazată pe sarcini mentale care a acționat un robot mobil pentru a naviga într-un mediu de domiciliu. Proiectul în curs de desfășurare Aware Chair (fig. 1.5 descrisă de [9]) încorporează aptitudini de navigație asemănătoare cu granulația brută, plus predicție contextuală temporală și spațială bazată pe obiceiurile și preferințele utilizatorilor.

Fig.1.5. Aware Chair – integrarea comunicării, navigarea și controlul asupra mediului

Mai recent, laboratoarele de cercetare și dezvoltare Toyota Central au creat un scaun cu rotile cu control neuronal care operează aproape în timp real pentru a procesa comenzile de navigare distincte cu o precizie de până la 95% [9].

1.7.1.3.2. Robotica

Controlul robotului cu ajutorului gândului a fost de mult timp un concept popular de science fiction. Cu toate acestea, lucrările recente cu interfețe BCI au arătat că un control robotic este într-adevăr posibil cu semnalele creierului. Unul dintre cele mai vechi roboți controlați de interfețele BCI este descris în [9]. Experimentul a explorat efectele feedback-ului din lumea reală (mișcarea robotului) împreună cu o interfață BCI bazată pe P300, care depinde de atenția utilizatorului. Robotul a fost configurat să efectueze pașii de preparare a cafelei, cum ar fi introducerea de cafea sub formă de pulbere, zahăr și cremă și amestecarea cu o lingură, a se vedea fig. 1.6.

Fig.1.6. Un robot de preparare a cafelei controlat de P300

1.7.2. Interfețe BCI pentru recreere

Dat fiind faptul că interfețele BCI au devenit mai eficiente și că sistemele noi au oferit o lărgime de bandă mai mare, a devenit posibil controlul interfeței BCI pentru aplicații de masă, cum ar fi jocurile, realitatea virtuală și exprimarea creativă. Inițial, cererile de recreere pentru interfețele BCI au fost destinate persoanelor cu dizabilități motorii și încă există un interes considerabil în acest domeniu în comunitatea interfețelor BCI. Cu toate acestea, recent, sunt disponibile pe piață un număr de controlere de jocuri de masă bazate în principal pe interfațe BCI. Deși este în general acceptat că interfețele BCI în starea lor actuală nu pot înlocui controlerele tradiționale cum ar fi joystick-urile sau butoanele de control, interfețele BCI au fost încorporate în jocuri ca și canale auxiliare de control fără mâini.

1.7.2.1. Jocuri

Emotiv (Emotiv Inc. 2009) este o companie comercială care comercializează un dispozitiv simplu, "Epoc", bazat pe EEG, EOG și EMG facial pentru controlul aplicațiilor (vezi fig. 1.7).

Fig.1.7. Setul cu cască "Epoc" de la Emotiv Inc. (2009) care implementează "telekinezia virtuală"

1.7.2.2. Realitatea virtuală

Mediile virtuale sunt adesea plasate în categoria de jocuri; cu toate acestea, există diverse medii virtuale în lumea cercetării interfețelor BCI care au mai multe scopuri practice. Lucrările ulterioare detaliate în [9] încorporează mediul ReaCTor Cave, o lume virtuală captivantă pe care utilizatorul o parcurge folosind o interfață BCI (fig. 1.8). Subiectul se poate "plimba" prin lumea virtuală imaginându-și mișcarea piciorului, și poate „atinge“ lucrurile în lumea virtuală prin imaginarea atingerii și mișcarea mâinilor.

Fig.1.8. Mediul virtual ReaCTor Cave

1.7.3. Expresia creativă

Un alt scop în tehnologia de asistență dincolo de restabilirea comunicării de bază și aptitudinile de control al mediului este de a îmbunătăți calitatea vieții prin furnizarea de puncte de ieșire pentru exprimarea creativă. Interfețele BCI au fost studiate în contextul muzicii și al artei vizuale.

1.7.4. Interfața BCI pentru diagnosticul cognitiv și cunoașterea augmentată

În plus față de tehnologiile de asistență și terapiile de reabilitare, interfețele BCI au fost dezvoltate pentru a ajuta la diagnosticarea, influențarea și augmentarea funcției cognitive. De multe ori ca neurofeedbackuri, reprezentările semnalelor creierului sau starea creierului unui utilizator au fost încorporate în aplicații pentru a oferi o perspectivă asupra proceselor cognitive. Experiența utilizatorilor în utilizarea calculatorului implică clasificarea volumului de muncă mentală ca o metodă de testare a ușurinței în utilizare pentru modelele de interacțiune om-calculator.

O altă aplicație de diagnosticare a interfeței BCI dezvoltată în ultimii ani utilizează interfețe BCI bazate pe EEG pentru clasificarea automată a imaginilor vizuale prin măsurarea răspunsurilor semnalului creierului uman la stimulii vizuali.

1.7.5. Reabilitarea și controlul protetic

Poate una dintre cele mai semnificative și promițătoare aplicații pentru interfețe BCI în studiu în prezent implică crearea de terapii pentru a recâștiga controlul mișcării pierdute din cauza bolilor cum ar fi accidentul vascular cerebral. Controlul neural al roboților de reabilitare, de exemplu, ar putea oferi tratamente pentru persoanele a căror paralizie este prea extinsă pentru terapii tradiționale. Un subiect paralizat prin leziunea măduvei spinării a învățat să regleze ritmul senzomotor pentru a controla stimularea electrică funcțională (FES) a brațelor și a mușchilor mâinii pentru a efectua sarcini simple cum ar fi apucarea unui pahar. [8] descriu un sistem bazat pe magnetoencefalografie (MEG), care permite utilizatorului să-și imagineze mișcarea unei mâini, crescând sau scăzând amplitudinile ritmului senzomotor (fig. 1.9). Interfața BCI răspunde prin deschiderea sau închiderea mâinii utilizatorului, care este în repaus într-o simplă proteză. Patru din cei cinci pacienți cu accident vascular cerebral paralizat au putut să-și deschidă și să-și închidă mâna în mod voluntar cu interfața BCI MEG.

Fig.1.9. Interfața BCI MEG care controlează o mână protetică

Lucrările preliminare în curs descrise de [9] se axează pe o interfață creier-calculator cu un robot de reabilitare, KINARM (BKIN Technologies). Subiecții sănătoși care poartă o interfață creier-calculator pe bază de EEG instruiesc un clasificator să recunoască sarcinile întinderii brațului cu o varietate de ținte într-un plan bidimensional (figura 1.10).

Fig.1.10. The KINARM™ robot

1.7.6. Controlul unei orteze robotizate cu ajutorul modelelor mentale

Oferă persoanelor care suferă de tetraplegie sau paraplegie produsă de leziuni ale măduvei spinării posibilitatea de a efectua exerciții fizice în contextul în care, fiind incapabile să se deplaseze, acestea prezintă un risc crescut de apariție a unor boli precum: bolile cardiovasculare, tulburări metabolice, osteoporoză și ulcere de presiune, fiind dependente excesiv de utilizarea scaunelor cu rotile [10]. Întrucât medicina nu poate să ofere la ora actuală o soluție prin care să poată să inverseze efectele generate de pierderea funcțiilor neurologice în cazul pacienților afectați de leziuni ale măduvei spinării, apare necesitatea de a găsi noi metode de a combate apariția acestor urgențe medicale și în același timp de a le asigura acestora un grad ridicat de independență în scopul îmbunătățirii calității vieții [10]. O astfel de metodă capabilă să ofere un grad ridicat de mobilitate în timpul exercițiilor se bazează pe un sistem de orteze robotizate pentru membrele inferioare suspendat deasupra unei benzi de alegare ce este controlat pe baza unei interfețe BCI prin intermediul datelor de electroencefalogramă (EEG) înregistrate de la pacienți în timpul unor sesiuni de antrenament în cadrul cărora acestora li se cere să controleze deplasarea unui avatar într-un mediu de realitatea virtuală folosind sarcini mentale. [10].

Fig.1.11. Orteze robotizate pentru membrele inferioare controlate prin intermediul interfeței BCI [10]

Pentru a putea măsura deplasarea piciorului în cadrul ortezei se utilizează un giroscop ce este plasat în proximitatea gleznei piciorului stâng, iar pentru a elimina erorile de precizie din cadrul interfeței BCI generate de spasticitatea involuntară a musculaturii se plasează la nivelul cvadricepsului piciorului stâng o serie de senzori de electromiografie (EMG) [10].

În mod similar ortezele robotizate controlate prin intermediul interfeței BCI se pot utiliza cu succes și în scopul reabilitării persoanelor care au suferit un accident vascular cerebral prezentând o precizie de 60-70% privind posibilitatea de detectare a intențiilor de mișcare reale sau imaginare în cazul membrelor [11].

Avantaje: reducerea costurilor legate de tratament atât în cazul pacienților care suferă de leziuni ale măduvei spinării cât și în cazul recuperării post accident vascular cerebral, timp scurt de 10 minute pentru antrenarea sarcinii mentale, 5 minute pentru calibrare și 5 minute pentru familiarizarea pacientului cu ortezele [10].

1.7.7. Controlul unui exoschelet pe baza sarcinilor mentale

Poate să reprezinte un real ajutor în ceea ce privește activitatea de recuperare a funcțiilor motorii în cazul persoanelor care suferă de paraplegie, în special în rândul acelora care prezintă leziuni incomplete ale măduvei spinării întrucât interfața BCI favorizează asocierea dintre activitatea creierului pe de o parte și stimularea periferică pe de altă parte, fapt ce prezintă un potențial ridicat de apariție a modificărilor neuroplastice la nivelul sistemului nervos [12].

Sistemul de comandă bazat pe interfața BCI al exoscheletului ce oferă 6 grade de libertate pentru fiecare membru fiind construit în configurație antropomorfă [12] presupune algoritmi avansați de învățare automată și metode de identificare a sistemelor, ce sunt utilizate pentru calibrarea interfeței neuronale, dar și abordări de control partajat ce permit posibilitatea executării simultane a mai multor sarcini mentale cu scopul de a minimiza efortul cognitiv [13].

Fig.1.12. Exoschelet controlat prin intermediul interfeței BCI

Scopul urmărit prin implementarea acestui tip de control al unui exoschelet pe baza semnalelor de electroencefalogramă (EEG) prezintă un dublu rol, pe de o parte de ajutor în activitatea de recuperare a pacienților pe baza stimulării electrice funcționale (FES), iar pe de altă parte, reprezintă un mijloc ce le oferă acestora grad sporit de independență, atât la nivel fizic, prin capabilitatea mersului neasistat, cât și de ordin psihologic, prin îmbunătățirea calității vieții și a stării de sănătate [12].

1.8. Software

1.8.1. Instrumente bazate pe MATLAB pentru cercetarea interfeței BCI

Sistemele și algoritmii interfeței creier-calculator (BCI) permit utilizarea semnalelor cerebrale ca dispozitive de comunicare volitive sau, în general, creează un fel de interconectare utilă între funcționarea unui sistem mașină și activitatea creierului unui subiect uman sau animal. Datorită portabilității, majoritatea sistemelor BCI utilizează semnale electroencefalografice (EEG) înregistrate de la unul sau mai multe canale de pe scalp. Deși majoritatea abordărilor pe care le analizăm sunt de asemenea aplicabile înregistrărilor cu un singur canal, ne vom concentra asupra software-ului pentru prelucrarea datelor EEG multi-canale în mediul de calcul MATLAB – un mediu software de calcul numeric și de vizualizare, disponibil pe scară largă. Cu toate că aplicațiile MATLAB sunt rar utilizate în afara mediilor de cercetare, acestea oferă un instrument valoros pentru dezvoltarea, realizarea de prototipuri și testarea abordărilor interfețelor BCI.

Mai multe cerințe pentru un mediu de dezvoltare a software-ului de cercetare a interfeței BCI provin din caracteristicile domeniului de cercetare a interfeței BCI [14]:

Flexibilitate. Interfața BCI este un domeniu activ și rapid de avansare. Astfel, orice mediu BCI care nu sprijină dezvoltarea și testarea unor utilizări mai avansate decât cele anticipate inițial va avea în mod necesar o valoare limitată. Mediile de software BCI ar trebui, prin urmare, să permită, să solicite și să faciliteze flexibilitatea extinderii și redefinirii metodelor.

Ușor de folosit. Utilizatorii de software BCI sunt psihologi, experți în factori umani, designeri de interfață umană, ingineri de prelucrare a semnalelor, oameni de știință și matematicieni. Nu se poate aștepta de la toți acești utilizatori să aibă cunoștințe vaste legate de baze matematice și neurofiziologice de funcționare a interfeței BCI.

Eficient. Alegerea algoritmilor care pot fi aplicați în anumite condiții este adesea determinată de timpul de calcul necesar și disponibil. De aceea eficiența utilizării mediului BCI este un element critic. Astfel, mediul BCI ar trebui să permită utilizatorilor actualizarea rapidă și testarea noilor modele.

Performanța. Având în vedere că nivelul actual al performanțelor sistemului BCI este deseori la limita inferioară a ceea ce este considerat practic, performanța concluziilor sau precizia predicțiilor este un aspect extrem de important al designului sistemului BCI. Nivelele mai ridicate de performanță sunt atinse de noile metode de ultimă oră dar inventatorii ar putea să nu dispună de resurse pentru a efectua teste extinse.

Robust. Cercetarea interfeței BCI implică deseori elaborarea unor estimări empirice cu privire la performanța unui anumit design al interfeței BCI din cauza cantităților limitate de date de pregătire și de testare, ceea ce face problema potrivirii acută și în prezent.

1.8.2. Kit de Dezvoltare Software (SDK) Emotiv Ediție Educațională

Setul cu cască EPOC fabricat de Emotiv Inc. așa cum se arată în figura 1.13, sunt căști EEG utilizate pentru a extrage undele cerebrale ale unei persoane pentru a-l autentifica. Mai multe detalii despre acest set de căști sunt prezentate mai jos. Kitul SDK Ediție Educațională de la Emotiv Systems include un set de căști: 14 canale (plus referințe CMS / DRL, locații P3 / P4) de rezoluție înaltă, captare și prelucrare wireless a semnalului neurologic, așa cum se arată în fig. 1.14. Numele canalelor puse pe baza locațiilor internaționale 10-20 sunt: AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8 și AF4 [8].

Fig.1.13. Subiect purtând casca Emotiv Epoc

Fig.1.14. Ilustrare a localizării electrozilor pe scalp

Kitul de dezvoltare include, de asemenea, un set de instrumente software care afișează API-urile și bibliotecile de detectare. SDK oferă un mediu de dezvoltare eficient, care se integrează bine cu arhitecturile noi și existente.

Alte metode de captare a semnalelor cerebrale includ electroencefalografia (EEG) și magnetoencefalografia (MEG). Metodele care nu sunt utilizate, dar sunt luate în considerare includ imagistica prin rezonanță magnetică (MRI) și imagistica cu spectru apropiat în infraroșu (NIRS) pentru a furniza analiza undelor cerebrale și a modelelor chimice, dar în prezent sunt impracticabile datorită mărimii lor [8].

1.8.3. EEGLAB

Este un program de tip open source destinat procesării datelor de electroencefalogramă (EEG) ce se bazează pe meniuri și scripturi a cărui structură poate fi accesată în cadrul mediului de dezvoltare Matlab. A fost proiectat în anul 1997 de către Arnaud Delorme și Scott Makeig în cadrul Centrului de Neuroștiințe computerizate Swartz din cadrul Universității California , inițial sub forma unui set de funcții pentru mediul Matlab pe baza cărora să se poată prelucra și vizualiza datele de electroecefalogramă (EEG), pentru ca la ora actuală să beneficieze de o interfață grafică cu utilizatorul, interactivă capabilă să proceseze datele electrofiziologice cu densitate ridicată furnizate prin intermediul a câtorva sute de canele de electroencefalogramă sau alte serii de date dinamice în timp ce privesc activitatea creierului [15].

EEGLAB pune la dispoziția utilizatorului numeroase metode de analiză a datelor de electroencefalogramă, inclusiv analiza în domeniul timpului și al frecvenței și analiza componentelor independente (ICA) [16].

Programul EEGLAB prezintă o serie de caracteristici și funcționalități cheie după cum urmează:

• O structură de evenimente și o serie de funcții cheie ce permit editarea, manipularea și importarea informațiilor evenimentului [15].

• Descompunerea datelor de electroencefalogramă pe baza analizei componentelor independente (ICA)

• Permite utilizatorilor să interacționeze atât cu interfața grafică EEGLAB cât și cu funcțiile EEGLAB ce pot fi apelate direct în cadrul liniei de comandă din cadrul mediului de dezvoltare Matlab

• Permite utilizatorilor să scrie propriile scripturi în cadrul mediului de dezvoltare Matlab pe baza funcțiilor modulare EEGLAB și a structurilor de date bine documentate

• Se bazează pe o filozofie open-source care permite utilizatorilor să aducă dezvoltări ulterioare prin distribuirea propriilor funcții sau a setului de instrumente creat de aceștia ce sunt integrate în mod automat în cadrul ferestrelor de meniu ale EEGLAB, putând fi folosite mai apoi de toți utilizatorii.

Fig.1.15. Vedere de ansamblu asupra setului de instrumente EEGLAB

1.8.4. LIMO EEG

Este un set de instrumente destinat mediului de dezvoltare Matlab, compatibil cu programul EEGLAB ce permite testarea și analiza formală a efectelor experimentale prin achiziționarea semnalului de la toți senzorii și de la toate punctele de timp obținute în urma înregistrărilor de magneto-electroencefalogramă (MEEG) și electroencefalogramă (EEG) [17]. În ceea ce privește structura și vizualizarea datelor programul LIMO EEG utilizează caseta de instrumente a programului EEGLAB, putând fi folosit sub forma unui plug-in al EEGLAB, deși permite efectuarea independentă a analizelor statistice, acesta fiind conceput la fel ca și programul EEGLAB ca un instrument de analiză a datelor de electroencefalogramă [17].

Programul LIMO EEG prezintă o serie de caracteristici și funcționalități cheie după cum urmează:

• Oferă o gamă largă de instrumente pentru teste statistice, inclusiv pentru anumite modele populare (ANOVA, regresii liniare, ANCOVA) [17

• Comparativ cu alte seturi de instrumente existente pe piață dedicate analizei potențialelor legate de eveniment (ERPs), programul LIMO EEG analizează datele de electroencefalogramă (EEG) folosind un model general ierarhizat (GLM) în cadrul căruia parametrii sunt estimați pentru fiecare subiect la fiecare punct și pentru fiecare electrod independent pe două nivele de analiză.

• Poate fi apelat direct în cadrul mediul de dezvoltare prin intermediul ferestrei de comandă sau prin intermediul meniului EEGLAB

• Utilizatorul nu trebuie să apeleze nici o funcții în cadrul ferestrei de comandă a mediului de dezvoltare Matlab, totul putând fi obținut prin intermediul interfeței grafice cu utilizatorul.

În ceea ce privește interfața grafică cu utilizatorul aceasta constă din patru meniuri principale:

fig.1.16 a) ce permite importarea datelor epocilor,

fig.1.16 b) ce privește analiza ierarhizată a datelor EEG pentru primul nivel,

fig.1.16. c) ce privește analiza nivelului 2 ce include parametrii estimați pentru datele de electroencefalogramă în cadrul analizei primului nivel ca mai apoi să fie integrați subiecților,

fig.1.16. d) vizualizarea rezultatului.

Fig.1.16. a-d Vedere de ansamblu a interfeței grafice cu utilizatorul a programului LIMO EEG

Partea I: Introducere in Design-ul Modern al Interfețelor Creier-Calculator

Generalități

Interfața Creier-Calculator

Domeniile de aplicare ale interfeței BCI. Exemple

Provocări științifice

Instrumente disponibile

2.Elemente de bază ale EEG

Procesele fundamentale ale creierului

Caracteristici spațiale

Caracteristici temporale

Fenomenul complex EEG

Artefacte non-Creier

Detectare și achiziție

3.Procesarea Semnalelor în cadrul interfeței BCI

Rolul procesării semnalelor

Principalele clase de filtre

Filtre spațiale

Filtre temporale

Filtre spectrale

Neurofeedback-ul interfeței BCI

Noțiunea funcției de predicție

4.Adaptivitatea și Învățarea Automată

Cuprins

Adaptivitatea în cadrul Interfețelor BCI

Învățarea Automată

Studiu de Caz Concret

Evaluarea Performanței

Procesarea Potențialelor Legate de Eveniment (ERP)

Cuprins

Sarcina experimentală

Abordarea bazată pe analiză

Analiza Potențialelor Legate de Eveniment (ERP)

Procesarea avansată a ERP

Partea a II-a: Toolbox-ul BCILAB

6. Anatomia Toolbox-ului BCILAB

Cuprins

Context și fond

Aplicarea de Metode Rapide

Vedere de Ansamblu asupra Arhitecturii

Concepte Plugin

Reprezentarea datelor . Structura Pipeline

Partea a III-a: Manipularea Proceselor Complexe din Creier

7. Procesele Oscilatorii

Cuprins

Elemente de bază și exemple

Problema Filtrului Spațial

Modelele Spațiale Comune

Alternative și Extensii

8. Abordarea bazată pe Optimizare

Introducere

Mergând dincolo de algoritmul CSP

Învățarea Automată de Mare Complexitate

Aplicarea în cadrul Modelului Spectral

Aplicarea în cadrul Potențialelor Legate de Eveniment – ERP

Învățarea Simultană a Potențialelor Legate de Eveniment – ERP și a Ponderilor Oscilatorii

Observații Practice

9. Codarea și Plugin-urile BCILAB

Cuprins

Cerințe preliminare

Definirea unei abordări de calcul

Toate celelalte etape

10. Neuroștiința (Neurologie)

Aspecte și puncte de vedere

Cuprins

Condiții

Extragerea caracteristicilor semnalului de sursă

Informații anterioare bazate pe localizare

Exemplu recent: Schimbarea atenției

Puncte de vedere

Lecturi ulterioare

Partea I: Introducere in Design-ul Modern al Interfețelor Creier-Calculator

Generalități

Interfața Creier-Calculator

Domeniile de aplicare ale interfeței BCI. Exemple

Provocări științifice

Instrumente disponibile

1.Interfața Creier-Calculator

BCI: Definiția Tradițională

"Scopul tehnologiei BCI este acela de oferii persoanelor care suferă de paralizie severă o altă modalitate de comunicare, o modalitate care nu depinde de controlul musculaturii”. (Wadsworth Center)

BCI: Definiția Tradițională

"Scopul tehnologiei BCI este acela de oferii persoanelor care suferă de paralizie severă o altă modalitate de comunicare, o modalitate care nu depinde de controlul musculaturii”. (Wadsworth Center)

©

BCI: Definiția știintifică

„Un sistem care poate prezice in timp real un aspect abstract al stării cognitive al unei persoane pe baza biosemnalului măsurat de la aceasta.”

Subtipuri ale Interfeței creier- calculator

Interfață creier-calculator (BCI) de tip activ: „O interfață BCI de tip activ este o interfață BCI ale cărei ieșiri derivă din activitatea creierului, controlată direct în mod conștient de către utilizator, independent de evenimentele externe, pentru controlul unei aplicații.”

Interfață creier-calculator (BCI) de tip reactiv: „O interfață creier calculator (BCI) de tip reactiv este o interfață BCI ale cărei ieșiri derivă din activitatea creierului care apare ca reacție la stimularea externă, care este modulată indirect de către utilizator pentru controlul unei aplicații."

Interfață creier-calculator (BCI) de tip pasiv: "O interfață BCI de tip pasiv este o interfață BCI ale cărei ieșiri derivă din activitatea creierului arbitrar fără scopul controlului voluntar, pentru îmbogățirea interacțiunii om-calculator cu informațiile implicite.”

Zender și alții, 2009

Componentele de bază ale unei interfețe BCI

Schmidt, 2003

Componentele unei interfețe BCI moderne

Jung și alții, 2003

Biosemnale și alte intrări

Semnalele provenite de la creier

Electroencefalograma (EEG)

BioSemi B.V MINDO-16 (C.T și alții)

Spectroscopia funcțională in infraroșu apropiat (functional Near-infrared spectroscopy, fNIRS)

Seraglia și alții, 2011

Semnale provenite de la creier obținute prin metoda invazivă

Biocipuri de tip microarray (micro-matrici), Neurocipuri, biosenzori de electrocortigramă (ECoG)

Electrod Utah Cui și alții, 2001

Captarea semnalelor de la creier cu ajutorul senzorilor de dimensiunea unei camere

Magnetoencefalografie (MEG), Imagistica prin Rezonanta Magnetica funcțională (fMRI)

Tehnologii alternative ale interfeței BCI

Sisteme de detecție a mișcării, Sisteme de urmărire a mișcării ochilor pentru achiziția de semnale suplimentare care oferă informații despre context, despre ceea ce se întâmplă în cadrul proceselor creierului, astfel încât să se poată ști la ce se uită o persoană, printr-un dispozitiv de urmărire a ochilor ca acesta de tip ochelari produs de SensoMotric Instruments un lider mondial în domeniul tehnologiei computer vision, ca ramură a inteligenței artificiale și procesării imaginilor . și împreună cu o cască neuronală Emotiv cu senzori de electroencefalogramă de tip uscat. Prin intermediul unui dispozitiv kinect, prezentat în partea stângă a imaginii, se poate poate înregistra o captură de mișcare care oferă informații despre postura persoanei, despre starea sa emoțională, despre tipurile de artefacte și semnalele de zgomot care se proiectează la nivelul creierului, toate acestea, fiind utile pentru a îmbunătăți interfața creier-calculator.

Electromiografie (EMG), Electrocardiogramă (ECG), Electroculografie (EOG)

Microsoft

Sistem sau Starea Aplicației (este prezent stimulul? ,viteza curentă a vehiculului)

Semnale de mediu (zgomotul de fond / linie, temperatura din încăpere)

Evaluarea / Estimarea BCI / Predicția stării

Aspecte ale Stării cognitive

Orice aspect al stării fizice a creierului care poate fi măsurat suficient pe baza
  Testul de fiabilitate unică

Starea tonica: gradul de „relaxare”, sarcina cognitivă

Starea fizică: schimbarea atenției (atenția distriburtivă) , tipul de mișcare imaginat (modul de imaginare al mișcării)

Starea legată de eveniment : surprinsă/neprevăzută, eroare comisă, eveniment observat/neobservat

Domeniu de aplicare al BCI, Exemple

Comunicare și control pentru persoanele cu dizabilități severe

Dizabilități severe: Tetraplegie, Sindromul Locked-in

Aplicații de tip Speller

Speller-ul P300

Aplicații de control al unei proteze, Automatizarea locuinței

Monitorizarea Operatorului

Intenția de frânare, intenția de schimbare a benzii de circulație, volumul de lucru

Monitorizarea volumului de muncă/ Oboselii/ Monitorizarea vigilenței la piloți, controlori de trafic aerian sau la Operatorii centralelor nucleare

Criminalistică

Detector de minciuni, Amprentarea creierului, Evaluarea încrederii

Divertisment

Evaluarea dispoziției, „Controlul gândirii” (Controlul mental), Detectarea rapidă a răspunsului

Sănătate

Recunoașterea stadiilor de somn, Neuroreabilitare/ Reabilitare neurologică

Socializare

Dispozitive neurowear

Neuroștiință

Analiza modelelor mentale/ Imagistica creierului

Neuroștiință

Studiul conținutului informațiilor și al reprezentărilor pentru întrebări din domeniul neuroștiinței

Experimente neurologice în buclă închisă (manipularea experimentului depinde de starea creierului)

Provocări științifice

Domenii științifice conexe BCI

Fundamentele teoretice ale interfeței BCI se află în legătura de interdependență cu numeroase domenii ale științei: Procesarea semnalelor, Machine Learning , Inteligența computațională, Neuroștiința, Științele cognitive

Probleme întâlnite în cadrul domeniului interfeței BCI sunt similare cu cele întâlnite în alte domenii: Recunoaștere vocală, Sisteme vizuale artificiale, Analiza Seriilor de timp, Sisteme de control și Robotică

Interfețele BCI dificil de implementat

Procesarea semnalelor EEG depinde de parametrii necunoscuți (specifici pentru fiecare persoană în parte, specifici unei anumite sarcini, de altfel variabili)

Cauze ale variabilității semnalelor EEG

Plierea si densitatea cortexului diferă de la persoană la persoană (chiar și in cazul gemenilor monozigoți)

Harta funcțională a creierului diferă de la o persoană la alta

Locațiile senzorilor de electroencefalogramă (EEG) pot să difere de la o sesiune de înregistrare a undelor cerebrale la alta

Dinamica creierului este non-staționară în timp

Măsurarea semnalelor EEG reprezintă o adevărată provocare datorită raportului semnal-zgomot, fiind greu de obținut

Activitatea cerebrală relevantă este mică comparativ cu interferențele artefactelor și în comparație cu activitatea de fond a creierului

Măsurările specifice sunt chiar mai greu de obținut (în cazul detectării de tip grosier)

Colecțiile mari de neuroni sunt implicate în multe activități diferite, nu doar într-o activitate singulară

Fenomenele care stau la bază sunt, de asemenea, foarte diverse și bogate, iar măsurările derivate sunt încă puțin (slab) înțelese – nu este întotdeauna clar ce trebuie să se caute

Semnalele EEG sunt complicate (greu de modelat) din punct de vedere matematic, deoarece toți senzorii înregistrează aproape același semnal (suprapunerea tuturor activităților creierului)

Prin urmare, ei trebuie să fie computațional (de exemplu, statistic) dezangajați pentru o performanță optimă

Consecințe

Este necesară procesarea sofisticată a semnalelor

Sistemele BCI trebuie calibrate înainte de a fi utilizate

Calibrarea ar trebui să implice cât mai multe informații, cum ar fi: exemple de date, cunoștințe (informații) anterioare, baze mari de date

Instrumente disponibile

BioSig

A fost dezvoltat de Universitatea Tehnică Graz în anul 2002

Reprezintă unul dintre cele mai vechi instrumente BCI de tip open-source, pentru MATLAB/ Octave

Una dintre cele mai vechi unelte BCI cu sursă deschisă, pentru MATLAB / Octave , arhitectură de tip multi-platformă

Grad ridicat de funcționalitate dat de statisticile și analizele în domeniul timpului: Auto-regresie Adaptivă (AAR), Separarea în Orb a Surselor (BSS: Blind Source Separation), Modelele Spațiale Comune (CSP), Clasificatori (Analiza Discriminanților Liniari – LDA, Mașini cu Suport Vectorial – SVMs), Validare Încrucișată

Dezavantaje:

Oferă doar analiză offline – fără hardware sau suport în timp real

Nu este ușor de utilizat (nu oferă o interfață utilizator grafică- GUI, codul este destul de complicat, structura este doar parțial modulară)

BCI2000

Dezvoltat în cadrul Centrului Wadsworth al Departamentului de Stat al Sănătății în Albany, New York începând cu anul 1999

Dispune de o structură modulară, dezvoltat în limbajul C++, destinat în principal achiziției în timp real, procesării semnalelor, prezentării stimulilor, controlului experimentului, design robust, implementare pe scară largă la nivel de corporație

Suportă o gamă de echipamente de achiziție (în prezent 19 sisteme)

Documentație solidă, workshop-uri, cărți publicate, comunitate numeroasă

Dezavantaj: lipsa algoritmilor avansați de procesare a semnalului și de învățare automată (extensii dure și versiuni interne disponibile)

OpenVIBE

Dezvoltat de Institutul Național de Cercetare în Informatică și Automatizare -INRIA din Rennes începând cu 2006

Implementat în limbajul de programare C++, dispune de o structură modulară, concentrându-se pe programarea vizuală și programarea fluxului de date

Dispune de o interfață ușor de utilizat, prietenoasă cu utilizatorul și de o documentație bogată

Se concentrează pe construirea de blocuri funcționale

Sprijină o gamă largă de hardware de achiziție (15 sisteme), rulează pe Windows și Linux

Dezavantaje:

Oferă suport redus pentru fluxuri de informații complexe (cum ar fi învățarea automată, procesarea adaptivă semnalului

Este relativ greu de extins datorită cadrului complex

g.BSanalyze

Sistem comercial dezvoltat de g.Tec Austria, companie din domeniul ingineriei medicale care a dezvoltat aplicația peste 15 ani , fiind utilizată în peste 70 de țări

Se bazează pe un cadru MATLAB – Simulink

Oferă o colecție largă de algoritmi cheie, metode de evaluare etc.

Interfață grafică extinsă, de înaltă calitate

Oferă suport pentru amplificatoarele interne

BCILAB

Dezvoltat la Centrul Swartz pentru Neuroștiințe Computaționale în cadrul Universității din California, San Diego , începând cu anul 2010 (precursori datând din anul 2006)

Oferă o analiză bazată pe mediul de dezvoltare MATLAB, arhitectură de tip multi-platformă, permite analiza datelor atât online cât și offline; sunt disponibile versiuni independente

Oferă cea mai mare colecție de algoritmi BCI pentru procesarea semnalelor, învățarea automată etc.

Cadrul intern complex necesită cunoștințe suplimentare pentru extinderea lui

Relativ puțin sprijin nativ pentru sistemele de achiziție (un număr maxim de 5), dar poate lega cadrele de experimentare în timp real (BCI 2000, pentru sincronizarea datelor de transmise pentru analiza sau înregistrarea lor în timp real (Lab Streaming Layer – LSL)

Alte Pachete

FieldTrip: oferă un set de instrumente pentru magnetoencefalografie (MEG) sau electroencefalografie (EEG) cu funcții online

xBCI: Un nou cadru bazat pe limbajul de programare C++ axat pe funcționarea online, arhitectură de tip multi-platformă, interfață grafică cu utilizatorul – GUI centrată

BF ++: dispune de un cadru BCI matur (dezvoltat începând cu anul 2000), deși nu foarte cunoscut (analiză și modelare offline cu UML și XML)

TOBI: oferă o suită de protocoale pentru interoperabilitatea și colectarea datelor BCI

PyFF: oferă un sistem de prezentare a stimulilor BCI pe bază de Python

BBCI: sistem bazat pe MATLAB dezvoltat de Universitatea Tehnică din Berlin, oferă un set de instrumente și un set metode BCI foarte cuprinzătoare, este disponibil pentru licențiere

BCI++: sistem relativ nou , bazat pe limbajul de programare C++, axat pe interacțiunea om-calculator și pe realitatea virtuală (este în continuă creștere)

2. Elemente de bază ale EEG

Procesele fundamentale ale creierului

Caracteristici spațiale

Caracteristici temporale

Fenomenul complex EEG

Artefacte non-Creier

Detectare și achiziție

2.1. Procesele fundamentale ale creierului

Procese fundamentale neurale

Interfețele Creier-Calculator funcționează pe baza efectelor observabile ale activității creierului

Cu excepția fMRI și fNIRS, acestea acționează asupra efectelor proceselor de aprindere neurală

EEG, MEG și ECoG pot detecta dinamica neurală pe scară largă

De exemplu, 50.000 de neuroni acționează într-o sincronizare perfectă

Celulele piramidale aduc cea mai mare contribuție la EEG

Orientațe radial în cortex (ortogonale la suprafață)

Se adaugă câmpurile electromagnetice aliniate și activate

Procesele creierului pe scară largă

Când pot să acționeze 50.000 de neuroni într-o sincronizare perfectă?

Un eveniment extern declanșează o cascadă de procese neuronale asociate (de exemplu, în percepție)

Un eveniment intern declanșează o cascadă de procese neuronale asociate (de exemplu, brusc "aha!")

Populațiile neuronale intră într-un model de ardere stabilizată sincron (de exemplu oscilații inactive)

Evenimentele potențiale legate de eveniment (ERP) și procesele oscilatorii sunt cele două fenomene EEG / MEG detectate de BCI

Detectarea semnalului

Originea poate să nu fie direct observabilă (de exemplu, sistemul dopaminergic, structurile profunde ale creierului, neuroni puțini);

Este puțin probabil ca populațiile neurale dispersate să prezinte sincronizare (cu excepția cazului în care sunt conectate printr-un ansamblu de fibre)

Spațiul compact este mult mai probabil să aibă o sincronizare coordonată

Câmpurile electromagnetice se pot anula reciproc (de exemplu, în Amigdala)

2.2. Caracteristici spațiale

Părți anatomice

Unele caracteristici remarcabile pe scară largă ale creierului sunt emisferele, lobii, girus și sulcus

Cartografierea funcțională

Pentru majoritatea regiunilor există asociații funcționale mai mult sau mai puțin cunoscute – cortexul motor este unul dintre cele mai bune exemple:

Conductivitate

Activitatea neuronală se realizează prin intermediul creierului la nivelul scalpului și senzorii de conductivitate

Conductivitatea este liniară

Fiecare senzor măsoară o sumă (ponderată) a activității fiecărui neuron

Evaluarea zonelor

Sistem de localizare standardizat (sistem 10-20)

Salvează o mulțime de hassle față de etichetele personalizate

Definit, de asemenea, la rezoluții mult mai mari (care nu sunt prezentate aici)

Hărțile reale ale scalpului

Hărțile reale ale scalpului (tensiunile observate la nivelul scalpului) permit localizarea sursei

Hărțile reale ale scalpului dintr-o singură sursă sunt rareori observate la primul semnal, dar pot fi obținute prin procesarea semnalului (mai târziu)

Model echivalent dipolar (dipol)

Câmpul electromagnetic susținut de o colecție compactă de neuroni (de exemplu 1 cm2) poate fi modelat ca un singur echivalent dipolar

Acest lucru facilitează localizarea sursei

Alte hărți ale scalpului și dipolare asociate

Probleme de modelare a dipolului

Asocierile de înaltă calitate sunt greu de realizat

Necesită cunoașterea amplasării senzorilor

Necesită ipoteze cu privire la conductivitățile scalpului, a craniului, a lichidului cefalorahidian (CSF), a țesutului cerebral

Necesită cunoașterea contracției cortexului (dipolar), cu excepția cazului în care se utilizează modelul sferic simplist

Unele țesuturi cerebrale au conductivitate anizotropă (materie albă)

Hărțile scalpului nu sunt perfecte de obicei (provin din prelucrarea datelor) – precizia asocierii este deteriorată

Hărțile scalpului pot fi o sumă de surse multiple dipol – necesită un model sursă distribuit

Model sursă distribuit

Permite recuperarea și prezentarea suportului cortical distribuit al hărților scalpului date

O gamă largă de metode și ipoteze fundamentale (sLORETA, Beamforming, Sparse Bayesian Learning, …)

Înclinat spre găsirea de soluții optime doar la nivel local

Formarea fasciculului LCMV Formarea fasciculului anatomic forțat

SLORETA Învățare Bayesiană împrăștiată

2.3 Caracteristici temporale

Activitate neurală vs. Scalp

Comportamentul caracteristic de spiking (marcare – pivot) al unui singur neuron

Semnal caracteristic măsurat la nivelul scalpului

Evenimente asociate potențiale (ERPs)

Stabilirea activității EEG în raport cu un eveniment are ca rezultat în principal activitatea indusă de eveniment (în medie variabilitatea testare – cu -testare)

ERP-urile cu un singur proces sunt mult mai greu de identificat

Procese oscilante

EEG este impregnat cu procese oscilante, cum ar fi ritmul alfa (imagine)

Numele standard pentru astfel de ritmuri sunt delta (0-4 Hz), theta (4-7 Hz), alfa (8-13 Hz), beta (12-30 Hz) și gamma (25-100 Hz)

Alpha: Zonele senzoriale (cortexul vizual, cortexul auditiv) și zonele motorii (cortexul motor) prezintă oscilații puternice de bandă alfa când sunt „inactive” la majoritatea subiecților

Beta: Cortexul motor generează uneori și oscilații betaband

Theta: Se cunoaște că apare în „explozii” legate de evenimente din anumite zone ale creierului (de exemplu linia mediană frontală, frontală laterală, …)

2.4 Fenomene EEG complexe

Surse EEG separate prin ICA

Fenomene de ordin superior

Coerența evenimentelor asociate între două componente de semnal (aici date simulate)

Conectivitate efectivă

Dimensiunea complexă a interacțiunii dintre mai multe semnale („fluxul de informații”)

Mullen et al., 2011

2.5 Artefacte non-Creier

Artefacte Non-Creier

De cele mai multe ori depășesc cu mult procesele creierului în EEG (când sunt prezente)

Generate la nivel intern: mușchii gâtului, feței și ochilor, dipolii ochilor, activitatea inimii

Generate la nivel extern: zgomot de linie de 50/60 Hz, creștere EM de la echipament

Senzori asociați: abaterea contrabalansării DC, balansarea cablului, zgomotul termic, zgomotul de cuantificare

Artefacte musculare

Frecvență înaltă / bandă largă, amplitudine mare

Proiecțiile scalpului sunt stereotipate spațial

Clipirea ochilor

Punct culminant de frecvență joasă și destindere, în principal frontal

Poate produce și efecte neliniare în cortexul occipital

2.6 Analiză și achiziție

Modele de senzori EEG

Cele mai multe sisteme EEG sunt pe bază de gel

În ziua de azi cea mai mare parte folosesc electrozi activi

Sistem pasiv, bazat pe gel Produse active, pe bază de gel

(EasyCap) (produse pentru creier)

Sistemele uscate (fără gel) își fac loc rapid

Pini Pini cu arc Senzori pe bază de spumă

(g.SAHARA) (NCTU) (NCTU)

Prototipuri recente

Senzori tip țepi Epidermă electronică

(Grozea et al., 2011) (Kim et al., 2011)

Digitizarea

După amplificare (de exemplu 50000x), semnalul este filtrat low-pass (trece-jos) utilizând un filtru analogic, apoi reglat digital la o rată fixă

Ottewill

Teorema de analiză

Dacă semnalul este limitat la bandă sub frecvența Nyquist B (adică nu conține o frecvență mai mare decât B) acesta poate fi reconstruit identic folosind funcția de interpolare:

Frecventa Nyquist este ½ rata de analiză

Acces bazat pe calculator

Datele sunt accesibile prin:

Programe de înregistrare specifice furnizorilor (BrainVision Recorder, ActiView, g.Recorder, …)

Furnizori de sisteme specifice (Emotiv SDK, driver BioSemi, …)

Interfețe generice de sistem (de ex., Port serial Bluetooth, carduri A / D, TCP, …)

Aproape toate sistemele EEG suportă accesul la semnal în timp real (cu excepția unor gadget-uri)

Procesarea Semnalelor în cadrul interfeței BCI

Rolul procesării semnalelor

Principalele clase de filtre

Filtre spațiale

Filtre temporale

Filtre spectrale

Neurofeedback-ul interfeței BCI

Noțiunea funcției de predicție

3.1 Rolul procesării semnalelor

Teoria BCI

Tehnologia interfeței BCI se bazează pe teoria din numeroase alte domenii (Procesarea Semnalelor, Învățarea Automată (ca ramură a inteligenței artificiale), Neuroștiință, Teoria Controlului, Teoria Informațiilor etc.)

O interfață BCI poate fi înțeleasă din punctul de vedere al oricăreia din aceste teorii

Dar nici o teorie luată individual nu poate să descrie toate aspectele legate de interfața BCI

Procesarea Semnalelor

Procesarea Semnalelor Digitale se bazează pe sistemele de conversie a semnalelor (filtre)

Sistemele Invariante în Timp (LTI), din categoria cărora fac parte filtrele Spectrale

Procesarea Semnalelor prin metode Statistice și Filtrarea Adaptivă reprezintă domeniile cele mai avansate (ex. Filtrul Kalman, Metoda Celor Mai Mici Pătrate Recursivă)

Procesarea semnalelor sparse (rare/împrăștiate/rispite) ( ex: recuperarea semnalelor sparse, algoritmii de reconstrucție ai semnalelor sparse, teoria de achiziție comprimată) este o ramură nouă cu aplicație în domeniul interfeței BCI

Un semnal (discret în timp) este mapat prin atribuirea unui index în cadrul unui vector

Din punctul de vedere al procesării semnalelor , interfața BCI convertește semnalul de la intrare x(n) (de exemplu semnalul EEG) într-un semnal de control y(n) pe baza regulii de transformare T:

Tipuri Importantente de Sisteme

Un sistem este numit static daca valoarea y(n) a unui (oricărui) eșantion n depinde numai de x(n), altfel sistemul este dynamic

Un sistem se numește cauzal dacă ieșirea y(n) în orice moment n depinde doar de valorile lui x(m) pentru , altfel sistemul este non-cauzal

Un sistem (poate fi) se numește invariant în timp daca presune faptul că y (n – k) = T[x(n-k) pentru fiecare întârziere k, altfel sistemul este variabil în timp

Un sistem se numește liniar dacă ecuația este valabilă pentru toate intrările și și pentru toate constantele și , altfel sistemul este neliniar

Patterns = tipare

Importanța utilizării filtrelor în cadrul interfeței BCI

Deoarece interfețele BCI sunt operate în timp real, ele sunt întotdeauna sisteme cauzale

Interfețele BCI se bazează de obicei pe filtrarea temporală și, prin urmare, ele sunt dinamice

Unele interfețe BCI pot fi invariante în timp dar o interfață BCI nu poate fi adaptivă

Interfețele BCI simple sunt liniare, dar marea majoritate a lor sunt neliniare

Ieșirea necesită o rată de eșantionare cu o frecvență cuprinsă între 0.1 – 60 Hz mult mai mică decât cea necesară pentru o intrare (250 – 1000 Hz)

Componentele interfeței BCI ca filtre

Componentele interfeței BCI sunt descrise în mod convenabil ca filtre – mai mult decât întregul sistem în sine

Acest lucru dă naștere la mai multe categorii cheie de componente de filtrare

Principalele clase de filtre utilizate în cadrul interfeței BCI

Filtre Statice

Funcția semnalului în cuadratură:

Sau ca semnal in cuadratură ????

Sistem static, un pas util în calcularea variației semnalului

Funcția logaritmică

Ca logaritm ??????

Utilă mai târziu

Filtre spațiale

Transformă un semnal multi-canal astfel încât fiecare depinde numai de ; cele mai multe filtre spațiale sunt liniare, adică pentru o anumită matrice M

Filtrele liniare spațiale pot inversa/schimba ordinea marimii/conținutului transmis și pot remapa semnalul unui canal pentru a aproxima sursa semnalului ( pentru aproximarea semnalelor sursă ?????) – aceasta este principala lor utilizare în cadrul interfeței BCI

Filtrele liniare spațiale au ca principală utilizare în cadrul interfeței BCI schimbarea ordinii mărimii transmise și remaparea semnalului unui canal pentru aproximarea sursei semnalului/semnalelor sursă

Exemple: Referențierea, Laplacianul Suprafeței, Analiza Independentă a Componentelor (ICA), Modelele/Tiparele Spațiale Comune (CSP)

Vizualizarea Filtrelor Spațiale (sau poate Filtrarea spațială)

Filtrele spațiale/ poate mai bine: Filtrarea spațială a fost concepută / se utilizează pentru a recupera/recuperarea activitatea sursă a cortexului motor , calculate/ care se calulează/ și se calculează prin algoritmul Modelelor/Tiparelor Spațiale Comune (CSP).

Filtrele spațiale vs. Proiecțiile/ previziunile? viitoare/ forward / Proiecția înainte

Filtrele spațiale nu sunt aceleași cu hărțile de proiecție înainte ale unor semnale sursă – acestea sunt operația inversă (invers față de filtrarea spațială)

Filtrele Temporale

Transformă un semnal multi-canal astfel încât fiecare canal din depinde numai de canalul

Ele sunt conceptual ortogonale filtrelor spațiale

Exemplele includ: filtrarea semnalelor în domeniul timpului (time windowing), Transformata Wavelet etc.

In cazurile speciale: filtrarea spectrală

Exemple de Filtre Temporale

Filtre de mediere (moving average filters)

Au un rol esential în netezirea semnalului (filtre trece-jos)

În esență constituie un exmplu simplu al unui filtru spectral

Filtrele Spectrale

Reprezintă filtre temporale proiectate pentru efectele lor asupra spectrului semnalului

Spectrul unui semnal: o reprezentare a semnalului ca o sumă a componentelor N sinusoidale,

unde: reprezintă amplitudinea fiecărui sinusoid , iar reprezintă faza sa.

O reprezentare echivalentă (mai frecventă) este reprezentarea seriei Fourier

unde: are valori complexe și reprezintă atât amplitudinea, cât și faza

Acestea se bazează pe formula Euler

Exemplele includ: filtrul trece-sus , filtrul trece-jos, filtrul trece-bandă, filtrul de tip Notch (crestătură)

Principala lor utilitate în cadrul interfeței BCI este de a izola oscilațiile sau Potențialele legate de eveniment (ERPs) care prezintă interes

Un filtru spectral cheie

Filtru FIR (Filtru cu Răspuns Finit la Impuls):

Realizează/efectuează o convoluție între semnal și nucleu (kernel) pe baza coeficienților

Poate implementa (include) orice filtru spectral liniar invariant în timp

Filtrele de mediere reprezintă un caz special

Implementarea Filtrelor

Filtrul trece-jos:

Fitrul trece-sus:

Filtrul trece-bandă

Design-ul Filtrului cu fază minima

Filtrul cu fază liniară de tipul trece-jos (decalaj,defazaj, intarziere, lag uniformă):

Filtrul cu fază minima de tipul trece jos (decalaj,defazaj, intarziere, lag minim):

Proiectarea Filtrului FIR in mediul de dezvoltare MATLAB

Se aplică diferite criterii pentru proiectarea (nucleului, kernel) filtrului (pentru a avea răspunsul droit în domeniul frecvenței)

Eroarea prin metoda celor mai mici pătrate: firls

Eroarea minimax (Parks-McClellan): firpm

Utilizarea Transformatei Fourier: fir2

Alegerea rezonabilă a ordinului fitrului (lungime): firpmord

Proiectarea filtrului cu fază minima (folosind analiza Cepstral): rceps

Alte tipuri de Filtre

Filtre Spațio-Temporale sunt, de asemnea utilizate, dar au mult prea multe grade de libertate pentru a putea fi proiectate manual; reprezintă (sunt) de obicei rezultatul unei proceduri adaptive

Filtre Spațio-Temporale, sunt, de asemnea foarte utilizate, dar datorită faptului că oferă un număr mare de grade de libertate , ele nu pot fi proiectate manuals; reprezintă (sunt) de obicei rezultatul unei proceduri adaptive

Transformări spectrale se bazează pe conversia dintre timpul și reprezentarea spectrală a unui semnal și sunt utilizate frecvent ca etape intermediare

Filtre de schimbare/refacerea ratei/ pentru refacerea ratei cum ar fi reeșantionarea, sunt utile pentru a gestiona costurile de calcul (computaționale)

Neurofeedback-ul interfeței BCI

Feedback-ul generat de amplitudinea oscilației inerțiale a creierului (de exemplu, undele alfa cu o frecvență de 10 Hz pentru relaxare) transmis către calculatorul utilizatorului / subiectului

Poate fi implementat utilizând instrumentele discutate:

Noțiunea funcției de predicție

Alternativa la Cadrul de Procesare a Semnalelor

O interfață BCI cu o memorie limitată ar putea fi privită și ca o funcție matematică f:

Forma funcțională este arbitrară, de exemplu:

Maparea (funcția mai bine !!!) implică parametrii necunoscuți, în cazul de față aceștia fiind W și b

Reflectă relația dintre observație (segmentul de date X) și ieșirea dorită (parametrul stării cognitive y)

Se bazează pe un anumit model generativ asumat (modelul forward (înainte)) sau pe unul ales ad-hoc

Forma funcțională este reprezentată de maparea inversă

Ingredientul esențial : Filtrul spatial

Inversa liniară a efectului volumului de conducție

(modelulul înainte (forward))

(modelul inversei)

Exemplu

Inversa funcției de filtrare a semnalului în domeniul timpului a stării cognitive latente:

(liniară)

(neliară)

Neurofeedback-ul Interfeței BCI în Stil Funcțional

Efectuat ca o mapare a protocolului ferestrei glisante (sliding window) X asupra ieșirii y:

Unde T reprezintă implementarea filtrului temporal, scris ca o matrice de multiplicare

(de completat paranteza)

Comparație între metodele utilizate

Principalul dezavantaj al formei matematice pure în comparație cu abordarea procesării semnalelor:

Întreaga fereastră de intrare X este reprocesată pentru fiecare valoare de ieșire dorită

Un dezavantaj important il reprezintă faptul că fereastra X avansează (se deplaseză) numai cu câteva eșantioane între evaluările funcției f

În contrast, majoritatea, metodeleor de procesare a semnalului sunt incrementale sau recursive ( de exemplu: Filtrul cu Răspuns Finit la Impuls (FIR) sau Filtrul cu Răspuns Infinit la Impuls (IIR)

Principalul beneficiu: este relative simplu din punct de vedere conceptual

În combinație

Ambele cadre sunt complementare , mai degrabă decât contradictorii în practică fiind adesea folosite în combinație

Funcția de precție este interogată la cerere

Neurofeedback-ul obținut prin abordarea combinată

Filtrarea spectrală, costisitoare din punct de vedere computational, se realizează în porțiunea de procesare a semnalului

Maparea predictivă se realizează la o rată mai mica în porțiunea funcțională

Vedere din exterior a Interfețeței BCI

Implementată în acest fel (astfel ???) o interfață BCI poate să prezică răspunsul asupra unei întrebări predefinte pe baza interogării unuia sau mai multor semnale multi-canal

Notă: în cadrul interfețelor BCImoderne, ieșirea este adesea o distribuție de probabilitate discretă

Adaptivitatea și Învățarea Automată

Cuprins

Adaptivitatea în cadrul Interfețelor BCI

Învățarea Automată

Studiu de Caz Concret

Evaluarea Performanței

Adaptivitatea în cadrul Interfețelor BCI

Parametrii Necunoscuți

Pentru majoritatea întrebărilor și implementărilor BCI, parametrii care conduc la cea mai bună precizie (W, b, …) sunt a priori necunoscuți …

Depind de factori foarte variabili (de exemplu, amplasarea senzorilor, starea subiectului)

Diferă pentru fiecare persoană (ex: sarcina de măsurat, montaj etc)

Depinde de factori greu de măsurat (de exemplu, Harta funcțională a creierului)

Depinde de factori costisitori la măsurare (cum ar fi de exemplu, plierea creierului)

Cum se poate rezolva aceasta problemă ?

Modelul de Calibrare

Utilizează datele de calibrare / antrenament pentru a estima parametrii și o etapă separată de calibrare

Cunoștințe Prioritare

Cunoștințele prioritare sunt cele ce țin de domeniul neuroștiinței, cum ar fi:

Atlasele anatomice (de exemplu, Talairach, LONI)

Atlasele funcționale

Informațiile legate de sincronizare (de exemplu, latența neuronală, timpii de reacție)

Benzile de frecvență ale proceselor oscilatorii (alpha, beta, teta , gama)

Datele de calibrare

Exemplele / datele de calibrare sunt utilizate pentru a calcula parametrii optimi (sau optimali??????) ai unei Interfețe BCI și sunt extrem de importante

Calibrarea ideală a datelor

Datele Ideale de Calibrare?????

Colectarea datelor trebuie să se facă cu același aparat sau cu un aparat de măsură similar celui folosit pentru rularea online

Altminteri necesită transformări suplimentare și pot apărea incertitudini

Cuprinde multiple realizări independente / repetiții / încercări (pentru a cuantifica variabilitatea)

Învățarea unică (one-shot) folosind o singură probă, este mult mai dificilă

Datele să fie colectate în condiții cât mai apropiate de cele ale rulării în mediul online (adică din aceeași distribuție statistică)

De preferat de la aceeași persoană

Este preferabil același aranjament al biosenzorilor

Aceeași sesiune este de preferat

Parametrii în timpul efectuării unei anumite sarcini (ex: nivelul de stres) ar trebui să fie similari

Evident, un compromis în detrimentul aportului de cost / beneficiu:

Ar putea schimba unele performanțe pentru a reutiliza o singură sesiune de înregistrare pentru mai multe sesiuni și persoane

Dacă apar erori sistematice (de exemplu, generate de sesiuni diferite), datele ar trebui sa acopere mai multe realizări (de exemplu, mai multe sesiuni) pentru a capta variabilitatea

O înregistrare EEG simplă este „neetichetată” (nu există informații despre asocierea dintre semnalul brut observat și variabila de interes a stării cognitive)

Datele etichetate (spre exemplu, atunci când o persoană este „surprinsă” / „nu este surprinsă”) sunt mult mai utile decât cele neetichetate

Etichetele sunt atribuite pentru fiecare realizare (de exemplu, pentru fiecare încercare) și indexează ieșirea pe care interfața BCI o va produce pentru această clasă de date

Sumar

Datele necesare pentru calibrarea unui interfețe BCI se aseamănă cu datele obținute prin experimente psihologice controlate

Caracteristici

EEG continuu, stabil

Multiple încercări / blocuri (captarea variației)

Aleator (eliminarea confunzilor)

Markerii de eveniment pentru a codifica condițiile stării cognitive de interes, de exemplu stimuli / răspunsuri (numiți „markeri tintă” în toolbox-ul pentru Matlab – BCILAB)

Poate fi folosit de asemenea pentru teste de performanță offline

Imagine de ansamblu

4.2 Învățarea Automată

Domeniu considerabil cu peste 100 de algoritmi

Cele mai multe metode se conformează unui cadru comun care se bazează pe o funcție de instruire (training) și o funcție de predicție

Parametrii modelului intermediar captează relația de învățat

Datele și etichetele / valorile țintă

Unde: N = numărul de încercări, F = caracteristicile, D = dimensiunea ieșirilor

Cadrul de Învățare Automată este în mare parte bazat pe încercări (învățarea din modele, probe)

Majoritatea metodelor au în componența lor două funcții: funcția de învățare și funcția de predicție

Funcția de învățare este adesea mult mai complexă decât funcția de predicție

Subtipuri ale Învățării Automate

Învățarea Supervizată: dată de un set de perechi (intrări, ieșiri) ca date de training (instruire), învățarea unui model parametric (sau non-parametric) M care codifică maparea de la intrare la ieșire

Învățarea Nesupervizată: dată de un set de exemple de instruire, învățarea structurii în spațiul de intrare (intrărilor) (de exemplu, clustere, colecții, densitatea de probabilitate)

Învățarea Semi-Supervizată: unele exemple de instruire au etichete, altele nu

Altele: de exemplu, Învățarea Activă, Învățarea Online etc.

Domenii Înrudite

Teoria Probabilității

Statistică

Optimizare

Rețele Neuronale

Inteligență artificială

Utilizarea Învățării Automate

Adesea, un segment de probă (eșantion) este extras pentru fiecare marker țintă din înregistrarea de calibrare și este folosit ca exemplu de instruire

Eticheta sa asociată poate fi dedusă din markerul țintă

Funcția de instruire calculează un parametru () al funcției de predicție astfel încât performanța datelor să fie optimă

Ceea ce este considerat optim depinde de ipoteze suplimentare (cunoscute și sub numele de a priori)

Extragerea Caracteristicilor

Metodele de învățare automată adesea nu funcționează foarte bine atunci când sunt aplicate pe segmentele de semnale brute ale sesiunii de înregistrare (calibrare)

Prea mari din punct de vedere dimensional (prea mulți parametrii pentru a se potrivi)

Structura care trebuie capturată prea complexă (prea multă libertate de modelare)

Soluție: Introducerea unei mapări suplimentare (denumită „extragerea caracteristicilor”) din segmentele de semnal brute pe baza vectorilor de caracteristici

Ieșirea este adesea de dimensiuni mai mici

Sunt distribuite mai bine din punct de vedere statistic (mai ușor de manevrat pentru învățarea automată)

Exemple de extragere ale caracteristicilor

Depind de procesul de interes (de exemplu, oscilație, vârf ERP (Pontențiale legate de eveniment), fenomen complex

Pentru oscilații, de exemplu:

Variație logaritmică (logaritmul oferă distribuirea mai convenabilă a datelor)

Partea legată de spectrul semnalului, dat de transformata Fourier

Pentru ERP-uri, de exemplu

Latența maximă, înălțimea, lățimea (exemplu artificial)

Unul sau mai multe intervale de timp legate de eveniment

Submulțimea coeficienților Wavellet

4.3 Studiu de Caz Concret

Exemplu de Problemă de Calibrare

Sarcina: Unei persoane îi este prezentată o succesiune de 300 de imagini (câte una la fiecare 2 secunde). Jumătate din imagini sunt captivante, cealaltă jumătate nu. Datele generate de subiect sunt înregistrarea pe baza unui canal de electroencefalogramă EEG care corespunde Sistemului Internațional Standardizat 10-20 ce reglementează modelul de plasare a electrozilor de electroencefalogramă la nivelul scalpului (se utilizează electrodul central de EEG plasat în locația Cz

Întrebare: Cum ar trebui să se proiecteze o interfață BCI care să poată determina daca unei persoane i-a fost prezentată o imagine captivantă sau o imagine care nu prezintă un interes deosebit

Abordare: Pentru fiecare încercare , se decupează o probă (epocă) cu lungimea de 1s, se extrage un vector scurt de caracteristici și se atribuie o etichetă în intervalul {E,NE}. Se utilizează învățarea automată pentru a găsi o mapare statistică optimă de la la .

Extragerea Caracteristicilor unui Vârf

O caracteristică de vârf presupusă într-o fereastră de timp (în raport cu un anumit eveniment) poate fi descrisă pe baza celor trei parametrii:

Latența maximă, Înălțimea și Lățimea impulsului

Rezultatul Caracteristicii Spațiale

Trasând vectorii de caracteristici ale celor 3 elemente (vârfurile de latență, lățime și amplitudine) pentru toate încercările captivante în culoare roșie și non-captivante în culoarea verde, obținem două distrubuții într-un spațiu 3D:

Extragerea Caracteristicilor în cadrul Învățării automate

Include extragerea caracteristicilor, procesul de analiză după cum urmează:

Vectorii de caracteristici sunt transferați către o funcție de învățare automată (de exemplu, Analiza Discriminanților Liniari) care determină o mapare parametrică predictivă

Modul de Aplicarea al Analizei Discriminanților Liniari în cadrul Învățării Automate

Se dă un segment de probă (în formă vectorială) cu clasele și

Harta Predictivă Rezultată

Analiza discriminanților liniari (LDA) generează parametrii unei mapări liniare

Pentru clasificare, maparea este în realitate neliniară:

Aprofundare LDA

Ipoteze:

Datele din fiecare clasă sunt distribuite în conformitate cu distribuția Gaussiană

Forma distribuției este identică pentru toate clasele

Beneficii:

Simplă, rapidă și optimă în limita unei rate de eșantionare ridicate dacă ipotezele sunt adevărate

Probleme:

Foarte sensibilă la valori extreme (non-Gaussiene)

Estimările matricei de covarianță devin inconsistente/inutilizabile pentru prea puține încercări și prea multe dimensiuni

Punând totul laolaltă

Se Aplică filtrul trece-bandă pentru a înregistra calibrarea:

Se extrag probele (epocile) în raport cu markerii țintă

Se extrag caracteristicile pentru fiecare epocă (vârfurile)

Se supun toți vectorii de caracteristici și etichetele țintă Analizei Discriminanților Liniari (LDA) pentru a calcula parametrii și ce sunt mai apoi utilizați pentru a determina maparea parametrică predictivă

Pentru operarea online, funcția globală de predicție constă în extragerea caracteristicilor urmată de realizarea unei hărți predictive

Aceasta produce un „detector al stării emoționale” primitiv

Modelul Interfeței Creier-Calculator (BCI)

Interfețele BCI sunt descrise pe baza „modelelor BCI” care specifică atât graficul de filtrare, cât și funcția de predicție (inclusiv parametrii săi)

Aceste modele sunt rezultatul etapei de calibrare

Paradigmele BCI

Noțiunea de Paradigmă BCI a fost dezvoltată pentru prima dată în cadrul toolbox-ului pentru Matlab – BCILAB

O paradigmă BCI se definește ca fiind descrierea și codificarea completă a unui anumit tip de proces de calibrare și predicție

Evaluarea Performanței

Cum se evaluează un model ?

Strategii Generale de Evaluare

Când sunt date datele de calibrare și datele de testare

Estimarea parametrilor modelului (filtre spațiale, statistici)

Se aplică modelul la date noi (online /o singură probă/încercare)

Se măsoară performanța sau pierderea predicției

Notă: Estimarea globală a pierderilor între un vector de predicții și un vector de obiective (ținte) este o statistică sumară

Eroarea Medie Pătratică:

Rata erorilor de clasificare

Ce se întâmplă dacă nu există un al doilea set de date?

Alternativă: se divide un set de date (rată standard 5x / 10x) în mod repetat în blocuri de instruire / blocuri de testare în mod sistematic prin procedeul cunoscut de asemenea sub denumirea de tehnica de validare încrucișată

Fiecare încercare (probă) este utilizată pentru a fi testată o singură dată

Apreciere: Deoarece încercările (probele) învecinate sunt mai strâns legate între ele decât caracteristicile datelor culese online, trebuie să se lase o marjă de câteva încercări (probe) / secundă între instruire și testare

Căutarea parametrilor se poate face utilizând validarea încrucișată într-o căutare de tip grid (grilă / rețea) (prin încercarea tuturor valorilor parametrilor liberi)

Alternativă: Căutarea parametrilor poate fi imbricată în cadrul unei validări încrucișate exterioare ("validarea încrucișată imbricată")

Procesarea Potențialelor Legate de Eveniment (ERP)

Cuprins

Sarcina experimentală

Abordarea bazată pe analiză

Analiza Potențialelor Legate de Eveniment (ERP)

Procesarea avansată a ERP

Sarcina Experimentală

Sarcina de tip flanker (flanc): Experimentul constă dintr-o secvență de circa 330 de încercări (probe) cu un interval cuprins între 2s +/- 1.5s

La începutul fiecărui proces, o săgeată este reprezentată central (indicând fie spre stânga, fie spre dreapta)

Săgeata centrală este flancată de alte săgeți congruente sau incongruente

Subiectul este rugat să apese pe butonul stânga / dreapta, în conformitate cu săgeata centrală și face erori frecvente (25%)

Considerații

Caracteristicile vârfurilor ERP discutate până acum fost alese pentru un singur canal de electroencefalogramă (EEG)

Principala problemă: în cazul utilizării mai multor canale de electroencefalogramă (EEG), toate canalele măsoară aproape aceleași proprietăți ale semnalului, astfel încât la ieșire se obține o cantitate de informație limitată

Posibilă rezolvare: Aplicarea unui filtru spațial asupra semnalului sursă de interes permite utilizarea mai multor canale de EEG și facilitează extragerea caracteristicilor semnalului sursă

Cum ar trebui proiectat un filtru spațial optim pentru această sarcină?

Idee: se poate realiza implicit printr-un clasificator liniar atunci când este aplicat mai multor canale de EEG

Funcționează numai pentru caracteristicile semnalului sursă (transformări liniare aplicate caracteristicilor de semnal pentru fiecare canal de EEG)

Clasificatorul trebuie să producă aceeași soluție (de exemplu, rotație și scalare utilizând Analiza Discriminanților Liniari (LDA)

Abordarea bazată pe analiză

Sesiunea de calibrare este filtrată pe baza unui filtru trece-bandă cu un domeniu de frecvență cuprins între 0.5 – 15 Hz

Limita inferioara a filtrului cu frecvența de 0.5 Hz elimină artefactele de joasă frecvență

Limita superioară a filtrului cu frecvența de 15 Hz oferă o lățime de bandă suficientă pentru filtrarea caracteristicilor Potențialelor Legate de Eveniment (ERP)

Probele (epocile) sunt extrase pentru fiecare încercare, iar eticheta este atribuită fie lui A pentru încercările incorecte, fie lui B pentru încercările corecte

Date Reale

Analiza în domeniul timpului pentru toate încercările suprapuse (codificate prin codul culorilor pentru fiecare clasă) pentru diferite sarcini

Extragerea Probelor (Epocilor)

Extragerea Caracteristicilor Liniare

Problemele dezvoltate de Analiza Discriminanților Liniari

Caracteristicile multi-canal sunt prea mari din punct de vedere al dimensiunii pentru a putea utiliza Analiza Liniară a Discriminanților (LDA) în scopul de a manipula mai multe încercări

Fixarea LDA

Se dă un segment de probă (în formă vectorială) cu clasele și

adesea prea mare din punct de vedere al dimensiunii , astfel încât sunt disponibile doar un număr redus de încercări

În schimb se poate utiliza un estimator pentru regularizarea parametrilor pe baza principiului contracției , astfel în loc de , vom folosi :

Determinarea parametrului de regularizare

Parametrul de regularizare este un parametru „acordabil” liber, depinde de date

Poate fi determinat prin căutarea parametrilor (o validare încrucișată pentru fiecare valoare posibilă) într-un interval de valori cum ar fi [0.0.0.1.0.2 … 0.9 1.0]

Avertisment: Căutarea parametrilor poate fi foarte lentă mai ales dacă sunt imbricați în interiorul unei validări încrucișate exterioare

Pe baza aplicării principiului contracției în cadrul Analizei Liniare a Discriminanților, parametrul de regularizare poate fi determinat fie analitic, fie ca urmare a unei probleme de optimizare convexe

Există și câteva opțiuni suplimentare (de exemplu, estimarea empirică Bayes, criterii de informare etc)

Analiza Potențialelor Legate de Eveniment (ERP)

Rezultatul filtrării spațiale

Cartografiate topografic, filtrarea spațială poate fi privită astfel:

Cât de bună este această abordare ?

Valoarea de activare a sursei S poate fi recuperată din măsurătorile biosenzorilor printr-o mapare liniară dacă mărimea (volumul) de conducție (liniară) este reversibilă (

Presupunând un proces comun de zgomot Gaussian și o distribuție a zgomotului independentă de condiție (A / B), LDA aproximează maparea liniară optimală

Clasificatorii liniari, cum ar fi LDA pot manipula în mod implicit sursele ERP, dar:

Variația EEG nu este adesea Gaussiană

Variabilitatea datelor poate depinde în mod semnificativ de stare

În cazul probelor de eșantionare limitate, LDA nu este în mod necesar optimă

Rezultatele sunt doar „într-o oarecare măsură” ușor de interpretat

Procesarea avansată a ERP

Echivalența în cadrul Transformărilor Liniare

Analiza LDA aplicată asupra caracteristicilor liniare (dar liniar transformate) produce același rezultat, cu aceeași performanță, atunci când este aplicată la orice transformare liniară (non-reductivă) a datelor

Analiza

lor principale, Analiza componentelor independente, Formarea fasciculului non-adaptivă

Dar: Acestea pot fi utilizate:

Să interpreteze mai bine sau să localizeze sursele de bază ale unui clasificator, de exemplu componentele unui artefact / non-artefact

La introducerea de constrângeri dependente de locație sau cunoștințe anterioare în clasificator

Alte caracteristici liniare

Transformata de tip Wavelet în domeniul timpului a semnalului sursă

Permite proiectarea unor caracteristici adaptate caracteristicilor temporale complexe ale semnalului (de exemplu, ondulație, efect de recul (rebound)

Permite proiectarea unor caracteristici generice și poate să utilizeze tehnici de selectare ale caracteristicilor sau tehnici de clasificare de tip sparse

Caracteristici Neliniare

Extragerea caracteristicilor neliniare ale semnalului sursă pe baza datelor furnizate de un canal de electroencefalogramă (EEG) este dificil de obținut în mod direct

În teorie, clasificatorii neliniari ar putea recupera astfel de caracteristici sursă, însă în practică, cele mai multe dintre ele nu reușesc să surprindă structura necesară pentru cantitatea de date dată

Ele pot fi manipulate de un model latent-variabil care reprezintă semnalele sursă în mod explicit, precum anumite rețele neuronale de nivel 3+

Exemple: măsurări relative (cum ar fi, amplitudinea semnalului), conectivitatea dinamică efectivă a circuitelor cerebrale inter-zonale

Detectarea Semnalelor – Aspecte

Analiza ERP adesea însemnă clasificarea unui Potențial Legat de Eveniment (ERP) caracteristic față de un zgomot de fundal non-ERP în care rapoartele de clasă sunt adesea foarte dezechilibrate (de exemplu, sarcinile de identificare a țintei (semnalului) într-o prezentare vizuală rapidă în serie (RSVP))

În astfel de cazuri, sunt necesare alte măsuri de evaluare (de exemplu, rata de clasificare a erorilor)

Un astfel de instrument de evaluare este Aria de sub Curba Caracteristicilor Subiectului (AUC / AUROC sau curba ROC) – cuantifică performanța peste toate opțiunile de cost

Poate fi aproximată eficient pentru țintele (semnalele) date și predicțiile asociate

Impactul Alegerii Clasificatorului

Majoritatea clasificatorilor permit, în principiu, o structura ponderată a costurilor, dacă este cunoscută (de exemplu LDA, regresia logistică, Mașini cu Vectori Suport (Support Vector Machines, SVM))

Avertisment: Majoritatea clasificatorilor admit faptul că raportul de clasă al datelor de instruire este egal cu probabilitatea lor anterioară de date de testare (de exemplu, regresia logistică)

Unii clasificatori pot fi instruiți în mod direct pentru a optimiza criteriul AUC (de exemplu, clasificatorul compus numit AdaBoost (Adaptive Boosting) , clasificatorul SVMperf) și există modalități de a utiliza orice clasificator binar

Partea a II-a: Toolbox-ul BCILAB

6. Anatomia Toolbox-ului BCILAB

Cuprins

Context și fond

Aplicarea de Metode Rapide

Vedere de Ansamblu asupra Arhitecturii

Concepte Plugin

Reprezentarea datelor . Structura Pipeline

6.1 Context și fond

Caseta de instrumente BCILAB

Context

Asemănător cu platforma EEGLAB, dar pentru Interfețele Creier Calculator BCI ( și/ sau evaluarea stării cognitive

Pune bazele unei comunități

Consolidează legăturile dintre BCI și Neuroșiințe

Instrumentul SCCN (Swartz Center for Computational Neuroscience) pentru rezolvarea problemelor BCI

Principalul obiectiv: monitorizarea cognitivă avansată

Parte a unui mare program de cercetare american (The Cognition and Neuroergonomics Collaborative Technology Alliance, CaN CTA)

Finanțat de Applied Research Laboratory (ARL), Office of Naval Reasearch și Swarz Foundation

Mediu de dezvoltare software pentru:

Dezvoltarea Interfeței Creier-Calculator (monitorizarea cognitivă

Metode de cercetare:

Proiectarea și prototiparea rapidă a metodelor și metodelor noi din literatura de specialitate

Testarea offline, evaluarea performanței și compararea loturilor de date

Testare online simulată

Prototipare rapidă

Utilizarea în timp real

Implementarea prototipului

Date și cifre

Dezvoltat începând cu anul 2010 de SCCN (Swartz Center for Computational Neuroscience) din cadrul Universității San Diego California (UCSD)

Precursor a fost instrumentul BCI pentru MATLAB, PhyPA (proiectat de Christian A. Kothe și Thorsen O. Zender în cadrul Universității Tehnice din Berlin între anii 2006-2009)

Proiectat să funcționeze în tandem cu platforma EEGLAB (dezvoltată de Arnaud Delorme și Scott Makeig, în cadrul SCCN al Universității San Diego California în anul 2004)

În prezent, cel mai mare set de instrumente BCI de tip sursă-deschisă, prin metode și algoritmi (peste 100)

Permite atât procesarea semnalelor EEG atât online cât și offline în cadrul mediului de dezvoltare MATLAB, folosește aceeași bază de cod, oferă o arhitectura de tip cross-platform (poate fi utilizată pe mai multe platforme), funcționează atât pe 32 de biți, cât și pe 64 de biți

Obiective

Furnizează și reproduce o gamă largă de metode existente în literatura de specialitate, de exemplu analiza și studiile comparative

Furnizează metode de ultimă generație și noi metode pentru a creea rapid interfețe BCI performante

Furnizează cadre plugin și soluții de backend pentru a implementa rapid metode noi

Interfață utilizator (GUI) atât pentru începători cât și pentru avansați, programare prin cod pentru experți și veterani în Matlab – în mare parte același set de caracteristici

Permite lucrul cu modele convenționale (de exemplu, fluxul de date) dar și abordări radicale noi

6.2 Aplicarea de Metode Rapide

Analiza în Domeniul Timpului /Analiza Potențialelor legate de Eveniment (ERP)

Analiza în timp Utilizarea Pardigmei DAL-ERP

Clasificator liniar tradițional pentru răspunsuri

cerebrale de tip event-locked, determinate de

obicei pe baza Analizei Discriminanților

Liniari (LDA)

Ferestre de timp alocate manual

Exemplu: recunoașterea erorilor, surprinderea

stării cognitive emoționale (emoție neașteptată)

Abordare de ultimă oră, fără parametrii ajustați manual

Utilizează logistica rangului regularizat sau regresia liniară

Procesele Oscilatorii

Familia Comună a Modelelor Spațiale

Banc de Filtre CSP (FBCSP): mai multe benzi/ferestre

Filtre cu Încărcare Diagonală CSP (DLCSP) (de exemplu

funcția cov.shrink – Estimează matricea de covarianță

pentru unele date utilizând contracția analitică.

Filtru Compus (CCSP): matricea de covarianța compusă

Filtru Tikhonov-regularizat (TRCSP) : reduce efectele

produse de artefacte

Filtru CSP cu spectru ponderat (Spec-CSP) – facilitează

optimizarea filtrului spectral și spațial pe baza învățării

automate ISSPL (Învățarea modelului spațio-spectral iterativ )

Paradigma DAL-OSC

Abordare de ultimă oră, fără parametrii reglați manual

De asemenea, utilizează logistica rangului regularizat sau regresia liniară

Abordare într-o singură etapă, optimală

Metode Noi

Metode pentru Analiza în Domeniul Timpului Metode pentru Analiza Oscilatorie

(mai jos: Imagistica de Propagare a undelor)

Clasificarea răspunsurilor cerebrale de tip event-locked

Metode mai bune de învățare automată pentru evoluția optimală a filtrelor spațiale

Utilizarea mai multor metode în același timp pentru estimarea performanței

Exemple: recunoașterea erorilor, surprinderea stării cognitive emoționale

Noi criterii (lucrări) de referință în curs de pregătire

Metode pentru Analiza Oscilatorie

(mai jos: Dinamica Spațio-Spectrală Regularizată (RSSD))

Aplicabilă în cazul modificării lente a stării operatorului și a activității de fond, precum și în cazul unor fenomene tranzitorii legate de eveniment

RSSD este o metodă de pionierat pentru învățarea structurii de timp / de frecvență de la nivelul sursei

Exemple: Încărcarea / sarcina cognitivă, schimbarea / distragerea atenției

Noi Metode (Experimentale)

Regresia Liniară Supracompletă

Se caracterizează prin oscilații staționare de lungă durată

Poate integra informații dintr-o culegere vastă de date (de la o persoană la alta)

Exemple: oboseala, vigilența, stadiile de somn

Analiza Spațio-Spectrală Bayesiană

O versiune completă Bayesiană a RSSD care vizează modelarea nerostiințifică

Permite o analiză statistică extinsă a rezultatelor

Învățarea alinierii modelelor (PAL)

Identifică fluctuațiile în timp din cadrul proceselor cerebrale, asociate evenimentelor cunoscute în mediul de lucru

Abordare radical nouă ce utilizează tehnici de optimizare extinse

Aplicații: detectarea evenimentelor țintă și alte răspunsuri cognitive legate de eveniment

Analiza Componentelor Independente de tip Sparse

Metodă generală de identificare a sursei constelațiilor de instanțe corticale care produc semnale care continuă la nivelul scalpului

Ridicarea restricțiilor privind numărul de procese sursă luate în considerare

Actualizarea codului vechi

Alte metode: modelarea auto-regresivă a dinamicii interfeței extinse om-calculator

Vedere de Ansamblu asupra Arhitecturii

Layer-ul de Instrumente

Domeniul de Aplicare al Cadrului Online

De asemenea acoperă: Validarea-încrucișată, Căutarea prin Grilă, Validarea-Încrucișată Imbricată

Concepte Plugin

Concepte Plugin: Filtre

Filtrele pot opera cu semnale continue

Filtrele pot opera cu semnale segmentate („epoci”)

Filtre statice („fără stare”):

Filtre dinamice („cu stare”)

Filtre de probe (epoci)

Avertisment: Filtrele prezintă un comportament influențat de factorul de întârziere în evaluarea semnalelor

Concepte Plugin: Învățarea automată

Funcțiile de Învățare Automată se găsesc sub formă de perechi:

Concepte Plugin: Paradigmele BCI

Paradigmele BCI reprezintă tipul de plugin cel mai greu de prelucrat din BCILAB care îmbină toate părțile ce trebuie să fie abordate în cadrul interfeței BCI (procesarea semnalelor, extragerea caracteristicilor, învățarea automată etc.)

Sunt invocate de cadrul offline / online

Concepte Plugin: Citire Online

Plugin-urile de citire online citesc semnalele provenite de la un dispozitiv sursă și le fac disponibile în spațiul de lucru MATLAB:

Exemplu:

Concepte Plugin: Scriere Online

Plugin-urile de scriere online scriu ieșirile interfeței BCI (predicțiile) către o destinație externă:

Exemplu:

Reprezentarea Datelor. Structura Pipeline

Reprezentarea Datelor

Noțiunea de Structură Pipeline

BCILAB dispune de o arhitectură asemănătoare cu procesarea de tip pipeline care permite executarea mai multor instrucțiuni: configurarea tuturor setărilor urmată de aplicarea unuia sau mai multor seturi de date

Configurarea Intrărilor:

Maparea între șirurile (strings) de tip marker și etichetele de clasă numerică

Paradigma BCI care trebuie să fie executată

–

„ ce ar trebui să se execute”

Parametrii destinați paradigmei

ScSchema de Evaluare – „cum ar trebui să se execute” (De exemplu, alegerea tipului de validare încrucișată)

Procesele Pipeline

Sunt exacte: aduc datele de intrare în formă standard

Design: definesc abordarea computațională

Sunt instruibile: Invocă toate etapele necesare pentru instruirea (calibrarea) interfeței BCI și evaluează performanța

Sunt predictibile: adaptează interfața BCI pentru anumite date offline

Pot fi vizualizate: permit vizualizarea modelului BCI din interior

Rulează online: administrează interfața BCI online / incremental

Analizează lotul de date: se execută o serie pași de procesare, optional în paralel

Algoritmul de Instruire

Modelul de instruire optimizat pentru întregul set de date

Opțional include și căutarea parametrilor

Opțional: se efectuează o validare încrucișată pentru a cuantifica performanța modelului

Opțional cu căutarea parametrilor imbricată

Conservarea Datelor

Conversia inițială a setului de date și a idosincrasiilor formatului de fișiere în reprezentare uniformă:

Date permanente (continue) – nefiltrate, eventual rereferențiate

Etichetele / locațiile canelelor corespunzătoare

Tipuri de evenimente corespunzătoare, latențe etc.

Alte meta-date commune cu privire la înregistrările brute

Se execută ca un prim pas înainte ca orice funcție a instrumentului BCILAB să fie atinsă

Partea a III-a: Manipularea Proceselor Complexe din Creier

7. Procesele Oscilatorii

Cuprins

Elemente de bază și exemple

Problema Filtrului Spațial

Modelele Spațiale Comune

Alternative și Extensii

7.1 Elemente de bază și exemple

Procesele Oscilatorii

Cel mai bun exemplu: ritmurile corticale în repaus, de exemplu ritmul alfa înregistrat în regiunea occipitală, ritmurile alfa și beta înregistrate în regiunea cortexului motor

Sarcină Experimentală

Experimentul constă din 160 de probe / încercări (pauză la ½ din experiment). Fiecare încercare începe cu o literă (fie L sau R) afișată timp de 3 secunde. Subiectul este instruit să-și imagineze ulterior o mișcare (stânga sau dreapta). Fiecare încercare se termină cu un ecran gol afișat timp de 3.5 secunde.

Cortexul Motor. ERD/ERS

Sincronizarea / Desincronizarea Legată de Eveniment: atenuarea ritmurilor motrice în repaus ca răspuns la un eveniment

Spectograma medie pentru mișcarea imaginată a mâinii stângi reprezentată în roșu + spectograma medie pentru mișcarea imaginată a mâinii drepte reprezentată în verde (160 de încercări fiecare, stimul / impuls la t = 0)

Vizualizare alternativă a analizei timp-frecvență pe baza acelorași date:

7.2 Problema Filtrului Spațial

Cuantificarea Proceselor Oscilatorii

Operație neliniară în joc asupra semnalelor sursă

Necesară pentru a trata cazurile de neterminare a formelor de undă corespunzătoare semnalelor sursă (fără timp precis /fază de sincronizare, bruiaj)

În procesele oscilatorii reprezentate prin determinarea amplitudinii oscilațiilor sursei de semnal

Operația neliniară elimină, de asemenea, informațiile fazei (daca se efectuează asupra unui canal (aplicată canalelor EEG, proprietățile spectrale ale semnalului sursă nu mai pot fi recuperate)

Perspectiva Variabilei Latente

Modul de Învățare al Filtrului Spațial

Opțiunea A – Fără Învățare: prin utilizarea de filtre ad hoc fixe

Performanță nu foarte scăzută, dar departe de a fi optimă – loc pentru îmbunătățiri

Opțiunea B – De sus în jos: utilizarea rețelei neuronale cum ar fi algoritmul back-propagation (propagare înapoi) / metoda gradienților descendenți (învățarea supravegheată)

Intrările X și ieșirile dorite y ,precum și maparea spectrală dintre ele sunt cunoscute

Pentru orice parametru (W,θ) se poate calcula pierderea dată de X și y și se poate actualiza

Opțiunea C – De jos în sus: Fără a lua în considerare etichetele ieșirilor y se utilizează un filtru spațial W pentru date (învățarea nesupravegheată)

Alegerea criteriului filtrului spațial: Analiza Independentă a Componentelor, Dicționar de Învățare, Analiza Componentelor Principale (PCA)

Opțiunea D – Ambele: în care se utilizează atât învățarea supravegheată cât și învățarea nesupravegheată

Învățarea supravegheată pe baza algoritmului Analizei Componentelor Independente (ICA), pre-instruire nesupravegheată + reglaj fin supravegheat

Opțiunea E – Utilizarea observațiilor directe: oferă o modalitate de observare directă a parametrului W al filtrului spațial

Pe baza unei scanări prin rezonanță magnetică (MR) sau a unei imagini implicite se poate utiliza, de exemplu, algoritmul Beamforming (formarea fasciculului)

Opțiunea F – Utilizarea ipotezelor suplimentare: Acestea pot rezolva problema

Argumentare puternică: activarea sursei în fereastra de timp de interes se bazează pe distribuția Gaussiană / distribuția normală

, 7.3 Modelele Spațiale Comune (CSP)

Cel mai popular algoritm din domeniul BCI pentru învățarea filtrelor spațiale pentru procese oscilatorii

Ipoteze:

Banda de frecvență și fereastra de timp sunt cunoscute

Semnalul transmis de bandă este distribuit Gaussian în fereastra de timp

Constelația activității sursei de semnal diferă între două clase

Modul de distribuție al sursei de activitate diferă pentru epocile generate de mișcarea imaginată a mâinii stângi, comparativ cu epocile generate de mișcarea imaginată a mâinii drepte în cazul aplicării unei filtrării trece-bandă cu o frecvență cuprinsă între 7-30 Hz.

Activarea semnalelor este reprezentată pentru canalele de electroencefalogramă (EEG) C3 și C4:

Obiectiv Țintă: Să se proiecteze o pereche de filtre spațiale (transformări spațiale) astfel încât variația semnalului filtrat să fie maximă pentru o clasă în timp ce este minimă pentru o alta

Respectiv invers

Trei moduri de a calcula acest lucru

A) Optimizarea Problemei: Se dă un set de segmente de probă , matricea de covarianță pentru fiecare probă , matricea medie de covarianță pentru fiecare clasă , iar funcția de optimizare a filtrului spațial pentru clasa este:

produce variația în direcția w

B) Problema Generalizată de Determinare a Valorilor Proprii: Se dă matricea medie de covarianță pentru fiecare clasă , să se găsească diagonalizatorul simultan al și :

Pentru matricele diagonale și astfel încât

Acesta produce o problema generalizată de determinare a valorilor proprii de forma:

Valorile proprii k cele mai mici și cele mai mari din matricea diagonală D corespund coloanelor k cea mai din stânga / cea mai din dreapta ale diagonalizatorului simultan (filtre spațiale) care produc cea mai mică variație (cea mai mare) din clasa -1 și simultan variația cea mai mare (cea mai mică) din clasa +1

Foarte ușor de implementat în MATLAB

C) Abordarea geometrică: O abordare mai intuitivă care se bazează pe o procedură în trei etape:

1. Se determină transformarea sferică liniară (cunoscută și ca transformarea whitening ) pentru media ambelor matrici de covarianță (reprezentată în albastru) pe baza algoritmului PCA (Analiza Componentelor Principale)

2. Rezultatul se aplică asupra uneia dintre matrici și se calculează componentele principale ale acesteia (reprezentate în verde)

3. Operația de filtrare spațială se determină pe baza transformării sferice liniare obținută anterior și pe baza inversei matricei , astfel , astfel încât mărimea de conducție liniară este reversibilă ,

unde: S reprezintă valoare de activare a sursei

Dornhege, 2004

Rezultatele Filtrării Spațiale

Rezultă filtre bine adaptate (prezentate în stânga) și filtre obținute prin modelare inversă (prezentate în dreapta)

Funcția de Predicție a CSP

Funcția de predicție a algoritmului Modelelor Spațiale Comune (CSP) implică:

Filtrarea spațială

Calcularea variației logaritmice

Aplicarea unui clasificator liniar (sau neliniar)

Punând totul împreună

O interfață BCI bazată pe algoritmului Modelelor Spațiale Comune (CSP) operează în banda de frecvență a unui filtru trece-bandă

Alegerea benzii de frecvență prezintă o importanță ridicată

Lungimea ferestrei online nu trebuie să corespundă lungimii ferestrei de antrenament

7.4 Alternativele și Extensiile algoritmului CSP

Din punct de vedere al dimensiunii spațiul destinat caracteristicilor este redus (4-6), iar distribuția acestora este bine determinată

Clasificatorii liniari îmbunătățesc performanța, Analiza Discriminanților Liniari (LDA) oferă ipoteze puternice fiind greu de învins în practică

Unii cercetători preferă Analiza Discriminanților Pătratici (QDA) sau alți clasificatori

Alternativele LDA

Omițând cazul unor zgomote independente de condiție o alternativă poate fi Analiza Discriminanților pătratici (QDA) dar comparativ cu analiza LDA oferă rar performanțe mai bune

Implementarea mai multor expresii Gaussiene pentru fiecare condiție în locul uneia produce un model GMM (Gaussian Mixture Models)

Modelul GMM poate fi privit ca „ ancoră” în criteriile de referință ale interfeței BCI

De reținut faptul că nu există nicio procedură eficientă pentru a calcula modelul global optimal GMM

Numărul de expresii Gaussiene nu este, de obicei, cunoscut în prealabil (dacă nu este dat de sub-condiții), dar poate fi estimat utilizând metode Bayesiene (cum ar fi de exemplu modelul VDPGM, Variational Dirichlet Process Gaussian Mixture Models) sau găsit prin metoda căutării parametrilor

Un tip important de clasificatori utilizat: Modelul Discriminativ (aflat în opoziție față de modelul Generativ)

Alternativele și extensiile algoritmului CSP

Algoritmul Modelelor Spațiale Comune (CSP) reprezintă cea mai utilizată metoda de filtrare spațială din domeniul interfeței BCI pentru oscilații

Există peste 20 de extensii care abordează diferite limitări (benzi de frecvență, ferestre de timp etc.)

Printre cele mai bune variante putem aminti:

Spectrally Weighted CSP (benzi spectrale adaptive)

Filter-Bank CSP (mai multe ferestre de timp / frecvență și combinații de caracteristici)

Regularized CSP (în cazul probelor de instruire limitate)

Algoritmul Spectral Ponderat CSP

Unul dintre cei mai buni algoritmi pentru învățarea corectă a benzilor de frecvență (alți algoritmi: pentru semnale de tip sparse (rare), Common Sparse Spatio Spectral Pattern, sau pe scurt CSSSP, algoritm CSP cu timp de întârziere încorporat, Common Spatio-Spectral Pattern , sau pe scurt, CSSP

Reprezintă un algoritm iterativ care alternează între optimizarea filtrării spațială și optimizarea filtrării spectrale (descreșterea pe coordonate a blocurilor componente)

Filtrele spațiale sunt optimizate pe baza algoritmului CSP

Filtrele spectrale sunt optimizate cu ajutorul coeficientului de corelație Pearson

Actualizarea unui filtru spectral determină datele filtrate spațial de forma:

Rezultatele Filtrelor Spațio-Spectrale

Filtre adaptive pentru mișcarea imaginată a mâinii stângi comparativ cu mișcarea imaginată a mâinii drepte:

Funcția de predicție Spec-CSP

Pentru simplificarea implementării nu se va parcurge nicio etapă de prelucrare a semnalului. Implementarea propriu-zisă constă din utilizarea unei matrici de filtrare temporală (o soluție nu foarte eficientă)

filtre spațiale

filtre temporale

clasificatori liniari

Poate fi utilizată pentru orice altă abordare asemănătoare CSP care necesită un filtru temporal

Varianta CSP Regularizată

Se implementează în urma adaugării unui termen de regularizare și a unui parametru care trebuie căutat prin intermediul căutării în grilă/reteța

Metode comparative:

CSP de bază

CSP de Învățare Generic

CSP Spațial Regularizat

CSP Tikhonov-Regularizat Ponderat

Oferă 5 seturi de date patologice (din competițiile interfeței BCI)

Lotte și alții., 2010

Extensii Multi-Clasă

Majoritatea variantelor CSP sunt inerent definite pentru două clase

Algoritmul CSP se poate aplica și în cazul perechilor de clase, acesta clasifică perechile de clase și poate determina clasa cea mai probabilă pe baza unei scheme de votare

Posibilități: unul-cotra-toate, unul-contra-unul

Notă:

Clasificatorii ar trebui să producă, de preferință, rezultate probabilistice , astfel încât tehnica de votare să poată fi făcută ca o reuniune de evidențe probabilistice

Clasificatorii generează rezultate sau probabilități continue, cum ar fi regresia logistică

Estimarea Ferestrei de Timp

Fereastra de timp este un parametru liber care depinde sarcina de interes

Poate fi căutată ca un parametru într-un suprafață 2D (metodă lentă)

Poate fi aleasă prin euristică (pragul coeficienților de corelație – sau folosirea lor ca ponderare)

8. Abordarea bazată pe Optimizare

Introducere

Mergând dincolo de algoritmul CSP

Învățarea Automată de Mare Complexitate

Aplicarea în cadrul Modelului Spectral

Aplicarea în cadrul Potențialelor Legate de Eveniment – ERP

Învățarea Simultană a Potențialelor Legate de Eveniment – ERP și a Ponderilor Oscilatorii

Observații Practice

8.1 Introducere

Dincolo de algoritmul CSP

O soluție unificată, optimă la nivel global pentru estimarea filtrelor spațiale a fost recent propusă (ca o alternativă la algoritmul Modelelor Spațiale Comune – CSP + Analiza Discriminanților Liniari – LDA)

Metoda învață într-o singură etapă atât filtrele spațiale, cât și ponderile relative pentru filtrarea variației semnalului

Aceasta este o abordare bazată pe optimizare

Optimizare

Domeniu larg, preocupat de găsirea unor parametrii care o dată atribuiți pot minimiza o funcție de cost

Două ramuri: Optimizare locală și Optimizare globală

Optimizarea Globală

Își propune să găsească optimul global al unei funcții, chiar dacă are mai multe optime locale

Poate fi aproximată (de exemplu: Reacție Simulată) sau exactă (de exemplu: metoda Branch-and-Bound (ramifică și mărginește)

Problemă: Poate fi extrem de lentă, în special în cazul datelor cu dimensiuni mari sau a datelor patologice

Optimizarea Locală

Își propune să îmbunătățească estimarea inițială a unui parametru prin actualizări incrementale

Metoda 1, metoda Gradientului Descendent: mergând în direcția pantei descendente maxime, necesită derivata de ordinul întâi a funcției de cost

Metoda 2, metoda Newton: ține cont de curbura locală, necesită derivata de ordinul doi a funcției (matrice Hessiană)

Poate fi foarte eficientă dacă raportul este ușor de calculat (sau ușor de aproximat)

Metoda 3, metoda Quasi-Newton: aproximează incremental inversa matricei Hessiene prin intermediul gradienților identificați pe parcurs

Combină avantajele celorlalte două metode

Nu necesită derivată de ordinul doi

Varianta Practică: L-BFGS (Limited-Memory Broyden-Fletcher-Goldfarb-Shanno) – unul dintre cei mai cunoscuți optimizatori de ordinul doi de tip „off-the-shelf” , foarte ușor de implementat în mediul de dezvoltare MATLAB

Principalele Probleme

Optimizarea Locală poate rula în cadrul minimelor locale sau se poate bloca, exceptând cazurile în care funcția are anumite proprietăți corespunzătoare

Convexitatea

Funcțiile convexe au exact un minim local, astfel că pentru fiecare , și avem:

Acest lucru le face solvabile prin metode locale de optimizare

În mod surprinzător, multe tipuri de probleme pot fi formulate ca probleme de optimizare convexe

Netezimea

Multe probleme relevante ale interfeței BCI se reduc la probleme de optimizare cu caracteristici nediferențiate (de exemplu, problemele de tip sparse, rare), astfel încât optimizarea prin tehnici de netezire nu este imediat aplicabilă

Corecții: Se pot folosi funcții surogat de netezire (de exemplu, optimizarea proximală) sau se rezolvă o problemă care este netedă (a se vedea dualitatea convexă) sau se descompun termenii non-netezi (a se vedea divizarea operatorului), sau se utilizează metode non-netezire (de exemplu, subgradientul descendent)

8.2 Mergând dincolo de algoritmul CSP

Transformarea CSP

Considerație: Se dă o încercare medie-zero cu covarianța , filtrul spațiale , ponderile liniare și bias-ul

Omițând funcția logaritmică din cadrul algoritmului CSP, avem:

Se rescrie funcția în funcție de termenii filtrelor spațiale individuale :

Termenul variației poate fi exprimat utilizând matricea de covarianță a segmentul :

Și poate fi înlocuit de produsul interior dintre două matrici , și regrupat

Astfel, această formă este liniară în matricea de covarianță din :

se poate învăța folosind o metodă liniară simplă (de exemplu algoritmul LDA), dar foarte mare din punct de vedere dimensional

Este nevoie să se aplice o metodă corespunzătoare pentru problemele de mare complexitate

8.2 Învățarea Automată de Mare Complexitate

Abordarea bazată pe învățare discriminativă cum ar fi Mașini cu Suport Vectorial (SVM) și Modelele Liniare Generalizate (GLMs) sunt bine adaptate problemelor mari din punct de vedere dimensional sau de mare complexitate

Acestea optimizează direct parametrii care dau datele

Regresia Liniară reprezintă un Model Liniar Generalizat (GLM) care mapează încercarea medie-zero în cadrul ieșirilor binare printr-o logistică de tip „funcție de legătură”

Funcția liniară :

Parametrii pot fi obținuți prin intermediul unor instrumente de optimizare convexe de tip „off-the-shelf” (cum ar fi CVX – un sistem de modelare pentru optimizare convexă bazat exclusiv pe mediul de dezvoltare MATLAB) capabile să rezolve problemele

Termenul logaritmic log(…) reprezintă pierderea logistică și cuantifică corectitudinea dintre etichetele prezise și etichetele reale, pentru o alegere particulară a parametrului

Pentru problemele de dimensiuni mari / complexe, soluția este încă predispusă la probleme de tip over-fitting (suprapotrivire) în cadrul datelor datorită prezenței zgomotului aleatoriu

Pot exista alegeri multiple pentru regularizarea termenului :

încurajează ponderile mici

încurajează sparsitatea în cadrul grupurilor de ponderi

Combinații ale acestora

8.4 Aplicarea în cadrul Modelului Spectral

În cadrul modelului oscilatoriu supravegheat anterior matricea modelată permite o normalizare a normei matricei speciale :

Aceasta încurajează o structură de rang inferior în cadrul matricei , adică

Astfel, matricea ponderilor este echivalentă cu suma ponderată a unui mic set de filtre spațiale aplicate matricei de covarianță a semnalului

Aplicarea în cadrul Potențialelor Legate de Eveniment – ERP

Aceeași abordare poate fi aplicată și în cadrul unei epoci de date brute în locul matricei de covarianță

Așadar, optimizăm pentru un Model Liniar Generalizat (GLM)

Modelul astfel obținut este capabil să învețe matricea liniară ponderată a ERP cu o pondere pentru fiecare canal EEG și punct de timp

Unde: reprezintă rangul inferior, deci corespunde unei sume a câteva filtre spațiale și a ponderilor lor în timp

Astfel nu au fost necesare ferestre de timp selectate manual

De asemenea, rezultatele sunt regularizate pentru a găsi / colecta câteva surse și cursurile lor relevante de timp

În acest scop se poate utiliza Prezentarea Vizuală Serială Rapidă (RSVP) a sarcinilor:

Învățarea Simultană a Potențialelor Legate de Eveniment – ERP și a Ponderilor Oscilatorii

Combinarea Caracteristicilor

Dacă pentru fiecare încercare, în loc de matricea de covarianță sau în locul Potențialelor Legate de Eveniment – ERP brute, se aplică o concatenare diagonală a blocurilor ambelor metode, metoda învață o matrice ponderată de rang inferior combinând ambele caracteristici simultan

Pentru o matrice ponderată cu blocuri diagonale , se menține:

Echivalentă cu rezolvarea blocurilor sale :

Sparsitatea și Selectarea Caracteristicilor

De asemenea, matricile de covarianță pentru benzile de frecvență multiple și ferestrele de timp pot fi concatenate

Pentru regularizatori care reprezintă o sumă de termeni (de un anumit tip), majoritatea termenilor din sumă vor fi aduși spre zero și numai un subset restrâns de termeni de tip sparse rămân diferiți de zero, adică caracteristicile relevante sunt selectate automat

Recuperarea suportului relevant este extrem de eficientă din punct de vedere statistic – consideră că numărul de dimensiuni irelevante în care suportul poate fi recuperat cu exactitate este exponențial în numărul de observații (adică, încercări) [Ng 1998]

Astfel, numai subsetul relevant de frecvențe sau ferestre de timp (pentru covarianță) sau surse ERP este de obicei învățat

Se poate merge chiar mai departe, de exemplu încurajează ponderile pentru diferite intervale între eșantioane în domeniul timpului / frecvenței pentru a partaja un set mic de filtre spațiale (din nou folosind constrângeri de rang pe matrici concatenate) – aceasta se numește învățare de tip multi-task

Funcțiile Finale de Predicție

Cazul oscilatoriu de bază (presupunând ca intrarea este trecută printr-un filtru trece bandă):

Cazul ERP (intrarea poate fi trecută printr-un filtru trece-bandă):

Cazul combinat (pentru filtrele temporale și :

Observații Practice

Problemele de această complexitate sunt imposibil de rezolvat doar pe baza sistemului de modelare pentru optimizare convexă – CVX; trebuie aplicată o metodă de rezolvare personalizată

Pentru problemele de estimare a termenilor de tip sparse se poate aplica algoritmul DAL (Dual-Augmented Langrangian) având avantajul că se poate aplica pentru o gamă largă de probleme și, de asemenea, este foarte rapid

Pentru o gamă și mai largă de probleme, se poate aplica metoda ADMM (Alternating Direction Method of Multipliers), de asemenea, foarte rapidă

Metoda ADMM

Cadru pentru optimizare distribuită pe scară largă – conduce către algoritmi paraleli

Se poate aplica în mediul de dezvoltare MATLAB, codul necesar implementării fiind relativ simplu

Alte Metode din acest Cadru

Mașini cu Suport Vectorial: utilizează o altă funcție de pierdere („pierdere balama (hinge)” în loc de pierdere logistică

Învățarea Kernel-ului Multiplu: utilizează sparsitatea de grup asupra matricei nucleu (kernel) (selectarea câtorva kernel-uri)

Învățarea Kernel-ului Ierarhic: o abordare extrem de avansată de selectare a caracteristicilor neliniare, care utilizează sparsitatea cu structură arborescentă

Regresie Liniară: poate fi folosită pentru un spațiu de ieșire continuu în locul unuia discret

9. Codarea și Plugin-urile BCILAB

Cuprins

Cerințe preliminare

Definirea unei abordări de calcul

Toate celelalte etape

9.1 Cerințe preliminare

Găsirea funcțiilor corecte

Există o funcție scriptabilă pentru fiecare comandă din interfața utilizator (GUI)

Pentru documentația privind funcțiile de script, se poate consulta meniul Help sau se tastează doc function_name sau help function_name

Cele mai multe funcții dețin un scurt sumar, documentația pentru toate argumentele de intrare și exemple de cod

Unele funcții dețin referințe pe suport de hârtie, altele au trimiteri încrucișate

Apelarea Sintaxei

Cele mai multe funcții își iau argumentele în ordinea în care acestea sunt enumerate în documentație, iar unele pot fi apelate în mod alternativ, cu toți parametrii trecuți sub formă de perechi nume-valoare (folosind același nume ca și în textul de ajutor, în CamelCase)

Dacă există îndoieli, argumentele se pot trece după nume – mai puține șanse de a obține o ordine greșită

Combinarea argumentelor poziționale cu argumentele nume-valoare este de evitat, aplicându-se doar în cazul în care aceasta este metoda implicită de apelare a funcției

Exemple:

Încărcarea Datelor

Un set de date (indiferent de formatul de fișier) este încărcat utilizând funcția

Este aproape întotdeauna suficient să se treacă doar numele fișierului, ca în exemplul:

9.2 Definirea unei abordări de calcul

Definirea unei noi abordări

Definirea unei abordări de calcul implică o activitate complexă de scriptare deoarece trebuie construită o structură de date

Deoarece o abordare este o instanță particulară a unei paradigme BCI (utilizată cu parametrii personalizați), definirea unei abordări constă în:

Numele paradigmei (de exemplu, Modelele Spațiale Comune – CSP, paradigma standard pentru potențialele corticale lente – WindowMeans)

Opțional o listă de argumente pentru funcția de calibrare ( ) a paradigmei

Modul implicit de a specifica o abordare poate fi comparat cu modul de definire a unei matrice de celule al cărui prim element este numele paradigmei și ale cărui elemente rămase sunt argumente pentru funcția sa de calibrare ( )

Exemplu:

Abordarea Parametrilor

Parametrii sunt reprezentați de o listă de perechi nume-valoare

Cu toate acestea, practic, toți aceștia aderă la o schemă uniformă de 2 nume de parametrii de nivel superior:

Procesarea semnalului este un parametru de nivel superior care determină etapele de procesare a semnalelor care vor fi utilizate

Predicția este un parametru de nivel superior care guvernează modul în care funcția de predicție este calibrată sau aplicată

Important: Argumentele unei abordări sunt organizate într-o ierarhie, adică unii parametrii pot să conțină sub-parametrii

Exemplu:

Corespondența cu Interfața Utilizator – GUI

Există o corespondență de 1:1 între ierarhia parametrilor care sunt specificați în scripturi și structura arborescentă a parametrilor in cadrul definirii abordării interfeței utilizator – GUI

Prin urmare, în cazul în care există îndoieli cu privire la numele parametrilor, acesta poate fi verificat în cadrul interfeței utilizator – GUI

De asemenea, este bine să se caute numele parametrilor în documentația sau codul funcției, dar ele pot fi imbricate într-o ierarhie de funcții care se apelează reciproc

Valori Implicite

Fiecare parametru are o valoare implicită (cu excepția cazului în care nu are absolut nici un sens), care poate fi, de asemenea, vizualizată în cadrul interfeței utilizator – GUI

Parametrul Help

Fiecare parametru dispune de o descriere de tip text, care este de asemenea vizibilă în panoul interfeței utilizator – GUI ( în partea de jos)

Parametrul Procesarea Semnalului

Are un sub-parametru denumit pentru fiecare plugin de procesare a semnalului care poate fi folosit (acestea se găsesc automat)

Numele sub care apare un anumit plugin de procesare a semnalului apare în partea de sus a plugin-ului – ei declară această proprietate la începutul codul lor (îl puteți căuta acolo)

Plugin-urile care sunt listate sub denumirea de Procesarea Semnalului (SignalProcessing) sunt cele din directoare:
– cod / filtre (nume de fișier care încep cu flt_)
– cod / dataset_editing (nume de fișier care încep cu set_)

Plugin-urile care sunt listate sub numele de Procesarea Semnalului (SignalProvessing) sunt cele din directoare:

Cod/filtre (nume de fișier care încep cu flt_)

Cod/dataset_editing(nume de fișier care încep cu set_)

Valoarea atribuită unui sub-parametru (de exemplu, filtrul cu răspuns finit la impuls FIRfilter) care este prezentată de o funcție (de exemplu flt_fir.m) este în mod prestabilit o matrice de celule de argumente pentru acea funcție

Argumentele pot fi transmise în orice format acceptat de funcție, dar de preferință ar trebui să fie din nou transmise ca perechi de nume-valoare pentru a evita confuzia

Configurarea Etapelor de Procesare a Semnalelor

Exemplu:

Acest exemplu definește o abordare bazată pe Modelele Spațiale Comune -CSP care utilizează o anumită valoare a frecvențelor în cadrul filtrului său cu răspuns finit la impuls – FIR

Filtrul FIR este acum, de asemenea, „activat” daca nu a fost anterior în această stare

Dezactivarea Etapelor de Procesare a Semnalelor

Este uneori util să se dezactiveze un parametru care este activat în mod implicit: acesta poate fi scris (după convenție) după cum urmează:

Notă: De reținut că acestea sunt trecute între paranteze [ ] – utilizarea accidentală a { } ar permite filtrului să fie în continuare activ, dar ar trece o listă de argumente goale prin el

Comenzi Rapide

BCILAB permite unele formulări scurte care trebuie evitate de câte ori este posibil, dar care ajută la recunoașterea lor

Cea mai comună problemă legată de o comandă rapidă este atunci când un parametru care are sub-parametri nu este alocat unei matrice de celule de argumente (cum ar fi trebuit), ci în locul valorii primului sub-argument

Exemplu:

Echivalent cu:

Parametrii Multi-Opțiune

Ultimul tip de parametru care merită menționat este parametrul multi-opțiune, care constă dintr-un argument de selecție (un șir) și pentru fiecare valoare posibilă o listă diferită de sub-argumente

Un exemplu, diferite variante alternative suportate de filtrul ICA (Analiza Independentă a Componentelor) : amica, infomax etc., toate având sub-argumente specifice algoritmului

Parametrul de mai jos numit Variantă (Variant) este setat la „fastica”, iar sub-parametrul MaxIterations din cadrul Variant pentru cazul fastica este setat la valoarea 1000

În scripturi, parametrii cu mai multe opțiuni sunt scriși la fel ca definiția abordării globale: ca o matrice de celule a cărui prim element este numele selecției urmate de perechi de nume-valoare pentru acest caz

Exemplu:

Echivalent cu setarea a ceea ce este prezentată în cadrul interfeței utilizator – GUI de mai jos:

Parametrii Altor Paradigme

Ceilalți parametri se comportă exact în aceleași moduri
•Exemplu:
-MachineLearning este un subparametru al predicției, are un subparametru Learner
-Learner este un parametru cu mai multe opțiuni, cu un caz pentru fiecare plugin de învățare a mașinii (de exemplu, "lda", "qda", "logreg", …)
– Sub-parametrii cazului respectiv sunt cei expuși de funcția plugin respectivă (de exemplu, ml_trainqda.m)

Ceilalți parametrii se comportă exact în aceleași mod

Exemplu:

Învățarea Automată (MachineLearning) este un sub-parametru al Predicției, are un sub-parametru Learner

Learner este un parametru cu mai multe opțiune, cu un caz pentru fiecare plugin de învățare automată (de exemplu Analiza Discriminaților Liniar „lda”, Analiza Pătratică a Discriminanților „qda”, regresia logaritmică „logreg” etc.)

Sub-parametrii cazului respectiv sunt cei expuși de funcția plugin respectivă (de exemplu ml_trainqda.m)

Configurarea Etapei de Învățare Automată

O modalitate validă de configurare a funcției de învățare automată a unei paradigme este următoarea:

Aceasta corespunde următoarei setări din interfața utilizator – GUI:

9.3 Toate celelalte etape

Calibrarea „Instruirii” unui model

Un nou model BCI este creat folosind un set de date încărcat anterior (setul de instruire) și o abordare definită anterior

Acest lucru se realizează folosind funcția (echivalentul dialogului „Formați un nou model…”)

Exemplu:

Calibrarea unui Model

Funcția train_bci are de obicei 3 intrări:

Datele (parametrul Data)

Abordarea (parametrul Approach)

Descrierea modului în care tipurile de evenimente se clasifică pe etichete de clasă (TargetMarkers, la fel ca și în interfața utilizator – GUI)

Funcția returnează trei ieșiri:

Estimarea generală a pierderii (de exemplu, rata de eroare)

Modelul învățat

Statistici despre model și procesul de instruire, inclusiv rezultatele unei validări încrucișate

Prin urmare, funcția bci_train nu numai că returnează un model, ci produce și estimări privind performanța viitoare

În cazul în care acest lucru este prea lent, acesta poate fi dezactivat (într-un parametru suplimentar la bci_train)

Vizualizarea unui Model

Modelele se pot vizualiza folosind funcția

Exemplu:

Această funcție poate lua argumente suplimentare care sunt transmise funcției responsabile de desen (drawing), dar un număr redus de funcții de desen au argumente

Aplicarea unui Model pentru Testarea Datelor

Pentru testarea datelor în cadrul unei aplicații offline, poate fi utilizată funcția care aplică modelul BCI pentru fiecare încercare de date și calculează statisticile pierderilor

Exemplu:

Notă: prima ieșire reprezintă predicțiile modelului pentru fiecare încercare de date

Adnotarea Datelor cu Ieșiri BCI Continue

Ieșirea BCI poate fi atașată ca un canal suplimentar (sau canale multiple, fiecare reprezentând probabilitatea clasei k) la un set de date, folosind funcția

Exemplu:

Citirea Datelor în Timp Real

Datele în timp real pot fi achiziționate de la un dispozitive și scrise sub formă de variabile într-un spațiu de lucru numit folosind plugin-uri de citire online (funcția

Exemplu:

# citirea de la un dispozitiv BioSemi

Trimiterea Ieșirilor în Timp Real

Ieșirile unui model BCI, aplicate pentru anumite fluxuri, pot fi calculate online în fundal și transferate către o anumită destinație – acest lucru se face folosind plugin-urile de scriere online (run_write)

Aceste funcții iau de obicei numele modelului de utilizat și numele fluxului (fluxurilor) de utilizat

Exemple:

Efectuarea Analizei Lotului de Date

Folosind funcția , o singură abordare poate fi aplicată eficient unei liste de seturi de date sau nume de fișiere

De asemenea, pot fi aplicate mai multe abordări la unul sau mai multe seturi de date într-o manieră automată

Nu se pot instrui doar modele, dar se fac și previziuni și se evaluează pierderile pe seturile de date de testare

Căutarea Parametrilor

Este posibil să se înlocuiască (practic) orice valoare într-o definirea unei abordări printr-o așa-numită „gamă de căutare”, adică o listă de valori posibile pentru a încerca automat în mod sistematic

Un interval de căutare prin scrierea căutării expresiei

Căutarea multiplă a parametrilor într-o singură abordare conduce către o căutare în rețea combinată (lentă)

Exemplu:

10. Neuroștiința (Neurologie)

Aspecte și puncte de vedere

Cuprins

Condiții

Extragerea caracteristicilor semnalului de sursă

Informații anterioare bazate pe localizare

Exemplu recent: Schimbarea atenției

Puncte de vedere

Lecturi ulterioare

10.1 Condiții

Condiții

Modelele BCI interpretate neuroștiințific se bazează pe posibilitatea de a localiza spațial parametrii și importanța/influența atribuită de modele

Poate fi realizată în mai multe moduri:

Calcularea amplificării câmpului pentru filtrele spațiale

Reprezentarea modelelor în ceea ce privește componentele semnalului localizat

Reprezentarea modelelor într-un spațiu foarte larg de vectori de bază corticali (unul per zonă)

În prezent, în practică, cel mai ușor este să fie utilizate componente localizate spațial

Se poate face prin analiza componentelor independente și montarea dipolului (alegerea noastră la SCCN)

Analiza independentă a componentelor

ICA este o metodă de studiere a filtrelor spațiale pentru sursele creierului independent din punct de vedere static într-o manieră nesupravegheată (adică nu este nevoie de etichete)

Ideea de bază este de a studia o matrice pătrată de filtru W astfel încât componentele semnalului filtrat să fie independente la maximum din punct de vedere statistic

Există zeci de moduri de implementare a acestei metode – în prezent optime pentru EEG sunt extinderea Infomax și AMICA

În mod surprinzător multe IC-uri au topografii dipolare ale scalpului

Poate fi practic localizat prin montaj dipol

10.2 Extragerea caracteristicilor semnalului sursă

Extragerea caracteristicilor semnalului sursă

Componentele sursă nu necesită o filtrare spațială suplimentară, astfel încât caracteristicile pot fi extrase direct de la acestea, incluzând:

măsuri spectrale

măsuri temporale non-liniare

caracteristici superioare (intercomponente)

Deoarece IC-urile sunt independente din punct de vedere statistic, doar un set rar de componente este relevant pentru orice întrebare (BCI sau altă problemă) – permite ipoteze de raritate

Componente caracteristice spectrale

Spectrul Fourier

Ferestre DFT / FFT

Evaluare spectrală Welch

Evaluare spectrală multi-conică

Reprezentări de timp/frecvență

Transformare Fourier de scurtă durată (STFT)

Transformare continuă Wavelet (CWT)

Transformare discretă wavelet (DWT)

Distribuții de timp-frecvență

Între caracteristicile componentelor:

Coerență

Valoare de închidere

Conectivitate reală

Integrarea structurală

Cunoștințe anterioare

Constată atribuiri cu privire la date

De exemplu:

Corelația în spațiu plană

Rară, grupuri rare

Structura latentă partajată de parametri

Atribuire de rang inferior Atribuire plană

Nuclee pentru caracteristici neliniare

– "Dicționare" de caracteristici cunoscute (studiate)

Parametrii per-proces (de exemplu: depășire, scurgere de timp)

10.3 Cunoștințe anterioare bazate pe localizare

Zonă de modelare

Dacă sursele IC sunt localizate utilizând, de exemplu, montaj dipolar sau NFT, parametrii (θ) au o locație

Integrarea cunoștințelor cantitative anterioare

Dacă valorile au o locație asociată (se referă la componentele semnalului localizat) pot fi folosite cunoștințe anatomice prealabile

De exemplu, se reduce penalizarea de regularizare bazată pe probabilitatea ca sursa să fie localizată într-o anumită zonă a creierului

Atlase ale creierului: Talairach, LONI

Integrarea cunoștințelor empirice anterioare

Informațiile colectate de la alte discipline pot fi luate în considerare într-un anumit model (de exemplu, se adaugă o penalizare suplimentară sau Bayesiană prealabilă)

Având parametri localizați spațial permite localizare prealabilă și înregistrarea spațială și alinierea datelor multi-subiect

10.4 Exemplu recent: Schimbarea atenției

Temă experimentală

38 subiecți (2 grupe de vârstă, ignorate aici)

32 canale EEG

Curent de stimulare: țintă (20%) și non-țintă (80%), ordonate în mod aleatoriu (100-400ms SOA debut-la-debut)

Unele au fost furnizate vizual (dreptunghiuri strălucitoare și întunecate), altele au fost transmise acustic (beep-uri și bucle)

Sporadic (debut la debut de 6600 ms): Instrucțiuni pentru trecerea la o altă modalitate senzorială ("LOOK" / "HEAR" – PRIVEȘTE/ASCULTĂ), repartiție bimodală

Obiectivul analizei

Se construiește un separator care poate determina directivitatea comutării atenției subiectului (auditiv la vizual sau vizual la auditiv)

Parametrizează modelul într-un mod care poate fi interpretat dintr-o perspectivă neurologică

Evaluează performanța (erori de clasificare)

1. Analiza semnalului

EEG brut (neprelucrat) Distribuția spațială liniară Unde oscilatorii continue

segmente / încercări (multi-model AMICA) analiză timp/frecvență

(complexul Morlet)

2. Modelul predictiv

Strict sub-determinată fără atribuiri suplimentare

Atribuiri: puține în componente, calitate scăzută în timp/frecvență

De asemenea, un precedent anatomic

Poate fi rezolvată ca o singură mare problemă de optimizare convexă:

Rezultate: Clasificarea acurateței

Metoda de analiză

– 10-ori validare încrucișată cronologică, 5 marje de încercare între setul de antrenament și setul de încercări

– Validare încrucișată încorporată setată pe antrenament pentru a optimiza parametrul de regularizare (λ)

– ICA și alte date statistice calculate numai pe setul de antrenament, recalculate de fiecare dată

Acuratețea stabilită în urma testării: o medie de 86,4% corectă pentru toți subiecții (nivelul șanselor 50%), p <0,001

Rezultate: Structura modelului complet

Avertismente

Este nevoie de câteva ore pentru a calcula (în prezent)

Componentele independente sunt studiate fără a le cunoaște denumirea – nu se garantează că sunt capturate procesele relevante

Analiza spațială poate fi deviată ca date de artefacte puternice (se obțin componente ale artefactelor mai degrabă decât componente ale creierului)

10.5 Perspective

Zone de cercetare deschise

Care sunt limitele de precizie fundamentale impuse de senzorii noștri actuali ai EEG?

Cât de departe suntem de aceste limite cu abordările noastre actuale?

Avem nevoie de un model optimal din punct de vedere matematic (conform unor atribuiri acceptabile) pentru a răspunde empiric la această întrebare

Modele ierarhice care includ date de la mai multe persoane și sesiuni

Includerea cunoștințelor neuro-științifice (neurologice) (din cărți și din surse cantitative, de exemplu, baze de date)

Includerea datelor auxiliare (de exemplu, MoCap, etc.)

Metode de proiectare care sunt în întregime principiale și optime

Metode de proiectare care vizează direct aplicațiile din lumea reală (de exemplu, robustețea)

Ce nu am acoperit

Metoda Bayesian completă (modele grafice, deducții variate, selecție model Bayesian) și conexiuni pentru optimizare

Existența multi-subiectelor BCI complete (de exemplu Altun 2010, Fazli 2011)

Tehnici de fabricație (de exemplu Wentrup 2009)

Conectivitate completă (de ex. Daly 2012)

Funcții de semnal non-standard (de exemplu Brodu 2012)

Câteva observații finale

Metodele simple și rapide (de exemplu LDA) funcționează foarte bine de cele mai multe ori (este mult mai ușor să scrii o lucrare în 5 secunde în loc să calculezi timp de 5 ore)

Dar abordările care durează astăzi 5 ore cu 10 ani în urmă au fost în mare măsură greu de rezolvat – deci este un nou teritoriu de explorat

Importanța ipotezelor nu poate fi supraestimată în opoziție cu utilizarea de algoritmi speciali și întrebări

Metodele optime și bine definite demonstrate ne permit să testăm direct ipotezele noastre (cu mai puține efecte aleatorii sau inexplicabile)

Este foarte ușor să evaluezi lucrurile în moduri necorespunzătoare – în cele din urmă se împiedică progresul dar întotdeauna facem ceea ce trebuie!

10.6 Lecturi suplimentare

Documente BCI care merită să fie lecturate

B. Blankertz, S. Lemm, M. Treder, S. Haufe, and K.-R. Mueller, "Single-trial analysis and classification of ERP components – A tutorial", NeuroImage, vol. 56, no. 2, pp. 814–825, May 2011. Analiza și clasificarea componentelor ERP pentru un singur proces – Tutorial

F. Lotte and C. Guan, “Regularizing common spatial patterns to improve BCI designs: unified theory and new algorithms,” IEEE Transactions on Biomedical Engineering, vol. 58, no. 2, pp. 355-362, Feb. 2011. Regularizarea modelelor spațiale comune pentru îmbunătățirea modelelor BCI: teoria unificată și algoritmi noi

R. Tomioka and K.-R. Mueller, A regularized discriminative framework for EEG analysis with application to brain-computer interface", NeuroImage, vol. 49, no. 1, pp. 415–432, 2010. Un cadru distinctiv regularizat pentru analiza EEG cu aplicație la interfața creier-computer

B. Blankertz, G. Dornhege, M. Krauledat, K.-R. Mueller, and G. Curio, "The non-invasive Berlin brain-computer interface: Fast acquisition of effective performance in untrained subjects", NeuroImage, vol. 37, no. 2, pp. 539–550, Aug. 2007. Interfața neinvazivă creier-calculator Berlin: Achiziția rapidă de performanță eficientă cu subiecți neinstruiți

M. Grosse-Wentrup, C. Liefhold, K. Gramann, and M. Buss, "Beamforming in noninvasive brain-computer interfaces", IEEE Trans. Biomed. Eng., vol. 56, no. 4, pp. 1209–1219, Apr. 2009. Formarea fasciculului în interfețe creier-calculator neinvazive

Sondaje BCI

A. Bashashati, M. Fatourechi, R. K. Ward, and G. E. Birch, "A survey of signal processing algorithms in brain-computer interfaces based on electrical brain signals", J. Neural Eng., vol. 4, no. 2, pp. R32–R57, Jun. 2007. Un sondaj al algoritmilor de prelucrare a semnalelor în interfețele creier-calculator bazat pe semnalele electrice ale creierului

F. Lotte, M. Congedo, A. Lecuyer, F. Lamarche, and B. Arnaldi, "A review of classification algorithms for EEG-based brain-computer interfaces", J. Neural Eng., vol. 4, no. 2, pp. R1–R13, Jun. 2007. O analiză a algoritmilor de clasificare pentru interfețele creier-calculator bazate pe EEG

S. Makeig, C. Kothe, T. Mullen, N. Bigdely-Shamlo, Z. Zhang, K. Kreutz-Delgado, "Evolving Signal Processing for Brain–Computer Interfaces", Proc. IEEE, vol. 100, pp. 1567-1584, 2012. Procesarea evoluției semnalelor pentru interfețele creier-calculator

Interfețe Creier-Calculator BCI

Rezumat: O interfață creier-calculator este un sistem de comunicare bazat pe hardware și software care permite controlul unui calculator sau a unui dispozitiv extern doar pe baza activității cerebrale. Obiectivul principal al cercetării BCI este acela de a oferi o cale de comunicare persoanelor cu handicap server, care sunt total paralizate sau “blocate” din cauza afecțiunilor neurologice neuromusculare, cum ar fi scleroza laterală amiotrofică, accidentul vascular cerebral sau leziunile la nivelul măduvei spinării. Aici, trecem în revistă stadiul actual al sistemelor BCI, analizând diferitele etape care formează un sistem BCI standard: achiziția semnalului, preprocesarea sau prelucrarea semnalului, extragerea caracteristicilor, clasificarea și interfața de control. În continuare se discută avantajele, dezavantajele și ultimele progrese și se analizează numeroase tehnologii raportate la literatura științifică pentru a proiecta fiecare etapă a unei sistem BCI. În primul rând, cercetarea de față examinează modalitățile de neuroimagistică utilizate în etapa de achiziție a semnalului, fiecare dintre acestea monitorizând o activitate funcțională diferită a creierului, cum ar fi activitatea electrică, magnetică sau metabolică. În al doilea rând, cercetarea de față analizează diferite semnale de control electrofiziologic care determină intențiile utilizatorilor, care pot fi detectate în activitatea creierului. În al treilea rând cercetarea de față analizează câteva tehnici utilizate în etapa de prelucrare a semnalului pentru a trata artefactele din semnalele de control și pentru a îmbunătății performanța. În al patrulea rând, se studiază o serie de algoritmi matematici folosiți în etapele de extragere și clasificare a caracteristicilor care traduc informațiile din semnalele de control în comenzi utilizate în operarea unui calculator sau a altui dispozitiv. În final, cercetarea de față urmărește să ofere o imagine de ansamblu asupra diferitelor aplicații ce utilizează un sistem BCI pentru a controla o gamă largă de dispozitive.

Cuvinte cheie: Interfața creier – calculator (BCI); electroencephalogramă (EEG); reabilitare; artefacte; neuroimagistică; interfață creier – mașină; sistem de senzori colaborativi.

Introducere

Interfața creier – calculator (Brain-Computer Interface = BCI), cunoscută de asemenea ca și interfață creier – mașină (Brain-Machine Interface = BMI), este un sistem de comunicare bazat pe hardware și software care permite oamenilor să interacționeze cu mediul înconjurător doar pe baza semnalelor de control generate din activitatea creierului utilizând principiul electroencefalogramei (EEG). Un sistem BCI creează un nou canal non – muscular utilizat pentru a transmite intențiile unei persoane către dispozitive externe, cum ar fi calculatorul, sintetizatoarele de voce, dispozitivele de asistență și protezele neuronale și altele. Oferind acest avantaj soluția se dovedește a fi deosebit de utilă în cazul persoanelor cu dizabilități motorii severe. În cazul acestei categorii de persoane utilizarea interfeței BCI conduce la îmbunătățirea calității vieții acestora și în același timp la reducerea timpului și costului necesar îngrijirii.

În altă ordine de idei, sistemul BCI poate fi privit ca un sistem de inteligență artificială care poate recunoaște un anumit set de modele mentale în semnalele creierului pe baza a cinci etape consecutive: achiziția semnalului, preprocesarea sau prelucrarea semnalului, extragerea caracteristicilor, clasificarea și interfața de control [1]. În etapa de achiziție a semnalului se capturează semnalele creierului, se reduce zgomotul și se procesează artefactele provenite din semnal, iar în etapa de preprocesare se prelucrează semnalele într-o formă care să permită procesarea ulterioară. În etapa de extragere a caracteristicilor se identifică informații relevante caracteristice provenite din semnalele creierului ce au fost înregistrate. Odată măsurat, semnalul este mapat într-un vector care conține caracteristicile specifice semnalelor observate. Extragerea acestor informații se dovedește a fi o sarcină foarte dificilăîntrucât semnalele creierului sunt amestecate cu alte semnale provenite dintr-o mulțime de activități cerebrale care se suprapun atât în timp cât și în spațiu. Mai mult, semnalul nu este staționar și poate fi, de asemenea, distorsionat de artefacte, cum ar fi electromiografia (EMG) sau electrooculografia (EOG). Vectorul caracteristicilor trebuie să fie, de asemenea, de dimensiune cât mai mică, dar să conțină informațiile relevante, pentru a reduce complexitatea etapei de extragere a caracteristicilor, dar fără pierderea informațiilor relevante. În cadrul etapei de clasificare semnalele sunt clasificate luând în considerare vectorii caracteristicilor. Alegerea corectă a caracteristicilor distinctive este, prin urmare, esențială pentru a obține o recunoaștere efectivă a modelului mental, pentru a putea descifra intențiile utilizatorului. În cele din urmă, în ultima etapă, interfața de control traduce semnalele clasificate în comenzi relevante pentru orice dispozitiv conectat, cum ar fi un scaun cu rotile electric sau un calculator.

Ideea de a descifra cu succes gândurile sau intențiile pe baza activității creierului utilizând tehnologia BCI nu a fost exploatată suficient în cercetările științifice anterioare. Studiile în domeniul cercetării creierului s-au limitat, de obicei, la analiza tulburărilor neurologice în clinici sau la explorarea funcțiilor creierului în laborator. Designul BCI a fost considerat mult timp prea complex, datorită rezoluției și a fiabilității informațiilor ce pot fi detectate la nivelul creierului dar și datorită variabilității ridicate. Mai mult, sistemele BCI necesită procesarea semnalului în timp real, și mult timp tehnologia necesară nu a existat sau a fost era foarte costisitoare [2].

Cercetarea BCI, care a fost limitată la doar trei centre de cercetare în urmă cu 25 de ani și la doar șase-opt centre de cercetare în urmă cu 15 ani, este acum un domeniu înfloritor, cu peste 100 de centre de cercetare active în întreaga lume în ultimii 5 ani care tratează subiectul [3]. Numărul de articole publicate cu privire la tehnologia interfeței neuronale a crescut exponențial în ultimul deceniu [4]. Dezvoltarea de hardware și software din ce în ce mai ieftine a permis realizarea sistemelor de analiză online din ce în ce mai sofisticate. De asemenea, posibilitatea de a utiliza sistemul BCI ca tehnologie auxiliară în cazul persoanelor cu dizabilitate gravă a sporit acceptarea socială în acest domeniu și nevoia de a accelera progresul acesteia. Astfel, interesul pentru această tehnologie se găsește acum și în afara laboratoarelor de cercetare sau a clinicilor. În acest sens, mici companii specializate precum Emotiv [5] sau Neurosky [6] au dezvoltat deja unele aplicații incipiente orientate către publicul larg. Cu toate acestea, în ciuda acestor progrese, majoritatea aplicațiilor bazate pe BCI sunt proiectate pentru domeniul cercetărilor de laborator. Pentru a avea o aplicabilitate mai largă a BCI este necesară o mai mare ușurință în utilizare, fapt care s-ar traduce în reducerea timpului petrecut în pregătire, antrenare și calibrare [7].

Domeniul de cercetare BCI este un domeniu multidisciplinar relativ tânăr, care integrează cercetători din zone diferite precum: neurologie, fiziologie, psihologie, inginerie, informatică, reabilitare și alte discipline tehnice și medicale. Drept urmare, în ciuda unor progrese notabile, încă nu a apărut un limbaj comun, iar tehnologiile BCI existente variază, ceea ce face dificilă compararea acestora și armonizarea în vederea standardizării. O standardizare a acestora ar fi extrem de utilă pentru dezvoltarea mai rapidă a cercetărilor din domeniu. Comunitatea cercetătorilor din domeniul BCI a adus în vedere, prin urmare, necesitatea stabilirii unui cadru general privind designul unui sistem BCI [8]. Mason și alții [9], de exemplu, a propus un nou model funcțional pentru sistemele BCI și taxonomia asociată.

Această trecere în revistă a stadiului actual al sistemelor BCI este structurată după cum urmează: subcapitolul 1.1 discută abordările existente legate de neuroimagistică ale sistemelor BCI, subcapitolul 1.2 descrie semnalele de control cel mai frecvent întâlnite în cadrul sistemelor BCI, subcapitolul 1.3 explică pe scurt anumite tipuri de sisteme BCI. Subcapitolele 1.4, 1.5 și 1.6 acoperă diferite metode de procesare a semnalului utilizate în extragerea caracteristicilor, reducerea artefactelor și clasificarea caracteristicilor. Subcapitolul 1.7 oferă o imagine de ansamblu asupra aplicațiilor ce utilizează sistemul BCI, iar la sfârșitul capitolului se prezintă principalele concluzii.

1.1. Abordări neuroimagistice în BCI

Tehnologia BCI folosește semnale cerebrale pentru a aduna informații despre intențiile utilizatorilor. În acest sens, BCI se bazează pe o etapă de înregistrare care măsoară activitatea creierului și traduce informațiile în semnale electrice măsurabile. Pot fi monitorizate două tipuri de activități ale creierului: (i) electrofiziologice și (ii) hemodinamice.

Activitatea electrofiziologică este generată de emițătorii electrochimici care fac schimb de informații între neuroni. Neuronii generează curenți ionici care circulă în interiorul și de-a lungul ansamblurilor neuronale. Întreaga varietate de căi de curgere a curentului poate fi simplificată la un dipol care conduce curentul de la o sursă la un receptor prin trunchiul denditric. [10]. Activitatea electrofiziologică se măsoară prin electroencefalografie, electrocorticografie, magnetoencefalografie și achiziția semnalului electric în neuronii singuri.

Răspunsul hemodinamic este un proces în care sângele eliberează glucoza către neuronii activi într-un ritm mai mare decât în zona neuronilor inactivi. Glicemia și oxigenul furnizate prin fluxul de sânge determină un surplus de oxihemoglobină în venele zonei active și o schimbare distinctă a raportului local dintre oxihemoglobină și deoximhemoglobină [11]. Aceste modificări pot fi cuantificate prin metode neuroimagistice, cum ar fi rezonanța magnetică funcțională și spectroscopie NIR (Near InfraRed) . Aceste tipuri de metode sunt clasificate ca fiind indirecte, deoarece măsoară răspunsul hemodinamic, care, spre deosebire de activitatea electrofiziologică, nu este direct legat de activitatea neuronală.

Majoritatea sistemelor BCI actuale obțin informațiile relevante din activitatea creierului prin electroencefalografie. Electroencefalografia este de departe cea mai utilizată modalitate de neuroimagistică datorită rezoluției sale temporale ridicate, costului relativ scăzut, portabilității ridicate și riscurilor scăzute pentru utilizatori. BCI bazate pe electroencefalografie constau dintr-un set de senzori care achiziționează semnale electroencefalografice din diferite zone ale creierului. Cu toate acestea, calitatea semnalelor electroencefalografice este afectată de scalp, craniu și multe alte straturi, precum și de zgomotul de fond. Zgomotul de fond, care reduce raportul semnal zgomot (Signal to Noise Ratio = SNR), trebuie eliminat astfel încât să fie mărită capacitatea de a extrage informații relevante din semnalele înregistrate prin electroencefalografie și alte metode de neuroimagistică Abordările non-invazive au fost utilizate cu succes la pacienții total și parțial paralizați pentru a redobândi formele de bază de comunicare și pentru a controla neuroprotezele și scaunele cu rotile [12–14]. În ciuda utilității importante a abordărilor non-invazive în aplicațiile BCI, recuperarea motorie a fost limitată deoarece este nevoie de o rezoluție mare a semnalelor creierului. Metode invazive de înregistrare, cum ar fi electrocorticografia sau înregistrarea intracorticală a neuronilor, au fost introduse pentru a îmbunătăți calitatea semnalelor cerebrale monitorizate de BCI. Majoritatea cercetătorilor sunt de acord că restabilirea mișcărilor prin proteze cu multiple grade de libertate poate fi realizată doar prin abordări invazive [15]. Este puțin probabil ca randamentul modalităților non-invazive să fie îmbunătățit în viitorul apropiat. Prin urmare, s-ar părea că modalitățile invazive sunt indispensabile pentru un control precis al neuroprotezelor. Contrar acestei opinii, Wolpaw [3] a sugerat că performanța în controlul multidimensional poate fi independentă de metoda de înregistrare. Perfecționările ulterioare ale tehnicilor de înregistrare și analiză vor crește probabil performanța atât a modalităților invazive cât și a celor non-invazive. Cu toate acestea, ultimele studii în controlul neuroprotezelor par să indice că modalitățile invazive au avantaje inerente în aplicațiile de control al neuroprotezei [4].

Modalitățile invazive implantează o rețea de microelectrozi în craniu, care implică riscuri semnificative pentru sănătate, ceea ce restricționează utilizarea lor la setările experimentale. Două modalități invazive pot fi găsite în cercetarea BCI: electrocorticografia, care plasează electrozii pe suprafața cortexului și înregistrarea neuronilor intracorticali care implantează electrozii în interiorul cortexului. Problema majoră a acestora este respingerea microelectrodului de către țesut, motiv pentru care există propuneri pentru electrozi cu medii neurotrope care promovează dezvoltarea neuronală pentru a îmbunătăți biocompatibilitatea [16] și cercetări privind utilizarea nanotehnologiilor care ar putea dezvolta nano-detectoare pentru a fi implantate în creierul inert, care poate oferi o soluție definitivă pentru problemele aplicațiilor invazive pe termen lung. În al doilea rând, este necesară o legătură între microelectrod și hardware-ul extern care utilizează tehnologia wireless pentru a reduce riscurile de infecție, dar care presupune existența și implicit înlocuirea unor baterii montate în interiorul corpului. Transmiterea wireless a semnalelor neuronale a fost deja testată la animale [17]. Și în al treilea rând, stresul continuu cauzat de conectarea și deconectarea sistemului de înregistrare poate duce la deteriorarea țesuturilor sau la defectarea sistemului.

Fiecare modalitate neuroimagistică este explicată mai jos. În primul rând, se vor discuta metodele electrofiziologice, cum ar fi electroencefalografia, electrocorticografia, magnetoencefalografia și achiziția semnalului electric în neuronii singuri. În al doilea rând, vor fi descrise metode metabolice precum rezonanța magnetică funcțională și spectroscopia NIR. Modalitățile de imagistică funcțională sunt enumerate în tabelul 1, împreună cu informațiile legate de activitatea măsurată, rezoluțiile temporale și spațiale, siguranță și portabilitate.

Tabelul 1. Rezumatul metodelor de neuroimagistică

1.1.1. Electroencefalografia (EEG)

EEG măsoară activitatea electrică a creierului determinată de fluxul de curenți electrici în timpul excitațiilor sinaptice ale dendritelor din neuroni [10]. Semnalele EEG sunt înregistrate cu ușurință în mod non-invaziv prin electrozii așezați pe scalp, din această cauză fiind de departe cea mai răspândită modalitate de înregistrare. Cu toate acestea, oferă semnale de calitate foarte slabă, deoarece semnalele trebuie să traverseze scalpul, craniul și multe alte straturi. Aceasta înseamnă că semnalele EEG din electrozi sunt deficitare, greu de obținut și de o calitate scăzută. Această tehnică este în plus grav afectată de zgomotul de fond generat fie în interiorul creierului fie în exterior la nivelul scalpului.

Sistemul de înregistrare EEG este format din electrozi, amplificatoare, convertor analog numeric și un dispozitiv de înregistrare. Electrozii preiau semnalul de la scalp, amplificatoarele procesează semnalul analog pentru a mări amplitudinea semnalelor EEG, astfel încât convertorul analog numeric poate digitaliza semnalul într-un mod cât mai precis. În cele din urmă, dispozitivul de înregistrare, care poate fi un computer personal sau similar, stochează și afișează datele.

Semnalul EEG este măsurat într-un interval de timp ca diferență de potențial între semnalul sau electrodul activ și electrodul de referință. Un al treilea electrod suplimentar, cunoscut sub numele de electrod de masă, este utilizat pentru a măsura tensiunea diferențială dintre punctele active și de referință. Configurația minimă pentru măsurarea EEG constă, așadar, dintr-un electrod activ, un electrod de referință și un electrod de masă. Configurațiile multicanal pot cuprinde până la 128 sau 256 electrozi activi [18]. Acești electrozi sunt de obicei din clorură de argint (AgCl) [19]. Impedanța electrod-scalp trebuie să fie între 1 kΩ și 10 kΩ pentru a înregistra un semnal precis [20]. Interfața electrod-țesut nu este doar rezistivă, ci și capacitivă și, prin urmare, se comportă ca un filtru trece jos. Impedanța depinde de mai mulți factori, cum ar fi stratul de interfață, suprafața electrodului și temperatura [20]. Gelul EEG creează o cale conductoare între piele și fiecare electrod care reduce impedanța. Utilizarea gelului este greoaie, totuși aplicarea lui este necesară pentru a asigura un semnal de calitate relativ bun. Electrozii la care nu trebuie să se utilizeze geluri, numiți electrozi „uscați”, au fost fabricați din alte materiale, cum ar fi titanul și oțelul inoxidabil [21]. Aceste tipuri de electrozi pot fi electrozi activi „uscați”, care au circuite de preamplificare pentru a face față impedanțelor foarte mari electrod-piele [21, 22] sau electrozi pasivi „uscați”, care nu au circuite active, dar sunt conectați la sistemele de înregistrare EEG cu impedanță de intrare super înaltă [23].

Amplitudinea bio-semnalelor electrice este de ordinul microvolților. Prin urmare, semnalul este foarte sensibil la zgomot electronic generat atât din surse externe, cum ar fi cablurile de alimentare, cât și interne, cum ar fi zgomotul termic. [24]. Pentru a reduce efectele zgomotului trebuie luat în considerare la proiectare printre altele ecranarea cablurilor utilizate [20].

EEG include un set de semnale care pot fi clasificate în funcție de frecvența lor. Domeniile de frecvență cunoscute au fost definite în funcție de distribuția pe scalp sau de semnificația biologică. Aceste benzi de frecvență sunt denumite delta (δ), theta (θ), alfa (α), beta (β) și, respectiv, gamma (γ) de la joase la înalte. Caracteristicile relevante ale acestor benzi sunt detaliate mai jos.

Banda delta se situează sub 4 Hz, iar amplitudinea semnalelor delta este detectabilă la bebeluși și scade odată cu înaintarea în vârstă. Ritmurile delta sunt de obicei observate la adulți numai în stare de somn profund și sunt rare în stare trează. O valoare a activității delta la adulții treji este anormală și este legată de boli neurologice [25]. Datorită frecvenței scăzute, undele delta sunt ușor de confundat cu semnale artefacte, care sunt cauzate de mușchii mari ai gâtului sau maxilarului.

Undele theta se situează în intervalul de la 4 la 7 Hz. La un adult normal în stare trează poate fi înregistrată doar o cantitate mică de frecvențe theta. O cantitate mai mare de frecvențe theta poate fi observată la copii dar și la adulți în stare somnolentă, meditativă sau în somn [25]. La fel ca la undele delta, o mare parte din activitatea theta la adulții treji este legată de boala neurologică [25]. Banda theta a fost asociată cu concentrația meditativă [26, 27] și cu o gamă largă de procese cognitive, cum ar fi calculul mental [28], rezolvarea unor probleme de logică [29] sau conștientizarea sinelui [30].

Ritmurile alfa sunt înregistrate în regiunea occipitală din creier [31]. Aceste unde se încadrează în intervalul 8 – 12 Hz. Amplitudinea lor crește atunci când ochii se închid și corpul se relaxează și se atenuează atunci când ochii se deschid și se depune efort mental [32]. Aceste ritmuri reflectă în principal procesarea vizuală în regiunea creierului occipital și pot fi, de asemenea, legate de funcția de memorie a creierului [33]. Există, de asemenea, dovezi că activitatea alfa poate fi asociată cu efortul mental. Creșterea efortului mental provoacă o suprimare a activității alfa, în special în zonele frontale [34]. Prin urmare, aceste ritmuri ar putea fi semnale utile pentru a măsura efortul mental. Ritmurile mu pot fi găsite în aceeași gamă ca și ritmurile alfa deși există diferențe fiziologice importante între ele. Spre deosebire de ritmurile alfa, ritmurile mu sunt puternic conectate la activitățile motorii și, în unele cazuri, par să se coreleze cu ritmurile beta [31,35].

Undele beta, în intervalul 12-30 Hz, sunt înregistrate în regiunile frontale și centrale ale creierului și sunt asociate cu activitățile motorii. Ritmurile beta sunt desincronizate în timpul mișcării reale sau al reprezentării mișcării [36]. Undele beta sunt caracterizate prin distribuția lor simetrică atunci când nu există activitate motorie. Cu toate acestea, în cazul mișcării active ritmurile beta se atenuează iar distribuția lor simetrică se schimbă [36].

Ritmurile gamma aparțin intervalului de frecvență de la 30 până la 100 Hz. Prezența undelor gamma în activitatea creierului unui adult sănătos este legată printre altele de anumite funcții sau percepții motorii [37]. Unele experimente au descoperit la omul normal o relație între activitățile motorii și undele gamma în timpul contracției musculare maxime [38]. Această coerență a benzii gamma este înlocuită în timpul contracțiilor slabe cu o coerență a benzii beta, ceea ce sugerează o corelație între activitatea oscilatoare corticală gamma sau beta și efort [39].

De asemenea, mai multe studii au furnizat dovezi pentru rolul activității gamma în percepția atât a stimulilor vizuali cât și auditivi [37, 40-42]. Ritmurile gamma sunt mai puțin utilizate în sistemele BCI bazate pe EEG, deoarece artefactele precum electromiografia (EMG) sau electrooculografia (EOG) pot să le afecteze [43]. Cu toate acestea, acest domeniu atrage atenția din ce în ce mai mare în cercetarea BCI, deoarece, comparativ cu semnalele tradiționale beta și alfa, activitatea gamma poate crește rata de transfer de informații și poate oferi o specificitate spațială mai mare [44, 45].

Așa cum am explicat mai sus, EEG este înregistrat de electrozi. Electrozii așezați pe scalp se bazează de obicei pe sistemul internațional 10-20 [46], care a fost standardizat de American Electroencephalographic Society. Sistemul 10-20 utilizează două puncte de referință la nivelul capului pentru a defini locația electrodului. Unul dintre aceste puncte de referință este nasionul, situată în partea superioară a nasului la același nivel cu ochii. Celălalt punct de referință este inionul, care se găsește în nodul osos de la baza craniului. Planul transversal și median împart craniul prin aceste două puncte. Locațiile electrozilor sunt determinate prin marcarea acestor planuri la intervale de 10% și 20% (Figura 1). Literele din fiecare locație corespund unor regiuni specifice ale creierului, astfel încât A reprezintă lobul urechii, C regiunea centrală, Pg nazofaringianul, P parietalul, F frontalul, Fp polarul frontal și O zona occipitală.

Figura 1. Amplasarea electrozilor pe scalp

1.1.2. Magnetoencefalografie (MEG)

MEG este o tehnică imagistică non-invazivă care înregistrează activitatea magnetică a creierului prin intermediul inducției magnetice. MEG măsoară curenții intracelulari trecând prin dendrite, care produc câmpuri magnetice care pot fi măsurate în afara capului [47]. Procesele neurofiziologice care produc semnale MEG sunt identice cu cele care produc semnale EEG. Cu toate acestea, în timp ce EEG este extrem de sensibil la sursele de curent secundare, MEG este mai sensibil la cele ale curenților primari, din interiorul celulelor [10]. Câmpurile magnetice sunt mai puțin distorsionate de craniu și scalp decât câmpurile electrice [48], ceea ce reprezintă un avantaj pentru MEG.

Câmpurile magnetice sunt detectate prin dispozitive cu interferențe cuantice supraconductoare, care sunt extrem de sensibile la tulburările magnetice produse de activitatea neuronală [49]. Echipamentele electronice care măsoară activitatea magnetică a creierului sunt răcite la aproape -273 grade Celsius pentru a facilita supraconductivitatea senzorului. MEG are nevoie de o protecție eficientă la interferențele electromagnetice. Echipamentul electronic este instalat în interiorul unei încăperi ecranate magnetic, care atenuează efectele câmpurilor magnetice din surse externe.

MEG oferă semnale cu o rezoluție spațio-temporală mai mare decât EEG, ceea ce reduce timpul de pregătire necesar pentru a controla un BCI și accelerează comunicațiile fiabile [50].

MEG a fost, de asemenea, utilizat cu succes pentru localizarea regiunilor active din interiorul creierului [51]. În ciuda acestor caracteristici avantajoase, MEG nu este utilizat frecvent în proiectarea BCI, deoarece tehnologia MEG este prea voluminoasă și costisitoare pentru a deveni o modalitate de achiziție potrivită pentru utilizarea de zi cu zi. În 2005, Lal și colab. [52] au prezentat primul BCI online bazat pe MEG. Deși au urmat studii suplimentare [53–57], BCI bazate pe MEG, în comparație cu BCI bazate pe EEG, sunt încă într-un stadiu incipient.

1.1.3. Electrocorticografie (ECoG)

ECoG este o tehnică prin care se măsoară activitatea electrică în cortexul cerebral cu ajutorul unor electrozi plasați direct pe suprafața creierului. În comparație cu EEG, ECoG oferă o rezoluție temporală și spațială mai mare, precum și amplitudini mai mari și o vulnerabilitate mai mică la artefacte, cum ar fi clipirea și mișcarea ochilor [58]. Cu toate acestea, ECoG este o modalitate de înregistrare invazivă care necesită o craniotomie pentru a implanta o grilă de electrozi care implică riscuri semnificative pentru sănătate. Din acest motiv, primele studii asupra ECoG au fost efectuate cu animale. Studiile timpurii care au implicat animale au evaluat stabilitatea pe termen lung a semnalelor din creier pe care ECoG le-ar putea achiziționa [59–62]. Rezultatele au arătat că electrozii subdurali ar putea furniza semnale stabile pe parcursul mai multor luni. Cu toate acestea, stabilitatea pe termen lung a semnalelor achiziționate de ECoG este în prezent neclară. Experimente mai recente pe maimuțe au arătat că ECoG poate performa la un nivel ridicat timp de câteva luni fără nicio abatere în acuratețe sau necesitate de recalibrare [63]. Pozițiile mâinii și unghiurile articulației brațului pot fi decodate cu succes în timpul mișcărilor asincrone. Aceste studii au dezvoltat, de asemenea, protocoale minim invazive pentru implantarea sondelor ECoG [64].

La om, ECoG a fost utilizat pentru analiza undelor alfa și beta [65] sau a undelor gamma [66, 67] produse în timpul acțiunii motorii voluntare. În ceea ce privește utilizarea ECoG în sistemele BCI, Levine și colab. [68] au conceput un BCI care a clasificat acțiunile motorii pe baza identificării potențialelor corelate procesului cognitiv (Event Related Potential – ERP) folosind ECoG. Leuthardt și colab. [69] au arătat pentru prima dată că un BCI bazat pe ECoG ar putea furniza informații pentru a controla un cursor unidimensional, deoarece aceste informații sunt mai precise și mai rapid dobândite decât de către un BCI bazat pe EEG. Câțiva ani mai târziu, Schalk și colab. [70] au prezentat un BCI mai avansat bazat pe ECoG care a permis utilizatorului să controleze un cursor bidimensional. Rezultatele tuturor acestor studii ar putea face posibil ca persoanele cu dizabilități motorii severe să utilizeze BCI bazate pe ECoG pentru nevoile lor de comunicare și control.

1.1.4. Înregistrare neuronală intracorticală

Înregistrarea neuronală intracorticală este o tehnică neuroimagistică prin care se măsoară activitatea electrică în interiorul materiei cenușii a creierului. Este o modalitate invazivă de înregistrare care trebuie să implanteze rețele de microelectrozi în cortex pentru a capta semnale spike și potențiale de câmp local de la neuroni.

Prin înregistrarea neuronală intracorticală pot fi obținute trei semnale: activitate single-unit (SUA), activitate multi-unit (MUA) și potențiale de câmp local (LFPs) [47].

SUA se obține prin filtrarea trece sus (> 300 Hz) a semnalului unui singur neuron. MUA se obține în același mod, dar semnalele pot proveni de la mai mulți neuroni. LFP sunt extrase prin filtrare trece-jos (<300 Hz) a activității neuronilor din vecinătatea unei extremități a electrodului. LFP sunt semnale analogice, în timp ce SUA și MUA măsoară activitatea de spiking a neuronilor singuri și pot fi reduse la evenimente discrete în timp [47].

Înregistrarea neuronală intracorticală oferă o rezoluție spațială și temporală mult mai mare decât înregistrarea EEG. Prin urmare, semnalele intracorticale pot fi mai ușor de utilizat decât semnalele EEG. Cu toate acestea, calitatea semnalului poate fi afectată de reacția țesutului cerebral la microelectrodul de înregistrare implantat [71] și de modificările sensibilității la microelectrod, semnal care poate fi deteriorat progresiv cu trecerea zilelor și anilor [72]. Utilizatorul se poate adapta în mod natural la aceste modificări lente ale sensibilității microelectrodului fără a fi nevoie de o reinstruire specifică. Cu toate acestea, pot fi necesare recalibrări periodice ale sensibilității electrodului [73].

Primele încercări în domeniul înregistrării neuronale intracorticale au fost făcute la animale. Rețelele de multielectrozi au fost utilizate pentru a înregistra activitatea neuronală din cortexul motor la maimuțe sau șobolani în timpul mișcărilor învățate [74–76]. Aceste studii inițiale au arătat că înregistrările neuronale intracorticale pot indica natura unei mișcări și direcția acesteia. Aceste studii nu arată dacă aceleași tipare vor fi prezente atunci când nu se vor face mișcări reale. În această privință, Taylor și Schwartz [77] au experimentat cu macaul de rhesus care a făcut mișcări reale și virtuale ale brațelor într-un computer. Rezultatele au sugerat că aceleași tipare au persistat. Cele mai recente studii efectuate cu maimuțe au investigat controlul dispozitivelor protetice pentru interacțiune directă în timp real cu mediul fizic [78–81].

În ceea ce privește aplicarea înregistrării neuronale intracorticale în sistemele BCI, s-au raportat rețele de microelectrozi precum Utah Intracortical Electrode Array (UIEA) ca un mijloc adecvat de a asigura controlul simultan și proporțional al unui număr mare de dispozitive externe [72]. De asemenea, Kennedy și colab. [82] au folosit semnale de control cortical pentru a proiecta un BCI care le-a permis utilizatorilor să controleze mișcarea cursorului și flexiunea unui deget cibernetic al unei mâini virtuale.

1.1.5. Imagistică prin rezonanță magnetică funcțională (functional Magnetic Resonance Imaging – fMRI)

fMRI este o tehnică neuroimagistică neinvazivă care detectează modificări ale volumului local al sângelui cerebral, ale fluxului sanguin cerebral și ale nivelurilor de oxigenare în timpul activării neuronale cu ajutorul câmpurilor electromagnetice. fMRI se realizează în general folosind scanere MRI care aplică câmpuri electromagnetice cu putere de ordinul 3T sau 7T. Principalul avantaj al utilizării fMRI este rezoluția spațială ridicată. Din acest motiv, fMRI a fost aplicat pentru localizarea regiunilor active din interiorul creierului [83]. Cu toate acestea, fMRI are o rezoluție temporală scăzută de aproximativ 1 sau 2 secunde. În plus, răspunsul hemodinamic introduce o întârziere fiziologică de la 3 la 6 secunde [84]. fMRI pare nepotrivită pentru comunicarea rapidă în sistemele BCI și este foarte sensibilă la artefactele de mișcare a capului.

În sistemele BCI, fMRI este de obicei utilizat pentru a măsura nivelul de oxigen din sânge (Blood Oxygen Level Dependent = BOLD) în timpul activării neuronale [85]. Deși semnalul BOLD nu este legat în mod direct de activitatea neuronală, există o corespondență între acestea [86]. Utilizarea fMRI în tehnologia BCI este relativ recentă. Înainte de apariția fMRI în timp real, înregistrarea activității creierului prin fMRI dura o lungă perioadă de timp. Datele obținute prin tehnicile fMRI erau procesate offline, iar rezultatele deveneau disponibile după câteva ore sau chiar zile [87]. BCI bazate pe fMRI au fost făcute posibile grație dezvoltării fMRI în timp real [84,88,89]. Rata de transfer de informații în BCI bazate pe fMRI este cuprinsă între 0,60 și 1,20 biți / min [90]. Aplicațiile fMRI non-clinice nu vor exista prea curând, deoarece fMRI necesită un hardware excesiv de voluminos și scump.

1.1.6. Spectroscopia NIR (Near Infrared Spectroscopy – NIRS)

NIRS este o metodă de spectroscopie optică care folosește lumină infraroșie pentru a caracteriza neinvaziv fluctuațiile apărute în metabolismul cerebral în timpul activității neuronale. Lumina infraroșie pătrunde în craniu până la o adâncime de aproximativ 1-3 cm sub suprafața craniului, unde intensitatea luminii atenuate permite măsurarea modificărilor concentrațiilor de oximoglobină și dezoxihemoglobină. Datorită pătrunderii superficiale în creier, această tehnică neuroimagistică optică este limitată la stratul cortical exterior. Într-un mod similar cu fMRI, una dintre limitările majore ale NIRS este natura răspunsului hemodinamic, deoarece modificările vasculare apar la un anumit număr de secunde după activitatea sa neuronală asociată [91]. Rezoluția spațială a NIRS este destul de mică, de ordinul a 1 cm [92]. Cu toate acestea, NIRS oferă un cost redus, o portabilitate ridicată și o rezoluție temporală acceptabilă de ordinul a 100 de milisecunde [93].

Sistemul NIRS constă dintr-o sursă de lumină, un dispozitiv electronic de control, un detector de lumină, dispozitive de procesare a semnalului și un dispozitiv de înregistrare. Sursa de lumină este o diodă emițătoare în infraroșu (IRED) plasată în contact direct cu pielea capului. Dispozitivul electronic de control este un circuit electronic care controlează IRED pentru a modula lumina. Detectorul de lumină este o fotodiodă plasată chiar lângă sursa de lumină. Dispozitivele de procesare a semnalului sunt amplificatoare și filtre care prelucrează semnalul electric și reduc zgomotul datorat luminii ambientale. Dispozitivul de înregistrare este un computer personal sau orice alt dispozitiv care digitalizează, stochează și afișează semnalul electric.

Asigurarea unei lumini bune de cuplare de la sursele optice și detectoare către și de la capul subiectului nu este o problemă neimportantă. Mișcările capului sau obstrucția părului pot înrăutăți performanța și calitatea semnalului [91]. Semnalele de bună calitate și reducerea zgomotului, în special zgomotul de fundal indus de mișcările capului, sunt cerințe importante la sistemele BCI în timp real. Obstrucția părului poate fi eliminată din calea fotonilor prin pieptănarea părului sau cu ajutorul gelului de păr și a agrafelor de păr [91]. Zgomotul poate fi redus parțial prin filtrarea trece bandă, medierea mișcării și filtrarea Wiener. Aceste clase de algoritmi de obicei nu reușesc să înlăture zgomotul brusc, de tip spike, asemănător zgomotului produs de mișcarea capului [94]. Artefactele de mișcare a capului pot fi reduse prin asigurarea poziționării rigide a optodului (ansamblu emițător – detector optic). Au fost introduse soluții care se bazează pe căști, modelate termoplastic pe contururile capului fiecărui subiect, fire acționate de arcuri atașate la forme de plastic semi-rigide și fire încorporate în forme de cauciuc din neopren [95]. Efectele de zgomot de fond pot fi, de asemenea, atenuate prin exploatarea asocierilor statistice puternice între dinamica hemoglobinei oxigenate și deoxigenate [96].

Deși NIRS este o modalitate de măsurare relativ nouă, NIRS pare să fie o modalitate promițătoare de neuroimagistică pentru viitor pentru BCI [91,97]. NIRS oferă acum o rată scăzută de transfer de informații de aproximativ 4 biți / min, dar ar putea fi crescută în viitor [98]. Această modalitate neuroimagistică ar putea fi o bună alternativă la EEG, deoarece nu sunt necesari nici gel conductor și nici electrozi corozivi. Cu toate acestea, viteza de comunicare a BCI bazată pe NIRS este limitată datorită întârzierilor inerente ale răspunsului hemodinamic. Unele studii au demonstrat deja ușurința detectării sarcinilor mentale prin răspunsuri optice derivate din NIRS [93,99,100].

1.2. Tipurile de semnale de control utilizate de sistemele BCI

Scopul principal al unui sistem BCI este acela de a interpreta intențiile utilizatorilor pe baza monitorizării activității cerebrale. Semnalele provenite de la creier implică numeroase fenomene simultane legate de sarcinile cognitive. Majoritatea dintre acestea sunt încă greu de înțeles, iar originile lor nu sunt încă pe deplin cunoscute. Cu toate acestea o serie de fenomene fiziologice provenite din semnalele creierului au fost decodate cu succes într-o manieră care a permis modularea lor, fapt ce a permis sistemelor BCI să interpreteze intențiile utilizatorilor. Aceste semnale sunt considerate posibile semnale de control într-un sistem BCI.

Numeroase studii au descris existența multor categorii de semnale cerebrale care ar putea servi drept semnale de control în cadrul sistemelor BCI. Cu toate acestea, numai acele semnale de control folosite de sistemele BCI actuale vor fi tratate în continuare, după cum urmează: potențialele evocate vizuale (visual evoked potentials = VEP), potențialele corticale lente (slow cortical potentials = SCP), potențialele evocate P300 și ritmurile senzorimotoare. Toate aceste semnale de control sunt enumerate în tabelul 2, împreună cu unele dintre caracteristicile lor principale.

Tabel 2. Semnalele de control utilizate de un sistem BCI

1.2.1. Potențiale Evocate Vizuale (VEPs)

Potențialele evocate vizuale (VEPs) reprezintă modulări ale activității cerebrale care apar la nivelul cortexului vizual după perceperea unui stimul vizual [101]. Aceste modulări sunt relativ ușor de detectat, deoarece amplitudinea VEP crește foarte mult după ce stimulul este mutat mai aproape de câmpul vizual central [102]. VEP pot fi clasificate după trei criterii diferite [103]: (i) după morfologia stimulilor optici, (ii) după frecvența stimulării vizuale; și (iii) după câmpul vizual stimulat. Conform primului criteriu, VEP pot fi produse de utilizarea unei stimulări luminoase de tip flash sau de utilizarea de modele grafice, cum ar fi modelul tablei de șah, poarta, și harta cu puncte aleatorii. În funcție de frecvență, VEP pot fi, de asemenea, clasificate în VER Tranzitorii (Transient VEP = TVEP) și în VEP în Regim Staționar (Steady-State VEP = SSVEP). TVEP apar atunci când frecvența stimulării vizuale este sub frecvența de 6 Hz, în timp ce SSVEP apar ca reacție la stimuli cu o frecvență mai mare [101,104]. Conform celui de-al treilea criteriu, VEP pot fi împărțite în: VEP pe întreg câmpul vizual , VEP pe jumătăți de câmp și VEP pe o parte din câmp în funcție de zona de stimulare prezentată pe ecran. De exemplu, dacă doar jumătate din ecran afișează elemente grafice, cealaltă jumătate nu va afișa nici o stimulare vizuală, ceea ce va induce un VEP pe jumătate de câmp.

TVEP pot fi generate de orice modificare a câmpului vizual. TVEP cele mai utilizate sunt: (i) TVEP de tip flash, care sunt produse de luminile intermitente, (ii) TVEP cu model onset/offset sunt produse atunci când un model/pattern apare brusc pe un fundal difuz, și (iii) TVEP cu model inversat , care sunt produse de inversarea fazei unui model, cum ar fi de exemplu, modelul tablei de șah care schimbă brusc casuțele din negru în alb și invers [105].

Răspunsurile evocate variază în funcție de stimulul prezentat. TVEP de tip flash prezintă o serie de vârfuri negative și pozitive. Cele mai proeminente vârfuri sunt vârfurile negative (N2) și pozitive (P2) la aproximativ de 90 ms, respectiv 120 ms [105]. TVEP cu model onset / offset au trei vârfuri principale: C1 (pozitiv, 75 ms), C2 (negativ, 125 ms) și C3 (pozitiv, 150 ms) [105]. TVEP cu model inversat prezintă de obicei un vârf negativ la 75 ms, unul pozitiv la 100 ms și unul negativ la 135 ms [105].

SSVEP sunt generate de același stimul vizual. În acest caz are o frecvență mai mare de 6 Hz. Dacă stimulul este de tip flash, SSVEP prezintă o formă de undă de tip sinusoidal, a cărei frecvență fundamentală este aceeași cu frecvența intermitentă a stimulului. Dacă stimulul este un model, SSVEP apar la frecvența de inversare și la armonicele lor [106]. Spre deosebire de TVEP, componentele frecvenței discrete ale SSVEP rămân aproape constante în amplitudine și fază pe perioade lungi de timp [107]. SSVEP sunt mai puțin sensibile decât TVEP la artefacte produse de clipire și de mișcarea ochilor [108] și de contaminarea cu zgomotul produs de semnalele de electromiografie [109]. Într-adevăr TVEP nu sunt utilizate de obicei pentru BCI.

Sistemele BCI bazate pe SSVEP permit utilizatorilor să selecteze o țintă pe baza detectării poziției ochilor folosind metoda eye-gaze. Utilizatorul își focusează vizual atenția asupra unei ținte, iar sistemul BCI identifică ținta pe baza analizei caracteristicilor SSVEP. Considerând faptul că un sistem BCI poate fi privit sub forma unui canal de comunicație, sistemele BCI bazate pe SSVEP pot fi clasificate în trei categorii, în funcție de metoda de modulare a secvenței de stimul utilizată [110]: BCI bazate pe VEP modulate în timp (t – VEP), BCI bazate pe VEP modulate în frecvență (f – VEP), BCI bazate pe VEP modulate în cod pseudo-aleator (c – VEP). VEP care reacționează la diferite secvențe de stimul ar trebui să fie ortogonale sau aproximativ ortogonale între ele într-un domeniu pentru a asigura identificarea eficientă a țintei [110]. În cadrul unui sistem BCI bazat pe t – VEP, secvențele de tip flash ale diferitelor ținte sunt ortogonale în timp. Adică, secvențele de tip flash pentru diferite ținte sunt fie strict nesuprapuse fie stohastice. Într-un sistem BCI bazat pe f-VEP fiecare țintă este transmisă la o frecvență unică, generând o secvență periodică de răspunsuri evocate cu aceeași frecvență fundamentală ca și armonicile sale. Într-un sistem BCI bazat pe c-VEP se folosesc secvențe pseudo-aleatorii. Durata stărilor ON și OFF a transmiterii fiecărei ținte este determinată de o secvență pseudo-aleatorie. Modulările semnalului pot optimiza viteza de transfer a informației. Într-adevăr, modularea codului asigură cea mai mare viteză de comunicare. Tabelul 3 rezumă caracteristicile fiecărei modulații.

Tabelul 3 Caracteristicile modulării VEP: t-VEP, f-VEP și c-VEP.

Aplicația tipică pentru BCI bazată pe VEP afișează pe ecran stimuli intermitenți, cum ar fi cifre sau litere, pentru a induce SSVEP în timp ce utilizatorul privește fix unul dintre simboluri. Utilizatorul poate muta privirea către cifrele sau literele intermitente, pentru a comunica cu calculatorul [111]. Avantajul acestui tip de semnal de control este că este nevoie de foarte puțin antrenament. Cu toate acestea, prezintă dezavantajul că utilizatorul trebuie să urmărească ecranul și să-și țină ochii fixați într-un punct. Acest tip de semnal de control poate fi utilizat numai pentru sisteme BCI exogene (vezi Secțiunea 0). Prin urmare, VEP nu sunt potrivite pentru pacienții aflați în stadii avansate de scleroză laterală amiotrofică (ALS) sau cu mișcări incontrolabile ale ochilor sau gâtului. Pentru a depăși acest dezavantaj au apărut unele sisteme BCI independente bazate pe SSVEP care sunt controlate folosind atenția utilizatorului [112.113].

SSVEP sunt generate de obicei folosind diode LED, monitoare cu tuburi cu raze catodice (CRT) sau afișaj cu cristale lichide (LCD). LED-urile depășesc ca performanțe stimulatoarele LCD sau CRT, dar au nevoie de un hardware mai complex. Monitoarele LCD și CRT facilitează prezentarea țintei în comparație cu stimulatoarele LED, deoarece ambele sisteme pot fi conectate cu ușurință la un computer. Cu toate acestea, stimulatoarele cu LED-uri pot fi de preferat pentru un sistem BCI cu ținte multiple, deoarece rata de actualizare a unui monitor LCD sau CRT poate limita numărul de ținte. Stimulatoarele cu LED-uri oferă mai multă versatilitate, deoarece frecvența și faza de pâlpâire a fiecărui LED pot fi controlate în mod independent folosind un dispozitiv logic programabil [114]. Decizia de stimulare poate fi luată pe baza numărului de opțiuni/alegeri oferite de BCI [115]. Ecranele LCD sunt optime pentru BCI de joasă complexitate (mai puțin de 10 opțiuni), deoarece acestea provoacă mai puțină oboseală decât ecranele CRT. Pentru BCI de complexitate medie (10-20 de opțiuni), ecranele LCD sau CRT sunt optime. Pentru BCI de înaltă complexitate (mai mult de 20 de opțiuni), LED-urile sunt preferate.

1.2.2. Potențiale Corticale Lente (SCP)

SCP sunt reprezentate de variații lente a tensiunii în semnalele EEG a căror durată variază de la o secundă până la câteva secunde. SCP aparțin părții semnalelor EEG cu frecvența sub 1 Hz [116]. SCP sunt asociate cu modificări în nivelul de activitate corticală. SCP negative se corelează cu activitate neuronală ridicată, în timp ce SCP pozitive corespund cu activitate neuronală scăzută în celulele individuale [116]. Aceste semnale ale creierului pot fi autoreglate atât de utilizatorii sănătoși cât și de pacienții paralizați pentru a controla dispozitive externe prin intermediul unui BCI. Variațiile SCP pot fi utilizate pentru a muta un cursor și pentru a selecta țintele prezentate pe ecranul computerului [117].

Utilizatorii pot fi antrenați să genereze variații voluntare ale SCP folosind un dispozitiv de traducere a gândurilor [117]. Dispozitivul de traducere a gândurilor este un instrument utilizat pentru antrenarea SCP cu autoreglare bazat pe mărci vizual-auditive, astfel încât utilizatorul să învețe să modifice SCP. Dispozitivul de traducere a gândurilor dispune, de obicei, de un cursor plasat pe ecran, astfel încât poziția verticală a cursorului reflectă în mod constant amplitudinea variației SCP. Deși majoritatea dispozitivelor de traducere a gândurilor prezintă feedback continuu, este posibil să se antreneze auto-modularea SCP în absența acestui feedback [118].

Succesul în antrenarea SCP cu autoreglare depinde de numeroși factori, precum starea psihică și fizică a pacientului, motivația, contextul social sau relația antrenor-pacient [117]. Este cunoscut faptul că principalul factor care afectează drastic antrenarea modulării SCP este reprezentat de capacitatea de învățare a utilizatorului. Prin urmare, antrenarea bazată pe auto-reglare este recomandată pacienților aflați în stadiul incipient al unei boli progresive [117]. Mai mult, abilitățile inițiale de modulare a SCP au efect asupra performanțelor viitoare ce pot fi obținute în urma antrenării [119]. Prin urmare, valoarea de semnal de control a SCP adecvat pentru fiecare pacient poate fi determinată numai pe baza încercărilor inițiale. Alți factori, precum calitatea somnului, durerea și starea de spirit au, de asemenea, o influență asupra performanței de autoreglare [117]. Efectele lor nu sunt identice pentru toți pacienții și, cu siguranță, este necesară o investigație suplimentară pentru a stabili reguli generale în această privință. Autoreglarea SCP a fost testată pe scară largă la pacienții care suferă de ALS [120–122]. Ratele tipice de precizie obținute pentru clasificarea SCP sunt acceptabile și variază între 70 și 80 la sută, dar ratele de informație furnizate de BCI pe baza SCP sunt relativ mici. În plus, este necesară o antrenare mai lungă pentru a utiliza BCI bazat pe SCP și este probabil ca utilizatorii să aibă nevoie de exersare continuă timp de câteva luni.

1.2.3. Potențiale Evocate P300

Potențialele evocate P300 sunt reprezentate de vârfuri pozitive în EEG din cauza stimulilor auditivi, vizuali sau somatosenzoriali rari. Aceste răspunsuri endogene P300 sunt generate la aproximativ 300 ms după participarea la un stimul ciudat (oddball) printre mai mulți stimuli frecvenți [123,124]. Unele studii au dovedit că, cu cât este mai puțin probabil stimulul, cu atât este mai mare amplitudinea vârfului de răspuns [125]. Utilizarea BCI bazată pe P300 nu necesită antrenare. Cu toate acestea, performanța poate să fie scăzută din cauza că utilizatorul se poate obișnui cu prezența stimulului rar și, prin urmare, amplitudinea P300 este scăzută [126].

O aplicație tipică a unui sistem BCI bazat pe potențialele evocate P300 vizuale constă dintr-o matrice de litere, numere sau alte simboluri sau comenzi[123,127,128]. Rândurile sau coloanele acestei matrici sunt intermitente în mod aleatoriu în timpul monitorizării activității de electroencefalogramă (EEG). Utilizatorul privește fix simbolul dorit și numără de câte ori rândul sau coloana care conține alegerea este vizibil. P300 este declanșat numai atunci când rândul sau coloana dorită apare. Astfel, BCI folosește acest efect pentru a determina simbolul țintă. Datorită raportului scăzut semnal-zgomot în semnalele EEG, detectarea simbolurilor țintă dintr-o singură încercare este foarte dificilă. Rândurile sau coloanele trebuie să devină vizibile de mai multe ori pentru fiecare alegere. Timpii corespunzători fiecărui rând sau coloană sunt calculate ca fiind media încercărilor, în scopul îmbunătățirii preciziei acestora. Cu toate acestea, aceste repetări scad numărul de alegeri pe minut, de exemplu, cu 15 repetări, doar două caractere sunt interpretate pe minut [123]. Deși majoritatea aplicațiilor bazate pe potențialele evocate P300 folosesc stimuli vizuali, au fost folosiți stimuli auditivi pentru persoanele cu deficiențe de vedere [129].

Sistemele BCI bazate pe potențiale evocate P300 oferă o viteză foarte scăzută de transmitere a informațiilor deoarece clasificatorul bazat pe medie este prea simplist, iar precizia de detectare a potențialelor P300 este foarte scăzută [130].

În consecință, sunt necesare prea multe încercări pentru a selecta un singur simbol dintr-o matrice. Precizia BCI bazată pe P300 poate fi îmbunătățită folosind un clasificator mai complex decât o medie simplă astfel încât să se asigure că numărul de repetări rămâne neafectat [130,131]. Alte studii au demonstrat faptul că precizia de detectare a potențialelor evocate P300 vizuale depinde de proprietățile vizuale ale matricii cum ar fi dimensiunile sau culorile simbolurilor. Performanța scade atunci când sunt utilizate matrici ce conțin simboluri de dimensiune redusă [132] și este îmbunătățită atunci când se utilizează o matrice intermitentă cu cromatică verde și albastră, în locul uneia cu cromatică gri și neagră [133,134]

Viteza de transfer a informațiilor a unui sistem BCI bazat pe potențiale evocate P300 poate fi de asemenea îmbunătățită luând în considerare faptul că într-un sistem BCI transferul informațiilor este afectat de zgomot. Sistemul BCI poate beneficia prin urmare de utilizarea codurilor de corectare a erorilor [135]. Cu toate acestea, optimizarea codului în funcție de distanța Hamming minimă maximală implică o creștere a frecvenței stimulilor țintă care ar putea încălca constrângerile fiziologice care duc la dificultăți în clasificarea ERP individuale, din cauza efectelor suprapuse și refractare. În plus, efectele de suprapunere și refractare sunt, în general, principala sursă de eroare în aceste tipuri de sisteme BCI [136]. Unele abordări recente au încercat să le atenueze, prin suprapunerea țintelor pe un model de tip tablă de șah [137] sau prin utilizarea unor metode alternative de tip stimul bazate pe mișcare [136].

Răspunsul P300 nu este afectat de faptul că subiectul privește fix asupra țintei sau nu, spre deosebire de răspunsul VEP, care este mai mare atunci când ținta este îndepărtată [138]. Această diferență este importantă pentru aplicațiile clinice, deoarece mișcările ochilor sunt adesea afectate sau pierdute în marea de ținte. Cu toate acestea, performanța unui BCI bazat pe P300 este substanțial îmbunătățită atunci când subiecții privesc fix elementul dorit [138]. Prin urmare, performanța BCI bazată pe P300 depinde nu numai de potențialul evocat P300, ci și de răspunsul VEP care, în schimb, depinde foarte mult de direcția în care este orientată privirea.

1.2.4. Ritmuri senzorimotoare (ritmurile mu și beta)

Ritmurile senzorimotoare cuprind ritmurile mu și beta, care sunt oscilații în activitatea creierului localizate în banda mu (7-13 Hz), cunoscută și ca banda Rolandic, respectiv banda beta (13-30 Hz). Ambele ritmuri sunt asociate în așa fel încât unele ritmuri beta sunt ritmuri armonice mu, deși unele ritmuri beta pot fi independente [139]. Amplitudinea ritmurilor senzorimotoare variază atunci când activitatea cerebrală este legată de orice sarcină motorie, deși mișcarea reală nu este necesară pentru a modula amplitudinea ritmurilor senzorimotoare [140,141]. Modele similare de modulare în ritmurile motorii sunt produse ca urmare a repetiției mentale a unui act motor, fără nici o semnificație clinică a ieșirii motorii [140]. Ritmurile senzorimotoare au fost folosite pentru a controla sistemele BCI, deoarece oamenii pot învăța să genereze în mod voluntar aceste modulații în ritmurile senzorimotoare [36,142].

Ritmurile senzorimotoare pot detecta două tipuri de modulare a amplitudinii cunoscute sub denumirea de desincronizare legată de evenimente (event-related desynchronization = ERD) și sincronizare legată de evenimente (event-related synchronization = ERS) care sunt generate de stimularea senzorială, comportamentul motor și de imaginile mentale [36]. ERD implică suprimarea amplitudinii ritmului și ERS implică îmbunătățirea amplitudinii. Figura 2 (panoul din stânga) arată comportamentul temporal al ERD și ERS în timpul unui experiment de mișcare voluntară care implică ridicarea rapidă a degetelor [36]. Desincronizarea legată de evenimente în banda mu începe cu 2,5 s înainte de debutul mișcării, atinge maximul ERD la scurt timp după debutul mișcării, și recuperează nivelul inițial în câteva secunde. În schimb, ritmul beta prezintă o scurtă ERD în timpul inițierii mișcării, urmată de ERS care atinge maximul după executarea mișcării. Această ERS apare în timp ce ritmul mu este încă atenuat. În Figura 2 se afișează și oscilația gamma (36 -40 Hz) care este un alt ritm legat tot de sarcinile motorii [36]. În ceea ce privește ritmurile gamma, ERS are loc cu puțin timp înainte de debutul mișcării. În final, panoul din dreapta din figura 2 ilustrează faptul că sunt posibile ERD și ERS simultane în anumite locații de pe scalp [36].

Figura 2. Panoul din stânga: Evoluția în timp a benzii de putere suprapuse calculată pentru trei benzi de frecvență diferite (10-12 Hz, 14-18 Hz și 36-40 Hz) din încercările EEG înregistrate de electrodul aflat în poziția C3 în timpul sarcinii ce implică ridicarea degetului arătător drept. Datele EEG declanșate în acord cu decalarea mișcării (linia verticală la t = 0 s); Panoul drept: Exemple de semnale EEG înregistrate în timpul mișcării degetului drept (adaptate de la [36]).

Ritmurile senzorimotoare se referă la imagini motorii fără a fi necesară o mișcare reală [141]. Acest lucru permite utilizarea ritmurilor pentru proiectarea BCI-urilor endogene, care sunt mai utile decât BCI-urile exogene. Cu toate acestea, controlul ritmurilor senzorimotorii nu este ușor, iar majoritatea oamenilor au dificultăți în legătură cu imaginile motorii. Oamenii tind să își imagineze imagini vizuale aferente unor mișcări reale, acest lucru nefiind îndeajuns de util pentru un sistem BCI, deoarece modelele acestor ritmuri senzorimotorii diferă de imaginile motorii reale. Antrenarea utilizatorilor ar trebui să pună accentul pe experiențele kinestezice în locul reprezentărilor vizuale ale acțiunilor [143]. Antrenarea imaginilor motorii se bazează în mod tradițional pe feedback vizual sau auditiv [144]. Acest tip de antrenare solicită utilizatorilor să efectueze o anumită sarcină bazată pe imagine motorie, iar apoi ritmurile senzorimotorii sunt extrase și clasificate comparându-le cu o referință. În cele din urmă, participantul oferă feedback vizual sau auditiv în acord cu succesul rezultatului. Acest tip de antrenare a fost utilizat pe scară largă deși de obicei nu a prezentat o eficacitate foarte ridicată [145]. Hwang și alții [145] au prezentat un antrenament bazat pe imagistică motorie mai eficient ce utilizează un sistem capabil să afișeze activitatea corticală în timp real sub formă de feedback, care a permis utilizatorilor să urmărească activitatea corticală proprie prin intermediul unui sistem de monitorizare în timp real.

Ritmurile senzorimotorii au fost investigate pe larg în cercetările BCI. Sistemele BCI binecunoscute, cum ar fi cele ale lui Wadsworth [146], Berlin [147] sau Graz [148] folosesc ritmuri senzorimotorii ca semnale de control. Sistemele BCI bazate pe ritmuri senzorimotorii pot funcționa în mod sincron sau asincron. Cele mai recente progrese în domeniul sistemelor BCI bazate pe ritmuri senzorimotorii au arătat că este posibil să se prevadă mișcările voluntare ale omului înainte ca acestea să debuteze pe baza modulațiilor în ritmuri senzorimotorii [149]. Mai mult, această predicție poate fi făcută fără ca utilizatorul să efectueze nicio mișcare.

4. Tipuri de BCI

BCI pot fi clasificate în (i) exogene sau endogene și (ii) sincrone (semnal ritmic – cue-paced) sau asincrone (ritm propriu – self-paced). Tipurile de BCI sunt enumerate în tabelele 4 și 5, împreună cu informațiile legate de semnalele creierului care pot fi modulate pentru a transmite informații, precum și avantajele și dezavantajele lor. De asemenea, BCI pot fi clasificate în dependente și independente [2]. Această clasificare nu va fi detaliată aici, deoarece este foarte similară cu clasificarea exogenă și endogenă. Avantajele și dezavantajele ambelor clasificări (taxonomii) sunt analoage.

Tabelul 4. Diferențe principale între BCI exogene și endogene

Tabelul 5. Diferențe principale între BCI sincrone și asincrone

În funcție de natura semnalelor utilizate ca intrare, sistemele BCI pot fi clasificate ca exogene sau endogene. BCI exogen utilizează activitatea neuronală provocată în creier de un stimul extern precum VEP sau potențiali evocați auditiv [150]. Sistemele exogene nu necesită o antrenare extinsă, deoarece semnalele lor de control, SSVEP și P300, pot fi configurate ușor și rapid. În plus, controalele de semnal pot fi realizate cu un singur canal EEG și pot realiza o rată de transfer de informații ridicată de până la 60 biți / min. Pe de altă parte, BCI endogen se bazează pe autoreglarea ritmurilor și potențialelor creierului fără stimuli externi [150]. Prin antrenarea neurofeedback-ului, utilizatorii învață să genereze tipare cerebrale specifice care pot fi decodate de BCI, cum ar fi modulările în ritmurile senzorimotoare [151] sau SCP [117]. Avantajul unui BCI endogen este că utilizatorul poate opera BCI prin voință proprie și poate muta un cursor în orice punct al unui spațiu bidimensional, în timp ce un BCI exogen poate constrânge utilizatorul la alegerile prezentate. De asemenea, BCI endogene sunt utile în special pentru utilizatorii cu stadii avansate de ALS sau ale căror organe senzoriale sunt afectate. Tabelul 4 prezintă diferențele dintre BCI-urile exogene și cele endogene.

În funcție de modalitatea de procesare a datelor de intrare, sistemele BCI pot fi clasificate în sincrone sau asincrone. BCI sincrone analizează semnalele creierului în timpul ferestrelor de timp predefinite. Orice semnal cerebral din afara ferestrei predefinite este ignorat. Prin urmare, utilizatorului i se permite să trimită comenzi numai în anumite perioade determinate de sistemul BCI. De exemplu, BCI Graz standard [148] reprezintă un sistem BCI sincron. Avantajul unui sistem BCI sincron este că debutul activității mentale este cunoscut în prealabil și asociat cu un indiciu specific [152]. Mai mult, pacienții pot efectua și clipiri și alte mișcări ale ochilor, ceea ce ar genera artefacte, dacă BCI nu ar analiza semnalele creierului pentru a evita efectele lor înșelătoare. Acest lucru simplifică proiectarea și evaluarea unui BCI sincron. BCI asincrone analizează continuu semnalele creierului indiferent de momentul în care utilizatorul realizează o acțiune. Acestea oferă un mod mai natural de interacțiune om-mașină decât BCI sincron. Cu toate acestea, BCI asincrone sunt mai pretențioase și mai complexe. Tabelul 5 sintetizează diferențele dintre BCI sincrone și asincrone.

5. Caracteristici. Extragere și selecție

Activități de gândire diferite produc tipare diferite de semnale ale creierului. BCI este văzută ca un sistem de recunoaștere a tiparului, care clasifică fiecare model într-o clasă în funcție de caracteristicile sale. BCI extrage unele caracteristici din semnalele creierului care reflectă asemănări cu o anumită clasă precum și diferențe față de restul claselor. Caracteristicile sunt măsurate sau derivate din proprietățile semnalelor care conțin informațiile discriminatorii necesare pentru a distinge diferitele tipuri ale acestora.

Proiectarea unui set de caracteristici adecvate este o problemă dificilă. Informațiile de interes pentru semnalele creierului sunt ascunse într-un mediu extrem de zgomotos, iar semnalele cerebrale cuprind un număr mare de surse simultane. Un semnal care poate fi de interes ar putea fi suprapus în timp și spațiu peste mai multe semnale de la diferite sarcini ale creierului. Din acest motiv, în multe cazuri, nu este suficient să se folosească metode simple, cum ar fi un filtru trece-bandă pentru a extrage puterea de bandă dorită.

Semnalele creierului pot fi măsurate prin canale multiple. Nu toate informațiile furnizate de canalele măsurate sunt în general relevante pentru înțelegerea fenomenelor. Tehnicile de reducere a dimensiunilor, cum ar fi analiza componentelor principale sau analiza componentelor independente, pot fi aplicate pentru a reduce dimensiunea datelor originale, eliminând informațiile irelevante și redundante. Prin urmare, resursele de calcul sunt reduse.

Semnalele cerebrale sunt în mod inerent nestaționare. Trebuie să se obțină informații despre momentul în care apare o anumită caracteristică. Unele abordări împart semnalele în segmente scurte, iar parametrii pot fi estimați la fiecare segment. Cu toate acestea, lungimea segmentului afectează precizia caracteristicilor estimate. FFT (–Fast Fourier Transform) funcționează foarte slab pe segmente scurte de date [153]. Se preferă transformata wavelet sau componentele autoregresive adaptive pentru a dezvălui variațiile de timp nestaționare ale semnalelor cerebrale. De asemenea, a fost introdusă recent o nouă tehnică numită analiză staționară subspațială (Stationary Subspace Analysis = SSA) pentru a trata caracterul nestaționar al semnalelor EEG [154]. SSA descompune seriile de timp multivariate în componente staționare și nestaționare.

Multiple caracteristici pot fi extrase din unele canale și din unele segmente de timp înainte de a fi concatenate într-un singur vector de caracteristici. Una dintre principalele dificultăți în proiectarea BCI este alegerea caracteristicilor relevante din numărul mare de caracteristici posibile. Vectorii cu caracteristici de înaltă dimensiune nu sunt de dorit din cauza „blestemului dimensionalității” în antrenarea algoritmilor de clasificare (vezi secțiunea următoare). Se poate încerca selectarea caracteristicilor prin examinarea tuturor subgrupurilor posibile de caracteristici. Cu toate acestea, numărul de posibilități crește exponențial, făcând căutarea exhaustivă imposibilă chiar și pentru un număr moderat de caracteristici. Se pot aplica algoritmi de optimizare mai eficienți cu scopul de a reduce numărul de caracteristici în timp ce se maximizează performanța de clasificare.

Această secțiune discută metodele pentru obținerea caracteristicilor relevante ale semnalelor creierului, precum și metodele de selectare a caracteristicilor. În primul rând, sunt explicate metodele de reducere dimensională, cum ar fi analiza componentelor principale sau analiza independentă a componentelor. În al doilea rând, sunt examinate metodele de timp și / sau frecvență, cum ar fi filtrarea potrivită sau transformata wavelet și modelarea parametrică, cum ar fi componenta autoregresivă. În al treilea rând, este oferită o explicație a algoritmului modelului spațial comun. Această metodă proiectează un filtru spațial preprocesat, cu ajutorul covarianței spațiale din datele de intrare și albirea semnalului, care îmbunătățește diferența dintre clase înainte de etapa de extragere a caracteristicilor. Și, în sfârșit, sunt incluse metodele de selecție ale caracteristicilor precum algoritmi genetici sau selecția secvențială. Toate aceste metode, inclusiv extragerea caracteristicilor și metodele de selecție a caracteristicilor, sunt enumerate în tabelele 6 și 7 împreună cu informații despre proprietățile lor și aplicațiile BCI.

Tabelul 6. Rezumatul metodelor de extragere a funcțiilor

Tabelul 7. Breviar al metodelor de extragere a caracteristicilor

5.1. Analiza componentelor principale (Principal Component Analysis = PCA)

PCA este o metodă statistică de extracție a caracteristicilor care folosește o transformare liniară pentru a converti un set de observații posibil corelate într-un set de variabile necorelate numite componente principale. Transformarea liniară generează un set de componente din datele de intrare, sortate în funcție de variația lor, astfel încât prima componentă principală să aibă cea mai mare variație posibilă. Această variație permite PCA să despartă semnalul creierului în diferite componente.

PCA proiectează datele de intrare într-un spațiu k-dimensional de k vectori proprii, care sunt calculați din matricea de covarianță ∑ a datelor de antrenare p = [p1 p2 … pn] [155]. pi este al i-lea eșantion de antrenare d-dimensional și n este numărul de eșantioane.

Matricea de covarianță ∑ este calculată astfel:

unde este vectorul mediu al eșantioanelor de antrenare

Matricea de covarianță ∑ este o matrice simetrică de numere reale de dimensiune d x d, așadar ∑ are d vectori proprii și valori proprii diferite. Prin intermediul valorilor proprii este posibil să se știe care vectori proprii prezintă informațiile cele mai semnificative conținute în setul de date. Vectorii proprii cu cea mai mare valoare proprie reprezintă componentele principale ale setului de date de antrenare p. PCA selectează acei k, cu k < d, vectori proprii care au cele mai mari valori proprii. Acești vectori proprii selectați contribuie la construirea unei matrice de proiecție A care va fi utilizată pentru extragerea vectorului caracteristic din datele de testare q. Cei k vectori proprii sunt sortați în coloane în matricea A, astfel încât prima coloană a matricei A corespunde celei mai mari valori proprii. În cele din urmă, PCA calculează vectorul de caracteristici v din datele din matricea A, proiectând datele de testare q în noul subspațiu, astfel încât:

unde, este vectorul mediu al eșantioanelor de antrenare

PCA este și o procedură pentru reducerea dimensiunii caracteristicii. Deoarece numărul de coloane este mai mic decât numărul de vectori proprii, dimensiunea datelor de ieșire proiectate este mai mică decât dimensiunea datelor de intrare. Această micșorare a dimensionalității poate reduce complexitatea etapei ulterioare de clasificare într-un sistem BCI.

PCA nu garantează întotdeauna o clasificare bună, întrucât cele mai bune componente de discriminare s-ar putea să nu figureze printre cele mai mari componente principale [156]. PCA reduce dimensiunea datelor prin căutarea unei noi reprezentări optime a datelor în termeni de valori medii pătratice a erorilor între reprezentare și datele originale. Aceasta nu va garanta că caracteristicile de discriminare sunt optime pentru clasificare. În ciuda acestei deficiențe s-a dovedit că PCA este o metodă fiabilă de reducere a zgomotului.

În ceea ce privește aplicațiile PCA în sistemele BCI, PCA a reușit într-un mod acceptabil identificarea componentelor de tip artefacte în semnalele EEG și reconstruirea semnalelor fără acestea [157.158]. Cu toate acestea, artefactele nu trebuie corelate cu semnalul EEG pentru ca PCA să funcționeze în acest mod. PCA a fost, de asemenea, utilizat pentru a reduce dimensionalitatea spațiului caracteristicilor [155].

5.2. Analiza componentelor independente (ICA – Independent Component Analysis)

ICA este o procedură statistică care separă o mulțime de semnale mixte în sursele sale, fără informații anterioare despre natura semnalului. Singura presupunere implicată în ICA este că sursele subiacente necunoscute sunt reciproc independente din punct de vedere statistic. ICA presupune că semnalul EEG observat este un amestec de mai multe semnale sursă independente care provin din activități cognitive multiple sau artefacte. Prin urmare, ICA exprimă semnalul EEG x(t) rezultat în raport cu sursele s(t) ca:

unde: f este orice funcție mixer necunoscută și este un vector aditiv aleatoriu de zgomot. Dimensiunea vectorului de intrare s(t) depinde de numărul de surse. Dimensiunea vectorului de ieșire x(t) este egală cu numărul de canale de date măsurate. Numărul surselor este de obicei presupus a fi mai mic sau egal cu numărul de canale, deși sunt posibile metode ICA mai generalizate [159].

Problema ICA constă în calculul funcției de demixare prin inversarea lui f și obținerea unei estimări a lui s(t), prin maparea lui x(t) în spațiul sursă. Pentru a rezolva problema, ICA se poate încadra în două modele diferite pe baza lui f, care pot fi fie o funcție liniară fie una neliniară. Ipoteza neliniară este potrivită în acele cazuri în care modelul liniar ar putea fi prea simplu pentru a descrie datele observate x(t). Cu toate acestea, problema neliniară este de obicei prea complexă și, în general, nerezolvabilă datorită numărului mare de nedeterminări. Ipoteza unei funcții de mixare liniară simplifică ecuația (3). Este posibil să se rescrie ecuația ca o înmulțire de matrici, unde A este matricea de mixare. Ecuația (4) este expresia matematică a modelului ICA liniar.

Deși aproximarea dată de ecuația (4) poate fi considerată prea simplă, funcționează acceptabil în aplicațiile de procesare a semnalelor creierului. Mai mult, este posibil să se elimine termenul zgomot n(t) din Ecuația (4), presupunând că datele observate sunt fără zgomot sau că zgomotul este prea slab pentru a fi luat în considerare [160,161]. În sfârșit, s(t) și A se obțin din x(t) cu ajutorul anumitor algoritmi, cum ar fi Infomax [162] sau modificări ale Infomax [163].

ICA a fost folosit în mod tradițional ca instrument de preprocesare înainte de etapa de extragere a caracteristicilor, pentru a elimina artefacte oculare în sistemele BCI [164-166]. Deși ICA s-a dovedit a fi un instrument performant și fiabil pentru îndepărtarea artefactelor în analiza semnalului, unele studii au indicat că suprimarea artefactelor poate corupe și spectrul de putere al activității neuronale subiacente [167]. În plus, ICA impune ca artefactele să fie independente în raport cu semnalul EEG.

De asemenea, există cercertări care folosesc ICA pe post de clasificator. ICA poate fi modificat pentru a clasifica semnalele EEG, adaptând modelul ICA generativ la fiecare sarcină și folosind regula lui Bayes pentru a crea clasificatorul [168].

5.3. Componente auto-regresive (AR – AutoRegressive Components)

Estimarea spectrală AR este o metodă pentru modelarea semnalelor. AR modelează semnalul EEG ca semnal aleatoriu de ieșire al unui filtru liniar invariant în timp, unde intrarea este zgomot alb cu o medie de zero și o anumită variație de σ2. Scopul procedurii AR este obținerea coeficienților de filtrare, deoarece se presupune că diferite activități de gândire vor produce coeficienți diferiți de filtrare. Coeficienții filtrului vor fi folosiți ca și caracteristici ale semnalului.

AR presupune că funcția de transfer a filtrului va conține poli numai la numitor. Numărul de poli de la numitor corespunde ordinului modelului autoregresiv. Presupunerea existenței unui filtru cu toți polii face mai ușoară calcularea coeficienților filtrului pentru că este necesară doar rezolvarea de ecuații liniare.

Matematic, modelul AR de ordinul p descrie semnalul EEG y(t) ca:

Unde este al i-lea coeficient al filtrului și este zgomotul. Există mai multe metode care calculează coeficienții filtrului, cum ar fi algoritmii Yule-Walker, Burg, covariația și forward-backward [169]. Coeficienții rezultați pot fi folosiți pentru a estima spectrul de putere al semnalului EEG y(ω), astfel :

unde sunt coeficienții estimați ai filtrului și p este ordinul modelului AR, cu alte cuvinte, numărul de poli.

În modelul AR, determinarea unui ordin p corespunzător pentru un semnal de intrare dat este o problemă de eliminare. Dacă ordinul este prea mic pentru a modela semnalul de intrare, rezultatul nu va reprezenta fidel semnalul deoarece spectrul este prea neted. În schimb, dacă ordinul este prea mare, spectrul poate prezenta vârfuri false.

Estimarea spectrală AR este preferată transformatei Fourier, datorită rezoluției sale superioare pentru segmente de timp scurt [170]. Cu toate acestea, AR funcționează slab atunci când semnalul nu este staționar [171]. Datorită caracterului nestaționar al semnalelor EEG, a fost propus un model AR adaptiv multivariat (multivariate adaptive AR = MVAAR) pentru a proiecta sisteme BCI online mai eficiente. Jiang și colab. [172] au aplicat MVAAR pentru clasificarea imaginilor motorii, arătând că MVAAR este o metodă adaptabilă importantă pentru extragerea caracteristicilor. Algoritmul de calcul este foarte asemănător cu modelul AR original. Pentru BCI cu m canale, vectorul de m valori EEG, la fiecare moment de timp k, a fost reprezentat ca:

Ca și în cazul AR, modelul MVAAR este formulat ca:

unde este vectorul valorilor zgomotului alb, sunt coeficienții de adaptare și p este ordinul modelului. Algoritmul celor mai mici pătrate recursiv (Recursive Least Squares), o variantă specială a filtrului Kalman, a fost utilizat pentru actualizarea coeficienților la fiecare punct k.

5.4. Filtrare adaptată (Matched Filtering = MF)

MF este o metodă de extragere a caracteristicilor care încearcă să detecteze un model specific pe baza potrivirii sale cu semnalele sau șabloanele cunoscute prestabilite. Intenția utilizatorului este descoperită prin corelația dintre semnalele EEG necunoscute și setul de șabloane. Fiecare șablon reprezintă o intenție a utilizatorului. O corelație mai mare ar presupune o mai bună potrivire între șablon și intenția utilizatorului. Fiecare filtru potrivit poate fi modelat pur și simplu ca o sumă a componentelor sinusoidale asociate armonic [151]:

unde: n este numărul de eșantion al șablonului, este frecvența de eșantionare, este frecvența fundamentală a șablonului ritmului, N-1 este numărul de armonice și, respectiv, și sunt amplitudinea și faza armonicelor individuale. Parametrii modelului și pot fi obținuți din spectrul FFT [151].

MF s-a dovedit deosebit de eficientă pentru detectarea formelor de undă cu caracteristici temporale uniforme. Krusienski și colab. [151] au utilizat MF pentru identificarea intențiilor utilizatorului prin µ – ritmuri și Brunner și colab. [173] l-au folosit și pentru extragerea caracteristicilor SSVEP.

5.5. Transformata Wavelet (Wavelet Transform = WT)

WT este un instrument matematic utilizat pe scară largă pentru extragerea informațiilor din mai multe tipuri diferite de date, cum ar fi printre altele date audio sau imagini. WT este potrivit în special atunci când semnalele nu sunt staționare, deoarece oferă un mod flexibil de reprezentare timp-frecvență a unui semnal [174].

Wavelet sunt funcții cu frecvență variabilă și durată limitată care permit studiul simultan al semnalului atât în ​​domeniul timpului cât și al frecvenței [175] spre deosebire de alte modalități de analiză a semnalului, cum ar fi transformata Fourier (Fourier Transform = FT). FT oferă doar o analiză a activității semnalului în domeniul frecvenței. FT oferă informații despre conținutul de frecvențe, dar nu este însoțit de informații cu privire la momentul apariției acestor frecvențe. Transformata Fourier pe termen scurt (Short-Time Fourier Transform = STFT) a fost propusă pentru a depăși acest neajuns al analizei Fourier. STFT împarte semnalul în ferestre de timp succesive și aplică FT în fiecare perioadă a semnalului în timp. În această abordare, proiectarea lungimii ferestrei este un compromis, deoarece ferestrele mai mici duc la o rezoluție temporală mai mare, dar în același timp și la o rezoluție de frecvență mai mică. WT depășește acest dezavantaj prin descompunerea semnalului atât în domeniul ​​timp cât și în frecvență la mai multe rezoluții, folosind o fereastră modulată care este deplasată de-a lungul semnalului la diferite scale.

Transformata wavelet continuă (Continuous Wavelet Transform = CWT) este definită ca produsul de convoluție dintre semnalul și funcția wavelet [175]:

w este coeficientul wavelet care corespunde frecvenței asociate cu scala s și timpul τ al funcției wavelet , iar simbolul ‘*’ exprimă conjugarea complexă. Funcția wavelet este o versiune dilatată și translatată a unei funcții wavelet mamă :

O funcție wavelet mamă poate lua forme multiple, dar întotdeauna îndeplinește următoarea condiție:

CWT definit în Ecuația (10) este de fapt un fel de potrivire a șablonului, similar cu un filtru asociat în care este calculată variația încrucișată dintre semnal și o formă de undă predefinită [151]. Avantajul CWT față de metodele clasice de potrivire a șabloanelor rezultă din proprietățile speciale ale șablonului wavelet. Funcțiile wavelet sunt potrivite pentru analiza semnalului tranzitoriu, în care proprietățile spectrale ale semnalului variază în timp [176].

WT este un instrument performant pentru descompunerea semnalelor cerebrale tranzitorii în părțile lor constitutive, bazată pe o combinație de criterii precum frecvența și poziția temporală. Semnalele de domenii de frecvență identice pot fi distinse prin poziția temporală. De asemenea, este posibilă separarea proceselor care se suprapun temporal datorită conținutului de frecvență diferit.

CWT introduce multă redundanță și complexitate, deoarece necesită analiza unui semnal la un număr foarte mare de frecvențe folosind dilatații multiple și translatări ale wavelet mamă. Transformarea wavelet discretă (Discrete Wavelet Transform = DWT) a fost introdusă pentru a reduce această redundanță și complexitate. DWT interpretează și dilată wavelet-ul mamă doar în anumite valori discrete [177]. Farina și colab. [178] au arătat o abordare de recunoaștere a modelului pentru clasificarea of potențialelor corticale corelate procesului motor dintr-un singur proces, în care spațiul caracteristic este construit din coeficienții unei transformări wavelet discretă. Cu toate că DWT este mai puțin redundant și mai puțin complex decât CWT, CWT este încă utilizat pentru a extrage caracteristici din P300 și SCP, deoarece poate extrage informațiile subtile pe care DWT nu este în măsură să le extragă [179].

Utilizarea WT necesită selecția unui wavelet mamă. În aplicațiile BCI pot fi găsite multe wavelet-mamă diferite, iar selecția oricăreia depinde de tipurile de caracteristici care trebuie extrase din semnal. Wavelet-ul Mexican Hat este bine localizat în domeniul timpului și este folosit pentru localizarea componentelor ERP în timp [179]. Wavelet-ul Morlet este bine localizat în domeniul frecvenței și a fost utilizat pentru analiza activității gamma [180]. Wavelet-ul bi-scale a fost utilizat cu succes pentru proiectarea unui BCI asincron bazat pe detectarea mișcării imaginare în intervalul de frecvențe de 1–4 Hz [181]. De asemenea, wavelet-ul Daubechies, o wavelet mamă foarte cunoscută, a fost folosit pentru clasificarea SCP [182].

5.6. Modelul spațial comun (Common Spatial Pattern = CSP)

CSP este o metodă de extracție a caracteristicilor care proiectează semnale EEG multicanal într-un subspațiu, unde diferențele dintre clase sunt evidențiate și asemănările sunt reduse la minimum. Acesta urmărește să eficientizeze clasificarea ulterioară, prin proiectarea unui filtru spațial care să transforme datele de intrare în date de ieșire cu o varianță optimă pentru discriminarea ulterioară [183]. CSP a fost proiectat pentru analiza datelor multicanal aparținând unor probleme din clasa a 2-a. Cu toate acestea, au fost propuse și unele extensii pentru BCI multiclase [184].

CSP calculează covarianța spațială normalizată C din datele de intrare E, care reprezintă datele brute ale unui singur proces, cu:

unde E este o matrice N x T, în care T este numărul de canale, adică electrozi care înregistrează și N este numărul de eșantioane pe canal. Apostroful ` reprezintă operatorul de transpunere, în timp ce trace(x) este suma elementelor diagonale ale lui x.

Presupunând că CSP este utilizat pentru a clasifica două clase, de exemplu, imagini motorii stânga și dreapta, CSP calculează covarianțele spațiale și pentru fiecare din cele două clase, prin medierea covarianțelor de-a lungul încercărilor succesive de antrenare ale fiecărei clase în timp. Covarianța spațială compusă este calculată prin:

Pentru că este real sau simetric poate fi luat în calcul ca , unde este matricea vectorilor proprii și este matricea diagonală a valorilor proprii.

Prin intermediul transformării de albire:

varianțele sunt egalizate în spațiul acoperit de și toate valorile proprii ale sunt egale cu unu. Dacă și sunt transformate ca:

apoi, și vor avea vectori proprii comuni. Dacă , atunci și , unde I este matricea unitate. Ca urmare a faptului că suma a două valori proprii corespunzătoare este întotdeauna unu, vectorii proprii cu cele mai mari valori proprii pentru Sl corespund celei mai mici valori proprii pentru Sr și invers. Această proprietate este foarte utilă pentru clasificarea ulterioară, deoarece varianța semnalului este maximizată pentru o clasă în timp ce este minimizată pentru cealaltă clasă.

În cele din urmă, vectorul de caracteristică Z este obținut din procesul E ca:

unde este matricea de filtrare spațială construită prin procedura CSP.

CSP crește precizia BCI-urilor sincrone unde este permis să se trimită semnale numai în anumite perioade de timp predefinite. Cu toate acestea, CSP nu oferă aceeași îmbunătățire în BCI-urile asincrone. Acest lucru se datorează în principal proprietăților nestaționare ale semnalelor EEG [185]. De asemenea, performanța CSP este afectată de rezoluția spațială și s-a dovedit că unele locații ale electrozilor oferă informații mai disciminatorii pentru anumite activități specifice cerebrale decât altele. Din aceste motive, s-au propus mai multe metode de îmbunătățire a metodei CSP originale pentru a crește performanța: Wavelet Common Spatial Pattern (WCSP) [185], Common Spatio-Spectral Pattern (CSSP) [186] și Common Sparse Spectral Spatial Pattern (CSSSP).

5.7. Algoritmul genetic (Genetic Algorithm = GA)

GA este o procedură de optimizare care stabilește dacă un anumit set de caracteristici este cel mai eficient. GA a fost utilizat în domenii foarte diverse pentru a rezolva probleme de optimizare. În cercetarea BCI, GA a fost utilizat ca metodă automată pentru extragerea unui set optim de caracteristici relevante [188,189].

La baza algoritmului stă o populație de soluții candidat denumite indivizi, creaturi sau fenotipuri care sunt codificate prin șiruri numite cromozomi sau genotipul genomului. Aceste șiruri sunt codificate fie prin informații binare fie prin informații nebinare. Etapele standard ale GA pot fi explicate succint după cum urmează (Figura 3). GA începe cu o populație inițială care este generată în mod aleator, cu excepția cazului în care algoritmul are în prealabil soluția finală. În cazul în care există informații inițiale, populația inițială poate fi direcționată către zone în care se așteaptă ca soluțiile optime să reducă numărul de iterații. Potrivirea fiecărei populații individuale este evaluată. În funcție de această potrivire, unii reprezentanți ai populației pot fi eliminați pentru a elibera spațiu pentru indivizii noi generați. Alți indivizi pot fi selectați ca părinți pentru a crea noi indivizi. De asemenea, unii indivizi pot fi selectați stocastic pentru a menține diversitatea populației prevenind convergența prematură. După etapa de selecție, indivizii sunt încrucișați unul cu celălalt. În etapa de încrucișare, împerecherea se efectuează între părinții selectați pentru a genera unul sau mai mulți urmași. Pentru a menține o dimensiune fixă a populației, numărul de urmași este de obicei același cu numărul de persoane eliminate. Genele părinților sunt împărțite în bucăți și apoi combinate pentru a forma urmași noi. După etapa de încrucișare, mutările sunt introduse pentru a schimba populația cu scopul de a evita convergența către o soluție locală suboptimală înainte de a explora întregul spațiu de căutare. Ca urmare a mutației, este posibil să se descopere zone care nu pot fi explorate prin încrucișare. În cele din urmă, se evaluează potrivirea noii populații. Când s-a atins o soluție acceptabilă sau s-a produs numărul maxim de generații, algoritmul este încheiat. În caz contrar, se produce o altă iterație a algoritmului.

Figura 3. Algoritmul genetic

5.8. Selecție secvențială

Selecția secvențială este o abordare de optimizare care are ca scop găsirea subsetului optim de caracteristici prin adăugarea sau eliminarea secvențială a caracteristicilor. Există doi algoritmi care efectuează selecția secvențială: selecția secvențială înainte (sequential forward selection = SFS) și selecția secvențială înapoi (sequential backward selection = SBS).

SFS [190] este un algoritm de jos în sus. În primul rând, cea mai bună caracteristică individuală se regăsește ca prima caracteristică din subset. În continuare, pentru fiecare etapă ulterioară, algoritmul alege caracteristica din setul rămas, care în combinație cu caracteristicile selectate anterior oferă cel mai bun subset de caracteristici. În cele din urmă, algoritmul se termină atunci când este atins numărul necesar de caracteristici. Punctul slab al acestui algoritm este acela că nu sunt eliminate caracteristicile inutile atunci când se adaugă alte caracteristici.

SBS [190], spre deosebire de SFS, este un proces de sus în jos. Procesul începe cu întregul set de caracteristici și elimină caracteristicile pas cu pas, astfel încât eroarea să fie cât mai scăzută. Acest algoritm este, de asemenea, suboptimal, pentru că înlătură unele caracteristici care pot fi utile după renunțarea la alte caracteristici. SFS a fost utilizat cu succes în domeniul BCI [191,192].

O altă metodă perfecționată este introdusă pentru a depăși parțial deficiențele menționate anterior. Această metodă, cunoscută sub numele de plus l take away r method (l > r), adaugă l funcții și elimină r caracteristici care nu funcționează bine cu alte caracteristici selectate. Sequential forward floating search (SFFS) sau sequential backward floating search (SBFS) se bazează pe metoda plus l-take away r [193]. SFFS începe cu un set de caracteristici nul și, pentru fiecare pas, cele mai bune r caracteristici sunt incluse în setul de caracteristici curent. Cu alte cuvinte, se execută r pași ai SFS. În continuare, algoritmul verifică posibilitatea ca anumite caracteristici să fie excluse. Apoi, cele mai slabe l caracteristici sunt eliminate din set; cu alte cuvinte l pași SBS. SFFS crește și scade numărul de caracteristici până când se atinge numărul dorit de caracteristici. SBFS funcționează în mod analog, dar începe cu setul complet de caracteristici și efectuează căutarea până la atingerea dimensiunii dorite, folosind pașii SBS și SFS.

În cercetările BCI, SFFS a fost utilizat pentru a reduce dimensionalitatea spațiului caracteristicilor la o dimensiune adecvată pentru datele de antrenare disponibile [194–196].

6. Artefacte în BCI

Artefactele sunt semnale nedorite care contaminează activitatea creierului și sunt în mare parte de origine non-cerebrală. Deoarece forma fenomenului neurologic este afectată, artefactele pot reduce performanța sistemelor bazate pe BCI. Artefactele pot fi clasificate în două mari categorii: artefacte fiziologice și artefacte non-fiziologice sau tehnice.

Artefactele fiziologice se datorează de obicei activității musculare, oculare și cardiace cunoscute sub denumirea de: electromiografie (EMG), electrooculografie (EOG), și respectiv electrocardiografie (ECG) [197]. Artefactele EMG care implică de obicei tulburări mari în semnalele creierului, provin din activitatea electrică cauzată de contracțiile musculare care apar atunci când pacienții vorbesc, mestecă sau înghit. Artefactele EOG sunt produse prin clipire și alte mișcări ale ochilor. Clipirea introduce, în general, modele de amplitudine înaltă peste semnalele creierului spre deosebire de mișcările ochilor care produc tipare de frecvență joasă. Aceste modele electrice se datorează diferenței de potențial dintre cornee și retină deoarece sarcinile acestora sunt pozitivă și respectiv negativă. Din acest motiv, câmpul electric din jurul ochiului se schimbă atunci când acest dipol se mișcă. Artefactele EOG afectează mai ales zona frontală deoarece sunt aproximativ atenuate în funcție de pătratul distanței [198]. În cele din urmă, artefactele ECG care reflectă activitatea inimii introduc un semnal ritmic în activitatea creierului [197].

Artefactele tehnice sunt atribuite în principal zgomotelor de pe linia de alimentare sau modificărilor impedanțelor electrodului, care pot fi de obicei evitate prin filtrare sau ecranare corespunzătoare [197]. Prin urmare, comunitatea BCI se concentrează în principal pe artefactele fiziologice având în vedere că reducerea lor în timpul preluării activității creierului este o problemă mult mai dificilă decât prelucrarea artefactelor nefiziologice.

Mai multe moduri de prelucrare a artefactelor fiziologice pot fi găsite în literatură. Artefactele pot fi evitate, respinse sau eliminate din înregistrări ale semnalelor creierului. Evitarea artefactelor presupune să se solicite pacienților să evite clipirea sau mișcarea corpului în timpul experimentelor [199]. Această abordare a prelucrării artefactelor este foarte simplă deoarece nu necesită niciun calcul și nu se presupune că semnalele creierului au artefacte. Totuși, această presupunere nu este întotdeauna fezabilă având în vedere că unele artefacte nu sunt ușor de evitat în timpul înregistrării datelor în special în cazurile de tulburări neurologice puternice cum ar fi bătăi involuntare ale inimii, spasme ale ochilor și trupului [199]. Abordările de respingere a artefactelor sugerează renunțarea la perioadele contaminate de artefacte. Respingerea manuală a artefactelor este o opțiune pentru a elimina artefactele din semnalele creierului și un expert ar putea identifica și elimina toate perioadele contaminate cu artefacte. Principalul dezavantaj în utilizarea respingerii manuale este că necesită o muncă intensă a omului deci această abordare nu este potrivită pentru sistemele BCI on-line. Cu toate acestea, această sarcină poate fi efectuată automat prin detectarea artefactelor EMG și EOG. Dacă semnalele EMG și EOG sunt monitorizate, eșantioanele de semnal ale creierului pot fi îndepărtate ori de câte ori este detectată activitatea oculară sau musculară a brațelor [200]. Respingerea automată este un mod eficient de manipulare a artefactelor dar poate eșua atunci când amplitudinile EOG sunt prea mici. În plus, metodologia de respingere înseamnă că utilizatorul pierde controlul dispozitivului atunci când semnalele contaminate de artefacte sunt eliminate. În loc să respingă eșantioanele, metoda eliminării artefactului încearcă să identifice și să îndepărteze artefactele păstrând fenomenul neurologic intact. Metodele obișnuite pentru îndepărtarea artefactelor din EEG sunt filtrarea liniară, combinația și regresia liniară, BSS și PCA [197]; unele dintre ele au fost discutate în secțiunea 0.

În loc de evitarea, respingerea sau eliminarea artefactelor din înregistrările semnalelor creierului, unele sisteme achiziționează și prelucrează artefacte pentru a oferi o cale de comunicare pe care persoanele cu dizabilități sau persoanele sănătoase le pot utiliza în multe sarcini și în diferite medii. Acest tip de sistem nu este considerat BCI deoarece comunicarea nu este independentă de nervii și mușchii periferici. Interfața computer EMG [201], interfața om-calculator (HCI) [202], interfața om-computer bazată pe EMG [203], interfața om-mașină bazată pe EMG [204], interfață om-robot bazată pe EMG [205], interfața mușchi-calculator (MuCI) [206], interfața om-mașină (MMI) [207] și interfața biocontroller [208] sunt diferiți termeni folosiți pentru a denumi interfețele de comunicare din literatura de specialitate care pot utiliza semnale artefacte, printre altele. Aceste sisteme au, de obicei, o fiabilitate mai mare decât BCI, dar nu pot fi utilizate de persoanele cu dizabilități severe cu constrângeri puternice în mișcările voluntare.

7. Clasificarea algoritmilor

Scopul etapei de clasificare într-un sistem BCI este recunoașterea intențiilor utilizatorului pe baza unui vector caracteristic care caracterizează activitatea creierului oferită de etapa caracteristică. Fie algoritmul de regresie fie cel de clasificare poate fi utilizat pentru a atinge acest obiectiv, dar utilizarea algoritmilor de clasificare este în prezent cea mai populară abordare [209].

Algoritmii de regresie utilizează caracteristicile extrase din semnalele EEG ca variabile independente pentru a anticipa intențiile utilizatorului. În schimb, algoritmii de clasificare folosesc caracteristicile extrase ca variabile independente pentru a defini granițele dintre diferitele ținte din spațiul caracteristicilor. McFarland și colab. [210] au ilustrat diferențele dintre cele două alternative. Pentru un caz cu două ținte atât abordarea de regresie cât și abordarea de clasificare necesită determinarea parametrilor unei singure funcții. Într-un caz cu patru ținte, presupunând că țintele sunt distribuite liniar abordarea de regresie încă necesită o singură funcție. În schimb, abordarea de clasificare necesită determinarea a trei funcții, câte una pentru fiecare dintre cele trei granițe dintre cele patru ținte. Prin urmare, abordarea de clasificare poate fi mai utilă pentru aplicațiile cu două ținte iar abordarea de regresie poate fi de preferat pentru un număr mai mare de ținte când aceste ținte pot fi ordonate pe una sau mai multe dimensiuni. Mai mult, abordarea de regresie este mai bună pentru feedback continuu, de exemplu, aplicațiile care implică un control continuu al mișcării cursorului. Figura 4 ilustrează diferențele dintre abordările de clasificare și regresie.

Figura 4. Abordări de clasificare și regresie la controlul BCI cu două ținte (adaptate de la [210]). Algoritmii de regresie utilizează caracteristicile extrase din semnalele EEG ca variabile independente pentru a anticipa intențiile utilizatorului. În schimb, abordarea de clasificare folosește caracteristicile extrase ca variabile independente pentru a defini granițele dintre diferitele ținte din spațiul caracteristicilor.

Algoritmii de clasificare pot fi dezvoltați fie offline, fie online sau o combinație a celor două tipuri de sesiuni. Sesiunea offline presupune examinarea seturilor de date, cum ar fi seturile de date ale competițiilor BCI [211] care sunt colectate dintr-un sistem adaptabil sau în circuit închis. Statisticile datelor pot fi estimate din constatările acumulate de-a lungul ședințelor integrale și pot fi efectuate calcule pe termen lung. Rezultatele pot fi revizuite de către analist în scopul reglării fine a algoritmilor. Analiza offline a datelor este importantă dar nu abordează problemele în timp real. În schimb, sesiunile online oferă un mijloc de evaluare a sistemului BCI într-un mediu real. Datele sunt procesate într-un mod cauzal și algoritmii sunt testați într-un mediu în care utilizatorii prezintă modificări de-a lungul timpului ca urmare, de exemplu, a schimbărilor de motivație sau oboselii. Deși unii cercetători testează noi algoritmi doar cu date offline, atât simularea offline cât și experimentele online sunt necesare pentru proiectarea eficientă a algoritmilor în sisteme în circuit închis. Cu alte cuvinte, simularea offline și validarea încrucișată pot fi metode importante pentru a dezvolta și testa noi algoritmi, dar numai analiza online poate oferi dovezi solide ale performanței sistemului BCI [137,212,213].

Algoritmii de clasificare au fost în mod tradițional calibrați de utilizatori prin învățarea supravegheată folosind un set de date etichetate. Se presupune că clasificatorul este capabil să detecteze modelele semnalului cerebral înregistrate în sesiunile online cu feedback. Totuși, această presupunere are ca rezultat o reducere a performanței sistemelor BCI deoarece semnalele creierului sunt în mod inerent nestaționare. În acest sens, Shenoy și colab. [214] au descris două surse principale de nestaționaritate. Pe de o parte, modelele observate în probele experimentale dn timpul sesiunilor de calibrare pot fi diferite de cele înregistrate în timpul sesiunii online. Pe de altă parte, pregătirea mentală progresivă a utilizatorilor sau chiar modificări ale concentrării, atenției sau motivației pot afecta semnalele creierului. Prin urmare, algoritmii adaptabili sunt esențiali pentru îmbunătățirea preciziei BCI. Adaptarea la semnalele nestaționare este deosebit de necesară în BCI asincrone și non-invazive [215,216].

În afară de faptul că învățarea supravegheată nu este optimă pentru clasificarea semnalelor nestaționare, seturile mari de date și, astfel, ședințele de calibrare inițiale lungi sunt de obicei necesare pentru a obține o precizie acceptabilă. Învățarea semi-supravegheată a fost sugerată pentru a reduce timpul de pregătire și pentru a actualiza clasificatorul în sesiunea online în mod continuu [217]. În învățarea semi-supravegheată, clasificatorul este inițial pregătit folosind un set mic de date etichetate după care clasificatorul este actualizat cu date de testare on-line.

Într-un scenariu BCI realist, semnalul asociat cu intențiile subiectului nu este de obicei cunoscut și etichetele nu sunt disponibile. Fie învățarea nesupravegheată fie învățarea consolidată poate fi aplicată pentru adaptarea BCI atunci când setul de date etichetate nu este disponibil. Metodele nesupravegheate încearcă să găsească structuri ascunse în datele neetichetate, pentru a le clasifica. Unele metode nesupravegheate se bazează pe tehnici de învățare co-adaptivă a utilizatorului și mașinii [218,219] sau adaptarea la schimb covariat [220]. Metodele de învățare consolidată se bazează pe faptul că diferențierea potențialelor EEG este obținută atunci când un subiect este conștient de o decizie eronată. Aceste potențiale sunt utilizate ca semnale de învățare pentru a preveni repetarea acestei erori în viitor [221].

În general, adaptarea are ca rezultat o performanță sporită. Cu toate acestea, merită subliniat faptul că există riscuri inerente într-o BCI adaptivă. Un BCI care învață prea repede poate deruta utilizatorul, deoarece antrenamentul va avea loc într-un mediu schimbător [222]. În plus, procedurile adaptive pot ascunde anumite caracteristici relevante ale semnalului. În consecință, există un compromis între adaptarea foarte sensibilă și extragerea caracteristicilor.

Clasificatorii trebuie, de asemenea, să înfrunte două probleme principale legate de activitatea de recunoaștere a modelului: blestemul dimensionalității și compromisul bias-varianță. Blestemul dimensionalității înseamnă că numărul de date de antrenare necesare pentru a oferi rezultate bune crește exponențial cu dimensiunea vectorului caracteristic [223]. Din păcate, seturile de antrenare disponibile sunt de obicei puține în cercetarea BCI, deoarece procesul de antrenament durează mult timp și este un proces obositor pentru utilizatori. Echilibrul bias-varianță reprezintă tendința naturală a clasificatorilor spre un bias ridicat cu varianță scăzută și invers. Clasificatorii stabili se caracterizează prin bias mare cu varianță mică, în timp ce clasificatorii instabili prezintă varianță mare cu bias mic. Pentru a obține cea mai mică eroare de clasificare, bias-ul și varianța ar trebui să fie scăzute simultan. Pentru a reduce varianța pot fi utilizate un set de tehnici de stabilizare cum ar fi combinarea clasificatoarelor sau regularizarea.

Proiectarea etapei de clasificare implică alegerea din mai multe alternative a unuia sau mai multor algoritmi de clasificare. Au fost propuși mai mulți algoritmi de clasificare, cum ar fi printre alții clasificatorii cei mai apropiați k vecini, clasificatorii liniari, mașini cu suport vectorial SVM (support vector machine) și rețelele neuronale. Ca tendință generală se preferă algoritmii simpli alternativelor complexe. Algoritmii simpli au un avantaj inerent, deoarece adaptarea lor la caracteristicile semnalului creierului este în mod inerent mai simplă și mai eficientă decât în cazul algoritmilor mai complecși. Cu toate acestea, algoritmii simpli, atunci când sunt depășiți în evaluările online și offline, ar trebui înlocuiți cu alternative mai complexe [213].

Tabelul 8. Rezumatul metodelor de clasificare

În cele din urmă, trebuie subliniate anumite pericole inerente ale utilizării algoritmilor de clasificare. Deși algoritmii de clasificare au ajutat în mod clar la caracterizarea stărilor cerebrale relevante pentru sarcini, mai multe capcane pot apărea atunci când acești algoritmi sunt folosiți de către non-experți. Bias-ul și varianța erorii estimate a algoritmilor și adaptarea lor excesivă sunt principala sursă a dificultăților [224]. Dacă un clasificator este supra-adaptat, acesta va putea doar să clasifice datele de antrenament sau datele similare. Supra-adaptarea poate fi evitată prin restrângerea complexității procedurii de clasificare [224]. Eroarea de clasificare este estimată prin intermediul validării încrucișate. Odată antrenat un algoritm de clasificare, algoritmul este validat pe un set de date de validare, care ar trebui să fie independent de setul de date de antrenare. Această procedură este de obicei repetată de mai multe ori, folosind diferite partiții ale datelor de probă. Erorile de validare rezultate sunt aproximate pe parcursul mai multor runde. Această abordare prezintă unele pericole inerente care trebuie prevenite, deoarece, printre alte motive, unele elemente din partiție pot să nu fie independente unele de altele sau pot să nu fie distribuite în mod identic [224]. În continuare, această secțiune prezintă proprietățile unui set de clasificatori, pentru a facilita alegerea unui clasificator adecvat pentru un tip dat de BCI. Toate metodele de clasificare sunt enumerate în tabelul 8, împreună cu principalele lor proprietăți.

7.1. Clasificatorul cei mai apropiați K vecini (K-Nearest Neighbor Classifier = k-NNC)

k-NNC se bazează pe principiul conform căruia caracteristicile ce corespund unor clase diferite vor forma, de obicei, clustere separate în spațiul caracteristicilor, cât timp vecinii apropiați aparțin aceleiași clase. Acest clasificator ia în considerare distanțele k metrice dintre caracteristicile eșantioanelor de testare și cele ale celor mai apropiate clase în scopul de a clasifica un vector al caracteristicilor de testare. Distanțele metrice reprezintă o măsură a similitudinilor dintre caracteristicile vectorului de test și caracteristicile fiecărei clase. Avantajul oferit de luarea în considerare în clasificare a celor mai apropiați k vecini este acela că oferă o probabilitate de eroare scăzută în cadrul deciziei. Unele eșantioane de antrenament pot fi afectate de zgomot și de artefacte, care pot influența în mod semnificativ rezultatele clasificării. Dacă se ia o decizie care implică mai mulți vecini, atunci probabilitatea apariției unei erori este semnificativ mai mică deoarece probabilitatea apariției mai multor date simultane eronate este mult mai mică [225].

Dacă se iau în considerare câteva cele mai apropiate k clase, în loc să se aleagă cel mai apropiat eșantion este necesară o schemă de vot pentru a decide între opțiuni concurente. Deoarece nu există motive să se presupună că distribuția acestor vecini este omogenă, este evident faptul că k-NNC trebuie să atribuie ranguri diferite celor mai apropiați vecini, în funcție de distanțele lor față de exemplul de test. Prin urmare, k-NNC trebuie să definească o funcție de ponderare, care variază în funcție de distanță în așa fel încât valoarea ieșirii scade pe măsură ce distanța dintre vectorul caracteristicilor de test și vecin crește. Funcția definită de ecuația (19) [226] îndeplinește această cerință:

unde, reprezintă distanța celui de al i-lea cel mai apropiat vecin față de un exemplu de test. Așadar, corespunde celui mai apropiat vecin și celui mai îndepărtat vecin. Regula de decizie a k-NNC atribuie exemplele necunoscute clasei cu cea mai mare sumă a ponderilor în rândul celor mai apropiați k-vecini ei ei.

Utilizarea k-NNC nu este foarte frecventă în cercetarea BCI, deoarece acest clasificator este foarte sensibil în ce privește dimensionalitatea vectorului de caracteristici [227]. Cu toate acestea, k-NNC s-a dovedit a fi eficient în cazul vectorilor de caracteristici de dimensiune redusă. De asemenea, acest clasificator a fost testat într-un mediu de tip multiclasă [228] și aplicat în cazul mișcării unui cursor pe o axă verticală la clasificarea SCP [229].

7.2. Analiza Discriminanților Liniari (Linear Discriminant Analysis = LDA)

LDA este un clasificator foarte simplu care oferă o precizie acceptabilă fără cerințe de calcul ridicate. LDA este foarte frecvent utilizat în comunitatea BCI și este o alegere bună pentru proiectarea sistemelor BCI online cu răspuns rapid, dar resurse de calcul limitate. LDA oferă o precizie relativ acceptabilă și a fost folosită cu succes în numeroase sisteme BCI, cum ar fi speller-ul P300 [179], multiclase [230] sau BCI sincrone [231]. Cu toate acestea, poate duce la clasificări complet eronate în prezența valorilor limită sau a zgomotului puternic [232]. LDA este de obicei aplicată la clasificarea modelelor în două clase, deși este posibilă extinderea metodei la mai multe clase [230].

Pentru o problemă cu două clase, LDA presupune că cele două clase sunt liniar separabile. Conform acestei presupuneri, pentru a distinge clasele LDA definește o funcție de discriminare liniară care reprezintă un hiperplan în spațiul caracteristicilor. Clasa căreia îi aparține vectorul caracteristicilor depinde de partea planului în care se găsește vectorul (figura 5). În cazul unei probleme de clasă N (N> 2), sunt utilizate mai multe hiperplane. Planul de decizie poate fi reprezentat matematic sub forma:

unde, este cunoscut ca fiind vectorul ponderii, este vectorul caracteristicilor de intrare și este valoarea de prag. Vectorul caracteristicilor de intrare este atribuit unei clase sau alteia pe baza semnului funcției g(x).

Figura 5 Clasificator liniar și limitele. Limita decizională este reprezentată prin linia groasă (adaptat din [232]).

Există multe metode pentru a calcula vectorul ponderii – w. De exemplu, acesta poate fi calculat sub forma [233]

unde, este media estimată a clasei și este matricea de covarianță comună estimată; media matricilor empirice de covarianță pentru cele două clase. Estimatoarele matricilor de covarianță și media sunt calculate ca fiind:

unde este o matrice care conține n vectori de caracteristici

Figura 6. Spectrul valorii proprii a unei matrici de covarianță dată (linie îngroșată) și spectre ale valorii proprii a matricilor de covarianță estimate dintr-un număr finit de eșantioane (N = 50, 100, 200, 500). De observat că precizia crește pe măsură ce numărul de încercări crește (adaptat din [233]).

Estimarea covarianței definită în ecuația (22) este imparțială și are caracteristici bune în condiții obișnuite. Cu toate acestea, poate deveni imprecisă în unele cazuri în care dimensionalitatea caracteristicilor este prea mare în comparație cu numărul de încercări disponibile. Matricea de covarianță estimată este diferită de adevărata matrice de covarianță deoarece valorile proprii mari ale matricei de covarianță originale sunt supra-estimate, iar valorile proprii mici sunt sub-estimate (Figura 6). Aceasta conduce la o eroare sistematică, care degradează performanța LDA [233].

Din acest motiv, a fost propusă o nouă procedură de estimare a covarianței, îmbunătățindu-se estimatorul standard definit în ecuația (22). Noul estimator standard al matricei de covarianță este dat de:

Valoarea γ este denumită parametru de contracție și este reglabilă între 0 și 1. ν este definit ca , cu d fiind dimensionalitatea spațiului caracteristicilor. Selectarea unui parametru de contracție implică un compromis și este estimat pe baza datelor de intrare [234].

Unii algoritmi îmbunătățiți au fost introduși pe baza LDA, cum ar fi Fisher LDA (FLDA) și Bayesian LDA (BLDA) [235]. În primul exemplu, performanța a fost îmbunătățită prin proiectarea datelor într-un spațiu dimensional mai mic pentru a realiza intervale mai mari între clasele proiectate și, simultan, pentru a reduce variabilitatea datelor din fiecare clasă. Cu toate acestea, FLDA nu funcționează bine atunci când numărul de caracteristici devine prea mare în raport cu numărul de exemple de antrenare. Aceasta este cunoscută sub denumirea de problema dimensiunii mici a eșantionului [235].

A doua modificare poate fi văzută ca o extensie a FLDA. BLDA rezolvă problema dimensiunii mici a eșantionului prin introducerea unei metode statistice cunoscută sub numele de regularizare. Regularizarea este estimată prin analiza Bayesiană a datelor de antrenare și este utilizată pentru a preveni supra-potrivirea seturilor de date de dimensiune maximă și posibil zgomotoase. Supra-potrivirea înseamnă că clasificatorul și-a pierdut generalitatea și, prin urmare, nu este de dorit să apară în cadrul clasificatorului. Dacă un clasificator este supra-potrivit, atunci este capabil să clasifice numai datele de antrenare sau date similare. În comparație cu FLDA, algoritmul BLDA oferă o precizie și viteză mai mare de clasificare, mai ales în cazurile în care numărul de caracteristici este mare [235]. În plus, BLDA necesită doar puțin mai mult timp de calcul ceea ce este o cerință crucială în sistemele BCI reale.

7.3. Mașină cu suport vectorial (Suport Vector Machine = SVM)

SVM este un clasificator care, într-un mod similar cu clasificatorii LDA, construiește un hiperplan sau un set de hiperplane pentru a separa vectorii caracteristici în mai multe clase. Oricum, spre deosebire de LDA, SVM selectează hiperplanele care maximizează limitele, adică, distanța dintre cele mai apropiate mostre de antrenare și hiperplane [236]. Baza SVM este să se mapeze datele într-un spațiu de dimensiune mare și să se găsească un hiperplan de separare cu limita maximă [237] în conformitate cu teorema lui Cover privind separabilitatea modelelor [238]. Teorema lui Cover afirmă că o problemă de clasificare complexă proiectată într-un spațiu neliniar de dimensiune mare este mai probabil să fie separabilă liniar decât într-un spațiu neliniar de dimensiune redusă. De asemenea, ca și în cazul clasificatorului de analiză liniar, un SVM folosește regularizarea, pentru a împiedica clasificatorul să ia în considerare seturi de date posibil zgomotoase.

SVM a fost utilizat pentru a clasifica vectori caracteristici pentru probleme binare [239,240] și multiclasă [228,230]. A fost, de asemenea, utilizat cu succes într-un număr mare de BCI-uri sincrone [131,230,240]. Un astfel de clasificator este considerat un clasificator liniar deoarece folosește unul sau mai multe hiperplane. Cu toate acestea, este de asemenea posibil să se creeze un SVM cu limită de decizie neliniară cu ajutorul unei funcții kernel K(x, y). SVM neliniară duce la o limită de decizie mai flexibilă în spațiul de date, ceea ce poate crește precizia clasificării. Nucleul care este utilizat de obicei în câmpul BCI este funcția gaussiană sau funcția de bază radială (radial basis function = RBF):

SVM gaussian a fost aplicat în BCI pentru clasificarea potențialelor evocate P300 [241–243].

SVM a fost utilizat pe scară largă în BCI, deoarece este un clasificator simplu care funcționează bine și este robust în ceea ce privește blestemul dimensionalității, ceea ce înseamnă că nu este necesar pentru rezultate bune un set mare de antrenament, chiar și cu vectori caracteristici de dimensiuni foarte mari [228]. Aceste avantaje vin în detrimentul vitezei de execuție. Cu toate acestea, SVM este suficient de rapid pentru BCI-urile în timp real [243, 244].

7.4. Clasificatorul statistic Bayesian

Clasificatorul statistic Bayesian este un clasificator care își propune să atribuie, cu cea mai mare probabilitate, un vector caracteristic observat x din clasa sa y. Regula lui Bayes este utilizată pentru a obține probabilitatea a posteriori pe care unun vector caracteristic o are să aparțină unei clase date. Presupunând, de exemplu, două clase L și R corespunzătoare mișcărilor imaginare stânga și dreapta a mâinii, probabilitățile a posteriori ale fiecărei clase sunt calculate după regula lui Bayes ca:

De obicei, se presupune că probabilitățile a priori sunt egale, pentru că se presupune că utilizatorul nu are predilecție pentru nicio mișcare. Pentru a calcula probabilitățile , se presupune de obicei că o distribuție statistică gaussiană se aplică caracteristicilor pentru fiecare clasă, deși se poate presupune, de asemenea, că distribuția este un amestec ponderat de distribuții gaussiene [245]:

unde: este ponderea fiecărui prototip gaussian și M este numărul de prototipuri. Două metode sunt fezabile pentru a estima amestecul de prototipuri gaussiene [245]. Prima metodă este să se împartă spațiul caracteristicilor în mai multe regiuni cu dimensiuni egale și să se calculeze media și varianța prototipurilor gaussiene din fiecare zonă din datele de antrenament. Setul de prototipuri gaussiene este ponderat uniform și ponderile sunt egale cu. A doua folosește amestecul de modele gaussiene (Gaussian mixture models = GMM). Diferitele ponderi și media, varianța și matricile de covarianță care definesc fiecare prototip gaussian sunt calculate prin algoritmul de maximizare a așteptărilor (expectation maximization = EM). Algoritmul EM este o procedură iterativă care garantează probabilitatea maximă sau estimările maxime a posteriori (MAP) a parametrilor din modelul statistic. Lui și colab. [246] au făcut GMM adaptiv la schimbările semnificative din distribuția statistică a datelor în timpul utilizării pe termen lung. În aceste îmbunătățiri media, varianța și covarianța inițiale pentru fiecare clasă sunt actualizate de-a lungul timpului folosind un număr specific de încercări recente.

Clasificatorii statistici bayesieni nu sunt foarte populari în comunitatea BCI. Cu toate acestea, aceștia au fost utilizați pentru clasificarea imaginilor motorii [247] sau potențialelor evocate vizual P300 [248].

7.5. Rețea neuronală artificială (artificial neural network = ANN)

ANN sunt clasificatoare neliniare care au fost utilizate în multe aplicații, într-o mare varietate de discipline, cum ar fi informatică, fizică și neuroștiință. Ideea ANN-urilor este inspirată din modul în care creierul procesează informațiile. Scopul este de a simula activitatea creierului care rezolvă imediat anumite probleme pe care un program computerizat convențional le procesează slab. De exemplu, ANN-urile sunt utilizate pe scară largă în recunoașterea modelelor deoarece sunt capabile să învețe din datele de antrenare. Capacitatea de a învăța din exemple este una dintre cele mai importante proprietăți ale ANN-urilor. Odată antrenate, ANN-urile sunt capabile să recunoască un set de modele legate de datele de antrenare. Prin urmare, ANN-urile sunt asociate cu aplicațiile BCI deoarece, pentru a stabili intențiile utilizatorului este necesară recunoașterea modelului .

Un ANN cuprinde un set de noduri și conexiuni care sunt modificate în timpul procesului de antrenare. ANN este alimentat cu un set de exemple de antrenare și este observat rezultatul. Dacă rezultatul este incorect, atunci valorile interne sunt modificate de algoritmul de antrenare pentru a minimiza diferența dintre rezultatul dorit și cel real. Această antrenare continuă până când rețeaua ajunge la o stare de echilibru în care nu se mai obține nicio îmbunătățire semnificativă. În această stare, nu numai că ANN ar trebui să producă rezultate corecte pentru toate exemplele setului de antrenare ci și pentru intrările care nu au fost întâlnite în timpul antrenamentului.

Din punct de vedere matematic, ANN-urile definesc o mapare dintr-un spațiu de intrare într-un spațiu de ieșire care poate fi descrisă ca o funcție de valori vectoriale , unde x și y pot avea orice dimensiune. Funcția de mapare f este o combinație de mapări, care sunt realizate individual de către noduri sau neuroni individuali. Fiecare neuron prelucrează informația în mod neliniar și prin urmare maparea rezultată este neliniară. Această proprietate este importantă mai ales în cazurile în care mecanismul fizic care generează semnalul de intrare este neliniar.

Una dintre cele mai cunoscute structuri ANN este perceptronul multistrat (multilayer perceptron = MLP) introdus de Rumelhart și McClelland în 1986. MLP-urile sunt clasificatoare foarte flexibile care pot clasifica orice număr de clase și se pot adapta la numeroase tipuri de probleme. În domeniul BCI, MLP a fost aplicat pentru a clasifica două [249], trei [200] și cinci [250] sarcini diferite și pentru a proiecta BCI sincrone [251] și asincrone [215]. Mai mult, MLP a fost utilizat mai bine pentru preprocesarea semnalelor EEG înainte de etapa de extragere a caracteristicilor decât pentru etapa de clasificare, pentru a îmbunătăți separabilitatea caracteristicilor EEG [252].

În afară de MLP, au fost utilizate diferite tipuri de arhitecturi ANN în proiectarea sistemelor BCI, cum ar fi rețelele neuronale probabilistice (Probabilistic Neural Networks – PNN) [253, 254], rețelele neuronale fuzzy ARTMAP [255], rețelele neuronale cu răspuns finit la impuls (Finite Impulse Response Neural Networks – FIRNN) [251] sau clasificatoarelor neuronale protejate estimatoare a probabilității (Probability estimating Guarded Neural Classifiers – PeGNC) [256].

8. Aplicații BCI

BCI oferă utilizatorilor noi canale de comunicare și control fără nicio intervenție a nervilor și mușchilor periferici. Astfel, mulți cercetători se concentrează pe construirea aplicațiilor cu sisteme BCI cu speranța că această tehnologie ar putea fi de ajutor pentru cei cu dizabilități motorii severe. Diferite aplicații BCI au fost recent dezvoltate datorită progreselor semnificative în domeniul BSI bazate pe EEG. Semnalele EEG sunt utilizate de majoritatea aplicațiilor BCI, deoarece oferă o calitate acceptabilă a semnalului care combină costurile reduse cu echipamentele ușor de utilizat. Datorită aplicațiilor BCI există speranța că poate fi îmbunătățită calitatea vieții persoanelor cu dizabilitate severă. De asemenea, atenția acordată de către persoanele care îi îngrijesc va fi mai puțin intensă, reducându-se costurile și făcând viața rudelor mai puțin împovărătoare. Mai mult, aplicațiile BCI pot reprezenta un instrument puternic pentru dezvăluirea informațiilor ascunse din creierul utilizatorului care nu pot fi exprimate.

Principalele populații țintă pentru aplicațiile BCI se încadrează în trei clase. Primul grup include starea complet închisă (Complete Locked-In State – CLIS), pacienții care au pierdut complet controlul motoriu, deoarece ar putea fi într-un stadiu terminal al sclerozei laterale amiotrofice (Amyotrophic Lateral Sclerosis = ALS) sau ar putea suferi de paralizie cerebrală severă. Cel de-al doilea grup cuprinde pacienții în stare blocată (Locked-In State – LIS), care sunt aproape complet paralizați, dar cu mișcare voluntară reziduală, cum ar fi mișcarea ochilor, clipirea ochilor sau ticuri nervoase ale buzelor. Cel de-al treilea grup de potențiali utilizatori de BCI include persoanele cu dizabilități fizice și cele cu control neuromuscular major, în special controlul vorbirii și/sau al mâinilor. BCI au puțin de oferit celui de-al treilea grup pentru că pot trimite mai repede aceleași informații mult mai rapid și mai ușor prin alte interfețe decât prin BCI. În ciuda acestui fapt, BCI sunt tot mai folosite de către persoanele sănătoase în neuromarketing și în jocurile video ca un mijloc de a arăta informații emoționale ale utilizatorilor, care nu pot fi atât de ușor relatate prin interfețe convenționale. De asemenea, BCI pot fi utilizate de unele persoane care suferă de tulburări neurologice, cum ar fi schizofrenia sau depresia.

Nivelul de dizabilitate al populației țintă potențiale este legat de performanța unui sistem BCI. Kübler și colab. [257] au raportat o corelație puternică între diabilitatea fizică și performanța BCI. Pacienții CLIS nu au putut controla un BCI. Reglarea voluntară a creierului pentru comunicare a fost posibilă numai la pacienții cu LIS. Cu toate acestea, luând în considerare doar pacienții LIS, a dispărut această relație dintre dizabilitatea fizică și performanța BCI. Figura 7 prezintă relația dintre zonele de aplicație ale BCI, ratele de transfer de informații BCI și capacitățile utilizatorilor.

Figura 7. Relația dintre zonele de aplicare BCI, ratele de transfer de informații BCI și capacitățile utilizatorilor. Axa orizontală: rata de transfer de informații care ar face aplicația controlabilă. Axa verticală: gradul de capacitate

În prezent nu este clar dacă tehnologia BCI va întrece vreodată alte tehnologii consacrate care includ dispozitive bazate pe ochi sau mușchi. În prezent, ultimele dispozitive tind să fie mai ușor de utilizat și oferă raport mai bun beneficiu/cost [258,259]. De exemplu, detectarea mișcării ochilor este mai rapidă, mai ușoară și mai precisă decât detectarea modulațiilor ERP. O viteză de scriere de 10 cuvinte pe minut poate fi obținută cu mișcarea ochilor sănătoși, cu ajutorul unui eyetracker – aparat ce urmărește mișcarea ochilor [260]. Ținând cont de acest lucru au fost propuse sisteme BCI hibride pentru a îmbunătăți performanța. Ele sunt combinația a două tipuri diferite de BCI sau combinația unui BCI cu alte tehnologii ajutătoare existente [261]. Cu excepția cazului în care performanțele sistemelor BCI se îmbunătățesc considerabil, BCI ca tehnologie ajutătoare poate fi deosebit de atractivă numai pentru persoanele cu diazbilitate severă, atunci când alte tehnologii nu sunt adecvate.

În prezent, pacienții cu LIS și cei care pot dezvolta CLIS sunt principalii candidați la BCI. În ciuda ratelor scăzute de transfer de informații furnizate de BCI, gradul ridicat de dizabilitate în rândul pacienților cu LIS îi obligă să folosească un BCI, mai degrabă decât interfețe convenționale mai fiabile, precum sisteme bazate pe activitatea musculară sau pe privire. Constrângerile de control a privirii la unii pacienți cu LIS sunt o problemă importantă, deoarece sunt obligați să utilizeze BCI care nu depind de aceasta [262,263]. De asemenea, constrângerile de control a privirii fac unele aplicații BCI mai dificile, cum ar fi direcționarea unui scaun cu rotile.

În zilele noastre, există un număr mare de aplicații BCI foarte diferite, cum ar fi procesoarele de text, browserele web adaptate, controlul unui scaun cu rotile cu ajutorul creierului sau neuroproteze și bineînțeles și jocuri. Cu toate acestea, cele mai multe aplicații au fost concepute exclusiv în scopuri de antrenare sau demonstrative. În ciuda celor mai recente progrese semnificative în tehnologia BCI, există încă multe provocări în utilizarea controlului BCI pentru activități din lumea reală [264]: (i) rata de transfer de informații oferită de BCI este prea mică pentru conversația interactivă naturală, chiar și pentru subiecții experimentați și sisteme BCI bine reglate; ii) rata ridicată a erorilor complică și mai mult interacțiunea; (iii) Sistemele BCI nu pot fi utilizate în mod autonom de către persoanele cu dizabilități, deoarece sistemele BCI impun asistenților să aplice electrozi sau dispozitive de recepție a semnalului înainte ca persoana cu dizabilitate să poată comunica; (iv) un utilizator BCI poate fi capabil să oprească sistemul BCI cu ajutorul activității creierului ca intrare, dar, de obicei, nu îl poate reactiva din nou, ceea ce se numește problema „atingerii Midas” și (v) gestionarea aplicațiilor BCI necesită o încărcătură cognitivă ridicată, care poate fi obținută de obicei de către utilizatori într-un mediu de laborator liniștit, și nu în lumea reală. Cu toate acestea, în ciuda tuturor acestor dificultăți solicitante au fost deja făcuți primii pași către utilizarea independentă la domiciliu pe termen lung a BCI [12].

Înainte de a descrie utilizarea practică a aplicațiilor BCI, merită să luăm în considerare distincția dintre BCI și aplicațiile lor [8]. Ca un instrument care execută o funcție specifică, specificațiile particulare ale BCI corespund modului în care îndeplinește funcția respectivă. Așadar, aceste specificații pot fi aplicate la o mare varietate de aplicații, chiar dacă funcția rămâne neschimbată. Problema importantă în evaluarea BCI este performanța sa la executarea funcției sale specifice. În schimb, aplicațiile sunt descrise din punct de vedere al instrumentelor pe care le folosesc și scopurilor pe care le servesc. Prin urmare, evaluarea BCI se concentrează pe cât de bine își îndeplinește scopul. Cu alte cuvinte, termenul BCI se referă la sistemul care înregistrează, analizează și traduce intrarea în comenzi, iar termenul aplicație indică mediul în care se aplică comenzile de ieșire estimate ale BCI. În consecință, procedurile de evaluare diferă în fiecare caz pentru sistemele BCI și aplicațiile lor. Următoarele subsecțiuni descriu pe scurt aplicațiile BCI, clasificate în cinci domenii principale: comunicare, restaurare motorie, controlul mediului înconjurător, locomoție și divertisment.

8.1. Comunicare

Aplicațiile BCI pentru comunicare tratează dizabilități severe de comunicare rezultate din boli neurologice. Acest tip de aplicație reprezintă probabil cea mai urgentă cercetare în domeniul BCI, deoarece activitatea de comunicare este esențială pentru oameni. Aplicațiile în scopuri de comunicare prezintă o operație care afișează de obicei o tastatură virtuală pe ecran, unde utilizatorul selectează o literă din alfabet cu ajutorul unui BCI. Elementul distinctiv în fiecare abordare este de obicei BCI și tipul de semnal de control.

Controlul voluntar al SCP-urilor poate fi utilizat pentru selectarea literei. Cu un antrenament amplu, pacienții complet paralizați sunt capabili să producă modificări pozitive și negative în SCP-ul lor pentru a comanda mișcarea verticală a unui cursor [117]. Pe baza acestui tip de semnal de control, Birbaumer și colab. [265] au dezvoltat un dispozitiv de scriere cu afișare pe ecran, care folosea un cursor pentru a selecta literele alfabetului. Încercările care au implicat doi pacienți în stadii avansate ale ALS au arătat că au obținut o rată de aproximativ 2 caractere pe minut la scrierea mesajelor text. Alte tipuri de semnale de control, cum ar fi detectarea clipirii ochilor [266], care reprezintă în mod normal un artefact în semnalele EEG sau clasificarea a trei sarcini mentale [215] sunt de asemenea utilizate pentru a selecta casetele sau caracterele de pe o tastatură virtuală. Ambele abordări sunt aproape identice, cu excepția semnalului de control. În ambele cazuri, tastatura virtuală era formată dintr-un total de 27 de simboluri, 26 de litere din alfabetul englezesc plus spațiul pentru a separa cuvintele, organizate într-o matrice de 3 rânduri și 9 coloane. De asemenea, ambele aplicații s-au bazat pe același protocol de scriere a unei singure litere, care a necesitat trei pași. În primul rând, întreaga tastatură a fost împărțită în trei blocuri fiecare cu nouă litere. Apoi, utilizatorul a putut selecta un set de nouă litere prin clipirea o dată, de două ori sau de trei ori [266] sau în funcție de caz imaginându-și una dintre cele trei sarcini disponibile [215]. După prima selecție, setul de nouă litere a fost împărțit în trei subseturi, fiecare cu trei litere, și din nou utilizatorul a selectat una dintre ele. În cele din urmă, la al treilea nivel, utilizatorul a ales o singură literă dintre cele trei simboluri rămase. Rata corectă de scriere a fiecărui subiect a fost de un caracter pe minut folosind clipiri [266] și 2,73 caractere pe minut folosind trei sarcini mentale [215].

Obermaier și colab. [267] au proiectat, de asemenea, un sistem de scriere pe litere pe baza standardului Graz-BCI, care include și o tastatură virtuală. Protocolul de selectare a literelor este foarte similar cu abordările descrise mai sus, cu excepția faptului că întreg alfabetul a fost format din 32 de litere și a fost împărțit la fiecare etapă în două jumătăți. În acest caz, utilizatorul alege unul din subseturile de litere prin modulația EEG prin imaginarea mentală a unei mișcări mâinii sau piciorului. Rata de scriere obținută de trei utilizatori sănătoși a variat între 0,5 și 0,85 litere pe minut. Aceasta este o rată mai mică decât în cazurile anterioare, cu toate acestea pare ușor să crești numărul de litere scrise pe minut doar prin extinderea numărului de clase la mai mult de două.

Potențialele cerebrale legate de evenimente P300 sunt foarte populare în aplicațiile BCI de scriere pe litere. BCI bazate pe P300 s-au dovedit suficient de potrivite pentru pacienții cu ALS în stadii timpurii și medii ale bolii [268]. În plus, acest tip de BCI este foarte util deoarece răspunsul P300 apare spontan și, în consecință, nu necesită antrenament substanțial. Mai mult decât atât, progresele recente efectuate cu speller-urile bazate pe P300 au permis dezvoltarea aplicațiilor comerciale disponibile publicului larg [269]. Unul dintre cel mai cunoscute spellere P300 a fost proiectat de Farwell și Donchin în 1988 [123]. În acest speller, cele 26 de litere ale alfabetului împreună cu alte câteva simboluri și comenzi sunt afișate pe ecran într-o matrice 6 × 6 (Figura 8) cu rânduri și coloane intermitente aleatoriu. Apoi, utilizatorul își concentrează atenția asupra ecranului și se concentrează succesiv asupra caracterelor care vor fi scrise, în timp ce este monitorizat răspunsul EEG. Două P300 sunt determinate pentru fiecare element căutat pe matrice, când clipește rândul sau coloana dorită, permițând astfel sistemului să identifice simbolul dorit. Rezultatele testelor cu speller-ul Farwell-Donchin în care au fost implicați 4 oameni sănătoși au oferit o viteză de scriere acceptabilă de aproximativ 2 caractere pe minut.

Figura 8. Speller original P300. Matricea de simboluri afișată pe ecranul computerului care servește ca tastatură sau dispozitiv protetic (adaptată de la [123])

Spellerul Farwell-Donchin oferă o viteză și o precizie relativ ridicate, dar precizia acestuia poate fi îmbunătățită prin reducerea erorilor de percepție în paradigma Farwell-Donchin [270]. Eroarea de percepție apare când un răspuns P300 este obținut datorită clipirii rândurilor sau coloanelor adiacente simbolului țintă, o problemă care este principala sursă de eroare. Prin urmare, pentru a se depăși această problemă a fost realizată o nouă distribuție a literelor (figura 9) [270]. Ideea este de a avea mai multe zone care să clipească în loc să se folosească rânduri și coloane. Caracterele sunt așezate într-o distribuție pe două niveluri. La primul nivel, caracterele sunt distribuite în șapte grupuri, fiecare cu șapte caractere care clipesc tot aleatoriu. Grupul care conține caracterul țintă este identificat de P300. La cel de-al doilea nivel, caracterele din grupul detectat sunt repoziționate și procedura de la nivelul 1 se repetă și așa mai departe până când în final este selectat caracterul țintă.

Figura 9. Paradigma bazată pe zone propusă pentru perfecționarea speller-ului P300: (a) Primul nivel de intensificare în care fiecare grup conține până la șapte caractere și (b) O zonă este extinsă la al doilea nivel (adaptată de la [270]).

Townsend și colab. [137] au prezentat un BCI nou îmbunătățit bazat pe o paradigmă de tip tablă de șah (checkerboard) în loc de paradigma rând/coloană standard introdusă de Farwell și Donchin. În această nouă abordare, matricea standard care conține țintele a fost suprapusă pe o tablă de șah. Studiile cu pacienți cu ALS avansat și cu oameni sănătoși au arătat o precizie medie semnificativ mai mare pentru paradigma tablă de șah decât pentru paradigma rând/ coloană. Ahi și colab. [271] de asemenea au îmbunătățit recent speller-ul Farwell-Donchin P300 prin introducerea unui dicționar care să reducă numărul de clasificări greșite în scriere. Dicționarul a fost folosit pentru verificarea cuvântului candidat propus de clasificatorul răspunsurilor P300. În cazul scrierii greșite, dicționarul a oferit un anumit număr de sugestii dintre care sistemul ar putea alege. În plus, pentru a reduce probabilitatea de scriere greșită din cauza erorilor de percepție, poziția obișnuită a literei în matrice a fost schimbată în concordanță cu analiza asemănărilor cuvintelor din dicționarul construit.

Toate spellerele P300 anterioare se bazează pe înregistrarea potențialelor corelate proceselor vizuale. Cu toate acestea, nu are sens utilizarea stimulilor vizuali în cazurile pacienților cu paralizie severă, cu vedere deficitară sau cu un control slab asupra mișcărilor ochilor. În aceste cazuri, se folosește stimularea auditivă pentru a face speller-ul P300 potrivit pentru acest grup de pacienți [129,272–274].

Alte aplicații BCI importante legate de comunicare sunt browserele de internet adaptate utilizatorilor cu dizabilități severe, deoarece în ultimul deceniu internetul a devenit o parte foarte importantă din viața de zi cu zi. În acest domeniu „Descartes” este unul dintre primele browsere web controlate de EEG care pot fi operate prin SCP [275]. Interfața browserului se bazează pe aranjarea link-urilor în ordine alfabetică într-un arbore de decizie dihotomic, în care utilizatorul selectează sau respinge fiecare element, producând deplasări SCP pozitive sau negative. „Descartes” prezintă dezvantajul că doar un număr limitat de pagini web pot fi răsfoite, deoarece utilizatorul primește o serie de legături predefinite aranjate într-un arbore la începutul navigării pe web. În plus, linkurile grafice nu pot fi alese, deoarece este utilizată eticheta textuală pentru a identifica linkul. Un prototip mai avansat, numit „Nessi”, depășește aceste dezavantaje datorită unei interfețe utilizator mai bune [276]. Sunt plasate cadre colorate în jurul link-urilor sau a elementelor selectabile pe pagina web în loc să se aranjeze linkurile într-un arbore. Mai recent, sunt utilizate și potențiale evocate pentru a îmbunătăți funcționalitatea browserului. Mugler și colab. [128] au construit un browser de internet cu control P300 în care opțiunile sunt prezentate ca pictograme într-o matrice 8 x 8. Jinghai și colab. [103] au dezvoltat un browser bazat pe VEPs. Unul dintre avantajele ERP-urilor este că apar rapid și pot duce la viteze relativ mari de navigare pe web.

8.2. Refacerea motorie

Leziunea măduvei spinării (Spinal cord injury = SCI) sau alte boli neurologice cu pierderi asociate de funcții senzoriale și motorii scad dramatic calitatea vieții pacientului și creează o dependență pe viață de serviciile de îngrijire la domiciliu. Refacerea motorie poate atenua suferințele psihologice și sociale ale acestora. Restabilirea mișcării, cum ar fi apucarea, este posibilă la pacienții tetraplegici prin neuroproteze ghidate prin stimulare electrică funcțională (functional electrical stimulation = FES). FES compensează pierderea funcțiilor voluntare provocând contracții musculare artificiale. Curenții electrici generează potențial artificial de acțiune prin depolarizarea nervilor motorii periferici intacți care inervează mușchiul vizat și provoacă o contracție musculară ( [277]). BCI bazat pe EEG poate fi utilizat pentru a genera un semnal de control pentru funcționarea FES, deoarece semnalele EEG nu sunt afectate de activarea electrică a mușchilor extremităților superioare [278]. Datorită realizării unei fuziuni între BCI și FES, Pfurtscheller și colab. [279] au dezvoltat o aplicație în care un pacient tetraplegic care suferă de o leziune traumatică a măduvei spinării a fost capabil să-și controleze mâinile paralizate pentru a apuca un cilindru. În această aplicație, pacientul a generat oscilații beta în EEG prin imagini de mișcare a piciorului. Apoi, BCI a analizat și clasificat impulsul beta și semnalul de ieșire a fost utilizat pentru a controla dispozitivul FES care a activat extremitatea. De asemenea, FES a fost utilizat pentru exerciții de recuperare după un accident vascular cerebral. Hu și colab. [280] au dezvoltat un sistem combinat FES-robot care a fost acționat continuu de electromiografia reziduală a utilizatorului de pe partea afectată pentru antrenarea articulațiilor de la încheietura mâinii după un accident vascular cerebral cu scopul de a implica efortul neuromuscular al utilizatorului în timpul exercițiului.

FES s-a dovedit a fi o modalitate eficientă de a restabili mișcarea. Cu toate acestea, FES necesită utilizarea mișcărilor reziduale care nu sunt posibile la pacienții grav răniți. Din acest motiv, unele grupuri de cercetători au început să exploreze abordări care cuplează neuroproteza și BCI fără intervenția FES. Pfurtscheller și colab. [281] au demonstrat că un pacient tetraplegic, a cărui activitate musculară reziduală a membrelor superioare a fost restrânsă la bicepsul stâng din cauza unei leziuni a măduvei spinării superioare ar putea controla eficient o orteză a mâinii folosind modificări ale oscilațiilor Rolandic, care au fost produse de imagini motorii. Pentru a utiliza această aplicație a fost necesară o perioadă de pregătire îndelungată. Cu toate acestea, pacientul a fost la sfârșit capabil să deschidă și să închidă orteza mâinii aproape fără nicio eroare.

Câțiva ani mai târziu, același grup a validat cuplarea BCI bazată pe EEG și o neuroproteză implantată dând dovezi suplimentare că BCI este o variantă fezabilă pentru controlul unei neuroproteze [282]. În acest studiu, BCI a clasificat modele EEG distinctive care au implicat scăderi ale puterii în anumite benzi de frecvență specifice. Aceste modele au fost generate de utilizator din imagini mentale în mișcare ale mâinii sale stângi paralizate .

Mai recent, ERP-urile sunt de asemenea utilizate pentru a asigura refacerea motorie. Muller și colab. [13] au prezentat o neuroproteză inovatoare pentru refacerea funcției de apucare la persoanele cu leziuni ale măduvei spinării. Această neuroproteză era compusă dintr-o proteză electrică de mână cu două axe controlată de BCI bazată pe 4 clase SSVEP. Prin urmare, este posibil să se selecteze doar patru mișcări în funcție de cele patru LED-uri care clipesc cu frecvențe diferite. Privirea utilizatorului s-a deplasat între LED-urile diferite pentru a selecta o mișcare. O lumină de pe degetul index care clipește la 6 Hz și o altă lumină de pe degetul mic care pâlpâie la 7 Hz a servit pentru a întoarce mâna în supinație sau pronație. Cele două lumini rămase de la încheietură, care clipesc la 8 Hz și 13 Hz au reprezentat comenzile de deschidere și închidere a fiecărei mâini.

În cadrul domeniului de aplicare a BCI în refacerea motorie, sistemele BCI au fost utilizate, de asemenea, pentru refacerea mișcărilor la pacienții cu dizabilități motorii severe după accident vascular cerebral. Se presupune că antrenarera furnizează feedback cortexului senzorimotor și, făcând acest lucru, mișcarea este restabilită pe măsură ce căile cerebrale se reorganizează pentru a conecta comenzile motorii cu mișcările motorii. Buch și colab. [283] au dezvoltat un sistem BCI care a folosit activitatea MEG evocată de intenția pacientului de a muta o mână complet paralizată pentru a controla mișcările ortezei mecanice atașată la mâna afectată. Datorită protezei mâinii atașate de mâna paralizată și folosind feedback vizual, pacientul a putut învăța să deschidă mâna prin creșterea SMR în emisfera rănită și să închidă mâna prin scăderea acesteia. MEG oferă un răspuns SMR mult mai mare și mai localizat, ceea ce înseamnă că poate fi controlat chiar și un deget [284].

BCI bazat pe MEG este prea scump pentru aplicațiile pe scară largă. Din acest motiv, Broetz și colab. [285] au propus BCI bazate pe o combinație de MEG și EEG. Inițial, BCI bazat pe MEG a fost folosit pentru a spori succesul în exercițiile de reabilitare. Ulterior, utilizatorul a continuat exercițiile de reabilitare cu un BCI bazat pe EEG; o tehnologie mai accesibilă decât MEG. În cele din urmă, pacientul a realizat exerciții fizioterapeutice. Rezultatele acestui studiu sugerează că combinația BCI cu exercițiile de terapie fizică activă direcționate unui obiectiv îmbunătățește abilitățile motorii ale pacienților cu AVC cronic. În experimente similare, Caria și colab. [286] au reconfirmat succesul unei combinații de antrenament cu BCI și fizioterapie. Acest studiu încurajează cercetarea ulterioară asupra rolului BCI în plasticitatea creierului și recuperarea post-AVC.

8.3. Controlul mediului

Unul dintre obiectivele principale ale aplicațiilor bazate pe BCI este acela de a obține o independență maximă pentru pacient în ciuda oricărei dizabilități motorii. Persoanele care suferă de dizabilități motorii severe sunt adesea blocați în casă și din acest motiv aplicațiile de control a mediului înconjurător se concentrează pe controlul dispozitivelor domestice, cum ar fi televizorul, luminile sau temperatura ambientală. În afară de îmbunătățirea calității vieții persoanelor cu handicap sever dispozitivele ajutătoare reduc sarcinile îngrijitorului care sunt mai puțin intense, costurile sunt reduse, iar viața rudelor este mai ușoară.

Cincotti și colab. [14] au prezentat un studiu pilot care vizează integrarea tehnologiei BCI în mediul domestic. În acest studiu, paisprezece pacienți cu dizabilități motorii severe din cauza tulburărilor neurodegenerative progresive au testat un dispozitiv care asigura controlul mediului printr-o interfață concepută pentru a susține diferite niveluri de capacități motorii pentru fiecare utilizator. Au fost oferite periferice obișnuite cum ar fi tastatura, mouse-ul sau joystick-ul pentru a permite controlul dispozitivelor prin abilitățile reziduale ale membrelor superioare. Căștile și microfoanele pentru recunoașterea vocii au fost, de asemenea, disponibile în cazurile persoanelor cu membrele afectate dar cu mușchii gâtului intacți și vorbirea neafectată. În cele din urmă, în cazul persoanelor cu handicap total sistemul ar putea fi controlat prin modulări voluntare ale ritmurilor senzorimotorii înregistrate de BCI bazate pe EEG. Astfel, aplicația a oferit pacientului diferite modalități de acces care s-au adaptat la pierderea treptată a abilităților motorii din cauza bolilor neurodegenerative progresive. Ca dispozitive de ieșire sistemul a permis utilizarea unui grup de bază de aparate electrocasnice, cum ar fi lumini, televizoare și sisteme audio, un pat motorizat, o alarmă acustică, un deschizător de ușă și un telefon, precum și camere wireless pentru a monitoriza mediul înconjurător.

Tehnicile invazive au fost propuse și în aplicațiile de control de mediu. Hochberg și colab. [287] au implantat senzori BrainGate în cortexul motor principal al unui pacient tetraplegic pentru a controla un cursor. Studiile inițiale au dat rezultate promițătoare în cazuri în care pacientul a putut gestiona aplicațiile de e-mail sau acționa dispozitive precum un televizor imaginându-și mișcările membrelor, chiar în timp ce conversa.

8.4. Locomoție

Aplicațiile BCI care permit persoanelor cu dizabilități să controleze un mijloc de transport reprezintă un domeniu important. Datorită acestor aplicații, persoanele paraplegice sau cu alte dizabilități fizice pot conduce în mod autonom un scaun cu rotile, făcându-i astfel mai independenți și îmbunătățindu-le calitatea vieții. Portabilitatea este o necesitate importantă pentru aceste tipuri de aplicații. Prin urmare este necesară utilizarea unui BCI bazat pe înregistrarea EEG. Semnalele EEG sunt de obicei foarte zgomotoase și extrem de variabile, ceea ce înseamnă un timp relativ lung între comenzi care vor avea o incertitudine ridicată. Prin urmare, principala provocare este de a obține o precizie suficientă în conducere la fel ca realizarea controlului în timp real în ciuda vitezelor de transfer de informații extrem de scăzute oferite de BCI. Din acest motiv, unele studii efectuate cu BCI au propus tehnici invazive pentru înregistrarea semnalelor EEG deoarece au obținut o rezoluție spațială mai mare și un zgomot redus. Serruya și colab. [288] au experimentat pe maimuțe implantându-le o serie de electrozi în cortexul motor. Aceste experimente inițiale au arătat că maimuțele au putut muta un cursor al calculatorului în orice poziție, deschizând astfel noi aplicații umane.

Cu toate acestea, riscurile legate de BCI-uri invazive conduc cercetările către construirea de aplicații non-invazive pentru uzul uman. Unele experimente pilot legate de locomoție ilustrează fezabilitatea utilizării semnalelor EEG pentru controlul continuu al unui robot mobil în mediul interior cu mai multe încăperi, coridoare și uși [215,289]. Rezultatele acestor experimente au deschis posibilitatea persoanelor cu dizabilități fizice de a utiliza un BCI portabil bazat pe EEG pentru controlul scaunelor cu rotile. După cum știm, în 2005 Tanaka și colab. [127] au prezentat prima aplicație a controlului scaunelor cu rotile folosind doar EEG. În acest studiu, podeaua a fost împărțită în pătrate în care utilizatorul a decis să se deplaseze imaginându-și mișcări ale membrului stâng sau drept. Condus de deciziile utilizatorului scaunul cu rotile s-a mutat dintr-un pătrat în altul. Testele efectuate cu șase subiecți sănătoși au fost destul de încurajatoare și au demonstrat viabilitatea controlului scaunelor cu rotile doar prin utilizarea semnalelor EEG.

În controlul scaunelor cu rotile de către sistemele bazate pe BCI problemele obișnuite sunt semnalul de control ocazional, viteza scăzută de transfer de informații și precizia scăzută asigurată de un BCI. În acest sens, în ultimii ani au fost prezentate câteva îmbunătățiri. S-au introdus BCI sincrone bazate pe P300 pentru a asigura o precizie mai bună. De asemenea, pentru a depăși viteza scăzută de transfer de informații a BCI, sistemele au fost dotate cu o anumită autonomie, scăzând numărul de interacțiuni necesare. Rebsamen și colab. [290] au conceput un control simplificat al scaunelor cu rotile prin limitarea mișcărilor la căile de ghidare stabilite de pacient sau de un ajutor. Aceste căi de ghidare au fost atașate unui punct specific din mediu și stocate de sistem. Utilizatorul a selectat destinația printr-un BCI bazat pe P300 și scaunul cu rotile a urmat automat calea. Utilizatorul a trebuit să decidă doar când se va opri scaunul cu rotile. Pentru ghidarea pe traseu, sistemul care conduce scaunul cu rotile a trebuit să fie informat continuu despre localizarea sa. În acest sens, scaunul cu rotile s-a bazat pe un odometru și un cititor de coduri de bare pentru a citi modelele de coduri de bare așezate anterior pe podea de-a lungul căilor. Câțiva ani mai târziu, pentru a asigura un control mai sigur, sistemul a fost îmbunătățit. Au fost utilizate două BCI-uri mai rapide bazate pe P300 și pe ritmul µ/β care permit utilizatorului să oprească mai rapid scaunul cu rotile [291]. Ambele aplicații au fost testate cu oameni sănătoși.

Principalul dezavantaj găsit în abordările precedente este că asistența la control are o flexibilitate redusă și nu este capabilă să facă față scenariilor necunoscute și populate. Iturrate și colab. [292] au depășit acest neajuns făcând ca sistemul să creeze o reconstrucție dinamică a scenariului înconjurător. Alte studii au sugerat că ajutorul ar trebui să fie disponibil numai în cazurile în care utilizatorul a întâmpinat mai multe dificultăți în conducerea scaunului cu rotile, de exemplu pe un coridor îngust [216,293,294]. În controlul partajat pot fi posibile trei niveluri de asistență: evitarea coliziunilor, evitarea obstacolelor și redresarea orientării care sunt activate doar la solicitarea utilizatorului [293]. Înainte de a executa comenzile de orientare ale utilizatorului, controlul partajat evaluează situația din datele furnizate de un set de scanere laser. Scanerele inspectează mediul și detectează posibilele obstacole sau pereți.

8.5. Divertisment

Aplicațiile BCI orientate spre divertisment au avut în general o prioritate mai mică în acest domeniu. Până acum, cercetările în tehnologia BCI s-au concentrat, de regulă, pe aplicații de asistare, cum ar fi dispozitivele de scriere, controlul scaunelor cu rotile sau neuroproteze, mai degrabă decât pe aplicații cu scop de divertisment. Cu toate acestea, interesul pentru aplicațiile de divertisment a apărut în ultimii ani datorită progreselor semnificative ale acestei tehnologii. De fapt, îmbunătățirile performanței sale au deschis calea extinderii utilizării BCI la persoanele fără dizabilități. BCI creează o nouă modalitate de interacțiune care poate transforma jocurile video în experiențe și mai provocatoare și atractive. În plus, BCI poate oferi o modalitate de acces la informații despre experiențele utilizatorului, îmbunătățind astfel jocurile prin intermediul informațiilor privind activitatea creierului. BCI poate raporta când jucătorul este plictisit, anxios sau frustrat cu scopul de a utiliza aceste informații pentru proiectarea viitoarelor jocuri [295].

Figura 10. Jocul Pacman. Jucătorul trebuie să se deplaseze prin labirint pentru a ajunge la ieșirea din peretele drept. Cea mai scurtă cale este marcată cu semne de urmărire gri, dar jucătorul poate decide să treacă prin restul labirintului pentru a primi credite suplimentare (adaptate de la [296]).

Aplicațiile BCI orientate spre divertisment au adaptat jocuri video foarte cunoscute precum Pacman, Pong și alte jocuri similare astfel încât acestea să poată fi jucate prin imaginarea mișcării [296]. În mod ilustrativ, figura 10 prezintă o captură de ecran a jocului Pacman. Pacman face un pas la fiecare 1.5 – 2 s cu scopul de a oferi jucătorului suficient timp pentru a efectua o comandă de control. Capul Pacman-ului este umplut cu culoare roșie și verde de jos în sus când intenția jucătorului de a vira crește, iar nasul galben indică direcția în care utilizatorul intenționează să ducă Pacman-ul. În alt studiu, a fost dezvoltat un joc de pinball, pentru a ilustra că este posibil să se aplice cu succes tehnicile non-invazive de înregistrare pentru sarcini complexe de control [297].

Potențiale evocate externe au fost, de asemenea, utilizate pentru implementarea jocului. Middendorf și colab. [298] au proiectat un simulator de zbor simplu controlat de un BCI bazat pe Răspunsul Evocat vizual în Regim Permanent (Steady – State Visual Evoked Response = SSVER). Acest simulator a fost foarte simplu și au fost posibile doar două acțiuni de control. Poziția poate fi mutată doar spre stânga sau spre dreapta. Două metode au fost testate în timpul încercărilor de control a unui avion. Pe de o parte, comanda de control (dreapta sau stânga) a fost detectată, în funcție de intensitatea SSVER-ului. Și pe de altă parte, selecția a fost identificată ținând cont de frecvența SSVER-ului. Rezultatele încercărilor cu participanți sănătoși au arătat că ultima a fost cea preferată, deoarece a necesitat o pregătire scurtă sau chiar deloc, pentru că sistemul a valorificat răspunsurile apărute în mod natural. Lalor și colab. [299] au prezentat jocul „Mindbalance” unde la șase utilizatori sănătoși li s-a cerut să mențină în echilibru un acrobat care merge pe sârmă. Aplicația este bazată și pe SSVEP generate ca răspuns la modelele tablă de șah cuinversare de faze. Prin intermediul celorlalte tipuri de SSVEP Finke și colab. [300] au implementat jocul „MindGame” bazat pe evenimente P300. S-a sugerat că acest joc ar fi un instrument util pentru antrenarea atenției, deoarece potențialele P300 sunt și markeri de atenție.

Figura 11. a) Casca neuronală Emotiv EPOC [5[; b) Neurosky Mindwave [6]

Toate exemplele anterioare au implicat jocuri experimentale care s-au dovedit utile doar într-un context de cercetare. Cu toate acestea, există unele companii care pregătesc jocuri BCI comerciale pentru piețe viitoare. Emotiv [5] a dezvoltat deja o serie de jocuri bazate pe BCI, cum ar fi printre altele Cortex Arcade și Spirit Mountain Demo Game. Mai mult, compania vinde un BCI de preț redus care are 14 electrozi, așa-numita cască neuronală EPOC (figura 11a) care poate fi cumpărată însoțită de interfața de programare a aplicațiilor (Application Programming Interface – API). Datorită acestei API , dezvoltarea aplicațiilor bazate pe BCI este mult mai simplă. Compania Neurosky [6] comercializează, de asemenea, casca neuronală Mindwave (figura 11 (b)) cu aplicațiile software care pot reacționa la undele cerebrale sau stările mentale ale utilizatorului [301].

8.6. Alte aplicații BCI

Sistemele BCI au fost, de asemenea, utilizate într-o mare varietate de aplicații, dincolo de domeniile tradiționale de comunicare, refacere motorie, control al mediului, locomoție și divertisment. Capacitatea feedback-ului BCI de a induce plasticitatea corticală poate fi baza pentru aplicațiile medicale. Utilizatorii pot dobândi control selectiv asupra anumitor zone ale creierului prin neurofeedback cu scopul de a induce modificări de comportament în creier. Neurofeedback-ul furnizat de un sistem BCI poate îmbunătăți performanțele cognitive [302,303], abilitățile de vorbire [304], afecțiunea [305] și gestionarea durerii [306] fiind utilizat și în tratamentul tulburărilor mintale, cum ar fi epilepsia [307,308], deficitul de atenție [309], schizofrenia [310], depresia [311], dependența de alcool [312] sau pedofilia [313]. Pe de altă parte, înregistrările semnalelor cerebrale pot fi utilizate la examinarea funcțiilor creierului pentru a evalua starea de sănătate sau boală [314].

Oportunitatea de a examina semnalele cerebrale poate fi, de asemenea, exploatată comercial. Neuromarketingul este un domeniu de cercetare relativ nou, care aplică metode neuroștiințifice în cercetarea de marketing. Până în prezent, au fost efectuate puține studii de neuromarketing, deși s-au găsit unele dovezi care sugerează că neuroimagistica ar putea avea un rol în mai multe domenii ale marketingului [315–318]. Neuromarketing-ul poate oferi un compromis mai eficient între costuri și beneficii. Conceptele de produse ar putea fi testate prin neuromarketing, eliminându-le pe cele care nu sunt promițătoare la începutul procesului de fabricație. Aceasta ar conduce la o distribuție mai eficientă a resurselor, deoarece numai produsele mai promițătoare vor fi dezvoltate [319]. În plus, neuromarketingul poate fi o sursă de informații mai exacte asupra preferințelor de bază ale utilizatorilor în comparație cu datele din studiile standard de cercetare de piață [319]. Neuroimagistica poate dezvălui informații ascunse cu privire la adevăratele preferințe ale consumatorilor care nu pot fi exprimate în mod explicit. Răspunsul creierului la reclame ar putea fi măsurat și, prin urmare, poate fi cuantificată eficiența campaniilor publicitare.

În ciuda faptului că este un domeniu emergent, mai multe companii precum Neurofocus [320], Neuroconsult [321], Neuro Insight [322] sau EmSense [323], printre altele, oferă în prezent servicii de neuromarketing. De asemenea, atrage atenția din ce în ce mai mult în rândul cercetătorilor. Domeniul a ridicat câteva probleme etice cu privire la această tehnologie, în măsura în care poate fi capabil să manipuleze creierul și comportamentul consumatorilor [324].

9. Concluzii

Acest articol a revizuit stadiul actual al sistemelor BCI discutând aspecte fundamentale ale proiectării sistemului BCI. Au fost prezentate cele mai semnificative obiective care au determinat cercetarea BCI-urilor în ultimii 25 de ani. S-a observat că multe descoperiri au fost realizate în cercetarea BCI-urilor. Diferite abordări de neuroimagistică au fost aplicate cu succes în BCI: (i) EEG care oferă semnale de calitate acceptabilă, cu o portabilitate ridicată fiind de departe cea mai obișnuită modalitate în BCI; (ii) fMRI și MEG care sunt metode atestate și eficiente pentru localizarea regiunilor active din interiorul creierului; (iii) NIRS care este o metodă de neuroimagistică foarte promițătoare în BCI; și (iv) modalități invazive care au fost prezentate ca metode valoroase pentru a furniza semnale de înaltă calitate necesare în unele aplicații de control multidimensionale, ca de exemplu controlul neuroprotezelor.

În proiectarea BCI au fost testate o mare varietate de caracteristici ale semnalului și de algoritmi de clasificare. Deși cercetarea BCI este relativ tânără, au fost obținute multe progrese în puțin peste două decenii, deoarece multe dintre aceste metode se bazează pe cercetarea anterioară a procesării semnalelor și a recunoașterii modelului. Multe studii au demonstrat precizie valoroasă a BCI-urilor și au oferit o viteză de transfer acceptabilă a informațiilor, în ciuda dificultăților majore inerente în procesarea semnalului cerebral. În consecință, timpul de pregătire a utilizatorilor a fost redus semnificativ, ceea ce a dus la aplicații BCI mai răspândite în viața de zi cu zi a persoanelor cu dizabilități, cum ar fi printre altele procesarea textelor, browserele, e-mailul, controlul scaunelor cu rotile, controlul simplu al mediului sau neuroprotezele.

În ciuda progreselor importante recente din domeniul BCI unele probleme încă trebuie rezolvate. În primul rând, avantajele și dezavantajele relative ale diferitelor metode de achiziție a semnalului sunt încă neclare. Clarificarea acestora va necesita studii ulterioare la om și animale. În al doilea rând, metodele invazive au nevoie de investigații suplimentare pentru a face față deteriorării țesuturilor, riscului de infecție și preocupărilor de stabilitate pe termen lung. Au fost deja propuși electrozii care conțin medii neurotrope care promovează evoluția neuronală și transmiterea wireless a semnalelor neuronale înregistrate. În al treilea rând, semnalele electrofiziologice și metabolice care sunt cele mai în măsură să codifice intenția utilizatorului ar trebui identificate și caracterizate mai bine. Majoritatea studiilor BCI au tratat independent timpul, frecvența și dimensiunile spațiale ale semnalelor creierului. Aceste interdependențe ale dimensiunii semnalului pot duce la îmbunătățirea semnificativă a performanței BCI. În al patrulea rând, viteza de transfer de informații furnizată de BCI-urile actuale este scăzută pentru asigurarea unei interacțiuni eficiente om-mașină în unele aplicații. BCI bazat pe semnale exogene poate oferi un randament mult mai mare. În al cincilea rând, adaptarea nesupravegheată este o provocare-cheie pentru implementarea BCI-urilor în afara laboratorului. Au fost deja propuși cu succes moderat unii algoritmi de clasificare adaptativă. Și, în sfârșit, majoritatea aplicațiilor BCI se află încă în stadiul de cercetare și nu sunt gata să fie introduse în casele oamenilor pentru utilizarea continuă în viața de zi cu zi. Pe lângă vitezele de transfer de informații reduse și fiabilitatea variabilă, majoritatea sistemelor BCI actuale sunt incomode, deoarece electrozii trebuie umeziti, software-ul poate necesita o instruire, iar contactele electrozilor au nevoie de o corecție continuă. S-a propus deja un BCI bazat pe P300 ușor de utilizat cu monitorizare la distanță folosind o conexiune la internet de mare viteză pentru a reduce dependența de experți tehnici.

Ultimele progrese ale cercetării BCI sugerează că în viitorul apropiat pot apărea evoluții inovatoare. Aceste realizări și potențialul pentru noi aplicații BCI au dat evident un impuls semnificativ cercetării BCI la care au participat oameni de știință din domenii multidisciplinare printre alții de exemplu, neurologi, ingineri, matematicieni și specialiști în recuperare clinică. Se preconizează că interesul pentru domeniul BCI va crește iar proiectarea și dezvoltarea BCI vor continua să aducă avantaje în viața de zi cu zi a persoanelor cu dizabilități. Mai mult, interesul comercial recent din cadrul anumitor companii sugerează că sistemele BCI pot găsi aplicații utile populației în general și nu doar pentru persoanele cu dizabilități severe. În viitorul apropiat, sistemele BCI prin urmare pot deveni un nou mod de interacțiune om-mașină cu utilizări zilnice, similare cu alte interfețe actuale.

Bibliografie

[1] Lal TN, Hinterberger T, Widman G, Schröder M, Hill NJ, Rosenstiel E, Elger CE, Schölkopf B, Birbaumer N (2004) Methods towards invasive human brain computer interfaces. In: Conference on Neural Information Processing Systems

[2] Smith RC (2004) Electroencephalograph based brain computer interfaces. Thesis for Master of Engineering Science, University College Dublin

[3] Curran E, Stokes MJ (2003) Learning to control brain activity: A review of the production and control of EEG components for driving brain-computer interface (BCI) systems. Brain Cogn 51:326–336

[4] Hjelm SI, Browall C (2000) Brainball—Using brain activity for cool competition. In: Proceedings of NordiCHI 2000

[5] Allison, Brendan & Neuper, Christa. (2010). Could anyone use a BCI?. Brain-Computer Interfaces: Human-Computer Interaction Series. 35-54. 10.1007/978-1-84996-272-8_3

[6] Fazli S., Danóczy M., Popescu F., Blankertz B., Müller KR. (2010) Using Rest Class and Control Paradigms for Brain Computer Interfacing. In: Tan D., Nijholt A. (eds) Brain-Computer Interfaces. Human-Computer Interaction Series. Springer, London https://doi.org/10.1007/978-1-84996-272-8_4

[7] Thurlings, Marieke & B. F. van Erp, Jan & Brouwer, Anne-Marie & Werkhoven, Peter. (2010). EEG-Based Navigation from a Human Factors Perspective. Brain-Comput. Interfaces. 71-86. 10.1007/978-1-84996-272-8_5.

[8] Anupama, H.S. & Cauvery, N.K. & Lingaraju, G.M.. (2012). Brain computer interface and its types-a study. International Journal of Advances in Engineering & Technology. 3. 739-745.

[9] Moore Jackson M., Mappus R. (2010) Applications for Brain-Computer Interfaces. In: Tan D., Nijholt A. (eds) Brain-Computer Interfaces. Human-Computer Interaction Series. Springer, London https://doi.org/10.1007/978-1-84996-272-8_6

[10] Do, An & T Wang, P & King, Christine & Schombs, A & N Chun, S & Nenadic, Zoran. (2013). Brain-Computer Interface Controlled Robotic Gait Orthosis. 10.3217/978-3-85125-260-6-127.

[11] R. Xu et al., "A Closed-Loop Brain–Computer Interface Triggering an Active Ankle–Foot Orthosis for Inducing Cortical Neural Plasticity," in IEEE Transactions on Biomedical Engineering, vol. 61, no. 7, pp. 2092-2101, July 2014. doi: 10.1109/TBME.2014.2313867

[12] López-Larraz E, Trincado-Alonso F, Rajasekaran V, et al. Control of an Ambulatory Exoskeleton with a Brain–Machine Interface for Spinal Cord Injury Gait Rehabilitation. Frontiers in Neuroscience. 2016;10:359. doi:10.3389/fnins.2016.00359.

[13] J. L. Contreras-Vidal and R. G. Grossman, "NeuroRex: A clinical neural interface roadmap for EEG-based brain machine interfaces to a lower body robotic exoskeleton," 2013 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Osaka, 2013, pp. 1579-1582. doi: 10.1109/EMBC.2013.6609816

[14] Delorme, Arnaud & Kothe, Christian & Vankov, Andre & Bigdely-Shamlo, Nima & Oostenveld, Robert & Zander, Thorsten & Makeig, Scott. (2010). MATLAB-based tools for BCI research. (B+H)CI: Brain Computer Interfaces: Applying our Minds to Human-Computer Interaction. 241-259. 10.1007/978-1-84996-272-8_14.

[15] Arnaud Delorme, Tim Mullen, Christian Kothe, et al., “EEGLAB, SIFT, NFT, BCILAB, and ERICA: New Tools for Advanced EEG Processing,” Computational Intelligence and Neuroscience, vol. 2011, Article ID 130714, 12 pages, 2011. doi:10.1155/2011/130714

[16] Delorme, Arnaud & Makeig, Scott. (2004). EEGLAB: an open source toolbox for analysis of single-trial EEG dynamics. Journal of Neuroscience Methods. 134. 9-12.

[17] Cyril R. Pernet, Nicolas Chauveau, Carl Gaspar, and Guillaume A. Rousselet, “LIMO EEG: A Toolbox for Hierarchical LInear MOdeling of ElectroEncephaloGraphic Data,” Computational Intelligence and Neuroscience, vol. 2011, Article ID 831409, 11 pages, 2011. doi:10.1155/2011/831409