Procesarea Semnalelor de Tip E.e.g. Ca Suport al Unor Comenzi Bazate pe Acte de Vointa

CUPRINS

Cap.1 Aspecte generale ale procesării EEG

Cap.2 Metode de procesare a semnalelor EEG

Cap.3 Prelucrarea și interpretarea semnalelor de tip EEG. Identificare pattern-uri

Cap.4 Lansarea și gestionarea comenzilor bazate pe acte de voință

CONCLUZII

BIBLIOGRAFIE

REZUMAT

CUVINTE CHEIE

LISTA ACRONIME

LISTA TABELE FIGURI

0. INTRODUCERE

Din punct de vedere istoric, problema relației corpului uman cu mintea umană a fost cel mult un aspect reflectat în mod opac; atributele mentale ale oamenilor au fost doar vag legate de atributele creierului. În ciuda creșterii nivelului de cunoștințe privind morfologia creierului și funcția sa, la începutul secolului XX, cu greu a fost îmbrățisată de cercetători ideea că natura rațiunii umane ar putea fi legată de o nouă dimensiune a cunoștinței diferită de ceea ce este accesibil prin intermediul metodelor științifice clasice.

Creierul uman este format din miliarde de neuroni interconectați prin intermediul sinapselor neuronale, de dimensiuni microscopice. Atunci când neuronii interacționează, tiparele se manifestă ca și gândurile singulare cum ar fi un calcul matematic, și ample stări emoționale, cum ar fi atenția. În medie un om „gândește” aproximativ 70.000 de gânduri în fiecare zi. Ca un subprodus, fiecare interacțiune între neuroni creează o descărcare electrică minusculă, măsurabilă prin aparatul EEG (electroencefalograf). Prin ele însele, aceste încercări sunt imposibil de măsurat din afara craniului. Cu toate acestea, o stare dominant mentală, condusă de activitatea neuronului creată de sute de mii de descărcări concurente, poate fi măsurată.

Identificarea mecanismelor neuronale și computaționale care stau la baza proceselor psihologice specifice necesită individualizarea unor procese psihologice.

Investigații ale funcției cerebrale vor contribui la evoluția teoriilor psihologice sofisticate, si oamenii de știință vor analiza aspectele centrate pe nivelul psihologic ca și element central. Psihologia ca știință poate/trebuie să devină nu numai știința comportamentului evident, și nu numai știința minții, dar, de asemenea, știința funcției cerebrale. Pentru a putea pune în valoare aceste aspecte ale științei psihologiei este necesară utilizarea unor instrumente și dispozitive moderne de investigație sau a unor metode noi (de ex. EEG, fMRI, neurofeedback, etc).

Stadiul actual al cercetării în domeniu

La nivel internațional, cercetările privind EEG si interfațarea dintre creier și mașini au început în 1969 pe animale la University of Washington School of Medicine în Seattle unde s-au desfășurat experimente și au reușit sa realizeze controlul unui braț robotic prin simpla gândire. Termenul "Brain-Computer Interface" a fost introdus pentru prima dată de către lucrările de pionierat ale Dr. J. Vidal, la începutul anilor 1970. După ani de experimente pe animale, primele dispozitive neuronale implantate la om a apărut în mijlocul anilor 1990. Un subiect a reușit sa comunice prin mutarea cursorului unui mouse cu gândul. De atunci și pana astăzi s-au realizat numeroase studii și experimente. Această creștere a interesului fata de acest domeniu a fost determinată de dezvoltarea domeniului IT&C și scăderea costurilor pentru echipamente de calcul, o mai bună înțelegere asupra funcțiilor normale și anormale ale creierului, și dezvoltarea de noi metode de achiziție de semnale ale activității electrofiziologice a creierului în timp real și cu echipamente ușor de utilizat. Ca urmare, performanța și gradul de utilizare și dezvoltare a sistemelor BCI au avansat în mod semnificativ în ultimii ani.

Posibilitatea de a stabili o comunicare directa și un canal de control intre creierul uman și calculatoare sau roboti a fost un subiect de speculație științifica și chiar științifico-fantastic de mulți ani. În ultimii ani interesul pentru domeniul BCI a crescut semnificativ, iar acum sunt peste 400 de grupuri la nivel mondial angrenate intr-un spectru larg, programe și proiecte de cercetare și dezvoltare, folosind o varietate de semnale ale creierului, caracteristici de semnal, analiza și algoritmi de translație.

Cercetătorii au efectuat în ultimii ani experimente ce au condus la descoperiri importante în domeniu BCI, care au condus la îmbunătățirea substanțiala a vieții oamenilor cu tulburări neurologice cum ar fi scleroza amiotrofica laterala avansata sau îmbunătățiri ale motorului funcțiilor senzoriale sau cognitive ale omului. Mai multe dispozitive de tip caști EEG bazate pe interfața creier calculator sunt pe piața.

MindSet, fabricata de către NeuroSky, utilizează un senzor și discerne starea emoționala a utilizatorului, dar nu modele de gândire specifice. OCZ Technology produce Impulsul Neuronal Dispozitiv de comanda (Neural Impulse Actuator (NIA)) care are trei electrozi pe frunte. NIA a fost în principal conceput pentru jocuri și nu are nici un kit de dezvoltare software disponibil.

Electroencefalograma (EEG), neinvazivă – bazata pe tehnologiile BCI a fost folosita în experimente pentru a controla cursorul unui calculator sau o proteza la nivelul membrelor, pentru procesare de text și acces la internet, precum și pentru alte funcții, cum ar fi controlul mediului înconjurător sau de divertisment. De asemenea, cercetătorii au demonstrat ca modificarea deliberata a amplitudinii ritmurilor sensorio-motorii (SMR) în timpul imaginii cu motor poate fi folosita pentru a controla aplicații externe.

La nivel național sistemele BCI si utilizarea EEG sunt încă intr-o faza incipienta și sunt destul pe puține studii și produse dezvoltate în aceasta direcție. În ultimii ani a existat o creste a interesului fata de BCI și aplicațiile ce pot fi dezvoltate dar nu exista produse finite și accesibile din punct de vedere economic. Exista un „Sistem de investigație, asistare și control al afecțiunilor neurologice bazat pe interfața creier-calculator (BCISIS)”elaborate în cadrul unui proiect de către Universitatea de Medicină și Farmacie "Gr. T Popa" Iași. Acest sistem este încă în stadiu de cercetare și dorește sa dezvolte un sistem care sa permită persoanelor cu dezabilități neuromotorii sau a celor ce învăță, să determine voluntar atribute ale semnalului EEG.

Cap.1 Aspecte generale ale procesării EEG

În 1924, Berger a fost primul care a înregistrat activitatea creierului uman, prin mijloace de EEG. Prin analiză, Berger a fost capabil să identifice activitatea oscilatorie în creier, cum ar fi valul alfa (8-12 Hz), de asemenea, cunoscut sub numele de val Berger.

De asemenea, Berger a analizat relațiile dintre alternanțe în diagrame de undă EEG cu boli cerebrale. EEG permite posibilități complet noi de cercetare a activităților creierului uman.

EEG este o tehnologie predominantă în activitatea de BCI. Acesta folosește electrozi plasați direct pe scalp pentru a măsura potențialele electrice slabe (5–100 µV) generate de activitatea în creier. Din cauza lichidului, osului și pielii care separă electrozii de activitatea electrică reală, semnalele tind să fie atenuate și destul de zgomotoase.

Prin urmare, în timp ce măsurătorile EEG au o bună rezoluție temporală cu întârzieri în zeci de milisecunde, rezoluția spațială tinde să fie săracă, variind în cel mai bun caz la o acuratețe în jur de 2-3 cm, dar de obicei chiar mai puțin. Doi centimetri pe cortexul cerebral poate fi diferența dintre a deduce că utilizatorul ascultă muzică, când de fapt acesta își mișcă mâinile.

Tehnologia spectroscopiei funcționale a infraroșului apropiat (din lb. eng. Functional Near Infrared Spectroscopy fNIRS), funcționează prin proiectarea luminii infraroșie în creier de la suprafața scalpului și măsurând schimbări optice la diferite lungimi de undă în timp ce lumina este reflectată înapoi. Răspunsul NIR al creierului măsoară hemodinamica cerebrală și detectează volumul de sânge localizat și schimbări de oxigenare (Chance, 1998). De vreme ce schimbările în oxigenarea țesuturilor cu activitatea creierului modulează absorbția și dispersia fotonilor de lângă lumina infraroșie la diferite cantități, fNIRS poate fi folosit pentru a construi hărți funcționale ale activității cerebrale.

În interfața creier-calculator, cercetarea vizează în mod direct controlul calculatoarelor. Rezoluția temporală este de cea mai mare importanță, deoarece utilizatorii trebuie să-și adapteze activitatea creierului bazată pe feedback-ul imediat oferit de sistem.

Prin urmare, deși rezoluția spațială mică a acestor dispozitive conduc la o rată scăzută de transfer de informații și localizare slabă a activității creierului, în prezent cei mai mulți cercetători folosesc EEG, din cauza rezoluției temporale mare pe care o oferă.

Interfața creier-calculator a început să iasă din neuroștiintă și din domeniile medicale, și satisfacerea nevoilor pacientului a devenit o forță motivantă. Mare parte din această muncă vizează să îmbunătățească viața pacienților cu tulburări neuromusculare severe cum ar fi scleroza laterală amiotrofică (ALS), de asemenea cunoscută și sub numele de boala Lou Gerig, accidente cerebrale vasculare sau leziuni ale coloanei vertebrale. În etapele ulterioare ale acestor tulburări, mulți pacienți pierd orice control asupra trupurilor lor fizice, inclusiv funcțiile simple, cum ar fi respirația. Cu toate acestea mulți dintre acești pacienți păstrează controlul deplin al abilităților cognitive.

În timp ce tehnologiile medicale care îmbunătățesc funcțiile vitale ale corpului extind durata de viață a acestor pacienți, aceste tehnologii nu atenuează frustrarea mentală sau izolarea socială cauzată de nici o modalitate de a comunica cu lumea externă. Fuzionarea acestor pacienți cu interfețe creier-calculator, care le permit să controleze calculatoarele direct prin semnalele creierului lor, si ar putea crește calitatea vieții acestora. Complexitatea acestor interacțiuni variază de la decizii binare simple de a muta cursorul pe ecran la un control mai ambițios și complex de dispozitive mecanice protetice.

Atunci când utilizatori își pierd funcționalitatea mâinilor, de obicei se apelează la ochi sau la mișcarea capului, sau chiar vorbire, pentru a controla calculatoarele lor, dar atunci când își pierd controlul asupra mișcărilor fizice, funcția fiziologică, ei au control doar asupra activității creierului.

Pentru a utiliza cu succes controlul interefeței creier-calculator, utilizatorii trebuie să învețe să manipuleze intenționat semnalele creierului lor. Până în prezent, au existat două abordări pentru instruirea utilizatorilor pentru a controla semnalele lor cerebrale.

În primul rând, utilizatorii primesc sarcini cognitive specifice, cum ar fi imagini cu motor pentru a genera măsurarea activității creierului. Folosind această tehnică, utilizatorul poate trimite un semnal binar la calculator, de exemplu, prin imaginarea de secvențe de odihnă și activitate fizică, cum ar fi mutarea brațelor lor.

A doua abordare, numită condiționarea operantă, oferă utilizatorilor feedback continuu în timp ce aceștia încearcă să controleze interfața. Utilizatorii se pot gândi la orice sau la nimic, atâta timp cât aceștia ating rezultatul dorit. După mai multe sesiuni, utilizatorii obțin control asupra interfeței fără să fie conștienți de modul în care execută sarcina. Din nefericire, mulți utilizatori consideră că această tehnică este greu de stăpânit și utilizat.

Metode de analiza și extracție a informației din semnalele EEG :

Analiza componentelor independente (ICA) – ICA este o metodă dezvoltată recent și scopul său este de a găsi o reprezentare distribuție nongaussiană a datelor astfel încât componentele să fie statistic independente. Este o tehnică apărută relativ recent în prelucrarea semnalelor EEG, care încearcă să separe mărimi independente, care sunt inaccesibile direct în transformări ale acestora care sunt măsurabile. ICA este un instrument matematic, bazat pe separarea "oarba a surselor ".

Analiza componentelor independente fost inițial propusa, pentru a recupera semnale independente de sursă, S={S_1 (t)….S_N (t)} (de exemplu, surse de voce, muzică sau zgomot), după ce au fost amestecate cu o matrice necunoscută. Nu se cunoaște nimic despre surse sau procesul de amestecare cu excepția faptului că există N amestecuri diferite înregistrate, x={x_1 (t)….x_N (t)}. Sarcina este de a recupera o versiune u = Wx de surse originale S, identice pentru scalare și permutare, prin găsirea unei matrice pătratică, W, precizând filtrele spațiale care ar inversa procesul de amestecare liniară.

Analiza componentelor principale (PCA) – Metoda componentelor principale (PCA) este o metoda tipica pentru prelucrarea de semnal, analiza datelor statistice, extracție caracteristică și de reducere a datelor, cu scopul de interpretare a semnalelor observate ca o combinație liniară a principalelor componente ortogonale.

Metoda combinației și regresiei liniare – folosirea combinației liniare dintre semnalului EEG contaminat de semnalul EOG și semnalul EOG, este tehnica cea mai comună pentru a scoate artefacte oculare din semnalelor EEG. Tehnica combinației liniare se bazează pe următorul model: EEG rec (T) = EEG true (t) + s.EOG (K); în cazul în care, EEG rec (T) – este semnalul EEG înregistrat care deține artefacte; EEG true (T) – EEG ca urmare a activității corticale (de exemplu, activitatea creierului) s.EOG (k) – artefactul ocular datorat clipirii sau/și mișcării, care are impact asupra traseului EEG; S este o constantă necunoscută.

Transformata Fourier – constă în descompunerea semnalelor în sume de sinusoide sau de exponențiale complexe prin care se transformă semnalul din domeniul timp în domeniul frecvență. Analiza Fourier prezintă un dezavantaj major și anume acela că prin transformarea în domeniul frecvență, informația cu privire la timp se pierde. Multe semnale conțin numeroase porțiuni tranzitorii sau nestaționare. Aceste porțiuni sunt adesea cele mai importante părți ale semnalului, iar analiza Fourier nu le poate detecta. Pentru a corecta deficiența mai sus menționată, Denis Gabor a adaptat transformata Fourier pentru a putea analiza doar o mică secțiune dintr-un semnal la un moment dat. Adaptarea lui Gabor numită transformata Fourier pe termen scurt (STFT – Short Time Fourier Transform) transformă semnalul într-o funcție bidimensională de timp și scală. Această adaptare este considerată ca fiind puntea de legătură dintre tehnicile globale de analiză și teoria recentă a funcțiilor wavelet.

Transformata Wavelet Discretă (DWT) este o extensie a seriei de funcții wavelet pentru semnale discrete de lungime finită. DWT este aplicabilă semnalelor eșantionate în timp, ea derivând din CWT prin cuantizarea scalei și a întârzierilor. Pentru ca o funcție să poată fi wavelet „mamă”, aceasta trebuie să fie admisibilă. O funcție , este admisibilă dacă : ,unde este transformata Fourier a lui g(t). Constanta este constantă de admisibilitate a funcției , iar cerința ca aceasta să fie finită permite inversarea transformatei wavelet. Orice funcție admisibilă poate fi o funcție Wavelet „mamă”. Pentru o funcție dată , condiția este adevărată numai dacă: , adică dacă .

Acestea sunt câteva dintre cele mai noi metode de preprocesare utilizate pentru separarea semnalelor EEG în componente de interes, precum modele ale creierului asociate output-urilor și care vor fi utilizate pentru dezvoltarea algoritmului pentru identificarea modelelor activitatii electrofiziologice pe baza identificării stărilor metale și ritmurilor senzorio-motorii ale creierului, și realizarea pachetului de algoritmi pentru comandarea diferitelor dispozitive/ echipamente aflate la distanta.

Fig. Schema de funcționare a unui ansamablu BCI

Scopul BCI este de a translata intențiile umane – reprezentate prin semnale potrivite – în semnale de control pentru un dispozitiv de ieșire, ca de exemplu un calculator sau o neuroproteză. O BCI nu trebuie să depindă de traseele de ieșire normale ale nervilor periferici și ale mușchilor. Persoanele paralizate total nu pot beneficia de tehnologiile convenționale de comunicare deoarece toate acestea implică o anumită măsură a controlului mușchilor. În ultimele două decenii, s-au efectuat multe studii ce au evaluat posibilitatea ca semnalele înregistrate de pe scalp sau în interiorul creierului să fie folosite pentru o nouă tehnologie ce nu necesită controlul mușchilor.

Aceste sisteme BCI sunt foarte simple și nu pot fi folosite pentru a controla gândurile oamenilor. Cercetarea în domeniul sistemelor BCI încearcă să folosească activitatea cerebrală pentru a ajuta oamenii să trimită mesaje, nu să schimbe activitatea cerebrală „scriind” informații în creier.

Există un interes destul de ridicat în a pune la dispoziția persoanelor cu un grad ridicat de invaliditate o modalitate de a comunica. Aceste sisteme vor deveni practice și pentru pacienți cu un nivel mai redus de invaliditate dar nu vor ajunge să înlocuiască interfețele tradiționale de comunicare (tastatura, mouse-ul). Totuși în anumite condiții sistemele BCI pot fi folositoare și pentru oameni sănătoși atunci când acestea au de efectuat anumite operații care le țin mâinile ocupate. Sistemele BCI vor putea să ajute nu doar la comunicare, dar și la „repararea” (vindecarea) anumitor afecțiuni cerebrale.

BCI invazive și neinvazive

Sistemele BCI se pot împărți în două clase mari: invazive și neinvazive.

Sistemele BCI invazive

Sistemele BCI invazive au fost dezvoltate pentru persoane cu dizabilități. Neurochirurgia a permis ca o persoană să controleze o mână artificială folosind BrainGate Neurotehnologie Cibernetică, precum și operarea cursorului unui calculator etc. În acest sistem electrozii sunt implantați în creier sau direct pe suprafața creierului. Acești sensori creează o imagine mult mai directă/reală a activității creierului, dar pentru aplicarea lor e necesară o intervenție chirurgicală. Electrozi plasați în creier sunt denumiți „microelectrozi”. Ca personalitățile în acest domeniu Phil Kennedy și John Donoghue, și-au realizat munca bazându-se pe experimente efectuate pe animale. Electrozi plasați pe suprafața creierului măsoară activitatea ECoG (electrocorticogram). În ECoG BCI cei mai vizibili cercetători sunt Kai Miller, Eric Leuthardt și Gerwin Schalk.

Sistemele BCI neinvazive

Sistemele BCI neinvazive sunt de departe cele mai comune deoarece nu necesită nici un fel de intervenție chirurgicală. Majoritatea sistemelor BCI neinvazive se bazează pe analiza semnalului EEG (electroencefalograma). Aceasta măsoară în timp real activitatea electrică a creierului vizibilă la suprafața scalpului. Spre deosebire de sistemul invaziv care implică riscul asociat oricărei operații pe creier, sistemele neinvazive sunt practic inofensive.

Astfel, cel mai mare avantaj al abordării neinvazive este că putem folosi sistemul în viața noastră obișnuită. Pentru persoanele apte de muncă, cererea de sisteme BCI neinvazive este din ce în ce mai extinsă.

Un sistem BCi neinvaziv captează semnalele cerebrale prin EEG, extrage și clasifică anumite caracteristici de semnal și le transmite aplicației. Noi utilizări ale sistemelor BCI neinvazive continuă să apară în literatura de specialitate, în special recent. Categoriile cele mai notabile ale unor astfel de sisteme se bazează pe Corticale potențiale lente (din lb. eng. Slow Cortical Potentials – SCP), component P300, Starea de echilibru vizual potențial evocat (din lb. eng. Steady-state visual evoked potențial – SSVEP) și evenimente legate de desincronizare (din lb. eng. Event-related desynchronization – ERD).

Descoperirile unui grup de cercetători de la Universitatea din Pittsburg ar putea schimba în mod radical datele problemei, deschizând calea pentru o nouă generație de implanturi pe creier, mult mai bine tolerate pe termen lung și miniaturizate la un nivel care să permită monitorizarea precisă a neuronilor individuali. Toate aceste lucruri ar putea fi posibile cu ajutorul unei noi generații de electrozi realizați din micro-fibre de carbon, fiecare măsurând aproximativ 7 micrometri în diametru.

De 100 de ori mai subțiri decât electrozii tradiționali folosiți acum în testele pe animale, cei realizați din fibre de carbon pot fi acoperiți într-un înveliș protector menit să prevină reacția de respingere, încurajând totodată formarea de legături directe între aceștia și rețelele neuronale din creier. Spre comparație, electrozii metalici rigizi folosiți în prezent pentru implanturi pe creier tind să fie prea mari pentru folosire îndelungată, favorizând cicatrizarea locală a țesutului și devenind tot mai ineficienți în păstrarea unui canal de comunicație viabil. Implanturile cu micro-fibre de carbon ar putea scăpa cu totul de aceste probleme, iar diametrul redus al filamentelor de carbon lasă loc pentru creșterea densității de electrozi, fapt ce permite interacțiunea mai eficientă cu zone cheie ale creierului, cum ar fi centrii responsabili de vedere, auz, vorbire, sau controlul unor membre paralizate.

Pentru moment, experimențele de laborator au evidențiat câteva obstacole care trebuie depășite înainte ca implanturile cu electrozi din micro-fibre de carbon să devină realitate. Fiind foarte subțiri și flexibile, filamentele din carbon sunt dificil de poziționat și înserat în țesutul cerebral, multe rupându-se înainte de a fi montate.

Dispozitivul NeuroSky Mindwave utilizat este accesibil, portabil și fără fir. Folosește un singur senzor uscat amplasat conform sistemului internațional 10-20, în zona corespondentă punctului FP1 (fruntea este o locație convenabilă pentru introducerea unui senzor de contact; evită problema de a realiza o conexiune bună prin păr, și preia semnale importante din zona cortexului frontal implicit un semnal puternic și mai puțin sensibil la artefacte).

Toată tehnologia NeuroSky este unidirecțională; informațiile circulă de la creier la echipamente, niciodată invers.

Tipuri de măsurări permise de cască:

semnal brut;

spectru de putere EEG neurologic (unde Alpha, Beta, etc.)

indicator eSense (algoritm proprietar fabricant) pentru atenție;

indicator eSense pentru meditație;

detecție clipire eSense.

Într-un experiment făcut în urmă cu câțiva ani, așa cum era de așteptat, fMRI a relevat multe regiuni locale ale creierului implicate în activități cognitive specifice, cum ar fi recunoașterea unei fețe sau înțelegerea limbajului. Interesantă este însă descoperirea complementară a unui model constant de activitate al lobului frontal și parietal asociat cu mai multe tipuri diferite de procese cognitive. MD pattern (modelul cerere multiplă) este identificat în sarcinile de lucru cu memoria, cu limbajul, în rezolvarea problemelor de aritmetică, și altele similare.
Cu fMRI, rețeaua modelului cerere multiplă poate fi definită cu precizie la nivelul creierului. De multe ori, regiunile MD sunt imediat adiacente regiunilor cu diferite proprietăți funcționale. Prin identificarea regiunilor MD specifice în creier, se poate realiza o analiză detaliată a proprietăților funcționale și contribuției acestora la controlul atenției.

După ce regiunile MD sunt definite, proprietățile lor fiziologice pot fi examinate utilizând o gamă largă de metode complementare.

Prin fMRI, de exemplu, reprezentări detaliate ale evenimentelor asociate sarcinilor pot fi studiate folosind analiza de tip multivoxel.

Rezultatele analizei arată codificarea mai multor tipuri de informații, inclusiv stimulente relevante, răspunsuri și reguli. În cortexul frontal, de exemplu, neuronii arată adaptarea cu mare viteză în sensul codării informațiilor și a evenimentelor de comportament specifice.

Componentele sistemului MD sunt anatomic distincte, dar totuși în analiză prin fMRI, activitatea lor este în mare măsură similară.

Teste cunoscute privind "inteligența fluidă" (Inteligența Fluidă este capacitatea de a gândi logic și de a rezolva problemele în situații noi, independent de cunoștințele dobândite anterior. Inteligența fluidă presupune capacitatea de a identifica modele și relații care stau la baza noilor probleme și de a extrapola aceste constatări folosind logica.) – sunt de interes pentru probabilitatea lor de a prezice succesul în multe tipuri de sarcini de laborator și din lumea reală. În fMRI, testele de inteligență fluidă prezintă activitate puternică la nivelul regiunilor MD, iar în cazurile cu probleme neurologice, se descoperă faptul că afectarea inteligenței fluide poate fi prezisă de leziuni ale regiunilor MD.

Pentru validarea conceptului de regiuni MD s-a analizat o formă bizară de eroare a creierului numită „neglijarea scopului”. În “neglijarea scopului” o persoană știe și poate descrie regulile de lucru ce i se trasează, dar aceste reguli și sarcini nu au nicio influență efectivă asupra comportamentului acesteia. Cazurile extreme sunt bine cunoscute în literatura de specialitate și se referă la problemele privind lobul frontal, dar de obicei când sarcinile sunt noi și complexe, neglijarea scopului poate fi identificată și în randul populației normale. Din cercetările realizate de-a lungul timpului se pare că inteligența fluidă și funcționarea acesteia se leagă destul de mult de eroarea privind neglijarea scopului asupra controlului atenției.

Inteligența fluidă scade puternic odată cu vârsta. Multe teste clinice sunt utilizate pentru a măsura deficitul de control al pacienților cu probleme ale lobului frontal.

Având în vedere faptul că inteligența fluidă este afectată de leziuni ale regiunilor MD, pierderea de informații uzuale ale individului este o explicație logică a unor deficite și deficiente clinice.

Rezultatele testelor prezintă o imagine intrigantă. Pentru unele teste comune, deficiențele lobului frontal ale unui individ sunt explicate în întregime de nivelul de inteligență fluidă.

Cunoscând că o mare parte din lobul frontal se află în afara regiunilor MD, ar trebui să ne așteptăm ca acest deficit să nu se prezinte în cazul tuturor testelor. Confirmând această predicție, unele aspecte ale controlului executiv (cogniția socială, aspectele multi-tasking) arată deficiențe separate de inteligență fluidă.

Pentru o varietate de deficiențe de atenție apărute ca urmare a unor leziuni ale creierului se utilizează o evaluare cognitivă sofisticată cu scopul îmbunătățirii prin instruirea și antrenarea capacității de control a atenției.

Cap.2 Metode de procesare a semnalelor EEG

Aplicație practică BCI

În această cercetare a fost investigat nivelul atenției și cel al meditației a 10 subiecți cu vârstă de 4 ani pe parcursul a două săptămâni, la ora 9:30 și la ora 12:30. Metoda folosită a fost jocul de numerație în limitele 1-5 cu două variante distincte pentru fiecare zi de măsurare. Rezultatele au fost înregistrate de căsca Neurosky MindWavea Headset și cu ajutorul unei conexiuni Wi-fi, au fost stocate și prelucrate. În urma prelucrării datelor se urmărește corelarea graficelor cu observațiile educatoarei, iar rezultatele au implicații practice în realizarea feed- backului educator- subiect.

Deoarece copiii preșcolari prezintă în cadrul activităților desfășurate în grădiniță fluctuații permanente ale atenției și pentru că este dificil de stabilit momentul oportun de predare a unor conținuturi ale programei, acest raport vine în sprijinul educatoarelor și al psihologilor educaționali care doresc să afle mai multe despre atenție și curba de efort în timpul zilei și al unei săptămâni.

Acest raport de cercetare centrat pe atenție și a capacității de concentrare în două momente ale zilei în special atunci când se desfășoară într-o singură zi activități din mai multe domenii ( de exemplu Educarea limbajului, Educație fizică și opțional de pian). Am căutat punctele comune, caracteristice vârstei de 5 ani precum și individualitatea atenției.

Se consideră că atenția este elementul cheie în desfășurarea oricărei activități în sfera educației preșcolare ce se dorește a fi eficientă în sensul atingerii obiectivelor propuse. Este cunoscut faptul că învățarea la vârste mici se bazează foarte mult pe observare și imitație. Dacă dorim ca observarea să fie una productivă ne folosim de activarea atenției prin diverse metode: introducerea unui element surpriză de natură vizuală, auditivă, tactilă, olfactivă și gustativă, metoda recompensei și a pedepsei. Imitația se folosește și ea de atenție, însă mai ales prin factorii interni ce țin de motivație și evaluarea propriei acțiuni, deci de gândire.

Cele mai noi teorii ce descriu atenția sunt teoriile cognitive care susțin paradigma ascultării dihotomice, stilul de analiză a informației precum și ipoteza operatorilor constructivi.

Prima se referă la utilizarea în procesul selecției a unor operatori speciali care asigură calitățile fundamen-tale ale atenției cum sunt centrarea, mobilitatea și concentrarea atenției.

A doua teorie face referire la urmărirea a două căi în analiza informației și anume calea automată care nu operează nicio selecție a stimulilor cu care se interacționează și calea selectiv- orientată, cea de semnificare și preluare a unor semnale în raport cu alte semnale.

A treia teorie, susținută de Ribaupierre (1983) și Pascual-Leone (1984) aduce în prim plan în explicarea mecanismului atenției, operatorii constructivi ce procesează informația punctual sau integrat și se prezintă secvențial.

În rularea testelor am utilizat următoarele dispozitive: casca Neurosky Mindwave ca metodă de preluare EEG, aplicația software OpenVibe prin intermediul căreia am făcut programarea rulării stimulilor și cu ajutorul căreia am obținut o defalcare a semnalului EEG și programul Excel pentru prelucrarea fișierelor .csv rezultate ca output din aplicația OpenVibe.

La fiecare rulare, pentru fiecare participant s-au preluat direct în OpenVibe sub formă de .csv file, următoarele: atenția si meditația (ambele mărimi calculate cu o tehnologie proprietar Neurosky) și undele cerebrale defalcate în: Delta, Theta, Low alpha, High alpha, Low Beta, High Beta, Low Gamma, Mid Gamma. La fiecare rulare s-a înregistrat și timpul citirii fiecărei valori. Conform modului propriu de funcționare, casca Mindwave efectuează un număr de 512 citiri per secundă.

Semnalul brut EEG citit de cască și trimis în mod wireless spre computer mai exact direct în modulul software OpenVibe, este descompus automat de acest software și scris ca output într-un fișier .csv.

OpenVibe oferă un sistem de control care ne-a asigurat ca pe perioada testării, contactul fizic dintre sensor și piele a fost menținut fără întrerupere sau bruiaje.

Fișierele .csv obținute au fost apoi prelucrate individual per test, separându-se din conținutul lor, fiecare tip de element măsurat.

După separarea elementelor componente, acestea au fost analizate prin metode grafice și matematice din punct de vedere al valorii numerice în sine, din punct de vedere al trendului și comportamentului pe durata expunerii la stimulii emoționali, din punct de vedere al variației între 2 puncte de control, din punct de vedere al corelării acestuia cu condițiile externe și stimuli aplicați.

Un alt scop a fost acela de a încerca identificarea unui comportament propriu al fiecărui subiect testat, în raport cu o tipologie anume de stimulare.

Toate testările au avut loc în același spațiu fizic pentru a asigura condiții identice. Fiecare subiect testat s-a aflat singur în spațiul de testare, încercând eliminarea la maxim a oricăror altor stimuli externi de natura emoțională.

Fig. Schema ansamblu de testare și studiu

Organizarea fluxului de lucru este făcută în așa fel încât să asigure output-urile necesare și suficient de cuprinzătoare pentru a putea fi supuse unei analize riguroase.

Fig.Casca Mindwave și captura din aplicația OpenVibe

Echipamentele utilizate în cadrul cercetărilor proprii (neuro headsets) sunt elemente de natură inovativă care îmbină în ele tehnologii de tip TIC cu cercetările medicale de laborator în domeniul neuro-științelor.

Echipamentele inovative pe care le utilizăm sunt produse recente, începând cu anul 2009-2010. Utilizăm echipamente și senzori neuro produși de Neurosky, Emotiv, Interaxon.

În prezent, deținem unul din primele dispozitive neuro MUSE din România, în cadrul laboratorului de cercetări.

NeuroSky a dezvoltat un sistem cu senzori uscați pentru aplicații de larg consum ale tehnologiei EEG. Sistemul NeuroSky este format din electrozi uscați și un circuit electronic special concepute pentru electrozi uscați.

Pentru validare, NeuroSky a efectuat teste de măsurare ale EEG uscat prin compararea semnalelor EEG provenite din sistemul de senzori uscat cu semnale de la sistemul Biopac, un sistem bine cunoscut cu electrozi umezi EEG utilizato pe scară largă în aplicații medicale și de cercetare. EEG a fost înregistrat simultan de către sistemul NeuroSky și sistemul Biopac. Electrozii pentru cele două sisteme au fost plasați in același loc, împreună, cât mai aproape posibil, fără a interfera între ele. Electrozi uscați placați cu aur au fost utilizați pentru sistemul NeuroSky, în timp ce Biopac a folosit electrozi umezi de unica folosința cu gel bazat pe clorura de argint. EEG a fost înregistrat pentru diverse situații: subiectul testării aflat in stare de relaxare , in stare meditativă, in alertă, într-o stare de atenție sau producând artefacte prin clipirea de ochi.

Semnalele brute EEG cu electrozi uscați a sistemul NeuroSky au fost comparate cu cele ude de electrozi cu sistemul Biopac. FFT-urile au fost efectuate pentru a compara caracteristicile de semnal ale EEG, în special spectrul de putere. Rezultatele arată că semnalele EEG ale sistemul NeuroSky sunt compatibile cu cele ale sistemului Biopac. EEG-urile sistemului Biopac prezintă un zgomot ceva mai semnificativ în benzile de frecvență joasă. C rezultat, sistemul NeuroSky este mai rezistent la zgomot. Sistemul NeuroSkprezintă chiar avantaje atunci când este folosit în mediul de viață real și pentru

aplicațiile de produse de larg consum.

Neurosky a dezvoltat un algoritm proprietar eSense, pentru detectarea stărilor mentale, pornind de la spectrele de frecvență ale diverselor tipuri de unde cerebrale.

Tabel. Caracteristici tipologice unde cerebrale in sistemul Neurosky (sursa. neurosky.com )

În baza algoritmilor proprii eSense, Neurosky poate detecta la un nivel foarte rafinat stările de „Atentie" și "Meditație".

În fiecare secundă, casca calculează și furnizează măsurile eSense “Atenție și “Meditație”. De câte ori datorita zgomotului algoritmul detectează informații ce par a fi incorecte, se reia măsurătoarea respectivă. Felul cum se determină aceste măsurători este secret comercial.

Caracteristici/specificații tehnice ale căștii

• greutate foarte mica (90g)

• comunicare Wireless; conectare automata cu calculatorul; IP Static; conectivitate wireless in banda 2.4GHz, putere max. 6dBm, raza RF 10m; rata transfer 250 kbit/s; pierdere semnal minima aprox. 5%;

• Biosenzor pasiv și sigur

• dimensiuni: braț senzor sus 225mmx155mmx92mm (Lxlxh), braț senzor jos 225mm x 155mm x 165mm;

• putere: 30mW – 50 mW max – semnal intrare EEG maxim 1mV pk-pk;

• filtru hardware 3Hz – 100Hz;

• rezoluție ADC 12 bit, rata eșantionare 512Hz, calcul indicator eSense 1Hz.

• Durata mare de viața a bateriei AAA, aproximativ 6-8 ore

• Compatibila cu sistemele de operare Windows XP / Vista / 7 ; Mac OS X 10.5.8

Tipuri de măsurări permise de cască:

• semnal brut;

• spectru de putere EEG neurologic (unde Alpha, Beta, etc.)

• indicator eSense (algoritm proprietar fabricant) pentru atenție;

• indicator eSense pentru meditație;

• detecție clipire eSense;

• detecție la nivelul capului.

Scopurile în care se fac cercetările sunt pentru a sprijini domeniul neuro, atât în aspectele sale medicale cât și în cele tehnologice.

În acest sens, toate operațiunile pe care le facem în laborator sunt bazate pe inovare și TIC. De altfel, soluțiile pe care le căutăm a fi identificate în scopul punerii bazelor unor noi produse tehnologice proprii adaptate contextului tehnic românesc, au în vedere atingerea unor aspecte de natură inovativă, având ca suport tehnologii TIC (senzori, procesoare, computere).

În toate aspectele de cercetare, în cadrul lucrării aferente bursei doctorale, TIC și inovare sunt prezente și reprezintă fundamente ale cercetării.

În analiza și procesarea semnalelor de tip EEG este necesar a se ține cont de următoarele aspecte contextuale:

prezentarea unor tehnici de investigație neurologică prin analiza semnalelor EEG, EMG și de potențiale evocate

utilizarea sistemelor moderne de achiziție și procesare digitală a semnalelor electrofiziologice

tehnicile și aparatura de obținere a imaginilor transcraniene și de procesare a imaginilor (CT, RMN) pentru reconstrucție anatomică preoperatorie și pentru neuronavigație

tehnici moderne în neurochirurgie cu asistența mijloacelor de înregistrare intraoperatorie a EEG,

tehnici și aparatura de stimulare magnetică a sistemului nervos central și periferic,

elemente de biostatistică și prelucrare numerică a datelor clinice.

Orice semnal este, din punct de vedere matematic, o funcție de timp, dar în definirea semnalului pot interveni și alte variabile reprezentate de mărimi fizice precum spațiul, temperatura etc.

PAȘI ESENȚIALI ÎN PROCESAREA UNUI SEMNAL DE TIP BIOLOGIC (aplicabil inclusiv semnalelor EEG)

ACHIZIȚIE

Achiziția de semnale ale creierului se realizează prin utilizarea diverselor metode non-invazive, cum ar fi Electroencefalografie (EEG), imagistică prin rezonanța magnetică funcțională (fMRI), Spectroscopie tip NIRS si Magneto encefalografie(MEG).

A. EEG
EEG a fost înregistrată pe creiere de animal în 1875 de Richard Caton. EEG a fost înregistrată pentru prima dată pe un creier uman de Hans Berger în 1929. EEG este cea mai utilizată metoda de achiziție semnal electric de la creier, datorită înaltei rezoluții temporale, siguranței și ușurinței de utilizare. Sistemul tip 10-20 electrozi standard de plasare pe scalp este utilizat în achiziția semnalului EEG. EEG are rezoluția spațială scăzută, și este non-stațională în natură. Semnalele EEG sunt sensibile la artefacte cauzate de clipiri, mișcări ale ochilor, emoții, activități musculare și interferențe de la liniile de alimentare.
B. fMRI
Tehnologia fMRI, în general, este folosit în laboratoarele clinice. fMRI face uz de nivelul de hemoglobină cunoscut sub numele de nivelul oxigenării sângelui (BOLD). Este nevoie de mai multe configurații tehnice costisitoare. Însa metodare este importantă deoarece oferă rezoluție temporală mare și rezoluția spațială sporită. Există timpi de întârziere în procesul de colectare a datelor.
C. NIRS
Tehnologia NIRS are o rezoluție temporală scăzută și acest lucru poate împiedica chiar ratele de transformare. Pentru a îmbunătăți ratele de transmisie, NIRS este combinat cu EEG și aceasta conduce la Hybrid BCI. NIRS, de asemenea, folosește BOLD pentru a estima clasificarea pe nivele de precizie. Este o metodă ieftină, dar prezintă performanțe foarte scăzute în raport cu EEG.
D. MEG
Folosind tehnologia MEG semnalele magnetice care sunt generate de activități electrice ale creierului sunt capturate. Metodologia prevede interval de frecvență mai larg și rezoluție excelentă spațiotemporală, dar necesită echipamente costisitoate și mari dimensiuni.

PRE-PROCESARE

După faza de achiziție a semnalului, semnalele trebuie să fie pre-procesate. Pre-procesarea unui semnal se mai numește și amplificarea sa.

În general, semnalele achiziționate de la creier sunt contaminate/afectate de zgomot și artefacte. Artefactele sunt clipirile, mișcarea ochilor (EOG), ritm cardiac (ECG). În plus față de acestea, mișcările musculare și liniile electrice sunt, de asemenea, amestecate cu semnalele creierului. Îndepărtarea artefactului se poate face cu ajutorul următoarelor metode: (CAR), (SL), (ICA), (CSP), (APC), (SVD), (CSSP), (Freq-Norm), (LAT), (CSSD) și altele. Cele mai frecvent utilizate metode sunt ICA, CAR, SL, PCA, CSP și filtrarea adaptivă.

EXTRAGERE COMPONENTĂ PRINCIPALĂ

După obținerea semnalelor libere de zgomot se poate trece la extragerea caracteristicilor esențiale ale semnalului. Pentru extragerea componentei principale a semnaului EEG utilizăm metode cum ar fi (AAR), AAR biliniară, AAR multivariată, transformata Fourier rapida (FFT), PCA, ICA, algoritmi genetici (GA), transformări Wavelet (WT), pachete de descompunere Wavelet (WPD). Dintre acestea ICA, PCA, WT, AR, WPD, FFT sunt cele mai utilizate.

CLASIFICARE

După extracție semnalele sunt clasificate în diferite clase, folosind diverse clasificatoare. Diferite tipuri de clasificatoare includ clasificatoare liniare, Rețele neuronale artificiale (ANN), clasificatoare Bayesiene neliniare. Dintre aceste clasificatoare, clasificatoarele liniare și neliniare bayesiene sunt în mare parte utilizate în tehnologiile BCI.

Clasificatoarele liniare utilizează funcțiile liniare pentru a clasifica semnale în clase. Cele mai frecvent utilizate clasificatoare liniare sunt (LDA) și (SVM).
1) LDA: LDA creează modele pe baza probabilității de densitate. LDA este ușor de utilizat și are cerințe de procesare foarte mici. Oferă rezultate bune. Pentru distribuții non-Gaussian LDA nu poate să păstreze structura complexă a datelor.

2) SVM: SVM este un clasificator liniar care este folosit de cele mai multe dintre aplicațiile BCI. SVM a fost dezvoltat de Vapnik și a fost determinată de teoria învățării statistice pe baza principiului reducerii la minim a riscului structural. SVM separă seturi de date prin decalaj. Se maximizează marja care este distanța dintre hiper plan și cele mai apropiate puncte ale fiecărei clase, numite vectori suport.Obiectivul acestei metode este de a oferi generalizare prin maximizarea performanțelor în paralel cu reducerea la minim a complexității modelului de învățat. Prin utilizarea SVM precizia medie de clasificare este de 87%. SVM are performanță și este o metodă de complexitate computațională mare.

Electroencefalograma (EEG) este un studiu al funcției cerebrale care reflectă activitatea electrică a creierului lui. Pentru a colecta semnal electric de la creier folosim electrozi plasați pe scalp, deseori se adaugă o pastă conductoare pentru a permite mai buna colectare a semnalului electric al creierului, care este la o scară de microvolți.
Semnalele EEG au diferite unde în banda de frecvență cu următoarele caracteristici:

– Undele Alfa sau Mu: caracteristic stării de conștiență fizică sau de odihnă mentală cu ochii închiși.
• de joasă tensiune (20-60 μv / 3-4mm), cu morfologie variabilă.
• înaltă frecvență (8-13 Hz).
– Undele Beta: caracteristic stării de conștiență sau în stări de activare corticală;
• de joasă tensiune (10-15 μv / 1-1,5 mm) cu morfologie variabilă.
• înaltă frecvență (13-25 O + Hz) cu o mai mare frecvență predominanăt la subiecții cu anxietate și instabili.
– Undele Theta: caracteristic stării de somn profund și normale în copilărie (10 ani), anormale în timpul stării de conștiență.
• preponderență înainte de 2 ani (situații emoționale).
• Aspect în condiții fiziologice specifice (hiperventilație și somn profund).
• de înaltă tensiune (50 μv / 7mm).
• frecvență joasă (4-8 Hz).

– Undele Delta: caracteristice unor stări patologice indicative cu dificultate neuronală; apare în timpul somnului profund.
• de înaltă tensiune (70-100 μv / 9-14 mm), cu morfologie variabilă.
• frecvență joasă (4 – Ø Hz).

Semnalele de tip tensiune precum EEG, sunt întotdeauna măsurate ca o diferență de potențial între două puncte; astfel un amplificator bioelectric are două intrări de semnal: un plus și un minus biolectrice. Amplificatoarele au de asemenea, un al treilea electrod de intrare pentru referință.

Activitatea electrică a cortexului este neomogenă topografic, este în general
avantajos a măsura această activitate în mai multe locuri de pe scalp. În diagnosticările
neurologice, sunt mai multe sisteme de nomenclatură pentru plasarea electrozilorinsă,iar în prezent cel mai cunoscut și răspândit este Sistemul Internațional 10-20.

Fig. Sistemul 10-20

În semnalele EEG, se pot observa/identifica ceea ce se numesc potențiale evocate. Acestea
sunt validări neurofiziologice care evaluează rolul sistemului acustic senzorial, vizual, side tip somato-senzoriale, prin înregistrarea răspunsurilor evocate la un stimul cunoscut și standardizat. Există mai multe tipuri de potențiale evocate: potențial generat de evenimente (ERP) , (VEP) potențiale evocate vizual, potențiale evocate acustic (AEP), potențiale evocate motorii (MRP), starea de echilibru vizual evocat (SSVEP).

Procesarea semnalului EEG se face pentru a îmbunătăți și a cunoaște aspecte ale EEG care se corelează cu fiziologia și farmacologia.

În anumite procesări EEG este necesar să integrăm anumiți parametrii de tip calitativ (QEEG). Motivația pentru cuantificarea calitativă EEG vine din 3 rațiuni: reducerea volumului de muncă al medicului în analize operative EEG, reducerea nivelului de pregătire, de specialitate pentru a utiliza EEG, și dezvoltarea/măsurarea unor parametrii care ar putea, în viitor, să fie utilizați într-o titrare în bucla închisă automată a medicamentelor anestezice/sedative.

Deși este posibil să se efectueze diferite tipuri de amplificare a semnalelor de tip analogice, viteza, flexibilitatea, precum și circuitele digitale au produs schimbări revoluționare în domeniul de prelucrare a semnalului.

Pentru a utiliza circuite digitale este necesară o transpunere a semnalului analogic în semnal digital. Semnalele analogice sunt continue și netede. Ele pot fi măsurate sau afișate cu orice grad de precizie. Semnalul EEG este un semnal analogic datorită faptului că tensiunea scalpului variază în timp.

Semnalele digitale sunt fundamental diferite, deoarece acestea reprezintă valori discrete în timp și valorile lor sunt determinate cantitativ la o rezoluție fixă, mai degrabă decât continuă.

În prelucrarea și procesarea semnalelor EEG, problema artefactelor trebuie să fie întotdeauna luată în considerare.

Artefactul este deosebit de important în analiza EEG, deoarece chiar la nivelul unor experți în domeniu, acesta poate fi confundat cu un zgomot.

Artefacte comune includ semnale care au depășit dinamica Gama de amplificare (tensiune prea mare din cauza setărilor de amplificare necorespunzătoare sau mișcarea electrozilor pe piele).

Un alt tip comun de artefact, este cauzat de prezența unui semnal suplimentar ce este în afara intervalului de frecvență EEG. Acest tip de semnal ar putea proveni de la activitatea electrică a mușchilor sau de la liniile de tensiune/firele electrice.

În cazul în care rata de eșantionare este suficient de rapidă pentru a evita confundarea, acest tip de artefacte pot fi filtrate, lăsând un semnal EEG utilizabil.

Alte tipuri de artefacte: activitatea electrică a inimii se comportă ca o pompă artefact; apar în gama de frecvențe de interes a EEG și pot fi de obicei recunoscute ușor.

Deși, există mai multe sisteme diferite (Illinois, Montreal, Aird, Cohn, Lennox, Merlis, Oastaut, Schwab, Marshall, etc) sistemul 10/20 internațional este cel mai utilizat în prezent. Pentru a plasa electrozii conform acestui sistem se procedează după cum urmează:

– electrodul inactiv/ comun este plasat la distanță de craniul propriu-zis (lobul urechii, al nasului, sau bărbie). Se împarte suprafața craniană pe puncte de date între nașion și inion. Zece la sută din punctele de date sunt prefrontale și occipitale. Restul este împărțit în patru secțiuni egale a câte 20% fiecare.

Cinci zone transversale sunt identificate în cadrul acestei împărțiri, după cum urmează:
• prefrontal: Fpz
• frontal: Fz
• Vertex: Cz
• parietal: Pz
• occipital: Oz

Interfețe de preluare semnale

Interfața asincronă

Acest tip de intrare păstrează în permanență o legatură de comunicare cu sistemul; sistemul analizează continuu semnalele creierului utilizatorului și clasifică periodic starea mentală. În alte cazuri, interfața poate măsura variațiile temporale din ratele asociate cu activitatea motorie a utilizatorului; astfel de variații de amplitudine pot fi detectate și apoi transformate în comenzi; analiza activității motorii necesită o pregătire de lungă durată.
Activitatea spontană a creierului produce următoarele tipuri de semnale care sunt utilizate în
interfețe:
1) schimbări potențiale corticale ușoare (PSC).
2) activitate oscilatorie sensoriomotoare.
3) Semnale EEG spontane.

Interfața sicronă

Acest tip de interfețe preia potențialele evocate stimulate primite de la utilizatorul din sistem (pot fi vizuali, auditivi sau tactili). În acest caz, nu este considerată activitatea spontană a creierului. Sistemul preia răspunsul creierului la stimuli și apoi îl transformă în comenzi de răspuns. Astfel de interfețe nu necesită o activitate de învățare prea intensă.
Principalele tipuri de semnale care sunt utilizate în aceste interfețe sunt sincrone:
1) starea de echilibru vizual evocat (SSVERs).
2) potențial generat de evenimente (ERP).

Cap.3 Prelucrarea Și interpretarea semnalelor de tip EEG.

Identificare pattern-uri

Aplicație practică nr. 1

Măsurătorile prezentate sunt realizate în urma unor evaluări prin preluarea de semnal EEG la subiecți copii cu vârsta până la 5 ani, în timpul implicării în câteva jocuri ce necesită activități cognitive. Au fost realizate măsurători dimineața și după amiaza, pe parcursul a mai multor zile, pe parcursul a mai multor luni. Pentru fiecare din cei 10 subiecți (5 fete, 5 băieți) s-au preluat câte 10 sample-uri EEG pe perioada unui minut de activitate cognitivă.

În cadrul studiului s-au preluat spre procesare aproximativ 30.000 linii de valori ale undelor cerebrale pentru fiecare minut de semnal EEG.

Sunt evidențiate aspecte de prelucrare grafică a valorilor digitale ale semnalului EEG, în urma unor procesări proprii.

Măsurătorile sunt realizare cu 1 senzor Neurosky și sunt preluate (deja transformate digital) de sistemul propriu intern al producătorului senzorului.

Sunt urmărite nivelele distincte de atenție și meditație, cât și forma undelor cerebrale corespondente.

În procesarea grafică utilizez în mod uzual funcțiile grafice Excel însă și un software specializat gratuit numit WEKA (http://www.cs.waikato.ac.nz/ml/weka/)

Fig. Eșantion grafic atenție/meditație

După analiza primară a seturilor de date preluate, la primul nivel de constatare grafică, se observă o separare a subiecților sub forma a 6 subiecți cu activitate cognitivă și atenție sporită în prima parte a zilei și 4 subiecți cu activitate cognitivă sporită în partea a doua a zilei.

Nu există o dependență a activității cognitive raportată la momentul zilei, în funcție de sexul subiectului.

În acest sens, o abordare uniformă a activităților cognitive în cadrul programului de la grădiniță, produce dezavantaje fie pentru unii sau pentru alții dintre subiecți.

În aplicarea practică a procesării semnaului EEG, am efectuat un studiu/măsurători cu subiecți copii cu vârsta până la 5 ani, privind starea de atenție/focus pe parcursul împlicării în câteva jocuri potrivite vârstei lor. În realizarea măsurătorilor s-a ținut cont de factorii ce pot influența starea de atenție.

Atenția este conștiința direcționată sau concentrată. Conștiința este o senzație subiectivă produsă prin activarea simultană a sistemelor neurofiziologice discrete. Acestea sunt sistemele de alertare, de sensibilizare, afective, de excitare, și de atenție.
Procesul începe cu scanarea subcorticală a stimulilor senzoriali pentru afecțiune și semnificative prin plăcere, durere și tensiune.
Percepțiile trec prin talamus pentru scanare concentrare într-o singură expresie senzorială prin inhibarea reflexului talamic-prefrontal-talamic.

Percepțiile semnificative se activează ca fragmente de memorie în Cortexul Inferior Temporal. Aceste zone se proiectează apoi în Cortexul Prefrontal. Acesta inactivează sistemele senzoriale de scanare permițând fixarea. Cortexul Prefrontal, de asemenea, trimite semnale către hipocâmp, acesta generând activitate theta în hipocâmp. Se întrerupe temporar

înhibarea componentei de orientare, de vigilență, de conștientizare și de excitare produse de activitatea theta prin Hipotalamus.
Ca urmare a mecanismelor de mai sus, doar un singur stimul senzorial activează orientarea, alertarea, conștientizarea, excitarea, și sistemele cognitive și, prin urmare apare starea de atenție.
Atenția concentrată poate fi, de asemenea, utilizată pentru a explica inițierea și activarea mișcărilor voluntare.

Factorii externi ce influențează nivelul de atenție pot fi : diverse zgomote sau stimuli luminoși. Dacă intensitatea stimulului coboară sub un anumit nivel, nivelul atenției se reduce substanțial fiind posibilă chiar dispariția totală a atenției.

Atenția este deseori determinată de factori motivaționali fără a avea neaparăt un caracter intenționat. Astfel, câmpul perceptiv nu depinde numai de caracteristica fizică a stimulului ci și de personalitatea individului. Astfel, termenul de atenție voluntară se restrânge în cazul motivației conștiente.

Stimulii prosexigeni sunt cei care atrag atenția și care rețin atenția. Se poate face o diferențiere între stimulii care produc un simplu reflex de orientare și cei care atrag atenția pe baza raportului dintre cele două proprietăți ale reflexului de orientare, cea de a întrerupe o activitate în curs și cea de a servi drept punct de plecare a unei alte activități (ajustare senzo-motorie): dacă un stimul produce doar o întrerupere de scurtă durată și urmează o reluare a ei este un stimul orientativ; dacă acesta reușeste să schimbe direcția atenției, avem un efect de comutare și devine un stimul care atrage atenția.

În cazul cercetărilor efectuate în studiul atenției sunt necesare câteva precauții: egalizarea valorii afective a stimulilor (un stimul de intensitate mai scăzută poate atrage atenția mai curând decât unul intens dacă primul stimul corespunde intereselor subiectului sau experienței sale anterioare). Este necesară diferențierea între valoarea nespecifică (declanșarea unei recții de orientare sau chiar de apărare produsă de stimuli intensi) și valoarea prosexigenă a unui stimul; stabilirea pe cât posibil a caracterelor diferențiale ale unor parametri: dimensiuni, culoare, intensitate față de caracteristica ce atrage cel mai mult atenția și anume contrastul .

Factorii interni: reprezintă factorii individuali care declanșează atenția și pot fi numiți factori motivaționali. Aceștia cuprind fenomene ca: trebuințe, motive, interese, impulsuri, intenții, valențe, tendințe.

La transformarea factorilor dinamici în factori motivaționali ce alcătuiesc condiția internă a unui organism dat, concura atât componentele înnăscute, funcțiuni biologice și fiziologice cât și componente achiziționate pe timpul dezvoltării individuale. Sub acțiunea factorilor dobândiți apar modificări în desfășurarea funcțiunilor înnăscute. Factorii dobândiți în cursul dezvoltării individului includ atât propria experiență cât mai ales și experiența socială. Se face uneori distincția între motive și mobiluri, primele fiind cauze intelectuale. iar celelalte, cauze afective. De fapt, conduita omului nu este determinată de o cauză unică, ci de un ansamblu de factori raționali și afectivi, fiziologici și psihologici, individuali și sociali, ce interacționează.

Factorii motivaționali sunt biofiziologici și sociali iar aceștia sunt în permanentă interacțiune. În ultima instanță componentele ereditare sunt modelate de către cele dobândite și alcătuiesc un comportament diferit la variate nivele de dezvoltare ale adultului. La om conduita este dirijată de factorii sociali (educație, cultura morală) care domină și îi orientează parțial pe cei fiziologici. Trebuințele, necesitățile fiziologice care asigură existența organismului sau perpetuarea speciei au o pondere specifică importantă pentru om. Sursa primară a acțiunii este trebuința. Uneori se poate stabili cu greutate dacă impulsurile preced trebuințele sau le urmează, ori dacă trebuințele reprezintă un stimul al activității sau un rezultat al ei. Sistemul nervos este în permanență informat de rezultatele activității organismului și acest feedback constant generează și modifică reactivitatea și comportamentul individului.

Pedagogul poate trezi atenția elevilor introducând în discurs elemente ce țin de trebuințele primare asociate unor informații utile. Importanța trebuințelor fiziologice în orientarea activității se poate vedea în capacitatea pe care o au unii stimuli corespondenți acestor trebuințe de a atrage atenția mai mult în raport cu alți stimuli. În funcție de gradul de satisfacere a trebuințelor variază și intensitatea stimulilor asociați atragerii atenției.

Efectele privării de stimuli la om produc o stare de neliniște în capacitatea de concentrare, instabilitate emotivă , halucinații etc. Comportamentul explorator și manipulator caracteristic al copiilor este legat de trebuințele de stimulare sau curiozitate perceptuală și se întreține datorită eterogenității și complexității stimulilor externi. În condiții de reducere a stimulilor, organismul își asigură varietatea surselor de stimulare prin investigația și manipularea obiectelor.

Există două moduri de explorare, fiecare al unei alte necesități : curiozitatea (necesitatea de a obține informații) și plictiseala (necesitatea de a obține un anumit nivel al stimulării și varietății mediului); Acest nivel al stimulării este necesar funcționării optime a sistemului nervos.

Factorii care controlează atenția au elemente comune cu cei care controlează explorarea și răspunsul de investigație. Este posibil ca stimulii externi sau lipsa lor să poată determina un anumit comportament de explorare. Dar acest lucru nu este o funcțiune înnăscută. Factorii sociali la omul civilizat mediază această legatură a atenției cu trebuințele și pot subordona unor necesități superioare. Putem conchide ca așa zisele trebuințe (impulsuri, tendințe, valențe), deși umane ca manifestare nu reprezintă direct motivele activității omului. Există o reglare superioară a activității umane subordonată anumitor scopuri , anumitor obiective anticipate sau chiar create pe plan mental. Ca ființă socială omul se bazează pe cea ce observă în comportarea altora și își reglează propriul comportament evitând multe neplăceri. Avem tendința de a ne imita semenii chiar dacă nu există un argument al unei anumite acțiuni ale acestora.

Există o atenție stațională din lipsa unei concordante între elementele stimulului,o atenție involuntară impusă de o anumită trebuință fiziologică și o atenție ca expresie a interesului, a dirijării active către anumite scopuri durabile ale activității sale.

Interesul este tendința de a ne orienta către lucrurile care ne dau satisfacție. El înseamnă retrăirea unei experiențe, pe când aversiunea este opusul acestuia, când evităm o anumită activitate. Exteriorizarea interesului reprezintă mărirea atenției și continuarea activității. Suntem pregătiți să-i dăm atenție oricând obiectului interesant. Atenția diferențială înseamnă de fapt mobilizarea rapidă a orientării latente față de obiectul preocupărilor noastre într-o nouă orientare actuală, în condițiile unei stimulări directe sau bazate pe conexiuni asociative. Multe fenomene ca rezistența la stimuli perturbatori, comutarea atenției, ponderea relativă a diverșilor stimuli în atragerea și menținerea atenției s-ar explica mai bine decât prin simpla referire la atenție voluntară și involuntară. Cu cât subiectul are o rezistență mai bună la distragerea atenției, cu atât are o energie mai mare cu care se dedică atingerii scopului. Oricât de mare este factorul perturbator într-o activitate asiduă, ne întoarcem automat la această activitate cu încetarea factorilor perturbatori. Interesul profund creează puntea peste lacuna creată. Este o unitate conativă în pofida întreruperii chiar dacă aceasta durează o clipă sau ani de zile. Interesul și atenția se stimulează reciproc. Cu cât suntem mai atenți cu atât interesul crește, iar interesul intensifică orientarea și receptivitatea față de stimuli asociați obiectului interesului nostru. În cazul oboselii rezultă că scade atenția situațională , scade rezistența față de factorii perturbatori.

În cadrul studiului s-au preluat spre procesare aproximativ 30.000 linii de valori ale undelor cerebrale pentru fiecare minut de semnal EEG.

După analiza primară a seturilor de date preluate, la primul nivel de constatare grafică, se observă o tendință a Subiectului 1 pentru o atenție sporită (crescută) după amiaza (după ora 13), cu o mai mare stare de meditație în prima parte a zilei (în jurul orei 10).

Totodată se observă o fragmentare mai mare în raportul creșterilor și descreșterilor de ritm după amiază, în sensul oscilațiilor pe grafice, a existenței unor vârfuri și căderi de atenție/meditație.

Astfel, Subiectul 1 ar putea fi implicat mai mult în activități cognitive după amiază și mai mult în activități recreative dimineața. O astfel de tipologie de trend, ar putea fi utilizată de educator în sala de clasă pentru a forma grupe de lucru și interacțiune care să fie compatibile între ele ca și nivel și stare de atenție pe anumite intervale de timp.

În continuare sunt prezentate rezultatele concatenate ale celor 10 subiecți implicați în măsurătorile realizate.

În baza rezultatelor concatenate s-au realizat grafice pentru “Atenție”, comparative la nivelul tuturor celor 5 zile de măsurare pentru fiecare subiect în parte. Se reliefează graficul atenției pentru dimineața și graficul atenției pentru după amiază.

Fig. Fișier mostră – baza organizare date pentru prelucrare

Fig. Variații atenție/meditație per subiecți

Fig. Variații atenție/meditație per subiecți

Analizând graficele pentru perioada Dimineață/După amiază în termeni de trenduri, comparativ, câteva concluzii se impun:

Pentru un același subiect, există o diferență clară în raportul dimineața-după amiaza în sensul că graficul de după amiază prezintă mult mai multe zone de echilibru (intervale mai lungi neoscilante)

Pentru un același subiect, nivelul atenției prezintă după amiaza valori mai multe apropiate de zona punctului zero

Pentru un același subiect, dimineața prezintă mai multe variații și oscilații de grafic, iar din punct de vedere al amplitudinii, graficele sunt mai ample dimineața

Ca o concluzie, procesul cognitiv/concentrarea/atenția pentru dimineața este mai amplu, mai oscilant, mai flexibil și mai activ, în timp ce după amiaza, procesul este mai lent, mai puțin fragmentat, mai stabil chiar dacă de o amplitudine mai scăzută.

Din perspectiva comparației între subiecți, există două categorii mari: o parte dintre subiecți, pe perioada dimineții păstrează valori foarte crescute ale atenției fără a scădea sub o anume limită destul de semnificativă, iar o altă parte a grupului păstrează valori crescute ale atenției, însă cu oscilații spre zero destul de semnificative ca și frecvență. Cu alte cuvinte pentru o parte a grupului există anumite fragmentări în intervalul inferior al scalei de măsură, în timp ce pentru alții nu există astfel de fragmentări.

Această caracteristică manifestată în termen de fragmentări/continuitate în cadrul unui interval de referință (fereastra de observare) poate constitui baza unui element de reper pentru o tipologie, implicit baza pentru un fragment de pattern.

Constituirea unui pattern se poate face prin metoda îmbinării unor elemente subsecvente care împreună să dea o semnificație relevantă în termeni uzuali.

S-a făcut o analiză în termeni de maxim/minim, atenție/meditație (în mod separat), urmărind următoarele aspecte: numărul de variații pe maxim, numărul de variații pe minim, durata cumulată medie pe maxim, durata cumulată medie pe minim (în secunde într-un minut de măsurare), distanța în unități generice, mediana (raportată la mediana graficului) pentru maxim și minim.

Analiza este realizată în mod grafic/vizual conform proiecției realizate în Excel pe fișierul .csv cu date de intrare primare obținute în măsurare. S-au considerat variații notabile și relevante toate oscilațiile în intervalul de 15% în raport cu variația minimă și cu variația maximă. Valoarea de 15% este determinată corelativ ca fiind relevantă în urma analizei vizuale a graficelor în ansamblul lor.

Fig. Subiect 1 Masurarea 1 Dimineata

Fig. Subiect 1 Masurarea 1 Dupa amiaza

Fig. Subiect 1 Masurarea 2 Dimineata

Fig. Subiect 1 Masurarea 2 Dupa amiaza

Fig. Subiect 1 Masurarea 3 Dimineata

Fig. Subiect 1 Masurarea 3 Dupa amiaza

Fig. Subiect 1 Masurarea 4 Dimineata

Fig. Subiect 1 Masurarea 4 Dupa amiaza

Fig. Subiect 1 Masurarea 5 Dimineata

Fig. Subiect 1 Masurarea 5 Dupa amiaza

Analizând graficele pentru perioada Dimineață/După-amiază, Atenție/Meditație câteva concluzii se impun:

Pentru un același subiect, există o diferență clară în raportul de oscilații la Maxim/ Minim pentru Atenție/Meditație (atenție maxim 19 variații,minim 42 variații; meditație maxim 26 minim 28); practic pentru meditație numărul de variații este similar, în schimb pentru atenție există o diferență importantă care poate constitui un element de pattern;

Același trend referitor la oscilații se menține și la durata medie cumulată a variațiilor însă cu observația că diferența nu mai este la fel de mare în termeni de procente (54% respectiv 7% în termeni de număr de oscilații în raport cu 26% respectiv 12% în termeni de valori cumulate de secunde de oscilație sau în raport cu distanța mediană pe maxim vs. minim unde avem rapoartele de 12% respectiv 10%); Astfel raportul procentul de oscilații minim-maxim poate fi un element de pattern, în timp ce raportul procentual de secunde de oscilații nu poate reprezenta un element de pattern; similar nici distanța mediană în raportul maxim-minim nu poate reprezenta un element de pattern;

Cu cât numărul de oscilații per interval reprezentat este mai mare pe o zonă de grafic (maxim sau minim raportat la mediana de lucru) se arată o orientare a subiectului în perioada de măsurare;

Astfel pentru subiectul 1 putem concluziona că din punct de vedere al atenției, în ansamblul măsurătorilor, acesta este orientată către spectrul de valori minime, în timp ce pentru meditație, este orientat echilibrat între spectrul minim și maxim.

În raportul dimineața/după amiaza, subiectul 1 prezintă un echilibru în spectrul minim pentru ambele caracteristici (atenție și meditație) și un dezechilibru în spectrul maxim pentru atenție și un echilibru în spectrul maxim pentru meditație;

O altă observație în spectrul maxim este legată de faptul că există o măsurare în care nu nivelul de atenție maxim s-a situat sub zona mediană, putând enunța teoria că pentru acel interval de timp s-a manifestat un fenomen numit generic “scăpare de atenție”. Într-o monitorizare pe durata mai lungă, manifestarea mai multor astfel de perioade de scăpare de atenție poate constitui baza analizei posibilității existenței unor boli/probleme de concentrare și focusare. Un astfel de element poate fi utilizat ca punct de pattern pentru detectarea anumitor boli/predicții comportamentale. În mod uzual ar trebui ca astfel de momente să fie corelate cu acțiunea practică derulată de subiect în momentul respectiv (s-ar impune o înregistrare video a sesiunilor de măsurare) pentru a determina dacă “scăparea de atenție” nu are la bază factori subiectivi precum predispoziția subiectului la anumite tematici/preferințe personale ale acestuia/alți factori perturbatori locali.

Constituirea unui element de pattern se poate așadar considera inclusiv prin preluarea numărului de oscilații minim-maxim în cadrul unor măsurători repetitive relevante.

În scopul identificării de elemente suplimentare care pot constitui aspect de pattern, s-au analizat măsurările preluate de la S1. S-a făcut o analiză grafică a variațiilor maxim/minim, atenție și meditație în mod separat, urmărind următoarele aspecte: numărul de variații pe maxim, numărul de variații pe minim, durata cumulată medie pe maxim, durata cumulată medie pe minim (în secunde într-un minut de măsurare), distanța în unități generice, mediana (raportată la mediana graficului) pentru maxim și minim.

Analiza este realizată în mod grafic/vizual conform proiecției realizate în Excel pe fișierul .csv cu date de intrare primare obținute în măsurare.

Fig. Variație dimineața/după amiaza pentru un subiect

Analizând graficele în raport oglindă, câteva observații ar fi:

Pentru un același subiect, există o diferență clară în raportul de oscilații la Maxim/ Minim pentru Atenție/Meditație

Există o completă necorelare în raportul dimineața/după amiaza fapt care confirmă și întărește ideea de perioade propice atenției și perioade propice meditației în raport cu intervalul de timp al unei zile, considerat pentru fiecare subiect în parte.

Constituirea unui element de pattern se poate așadar considera inclusiv prin analiza variației procentuale în raportul de atenție pe perioade diferite de timp, cu condiția obligatorie și necesară a cunoașterii contextului de măsurare, având în vedere că elementul de pattern poate avea relevanță doar dacă se reproduce în context similar sau cât mai aproape de identicat.

Aplicație practică nr.2

S-a realizat un set de măsurători asupra unui lot de 17 adulți. Măsurătorile sunt realizate în timpul susținerii de către aceștia a unui test online cu întrebări de cultură generală, format din 45 de întrebări care au avut o durată de timp diferită pentru a se răspunde de 10, 15 și 20 secunde per întrebare, funcție de complexitate a acesteia. S-a urmărit introducerea elementului timp în scopul măsurării aspectelor de stres și s-a urmărit cât de mult influențează acesta aspectul undelor EEG și variația semnalului brut EEG. Condițiile de test au fost similare pentru candidați, încercând a se limita orice influență a unor factori externi perturbatori pentru a putea reliefa cât mai fidel comportamentul intern.

Toată analiza este realizată pe semnalul brut EEG. Nu s-au luat în considerare rezultatele testelor susținute, singurul scop al acestora fiind de a pune subiecții în fața unui eveniment ce cauzează/poate cauza stres.

Parte din comportamentul variațional al semnalului brut poate genera un element de pattern pe o anumită perioadă de timp și în anumite condiții strict controlate.

Fig. Variație semnal brut EEG – mostră subiect 1

Fig. Variație semnal brut EEG – mostră subiect 2

Centralizare variații semnal brut EEG

S-a realizat o analiză grafică, interpretată în termeni de variații (+) și (-) pe perioada rulării testului;

Există un subiect pentru care s-a înregistrat „default error” la măsurare, anume pentru subiectul 11, motiv pentru care el iese din studiul realizat (a fost lăsat în studiu doar ca termen de comparație);

La studiu au participat 9 bărbăți (M) și 8 femei (F), din acest punct de vedere studiul fiind relevant în raportul M / F;

Sunt subiecți care manifestă puternice stări de stres în timpul sarcinii de testare și subiecți care manifestă calm și concentrare;

În cadrul semnalului EEG brut (raw EEG) este inclusă și componenta de atenție, variațiile EEG arătând în mod evident variații ale atenției și implicit manifestări și influențe ale stres-ului în variațiile de atenție ale subiectului;

Analizând mediana datelor obținute din proces, putem considera că există 3 categorii de subiecți din punct de vedere al stres-ului manifestat în influențe ale atenției în cadrul testului la care au participat : a) puternic influențati de stres: 4 subiecți (peste 20% procent de variații); b) oarecum influențați de stres: 6 subiecți (peste 10% procent de variații); c) aproape neinfluențați de stres: 6 subiecți (sub 10% procent de variații);

Subiecții S4 și S13 prezintă cele mai mici influențe ale stres-ului asupra atenției pe perioada testului, la polul opus fiind S2 și S5 care prezintă puternice influențe ale stres-ului asupra atenției pe perioada testării;

Studiul EEG brut, variațiile acestora în mod express, raportate la un cadru controlat (cum este cel al susținerii unui test) poate pune la dispoziție un element de pattern. Dificultatatea utilizării acestui element este dată de faptul că este necesar că pentru determinarea lui să se asigure de fiecare dată un mediu identic sau similar de obținere a semnalului EEG brut.

Acest tip de element poate fi utilizat în laboratoare/clinici/cabinete dar nu poate fi un element de pattern pentru medii de tip „free behaviour”sau entertainment.

S-a realizat un set de măsurători asupra unui lot de 17 adulți. Măsurătorile sunt realizate în timpul susținerii de către aceștia a unei expuneri la imagini cu conținut neobișnuit și care poate fi considerat ofensator, neclar, incert, anormal pe alocuri. S-a urmaăit introducerea acestui tip de expunere în scopul creării unei posibile simulări de generator de stres raportat la conținutul expus. S-a urmărit măsurarea aspectelor de stres și cât de mult influențează acesta aspectul undelor EEG și variația semnalului brut EEG. Condițiile de evaluare au fost similare pentru candidați, încercând a se limita orice influență a unor factori externi perturbatori pentru a putea reliefa cât mai fidel comportamentul intern.

Toată analiza este realizată pe semnalul brut EEG.

Evaluarea a constat în expunerea la imagini neobișnuite. Exemplificăm un astfel de imagini pentru a se contura o idee asupra tipologiei acestei evaluări.

Fig. Mostre de expunere pentru test stres

Parte din comportamentul variațional al semnalului brut EEG (raw EEG) poate oferi o imagine asupra variației nivelului de atenție al unei persoane pe o anumită perioadă de timp și în anumite condiții strict controlate/determinate.

Fig. Variație semnal brut EEG – mostră subiect 1

Fig. Variație semnal brut EEG – mostră subiect 1

Centralizare variații semnal brut EEG

S-a realizat o analiză grafică, interpretată în termeni de variații (+) și (-) pe perioada rulării expunerii;

Există subiecți pentru care s-a înregistrat „default error” la măsurare, motiv pentru care aceștia ies din studiul realizat (a fost lăsat în studiu doar ca termen de comparație);

La studiu au participat 9 bărbați (M) și 8 femei (F), din acest punct de vedere studiul fiind relevant în raportul M / F;

Sunt subiecți care manifestă puternice stări de stres în timpul expunerii și subiecți care manifestă calm și concentrare;

În cadrul semnalului EEG brut (raw EEG) este inclusă și componenta de atenție, variațiile EEG arătând în mod evident variații ale atenției și implicit manifestări și influente ale stres-ului în variațiile de atenție ale subiectului;

Analizând mediana datelor obținute din proces, putem considera că există 3 categorii de subiecți din punct de vedere al stres-ului manifestat în influențe ale atenției în cadrul expunerii la care au participat : a) puternic influențați de stres: 6 subiecți (peste 30,05% procent de variații); b) oarecum influențați de stres: 5 subiecți (peste 15% procent de variații); c) aproape neinfluențați de stres: 4 subiecți (sub 15% procent de variații);

Subiecții S9 și S16 prezintă cele mai mici influențe ale stres-ului asupra atenției pe perioada expunerii la polul opus fiind S1 și S3 care prezintă puternice influențe ale stres-ului asupra atenției pe perioada expunerii;

Studiul EEG brut (variațiile acestuia în mod expres), raportate la un cadru controlat (cum este cel al participării la o expunere) poate pune la dispoziție un element concret privind comportamentul nivelului de atenție. Dificultatatea utilizării acestui element este dată de faptul că este necesar ca pentru determinarea lui să se asigure de fiecare dată un mediu identic sau similar de obținere a semnalului EEG brut.

Cap.4 Lansarea ȘI gestionarea comenzilor bazate pe acte de voinȚĂ

Aspecte generale

DEFINITIE ACTE DE VOINTA

Tehnologia se bazează pe o abordare la nivel de sistem de dezvoltare de tehnologii pentru a manevra un vehicul inteligent în condițiile ne-nominale, în paralel cu dezvoltarea de algoritmi de învățare pentru a implementa bucle de control, oferind o nouă modalitate de interfațare om-calculator și a explora abordări bazate pe estimare și predicție.

Aceste tehnologii vor trebui aplicate pe scară largă pentru a lansa vehicule, sisteme spațiale și dispozitive robotizate. Tendința este de a încuraja tehnologiile informaționale și lărgirea bazei de competențe în „soft computing” și inteligența computațională pentru a sprijini crearea de valoare adăugată la misiunile civile și militare și pentru a îmbunătăți siguranța, a reduce costurile (în timpul proiectării/dezvoltării și exploatării), pentru a crește eficiența și a prelungi durata de funcționare a componentelor critice de zbor, subsistemelor, vehiculelor globale și sistemelor complet integrate om-mașină.

Controlul EEG în mișcare

Pentru a putea utiliza EEG ca și control într-un cadru realist, trebuie să lucreze și monitorizeze participanți în mișcare: de exemplu, realizând sarcini comune precum ar fi dactilografierea sau utilizarea mouse-ului. Pentru a realiza acest lucru este necesar a fi luate în calcul efectele mișcării asupra ansamblului EEG.

Cunoaștere augmentată

Se vor dezvolta și implementa automatisme de prelucrare zgomot on-line și eliminare artefacte în procesul de procesare a biosemnalelor. Se vor dezvolta și adapta controllere mixte de semnale, inclusiv control manual și control automat al bio-semnalului. Aceste automatisme se pot evalua în sarcini simple sau combinate de tip EEG-BCI.

Se pot folosi următoarele modele de algoritmi de recunoaștere:

Extracție caracteristică – Codul de extracție caracteristic va fi îmbunătățit prin adăugarea de transformări pe bază de timp-frecvență, cum ar fi transformările wavet discrete (DWT). Se pot include, de asemenea metode de cartografiere din seria non-staționare în staționar timp sau de tip serie multiplă. Se pot utiliza „ferestre suprapuse” în cazul în care datele dintr-o fereastră se pot considera aproape staționare. Vor fi incluse utilizarea de metrici de comparație și etaloane.

Crearea de modele – se pot utiliza metode gaussiene într-un model de tip Markov. Se poate utiliza metoda hibridă HMM prin considerarea densității rețelei neuronale.

O densitate pur Gauss este identificată în mod unic prin doi termeni de ordine: variație medie și variație mică.

Adaptare online real time – cea mai mare provocare cu care se confruntă metoda este de adaptare la schimbările în semnalele eșantion care au loc de fiecare dată când se schimbă utilizâtorul investigat. Se propune utilizarea unor metode de tip „on-line tuning” care se pot adapta la seturi de intrare diferite.

Dispozitivele echipate cu senzori EEG sunt din ce in ce mai populare pentru o mare varietate de utilizatori, cu un număr mare de kituri comerciale dezvoltate în principal pentru piața jocurilor, industria entertainmentului, mici aplicații tehnice și cu tentă medicală.

Unul dintre cei mai importanți în acest domeniu este Neurosky care utilizează în general senzori uscați.

Procesare EEG în cadrul unei aplicații bazate pe EEG pentru browser/navigare web

Prelucrarea intrări EEG

Aici avem în vedere pașii generali de prelucrare EEG – preluați ca intrare pentru browser-ul web.

Captura dare: senzonul de ieșire EEG este capturat cu un kit portabil EEG, cum ar fi Mindware NeuroSky și trimis la un dispozitiv mobil, cum ar fi un smartphone, care este conectat cu ajutorul Bluetooth.

Preprocesarea și funcția de detecție: Ieșirea este preprocesată pe o aplicație care rulează pe telefonul mobil. Detectarea caracteristică se face pe analiza ieșirii EEG în dispozitivul mobil pentru a detecta și estima un trigger de emoție, nivelul de stres, de concentrare și alte aspecte EEG. Date suplimentare pot proveni de la alți senzori și surse cum ar fi camera frontală, semnale EMG, măsurarea bătăilor inimii, analiza clipirilor ochilor.

Componente browser

Implementarea se bazează pe semnalul EEG ca intrare primară de la utilizator. Procesul nu este unul facil în termeni tehnici având în vedere că sunt necesare actualizări funcționale ale browserului. Ca o metodă suplimentară de control și validare se poate utiliza vocea umană care să certifice anumite reacții EEG. Cu alte cuvinte componenta browser web în prima fază poate să fie construită mixt voce-EEG urmând ca ulterior, pe masură ce se realizează fine-tuningul metodei, să se renunțe la validarea cu voce.

Procesare voce

Vocea utilizatorului este capturată de către browser și procesată prin W3C MediaStream. Fluxul audio capturat este trimis la serverul de procesare utilizând Google Speech integrat cu Google Chrome.

Vocea procesată este integrată apoi cu aplicația software JSON a căștii.

Dacă se detectează un cuvânt cheie rostit, se trece la o acțiune concretă de procesare, în cadrul browserului.

Activitate browser

Odată ce elementul este selectat de utilizator, se lansează browser-ul și URL-ul asociat cu elementul care este încărcat spre vizualizare web încorporată.

Pragul de detectare – clipiri ale ochilor

În activarea pragului de lansare al browserului se folosește clipirea deliberată detectată de senzorul EEG și utilizată pentru a deschide un element selectat în mod curent în browser-ul web.

Este de precizat faptul că identificarea clipirii utilizatorului poate fi de asemenea detectată cu ajutorul unei camere de fotografiat asociată unui dispozitiv mobil. Cu toate acestea, folosirea senzorului EEG pentru a detecta clipirile face detecția mult mai exactă.

Pragul de detectare – atenție și/sau meditație

Nivelurile de atenție și meditație măsurăte cu casca Neurosky sunt înregistrate și utilizate pentru a detecta anumite intenții și spre a transmite comenzi generale sau specifice către browserul web.

Navigarea în funcție de nivelul de atenție

În timpul înregistrării nivelului de atenție al utilizatorului, se observă o întârziere între înregistrarea semnalului și procesarea comenzii la sistemul de control al browserului. O altă situație apărută este ca fluxul de atenție/meditație este destul de fluctuant.

Pentru a preîntâmpina aceste aspecte, s-a propus realizarea unui antrenament inițial, metodă prin care utilizatorul și sistemul se calibrează fiecare pentru a elimina întârzierile de procesare.

Astfel, sistemul integrat este capabil să învețe componentele EEG ale diverșilor utilizatori. Practic se construiește o mini bibliotecă locală cu „patternuri” specifice utilizatorilor.

Înregistrarea și utilizarea nivelului de meditație

Similar cu atenția, și pentru meditație se face același parcurs de procesare, calibrare, înregistrare pattern în biblioteca locală, antrenare, validare, executare.

Ce este însă specific strict meditației este că aceasta este mult mai fructuantă decât atenția, prin urmare controlul pe baza acesteia devine mai dificil. Însă pentru gestionarea cu succes a acestei metode, prin antrenament suplimentar față de atenție, prin înregistrări mai multe și prin repetarea mai densă a unor pași de validare se poate ca și meditația să fie utilizată cu succes pentru același scop.

În general nu se recomandă utilizarea meditației ca parametru pattern de control, nivelurile de atenție fiind mult mai stabile.

Limitări asociate cu utilizarea EEG

semnalele de la senzorii EEG pot fluctua

este necesar ca pentru fiecare utilizator să fie realizate înregistrări și validări multiple

este dificil de realizat comenzi spațiale și de orientare precum stânga-dreapta, sus-jos

unii utilizatori se familiarizează mai greu cu această metodă, care poate părea destul de volatilă pe anumite segmente de utilizare;

Algoritmi de detecție a „vârfurilor de semnal”

Algoritmii de detectare a vârfurilor de semnal au fost utilizați în mod semnificativ pe diferite modele de semnale biologice, cum ar fi electrooculograma (EOG), electrocardiograma (ECG/EKG) și electroencefalograma (EEG). Semnalul UOG estre generat de ochiul uman. Semnalul ECG/EKG este generat de inimă. Semnalul EEG este generat de creier.

Modelul „vârf Th” în analiza domeniu-timp

Modelul de vârf Th este un set de caracteristici de vârf care reprezintă un vârf de amplitudine, lățime și pantă. În analiza domeniu-timp, paisprezece vârfuri de tipuri diferite sunt recunoscute ca modele de vaârf. Cel mai vechi model de vaârf Th a fost introdus de Dumpalain 1982.

Modelul de vârf Th cuprinde patru caracteristici care sunt: 1) amplitudinea între amploarea punctului de vârf și magnitudinea de punc, 2) lățime între punctul val din prima jumătate de undă și punctul vale din a doua jumătate de undă, (3) și (4) două pante între un vârf punct din prima jumătate de undă și un vârf punct din a doua jumătate de undă.

Cadrul TH poate fi împărțit în patru etape: detectare vârf candidat, extragere vârf candidat, selecție vîrf candidat și clasificare vârf candidat.

Prima etapă, detectarea vârfurilor candidat se utilizează pentru a separa vârfurile candidat de cele non-candidat.

A doua etapă TH este extracția caracteristicilor vârfurilor candidate.

În a treia etapă, algoritmul PSO este adaptat pentru selectarea caracteristicilor și estimarea parametrilor de selecție.

În ultima etapă vârfurile candidațiilor sunt clasificate pe baza regulilor clasice de clasificare. În cadrul acestui context, pentru validarea unui model, fiecare experiment se derulează în serii independente. Pentru fiecare probă de lucru sunt utilizate seturi de date diferite. Pentru eficiență și exactitate se realizează aproximativ 1000 de repetări ale pașilor de algoritm.

Modelul vaârf Th este utilizat de exemplu pentru procesarea semnalelor generate de mișcarea ochilor. Au fost comparate diverse metode de procesare ale semnalelor EEG în sensul identificării avantajelor și dezavantajelor utilizării lor în diverse contexte și aplicații.

Transfomata Fourier (FFT)

Metoda folosește mijloace sau instrumente matematice pentru a analiza datele EEG. Caracteristici ale semnalului EEG achiziționat sunt analizate și calculate matematic pe baza densității spectrale a puterii (PSD).

Transformata Wavelet (WT)

WT joacă un rol important în recunoașterea și fidela diagnosticare a semnalului: comprimă semnalul biomedical variabil în timp și îl reduce la câteva semnale principale semnificative și reprezentative.

Vectori proprii

Metoda este folosită pentru a calcula frecvența și puterea semnalelor. Se bazează pe descompunerea Eigen și este utilizată în special pentru a identifica, separa și elimina artefactele.

Metoda Pisarenko

Este o metodă vector proprie disponibilă abordărilor utilizate pentru a evalua puterea/densitatea spectrală (PSD).

Metoda MUSIC

Metoda este utilizată pentru a rezolva probleme conexe prin identificarea parametrilor de tip zero fals, în domeniul spectrelor artefactelor.

Metoda reducerii la normă minimă

Metoda ajută la separarea zerourilor false în raport cu zerourile reale și este utilizată pentru eliminarea zgomotelor de semnal.

Metoda distribuție-timp

Metoda tratează semnalele silențioase pentru a oferi performanțe bune în etapele de preprocesare în scopul eliminării artefactelor. Fiind o metodă timp-frecvență cu principiu staționar se poate utiliza doar în etapa de preprocesare.

Metoda Autoregresivă (AR)

Metoda estimează densitatea spectrului de putere (PSD) din semnalul EEG utilizând o abordare parametrică.

Metoda AR este eficientă pentru că elimină pierderile spectrale și prin urmare se obține o mai bună frecvență de procesare. Rezoluția este mai bună spre deosebire de abordarea neparametrică.

O metodă foarte cunoscută de tip AR este metoda Yule-Walker. În această metodă, parametrii AR sunt estimați prin exploatarea rezultatelor aproximative ale funcției de autocorelație a datelor.

Un exemplu de procesare a semnalului EEG, ca suport pentru un act de voință

Într-un experiment realizat de Miranda și colaboratorii săi, acesta a produs un program
neuronal de compoziție muzicală. Experimentul lor combină EEG cu analiza HJORTH(o metodă de analiză EEG care analizează activitatea, mobilitatea, și complexitatea unui anumit semnal EEG), pentru a identifica modele EEG specifice pe baza cărora să se genereze un anumite tip de semnal muzical.
Rezultatul acestui experiment este un sistem care este capabil să derive o piesă muzicală,cu ajutorul undelor cerebrale preluate din semnalul EEG al unui individ.

Au existat câteva încercări de a utiliza semnalele biologice pentru compoziție muzicală. Cea mai comună metodă este prin utilizarea semnalului EEG. Deși această metodă este foarte bine ancorată temporal, fiind afectată de zgomote, este slabă ca și fidelitate a semnalului în raport cu alte tehnici de imagistică a creierului. Totuși, EEG rămâne o metodă viabilă de monitorizare a semnalului provenit de la creier, în timp real.

Crearea unei interfețe BCI muzicale de încredere va fi un pas important, nu numai pentru comunitatea de muzicieni dar și pentru domeniul tehnologiilor de asistență.

S-au făcut deja unele studii care propun utilizarea undelor cerebrale ca sursă generativă pentru muzică, până acum, nici unul dintre experimente nu au condus la un dispozitiv care ar putea fi utilizată cu un folos real de către persoane cu dizabilități.

În scopul de a crea o compoziție muzicală printr-o interfață BCI(BCMI), este nevoie de două lucruri: fidelitatea și robustețea semnalului provenit de la creier și care este detectat de către o mașină, și o metodă de a interpreta aceste semnale și a le traduce în muzică în timp real.

Până la acest moment nu se cunoaște existența unui ansamblu de echipamente și instrumente care să realizeze cu succes și în mod fiabil o asemenea sarcină complexă.

Relevanța practică a problemei urmărite în cercetarea propusa constă în dezvoltarea unei platforme (sistem tehnic) inovative care să permită pe baza preluării semnalelor din creier printr-un dispozitiv BCI (brain computer interface) sa se aibă acces la comandarea unor dispozitive aflate la distanta, dispozitive care sa faciliteze de la operațiuni cotidiene uzuale și pana la operațiuni complicate mergând pana la activități profesional-lucrative.

Totodata rezultatele cercetarii ar putea sustine dezvoltarea unei tehnologii de laborator si a unor servicii inovative care să eficientizeze procesul de evaluarea si testare psihiatrică si psihologică in cadrul institutiilor de specialitate cat și in cadrul companiilor, prin valorizarea abordarii moderne aferenta evaluarilor, abordare provenita din psihometrie.

Rezultatele cercetării pot fi orientate pe elaborarea și validarea unei soluții practice, concrete și viabile care sa fie introdusa în uz cotidian.

Posibile produse ce s-ar putea baza pe rezultatele cercetarii constau într-o platforma de comanda dispozitive aflate la distanta în baza unor preluări de informații de tip BCI (semnal EEG), precizând următoarele aspecte:

pe piața de profil national nu exista niciun astfel de ansamblu (fie el sistem, platforma sau dispozitiv) și totodată are sens a menționa ca a vorbi de o piața de profil în acest domeniu (un domeniu strict dar component al domeniului major IT&C) este aproape prea mult spus ;

determinarea, pe baza undelor cerebrale (EEG) preluate cu ajutorul elementelor BCI, identificarea și gestionarea patternului cognitiv și a altor parametrilor specifici, cat și elaborarea unor proceduri de antrenament pentru buna potrivire a utilizării funcție de fiecare scop specific;

crearea unui ansamblu-echipament de preluare de parametrii cognitivi asociați intențiilor de acțiune ale fiecărui individ în scopul asigurării accesului la anumite operațiuni casnice sau semiprofesionale și lucrative;

deschiderea unor oportunități și posibilități de integrare sociala și profesionale pentru anumite categorii de persoane aflate în indisponibilitate fizica sau prezentând diverse grade de incompatibilitate fizica cu mediul înconjurător;

Din punct de vedere al analizării rezultatelor și identificării unor posibile utilizari ale activitatii de cercetare în acest domeniu, ar putea fi considerate: identificarea și gestionarea corecta a ceea ce literatura specifica numește „brain pattern”, realizarea/identificarea unui algoritm eficient și funcțional pentru „brain pattern recognition”, realizarea unor aplicații practice concrete aplicabile subiecților umani cu rezultate imediat demonstrabile (de exemplu aprinderea unui bec prin interfața pur BCI fără acționare fizica a individului uman și doar printr-un șir de acționari și comenzi asupra unor dispozitive), realizarea unui prototip funcțional integrat final care sa constituie baza unor viitoare produse de piața reale și adresabile publicului larg nu doar utilizării experimentale de laborator.

Electroencefalografia (EEG) este o metoda neinvazivă de explorare a modificărilor de potențial electric din creier, înregistrat la nivelul scalpului. Pe baza electroencefalogramei, o Interfață Creier-calculator (BCI) poate oferi o cale de comunicare intre creier și calculator cu beneficii pentru pacienți cu deficite neuro-motorii severe (stadii finale ale Sclerozei Amiotrofice Laterale – ALS, paralizii cerebrale severe, traume la nivelul capului, leziuni medulare). Pe baza activității mentale aceștia pot comunica cu un echipament de calcul extern, care la rândul lui poate genera scrierea unor caractere sau comanda unor dispozitive externe. Sistemul BCI amplifica biosemnalele culese, identifica modele ale undelor cerebrale și modificările care apar la nivel de frecventa și le transforma apoi în semnale de control pentru comunicare sau controlarea unor echipamente/ dispozitive externe. Utilizatorul monitorizează dispozitivul pentru a trimite diferite semnale și acționa echipamentul pe baza ritmurilor cerebrale specifice. Tehnologia BCI este o opțiune de comunicare și control cu mare potențial în ceea ce privește interacțiunea dintre utilizatori și alte dispozitive aflate la distanta. Una din cele mai mari provocări în domeniul interfata om–mașina (HCI/HMI) o constituie dezvoltarea de sisteme care pot fi controlate cu ajutorul activității electrice a creierului respectiv a stărilor mentale identificate la fiecare utilizator..

Concept sistem tehnic (platforma)

Semnalele EEG sunt înregistrate și achiziționate prin intermediul unei caști EEG neinvazivă (de exemplu: EEG Emotiv Neuroheadset cu 14 senzori și transmisie WiFi), apoi caracteristicile semnificative sunt extrase și ulterior clasificate cu ajutorul unor algoritmi „brain pattern recognition”. După determinarea modelelor și a unor structuri model în semnalul brut achiziționat în timp real de la utilizator, un semnal de ieșire/de acționare asigura controlul/ comanda pentru un dispozitiv extern (ex: TV, întrerupător lumina, scaun cu rotile, braț robotic pentru asistenta casnica

Fig. Sistem tehnic/plaformă – posibil concept tehnic

„Platforma bazata pe BCI/EEG ca suport pentru interacțiunea cu dispozitive aflate la distanta poate avea o arhitectura inovativa modulara structurata în 3 module:

Modul Achiziție date, are rolul de a achiziționa în timp real activitatea EEG de la nivelului scalpului și realizează transmiterea semnalelor în timp real către modulul de procesare semnal.

Fig. Modul achiziție date – model de propagare date

Modul procesare date – dezvoltarea unui algoritm care sa realizeze extragerea caracteristicilor semnalului EEG achiziționat de la utilizator care reprezintă intenția/ starea mentala a utilizatorului și transpunerea lui în comenzi (modele mentale – eng. pattern recognition).

Dezvoltarea unor pachete de algoritmi pentru comandarea unor dispozitive la distanta au la baza algoritmul „brain pattern recognition” . Acest algoritm „brain pattern recognition” se va realiza și identifica în prealabil prin extragerea informației/semnalului util din înregistrarea EEG în funcție de output-ul/ aplicația care se dorește a fi creata (extragere informație utila: VEP- visual evoked potential, P 300 –Potențial 300, SSVEP – Steady state visual evoked potential). Se va realiza o identificare și clasificare a „brain pattern recognition” în funcție de vârsta, gen și stările mentale ale subiecților (relaxare, oboseala,suprasolicitare, stres, tristețe, bucurie, etc.) în urma unor experimente și achiziții de date pe un lot extins de subiecți. Aceste experimente și analize au ca scop identificarea unor modele ale activității electrofiziologice ale creierului atunci când subiectul efectueaza în mod voluntar anumite sarcini cognitive. Controlul deliberat al gândurilor oferă un canal de comunicare între creier și mediul extern. Recunoașterea modelului (eng.pattern recognition) reprezintă capacitatea unui individ de a lua în considerare un set complex de intrări care conțin sute de caracteristici și parametri, și să ia o decizie bazată pe compararea unor modele preexistente pe care persoana a întâmpinat-o anterior sau a învățat-o anterior. În prezent, rețelele neuronale sunt cele mai frecvent utilizate iar caracteristica principală a unui sistem BCI este viteza cu care interfața poate fi utilizată. Aceasta poate fi măsurată prin capacitatea de canal – numărul de biți pe secundă, care pot transmite de la interfața utilizatorului la computer.

Fig. . Modul procesare date – fluxul Procesului

Modul de interfațare utilizator–computer printr-o aplicație software ce oferă utilizatorului posibilitatea de antrenare a ritmurilor senzorio-motorii. Pe baza input-ului identificat în modulul SP se realizează comanda fizica a diferitelor dispozitive/ chipamente externe de la distanta. Ritmuri sensorio-motorii (SMR) sunt cuprinse intre 8-30 Hz în electroencefalograma (EEG), înregistrate la nivelul scalpului în zona sensorio-motorie a contexului care se modifica odată cu schimbarea de mișcare și/ sau a mișcării imaginate. Multe studii au demonstrat că oamenii pot învăța sa iși controleze amplitudinile SMR și poate folosi acest control pentru a muta cursoare și alte obiecte în una, două sau trei dimensiuni. Detectarea stării mentale a utilizatorului susține realizarea unei acțiuni pe baza hărții activității corticale a acestei stări. Acest lucru ar trebui să permită utilizatorului să controleze dispozitivele externe folosind stări mentale. Pentru ca semnalul de ieșire să ofere controlul/ comanda diferitelor dispozitive va trebui ca utilizatorul să realizeze în prealabil câteva sesiuni de antrenare a undelor cerebrale specifice (undele Alpha, beta sau ritmurile senzorio-motorii) pentru a putea calibra casca și a se identifica structura model a undelor cerebrale proprii. Acest lucru este necesar și datorită faptului că structura creierului uman este foarte complexă și diferită de la individ la individ. De exemplu pentru închiderea luminii comanda se poate realiza pe baza atingerii unei anumite frecvente a undelor cerebrale: unda alfa cu frecvența cuprinsă între 8 și 12 Hz. Pentru deschiderea luminii de la întrerupător comanda se va realiza pe baza atingerii frecventei de 13 – 40 Hz ce reprezintă unda beta.

Fig. Modul interfațare– Flux informațional

Fig. Flux informațional general – schemă bloc

Impact Socio-economic al cercetarii si aspecte inovative

Rezultatele cercetarii pot fi suport pentru realizarea unei platforme integrata pentru comandarea și acționarea la distanta a unor dispozitive în urma preluării și nterpretării unor semnale de la creier pe baza de EEG.

Posibilitatea de utilizare pe piața de profil a unor astfel de dispozitive este dată de caracteristicile inovative ale acestuia:

facilitarea accesului la realizarea unor operațiuni uzuale casnice pentru persoane aflate în imposibilitatea de a face acest lucru în mod curent, datorita unor disfuncții fizico-psihice ;

identificarea patternului cognitiv și crearea de proceduri de antrenament pentru modificarea acestuia în raport cu obiectivele specifice de acțiune concreta ale fiecărui individ;

șansa intrării pe piața muncii a unor persoane care în mod normal s-ar afla doar în statutul de persoane asistate.

Prin aplicațile și funcțiile pe care le va putea sprijini, rezultatele cercetării pot fi transpuse în produse ce pot fi comercializate către orice persoana care se afla în anumite ipostaze dificile atunci când se confrunta cu operațiuni uzuale casnice sau semi-profesionale. Astfel de produse se adresează persoanelor fizice, laboratoarelor, centrelor medicale, instituțiilor cu profil medical, instituții cu activități în domeniul neurologic și psihologic.

Conceptul prezentat în urma cercetării poate susține realizarea unui produs care sa poată fi accesibil din punct de vedere al costurilor și cred ca este o oportunitate această perioadă, având în vedere apariția pe piața a dispozitivelor BCI suficient de eficiente și destinate publicului larg consumator.

De altfel, odată cu identificarea și gestionarea corecta a brain pattern-ului, aplicațiile pot fi nenumărate și dintre cele mai diverse. Domeniile de aplicare ale controlului EEG pot fi pe de o parte de natura asistivă, însa pe de alta parte pot fi de natura de educativa și de antrenare.

La nivelul Uniunii Europene există o serie de măsuri și prevederi cu scopul de a garanta nivelul și calitatea vieții umane. În acest sens, cercetarile realizate pot constitui un suport important pentru persoanele ce prezintă diverse dizabilități fizice și psihice. Totodată pot constitui un suport important pentru persoanele aflate în indisponibilitate fizica temporara de a face anumite operațiuni uzuale casnice. Poate sa constituie un suport în antrenarea și recuperarea stimulatorie după diverse accidente. Conceptul tehnic propus pe baza controlului predeterminat de gestionarea pattern-ului EEG, poate permite aspecte de utilizare dintre cele mai diverse, toate în sensul facilitării vieții umane, în sensul facilitării accesului și proactivității individuale. Printr-o astfel de platforma se poate reda accesul la locuri de munca care permit aspecte de automatizare și control electronic, unor persoane care în mod normal nu ar mai putea face acest lucru. Permite integrarea și readucerea pe piața muncii a unor persoane care nu ar putea spera vreodată sa aibă acces la un loc de munca sau sa presteze o activitate profesionala sau semi-profesionala. Întregul concept cat și produsele derivate ce pot rezulta pot avea o aplicabilitate absolut directa și concreta asupra persoanelor.

Totodată un astfel de concept tehnic poate fi generatorul unor instrumente ce vor fi utilizate în scopul îmbunătățirii și ameliorării vieții umane, în cadrul unor clinici, laboratoare, centre de tratament, antrenament și cercetare.

Cea mai evidenta legătura directa dintre acest concept tehnic și individul utilizator, este faptul ca fiind bazat exclusiv pe BCI (brain computer interface), se produce o relație directa totala intre platforma și individ în sine, deoarece intrare pentru tot ce se întâmpla este semnalul preluat de la creierul uman (semnalul EEG).

Raportat la alte sisteme care exista în acest moment pe piața, putem afirma ca la nivel național este imposibil de comparat deoarece nu exista un astfel de sisteme piața națională și nu exista interese sistematice pentru acest domeniu deoarece este un domeniu de absoluta noutate. Apariția dispozitivelor BCI accesibile financiar este punctul de pornire pentru o explozie de aplicații asociate, urmând ca în perioada anilor viitori sa înceapă sa se contureze o piața naționala de profil.

Nici la nivel internațional lucrurile nu sunt extrem de evoluate decât la nivelul unor laboratoare consacrate, însa segmentul end-user și de tip cost-accesibil nu este dezvoltat încă. In raport cu alte sisteme/produse existente, conceptul aduce în plus în primul rând o abordare care are în vedere realizarea unei platforme accesibile economic, care sa depășească stadiul de laborator. Sunt vizate aplicații concrete nu componente de cercetare. Dincolo de abordarea absolut noua, platforma tehnica ar putea permite gestionarea corecta a brain pattern-ului, ceea ce va aduce un plus de valoare, constituind baza unor aplicații derivate absolut spectaculoase (de exemplu: brain computer education, brain computer direct action, brain computer training). Analizând și alte posibilități, cu siguranță domeniul și zona de brain computer entertainment poate constitui încă o arie de dezvoltare și diversificare, cu scopuri recreaționale și de creștere a calității petrecerii timpului liber.

Consider ca acest concept la nivel de Romania va fi în câțiva ani un produs/tehnologie de referinta, constituind un “framework” de plecare pentru alte noi cercetări în scopul ameliorării, imbunâtățirii și sporirii calității vieții.

Pentru dezvoltarea acestor sisteme o deosebită importanță o constituie prelucrarea semnalelor EEG și extragerea informației utile din semnal. La nivel International și național recunoașterea modelelor activității electrofiziologice a creierului “brain pattern recognition” și realizarea de algoritmi reprezintă o adevărata provocare atât din punct de vedere al achiziției, prelucrării de semnal cat și din punct de vedere medical.

Dezvoltarea unui pachet de algoritmi “pattern recognition” pentru extragerea informației utile din semnalul brut achiziționat și determinarea modelelor și unor structuri model a harților stărilor mentale și a ritmurilor senzorio-motorii ce se doresc a fi identificate.

Dezvoltarea unei tehnologii de acționare la distanta a unor dispozitive/ echipamente aflate la distanta, pe baza harților stărilor mentale și a ritmurilor senzorio-motorii.

Dezvoltarea unei platforme hardware-software ce nu a mai fost realizata în tara, bazata pe BCI ca suport pentru interacțiunea cu dispozitive aflate la distanta, dedicate atât persoanelor pentru acționarea diverselor echipamente/ dispozitive la distanta cat și reabilitării unor persoane cu deficiente neuro-motorii.

Construcția modulara a platformei, astfel încât în timp se pot adăuga alte module în funcție de aplicație dezvoltata și tipul utilizator.

Pachetul de algoritmi dezvoltați pentru platforma pot utiliza metode avansate de prelucrare a semnalelor EEG și ale Inteligentei Artificiale pentru analiza datelor EEG și recunoașterea modelelor creierului „brain pattern recognition.” Originalitate metodei poate rezulta și din capacitatea echipei de cercetare de a utiliza diverse metode de clasificare, extragere și optimizarea metodelor de clasificare și recunoaștere a modelelor creierului în vederea optimizării și eficientizării interfeței de comanda și comanda diferitelor dispozitive aflate la distanta.

În prezent, multe dintre produsele de consum de pe piața sunt limitate în utilizarea și scopul lor. De la jocuri de copii la controlere pentru jocuri video, proiectele curente BCI bazate pe EEG au o fiabilitate scăzută. Cele mai multe proiecte care chiar ajuta oamenii cu dizabilități sau bătrânii, sunt în principal în faza de testare și cel mai probabil vor rămâne în această etapă pentru un timp considerabil. Din nefericire, factorul de încredere cu BCI împiedica dezvoltarea la o scară mai largă a altor posibile aplicații.

BCI/EEG poate fi o solutie modernă în aplicațiile de asistență medicală prin abordarea problemelor cu care se confruntă pacienții cu dizabilități motorii severe și tulburări neuromusculare. O soluție neinvazivă ar putea fi aplicată la mijloacele de protezare la amputați sau mobilitatea ar putea fi garantată altor pacienți cu sindrom locked-in, cum ar fi ALS (scleroza laterală amiotrofică). Chiar dacă oamenii din aceste situații și-au pierdut abilitatea de mișcare pe cont propriu, includerea unei component robotice și traducerea procesului lor de gândire prin intermediul unui BCI, ar putea oferi ajutor și confort noului lor stil de viață. Aplicațiile posibile nu sunt limitate la proteze și scaune cu rotile motorizate, dar ar putea fi aplicate la modul în care o persoană ar putea interacționa cu mediul lor.

Persoanele cu dizabilități motorii severe se confruntă cu provocări în realizarea sarcinilor de zi cu zi. O integrare a controlului lor de mediu – cum ar fi controlul unui termostat, a luminii sau a canalelor TV- ar putea ușura dilemele de zi cu zi cu care se confruntă. Unii pacienți care și-au pierdut vocea datorită unei boli neuromusculare ar putea în sfârșit să comunice singuri cu lumea, prin intermediul conectării și navigării pe internet să găsească forumuri de sprijin sau pentru a lega prietenii. Nu numai că navigarea pe web ar fi o formă de exprimare dar domeniul sincronizatoarelor vocale ar putea fi un alt domeniu care ar putea fi dezvoltat.

Siguranța este un alt domeniu promițător pentru dezvoltarea BCI și robotică. BCI are capacitatea de a traduce ce gândește (acte de vointa) o persoană prin intermediul undelor cerebrale (EEG). Ce ar fi dacă această ieșire ar fi folosită pentru a preveni accidentele la locurile de muncă care necesită concentrare intensa? Sisteme de preluare a semanului EEG ar putea fi utilizate pentru personalul care este angajat în locuri de muncă critice, cum ar fi piloții, lucrătorii în construcții și pompieri, pentru a se asigura/verifica starea lor alertă. De îndată ce aceste persoane dau semne de plictiseală sau oboseală, cineva ar putea fi notificat; astfel, reducând numărul de accidente în aceste domenii.

Cercetarile din domeniu BCI/EEG si al prelucrarii semnalelor preluate de la creierul uman, pot aduce un plus cercetării aplicative și a procesului tehnologic din Romania, la evoluția și cerințele mediului socio-economic național și global prin dezvoltarea unor produse și a unor tehnologii avansate cu un spectru larg de aplicații în domeniul TIC, și care va deschide noi direcții în domeniul BCI atât la nivel național cat și international. Se pot pune bazele generarii unor produs accesibile ca preț și poate oferi utilizatorului posibilitatea sa acționeze pe baza stărilor mentale și a undelor cerebrale (ritmul mu, potențialele corticale lent variabile și potențialele evocate) diferite dispozitive externe (ex: deschiderea/închiderea TV-ului, schimbarea canalului la TV închiderea/aprinderea luminii). Datorita faptului ca o astfel deplatformă ar putea avea o arhitectura modulara se pot dezvolta diverse aplicații în funcție de domeniul aplicabil și utilizator respectiv pacient. De exemplu se poate folosi pentru antrenarea diferitelor ritmuri senzoro-motorii pentru persoanele cu dizabilități cat și antrenarea mentala pentru copii cu deficit de atenție (Attention Deficit Hyperactivity Disorder – ADHD). Datorita conceptiei inovatoare și modularității platforma poate avea diverse alte aplicații în mai multe domenii:

Instruire și educație (BRAIN CONTROL EDUCATION): cele mai multe aspecte ale instruirii și educării sunt legate de creier și de plasticitatea lui. Măsurarea plasticității și schimbărilor la nivel de activitate electrica poate contribui la îmbunătățirea metodelor de instruire în general și programul de formare a unui individ.

Divertisment și jocuri – controlul și influențarea mediului virtual pe baza stărilor mentale

Evaluare: neuromarketingul – pentru evaluarea modulului în care consumatorii iau decizii și legătura dintre procesul decizional și ariile creierului uman.

Îmbunatatirea Sistemului Cognitiv – procesarea input-ul (stimulii din mediul intern și extern al organismului) pe baza unor algoritmi, generând astfel un output comportamental.

CONCLUZII

În urma analizelor propriii realizate în cadrul cercetărilor, consider că un element de pattern EEG este acel tip de componentă/mecanism/metodă proprie internă care se reproduce de fiecare dată (aproape identic sau identic) atunci când este supusă la un set de stimuli identici în condiții de validare similare (context similar, condiții similare, fenomente similare, pași repetați în aceeași ordine, echipamente similare, etc).

Mai multe elemente de pattern EEG constituie pattern-ul EEG al fiecărui individ în parte.

Din primele concluzii și observații reiese că pattern-ul EEG al unei persoane este un element destul de sensibil, ba chiar poate deveni volatil în anumite condiții, fiind extrem de dependent de condițiile externe, modificări aparent minore ale contextului producând modificări relevante în comportamentul EEG și anulând practic structura de pattern identificată.

În aceste condiții de sensibilitate, o primă concluzie importantă este că are sens să analizăm și să luăm în calcul elementele de pattern doar pentru acele situații/contexte și medii unde stabilitatea este mare, sau să analizăm doar acele tipuri de elemente de pattern care s-au reprodus în marja de variație de-a lungul analizelor efectuate.

Astfel, în analizele realizării în cadrul cercetării am luat în calcul aspecte de natură evidentă cum ar fi oscilațiile de semnal EEG asupra cărora se poate face o estimare concretă, reală și cu sens.

Totodată am analizat două componente stabile și interpretate deja de echipamentul hardware al măsurării, anume semnalele procesate privind “atenția” și “meditația” așa cum sunt ele generate de senzorul EEG al căștii Neurosky. Procesarea acestor semnale se face prin integrarea hardware-software existent deja în tehnologia Neurosky.

Având în vedere că pentru “Atenție” și “Meditație” tehnologia proprie a căștii Neurosky face deja interpretarea pe o scară 1..100 a fiecărui segment de semnal EEG, am considerat valorile preluate ca fiind stabile și valide.

În acest sens, am utilizat în măsurători și analize inclusiv aspectul valoric al “atenției” și “meditației” ca puncte de referință pentru compararea anumitor comportamente cerebrale, în ideea în care având o scară stabilă unică de referință, analiza poate fi concludentă. Indiferent însă de metoda de procesare și de valorile de referință, toate analizele au fost făcute în sens de trenduri și comportamente ale unor seturi de date și nu au fost făcute în direcția indicării unor valori precise ca puncte de referință în raport cu un reper predeterminat.

Există anumite măsuraători pentru care am utilizat semnalul brut EEG (raw EEG) compus, așa cum este el redat de senzorul de măsurare. În această direcție, măsurătorile au avut ca scop reliefarea unor comportamente de oscilație/variație ale semnalului și nu valori concrete ale acestuia. Trendurile unor seturi de date și frecvența oscilatorie, cât și gama de oscilații, au fost elemente la care m-am raportat pentru a trasa segmente de posibil pattern. Pe baza unor măsurători repetate am putut valida anumite informații din analizele concepute, însă sunt și elemente asupra naturii cărora nu s-a putut trage o concluzie certă.

Ca și regulă generală am concluzionat: constituirea unui pattern se poate face prin metoda îmbinării unor elemente subsecvente care împreună să dea o semnificație relevantă în termeni uzuali.

Constituirea unui element de pattern se poate considera inclusiv prin preluarea numărului de oscilații minim-maxim în cadrul unor măsurători repetitive relevante ale semnalului EEG filtrat de către software-ul specific al senzorului EEG în sensul descompunerii acestuia în “atenție” și “meditație”.

Constituirea unui element de pattern se poate considera inclusiv prin analiza variației procentuale în raportul de atenție pe perioade diferite de timp, cu condiția obligatorie și necesară a cunoașterii contextului de măsurare, având în vedere că elementul de pattern poate avea relevanță doar dacă se reproduce în context similar sau cât mai aproape de identic

Studiul EEG brut, variațiile acestora în mod express, raportate la un cadru controlat (cum este cel al susținerii unui test) poate pune la dispoziție un element de pattern. Dificultatatea utilizării acestui element este dată de faptul că este necesar ca pentru determinarea lui să se asigure de fiecare dată un mediu identic sau similar de obținere a semnalului EEG brut.

Acest tip de element de pattern (susținerea unui test pentru generarea unor condiții de comportament aparent predeterminat) poate fi utilizat în laboratoare/clinici/cabinete dar nu poate fi un element de pattern pentru medii de tip „free behaviour”sau entertainment.

Studiul EEG brut (variațiile acestuia în mod expres), raportate la un cadru controlat (cum este cel al participării la o expunere) poate pune la dispoziție un element concret privind comportamentul nivelului de atenție. Dificultatatea utilizării acestui element este dată de faptul că este necesar ca pentru determinarea lui să se asigure de fiecare data un mediu identic sau similar de experimentare.

Din punct de vedere al instrumentelor de prelucrare utilizate, analizând cele 5 metode de procesare în domeniul frecvenței, putem concluziona că fiecare dintre ele este utilă într-un anumit context și în funcție de interesele de procesare.

Metodele de tip domeniu-frecvență nu pot furniza informații de calitate ridicată pentru unele semnale EEG, spre deosebire de metodele timp-frecvență care oferă calitate ridicată, dar nu pot oferi informații detaliate privind semnalele EEG.

Din aceste considerente ale aspectelor provenite din limitările instrumentelor și metodelor utilizate pentru preluare și procesare, este necesar ca pentru fiecare situație în parte și pentru fiecare necesar de procesare, să fie aleasă metoda potrivită în raport cu ieșirile așteptate/necesare.

Elementele de pattern pot fi clasificate ca fiind stabile și parțial stabile. Cele stabile sunt cele care se reproduc cu o rată de succes de peste 95% în condiții similare sau aproape similare, cele parțial stabile fiind cele care se reproduc cu o rată de succes de peste 60% în condiții de experimentare similare sau aproape similare. Acele elemente de pattern care nu se pot reproduce cu o rată de succes de minim 60% le considerăm complet volatile, neutilizabile și doar arbitrar asemănătoare.

Astfel, în urma cercetărilor proprii, orice element care prezintă o rată de reproducere în mediu controlat de minim 60% poate fi considerat element de pattern. Gradul de stabilitate de peste 95% certifică faptul că avem de-a face cu un element de patter ce poate fi utilizat pe scară largă. Elementele de pattern parțial stabile sunt utilizabile la rândul lor, dar cu condiția că nu mai este neapărat relevantă o utilizare pe scară largă uniformizată și doar prin repere și referințe individuale sau ale unor grupuri omogene. Astfel, pentru punerea în valoare a elementelor de pattern parțial stabile se impune utilizarea unor metode de tip “algoritm în timp real de învățare/predicție” prin care un sistem software de analiză specializat ar putea “învăța” caracteristici individuale/pe grupuri omogene de subiecți și le-ar putea raporta la seturi de caracteristici cuprinse într-un reper specific.

Având în vedere caracteristicile generale ale componentelor EEG cât și varietatea metodelor de prelucrare și interpretare ale unor caracteristici ce ar putea determina elemente de pattern, este necesar ca pentru fiecare lot de subiecți analizați să se reia măsurătorile și interpretările de un număr suficient de mare de ori încât aspectele observate să devină relevante și clasificarea să aibă relevantță și stabilitate a concluziilor.

Provocări/ bariere pentru continuarea cercetării:

Extragerea informațiilor și caracteristicilor utile și de interes din semnalul brut EEG (raw EEG) achizitionat este o sarcina foarte dificila. Semnalele creierului sunt amestecate cu alte semnale care provin de la un set finit de activități ale creierului care se suprapun în timp și spațiu. Marea provocare este de a extrage modele relevante de semnale EEG produse de creier în fiecare secunda/la un interval de timp rezonabil.

Semnalul nu este de obicei staționar și poate fi, de asemenea, distorsionat de artefacte precum electromiografie (EMG) sau electrooculografie (EOG).

BIBLIOGRAFIE

“Real-time EEG-based Emotion Recognition and its applications, Yisi Liu, Olga Sourina, Nanyang Technological University, 2008, Singapore, grant NRF2008IDM-IDM004-020.

Classification of Patterns of EEG Synchronization for Seizure Prediction, 2008 IEEE Workshop on Machine Learning for Signal Processing

“Power Spectrum Analysis of EEG Signals for EstimatingVisual Attention”, International Journal of Computer Applications (0975 – 8887) , Volume 42– No.15, March 2012

EEG Signal Processing for BCI Applications. Human – Computer Systems Interaction: Backgrounds and Applications 2, Advances in Intelligent and Soft Computing, Avid Roman-Gonzalez, 2012, 98 (1), pp.51-591;

http://amber.feld.cvut.cz/bmeg/wp-content/uploads/2012/03/Valentova-ITBAM-2010.pdf

http://www.ijarcsse.com/docs/papers/Volume_4/1_January2014/V4I1-0116.pdf

Methods of EEG Signal Features Extraction Using Linear Analyisis in Frequency and Time Frequency Domains, Amjed S. Al-Fahoum, Ausilah A. Al-Fraihat, Hindawi Publishing Corporation, 2014;

A Local Neural Classifier for the Recognition of EEG Patterns Associated to Mental Tasks, José del R. Millán, Josep Mouriño, IEEE TRANSACTIONS ON NEURAL NETWORKS, VOL. 13, NO. 3;

EEG PATTERN RECOGNITION THROUGH MULTI-STREA EVIDENCE COMBINATION, Morris, A.C, Obermaier, B., Pfurtscheller, G. EC/OFES (European Community / Swiss Federal Office for Education and Science) RESPITE project (REcognition of Speech by Partial Information techniques).

Classification of Patterns of EEG Synchronization for Seizure Prediction, 2008 IEEE Workshop on Machine Learning for Signal Processing

Coherence function in biomedical signal processing: a short review of applications in Neurology, Cardiology and Gynecology, Agnieszka Kitlas Golińska, STUDIES IN LOGIC, GRAMMAR AND RHETORIC, 25 (38), 2011.

“Signal Processing Techniques”, John A. Putman, Article in EEG Info – 2007 – www.eeginfo.com

“Time frequency analysis, of electroencephalogram series”, S.Blanco, Physical Review E, Volume 51, No.3

„An Approach for Pattern Recognition of EEG Applied in Prosthetic Hand Drive” http://www.iiisci.org/Journal/CV$/sci/pdfs/RO865CT.pdf

„Machine learning & pattern recognition for brain computer interface”, Rowan University, USA http://itap-tthv.org/braindynamics2012/presentations_ files/presentations/itap_brain.dynamics_presentation_r.polikar.pdf

http://dsp.vscht.cz/konference_matlab/MATLAB07/prispevky/bartosova_prochazka/bartosova_prochazka.pdf – GRAPHICAL USER INTERFACE FOR EEG SIGNAL SEGMENTATION

IIfejik-Jones, N. L., & Barrett, A. M. (2011). Rehabilitation–Emerging Technologies, Innovative Therapies, and Future Objectives. Neurotherapeutics, 452-62

Lu J, McFarland DJ, Wolpaw JR., Adaptive Laplacian filtering for sensorimotor rhythm-based brain-computer interfaces., J Neural Eng. 2013

https://hal.archives-ouvertes.fr/file/index/docid/742211/filename/EEG_Signal_Processing_for_BCI_Applications_.pdf

http://mmspg.epfl.ch/files/content/sites/mmspl/files/shared/BCI/publications/reportsammerkumar.pdf

http://www.eeginfo.com/research/researchpapers/Signal_Processing.pdf

http://www.cis.hut.fi/Opinnot/T-61.181/s04/local/eeg_seminar.pdf

Pattern recognition for non invasive EEG – based BCI, 2011, Ilja Kuzovkin (http://kt.era.ee/supervision/Kuzovkin2011.pdf)

EEG PATTERN RECOGNITION THROUGH MULTI-STREAM EVIDENCE COMBINATION (http://infoscience.epfl.ch/record/82711/files/morris-2001-neuroinformatics.pdf )

http://liu.diva-portal.org/smash/get/diva2:746664/FULLTEXT01.pdf – Classification of EEG signals

http://www3.ntu.edu.sg/home/eosourina/Papers/RealtimeEEGEmoRecog.pdf – Real time EEG based emotion recognition

http://www.da.ugent.be/school2014/pages/en/Presentations/tutorial_pattern_recognition_EEG_BCI.pdf – Pattern recognition in EEG