Instrumente Informatice Utilizate In Analiza a Datelor

Instrumente informatice utilizate in analiza a datelor

1.1 Instrumente informatice utilizate in analiza a datelor in excel

1.1.1 Weka

1.1.2 EViews (Econometric Views)

1.1.3 SPSS

Instrumentul Weka

Instrumentul Weka,este acronimul pentru ”Mediul Waikato” pentru analiza cunoștințelor (Waikato Environment Knowledge Analysis), este un produs software al Universității Waikato, din Noua Zeelandă utilizat in analiza datelor prin tehnici data mining.

Data mining-ul sau extragerea informației predictive ascunse în baze mari de date,este o puternică tehnologie,cu un mare potențial de a ajuta organizațiile de orice tip să se concentreze pe cele mai importante și utile informații din depozitele personale de date. Instrumentele de data mining prezic tendințele și comportamentele viitoare, permițând proceselor de orice tip să ia decizii pro-active și bazate pe cunoaștere. Analizele automate, de perspectivă oferite de data mining merg dincolo de analiza evenimentelor trecute,oferite de instrumentele tipice ale sistemelor suport pentru luarea deciziilor. Instrumentele de data mining pot răspunde întrebărilor furnizate de aproape orice domeniu, întrebări care și-ar găsii altfel răspuns foarte greu, folosind-se metodele tradiționale. Aceste metode de data mining scotocesc bazele de date în căutarea tiparelor, modelelor ascunse, a informației predictive pe care experții o pot trece cu vederea.

Metodele de data mining provin din calculul statistic clasic, din administrarea bazelor de date și din inteligența artificială. Ele nu înlocuiesc metodele tradiționale ale statisticii, ci sunt considerate a fi extinderi ale tehnicilor grafice și statistice.Deoarece soft-ului îi lipsește intuiția umană, pentru a face recunoașterea a ceea ce este relevant de ceea ce nu este, rezultatele metodelor data mining vor trebui supuse în mod sistematic unei supravegheri umane, astfel că metodele acestea de data mining și cunoașterea umană se completează reciproc, și nu se exclud.

Astăzi, din ce în ce mai multe organizații din cele mai diverse domenii de activitate, deja au inițiat procesul de implementare a tehnicilor specifice data mining-ului pentru colectarea și rafinarea marilor cantități de informație. Aceste tehnici pot fi implementate rapid utilizând platformele software și hardware existente deja, pentru a intensifica valoareare surselor informaționale existente, platforme ce pot fi integrate cu noi produse și sisteme pe măsură ce acestea sunt făcute cunoscute utilizatorilor

Poate cel mai important aspect al acestor tehnici de data mining este acela că ele vin să rezolve probleme ale lumi ireale, din cele mai variate domenii, precum: sectorul dezvoltării umane, inginerie, afaceri,educație,domeniul social,bancar,sănătate,managementul diferitelor tipuri de activități și multe altele.Data mining-ul descoperă modele în interiorul datelor utilizând așa numitele tehnici predictive.Aceste modele joacă un rol foarte important în luarea deciziilor,deoarece ele evidențiază arii unde procesele de orice tip necesită o îmbunătățire rapidă. Utilizând soluțiile de data mining, organizațiile de orice natură își pot mării profitabilitatea interacționării cu clienții lor, pot îmbunătății managementul activităților de orice naturăși cu un mare impact asupra calității vieții, asupra dezvoltării umane, se pot detecta fraudele, și multe altfel de aplicații dintre cele mai variate. Modelele descoperite utilizând soluțiile de data mining ajuta organizațiile sa ia decizii mai bune și într-un timp mai scurt.

Weka este o colecție de algoritmi de învățare automată pentru data mining, în limbaj Java. Algoritmii pot fi aplicați direct asupra unui set de date sau pot fi apelați din codul scris de programator. Weka conține instrumente de preprocesare a datelor, clasificare, regresie, reguli de asociere și vizualizare. Conține o colecție de instrumente de vizualizare și algoritmi pentru analiza datelor și modelarea predicției, asociate cu interfețe utilizator grafice pentru a oferii un acces facil la instrumentele sale. Varianta originală Weka nu folosea limbajul de programare Java, ci un limbaj de tip TCL/TK (Tool Command Language), un limbaj pentru scripturi creat de către John Ousterhout. Această primă variantă a fost creată inițial ca un instrument pentru analizarea datelor din domeniile agriculturii, în timp ce această nouă variantă de Weka, bazată pe limbajul Java,dezvoltarea acestei versiuni a început în anul 1997, este acum folosită în multe domenii de aplicare, dintre cele mai diverse, evidențiindu-se cel al dezvoltării umane, al educației și cercetării.

Punctele forte ale acestui pachet Weka, sunt următoarele:

este disponibil sub licența celor de la General Public License;

este foarte portabil deoarece este implementat în limbajul de programare Java, limbaj ce rulează pe orice tip de platformă ;

conține o colecție de tehnici pentru preprocesarea și modelarea datelor;

este ușor de utilizat chiar și de către un începător datorită interfețelor grafice pe care le folosește.

Weka oferă task-uri specifice data mining-ului, ca de exemplu: preprocesarea datelor, regresie, vizualizare și selecția variabilelor. Toate tehnicile Weka au la bază supoziția potrivit căreia datele sunt disponibile sub forma unui fișier sau relații, în care fiecare dată este descrisă printr-un număr fix de atribute, atribute obișnuite, numerice sau nominale. Weka furnizează acces la baze de date SQL și poate procesa rezultatele întoarse de o interogare.

Principalele interfețe Weka sunt cele numite Explorer și Experimenter. Interfața Explorer este alcătuită din câteva panouri care oferă acces la principalele componente ale mediului de lucru, și anume: panoul Preprocess, panoul Classify, panoul Associate , Cluster , Select attributes și panoul Visualise.

Panoul Preprocess conține facilități pentru a importa date din baze de date sau dintr-un fișier CSV (comma-separated values) și pentru procesarea acestor date folosind un așa numit algoritm de filtrare. Panoul Classify oferă utilizatorilor posibilitatea de a aplica algoritmii de clasificare și regresie asupra datelor, pentru a estima acuratețea modelului predictiv obținut, pentru a vizualiza erorile de predicție, curbele ROC, sau modelul în sine sub forma unui arbore de decizie. Panoul Associate oferă acces la regulile de asociere pentru a identifica conexiunile dintre atribute. Panoul Cluster oferă acces la tehnicile de clustering disponibile în Weka. Panoul Select attributes furnizează algoritmi pentru identificarea atributelor semnificative necesare pentru realizarea predicției, dintr-un set de date. Ultimul panou, este panoul Visualise, care oferă o matrice de tip scatter plot.

Datele de intrare sunt conținute într-un fișier de tip „arff”, al cărui format este recunoscut de Weka. Caracteristic acestui fișier sunt cele trei secțiuni indicate de cuvintele cheie: @relation, @attribute, @data, care corespund numelui bazei de date, câmpurilor (specificându-se și tipul acestora) și respectiv, înregistrărilor.

1.1.2 EViews (Econometric Views)

EViews (Econometric Views) este un software pentru statistic pentru sistemul de operare Microsoft Windows, folosit în special pentru analiză econometrică. Software-ul este dezvoltat de firma Quantitative Micro Software (QMS). Versiunea 1.0 a fost lansată în martie 1994, și mai târziu a fost înlocuită cu software-ul MicroTSP. Versiunea curentă a EViews este 6.0, din martie 2007.

EViews combină software-ul de tip tabel (spreadsheet) și baze de date relaționale cu funcții tradiționale din software statistic. Programul are și un limbaj de programare integrat.

EViews suportă fișiere din Excel, SPSS, SAS, Stata, RATS, TSP și poate accesa baze de date compatibile ODBC.

1.1.3 SPSS

SPSS (Statistical Package for the Social Sciences) este unul dintre cele mai utilizate programe în analiza statistică a datelor. A apărut în anul 1968, a evoluat până la versiunea 15 și aria de aplicabilitate s-a extins de la versiune la versiune, odată cu modul de operare și cu facilitățile oferite. Programul este utilizat astăzi în marketing, cercetare experimentală, educație, sănătate etc. În afară de analizele statistice posibile, programul are componente puternice pentru managementul datelor (selectare, reconfigurare, creare de date noi) și pentru documentarea datelor (există un dicționar metadata, care reține caracteristici ale datelor). Se mai poate adăuga flexibilitatea privind tipurile de date acceptate ca și modulul de construire a rapoartelor.

Ferestre SPSS:

Data Editor

Viewer

Pivot Table Editor

Chart Editor

Text Output Editor

Syntax Editor

Data Editor: este fereastra care se deschide automat la pornirea unei sesiuni și care permite editarea datelor, crearea de noi înregistrări, eliminarea unor înregistrări etc.

Datele pot fi văzute în două ipostaze:

Activând tab-ul Data View se vor afișa înregistrările fișierului de date într-o grilă, coloanele reprezentând variabilele, liniile fiind cazurile studiate (termenul de cazuri provine evident din practica sociologică/medicală, sunt elementele eșantionului studiat).

Activând tab-ul Variable View se vor afișa metadatele asociate variabilelor (numele variabilei, tipul variabilei, indicații de afișare etc.).

Viewer

Fereastra Viewer este utilizată pentru afișarea rezultatelor: statistici, tabele, diagrame etc. Dacă nu există o fereastră Viewer deschisă, se va crea automat una la prima comandă care produce ieșiri. Rezultatele afișate pot fi editate, deplasate, eliminate etc. într-un mediu similar cu cel din Microsoft Explorer.

Pivot Table Editor

Multe dintre tabelele care conțin rezultate sunt de fapt tabele pivot (cuburi OLAP). Acestea pot fi modificate în fereastra Pivot Table Editor (editare text, reconfigurare tabel etc.) activată prin dublu click pe un tabel. Apar meniurile corespunzătoare care permit editarea.

Chart Editor

Diagramele care pot fi construite, în general prin comenzile meniului Graphs, pot fi modificate, formatate etc. prin comenzile disponibile în Chart Editor. O asemenea fereastră este activată la dublu click pe o diagramă dintr-un fișier SPSS de ieșire.

Text Output Editor

Textul simplu (neinclus într-un tabel pivot) poate fi modificat, la dublu click pe o intrare text din fișierul de ieșire, în fereastra Text Output Editor. Se pot modifica în acest fel caracteristicile uzuale ale fontului.

Syntax Editor

SPSS poate fi utilizat prin intermediul unei limbaj de comenzi proprii. Acesta a fost modul inițial de operare, astfel încât o serie de prelucrări foarte specializate au rămas disponibile, chiar și în ultimele versiuni, doar prin intermediul comenzilor.

O fereastră Syntax Editor poate fi deschisă prin File – New/Open – Syntax. Comenzile pot fi scrise direct în fereastra Syntax Editor, dar există și posibilitatea de a înregistra acțiunile din interfața utilizator sub formă de comenzi (similar înregistrării unui macro din Microsoft Office). Comenzile pot fi salvate ca un fișier de comenzi, în vederea reutilizării.

Script Editor

SPSS poate fi personalizat/automatizat prin intermediul unui limbaj de scriptare, Sax Basic (compatibil Visual Basic for Applications). Se va deschide o fereastră Script Editor prin File – New/Open – Script.

Pot exista mai multe ferestre de ieșire (Viewer), ca și mai multe ferestre de sintaxă (Syntax Editor). Fereastra activă dintr-un grup este indicată de semnul “!” afișat pe bara de stare a ferestrei active, activarea poate fi modificată prin acționarea uneltei din fereastra inactivă