Depozite de Date

Introducere

Necesitatea de a ne informa a existat dintotdeauna, dar ceea ce caracterizează perioada curentă este volumul foarte mare de date disponibilie, dar și necesitatea de a primi răspunsuri într-un timp cât mai scurt. Datorită aglomerării pe piață și a dinamicii mediului economic, capacitatea de a strânge datele și de a transpune în informație utilă pentru procesul de luare a deciziilor aceasta poate fi elementul care va face diferența.

Indiferent de dimensiunea unei organizații, capabilitatea de a analiza și de a exploata datele operaționale este una din cele mai importante funcții pentru garantarea succesului și a competitivității. Așa au fost concepute sistemele de business intelligence oferind soluții software pentru a furniza informații factorilor de decizie, printr-o singură mișcare, având posibilitatea de a identifica și a reacționa într-un mod adecvat la condițiile schimbătoare de pe piață și ale clienților, indiferent de moment și locație.

Ușurința accesării în timp real la o singură sursă de date exacte permite organizației să:

Reacționeze mai rapid la modificările condițiilor de pe piață

Detecteze și să elimine blocajele lanțului logistic

Furnizeze informații securizate în orice loc sunt necesare

Identifice zonele unde se pot realiza economii de cheltuieli.

Sistemele de Business Intelligence până nu de mult au fost considerate drept instrumente adresate doar managerilor- soluții care oferă unei companii la nivel de management toate informațiile necesare pentru îmbunătățirea performanței acesteia. Pe lângă acest rol sistemele de BI operațional mai are în plus și detectarea trendurilor, problemelor și a altor facturi imediat după apariția lor, oferindu-le angajaților posibilitatea de a le rezolva imediat, neavând posibilitatea ca acestea să ia amploare, putând avea un impact negativ asupra firmei.

Capitolul 1.Tehnologia Business Intelligence

1.2. Business Intelligence: Definiții și concepte

1.2.1 Scurt istoric

Acest termen a fost introdus la mijlocul anilor ’90 de către Gartner Group, acesta existând la nivel de concept cu mult înainte, incă din anii ’70, fiind folosit în sistemele de raportare cu ajutorul mainframe-urilor.

Gartner Group descrie Business intelligence ca un proces de transformare a datelor în informații, și dupa o călătorie de descoperire transformând aceste informații în cunoaștere. Vriens & Philips, 1999, au descoperit BI-ul ca un proces de stăpânire și procesare a informației pentru a dezvolta strategia unei organizații. De Tijd, 2006, definește BI ca totalitatea aplicațiilor de analiză și raportare a datelor companiei pentru imbunatațirea luării deciziilor care duc la conducerea mai bună a companiei. Cei care iau astfel de decizii trebuie să li se furnizeze informații de încredere, filtrate din toate informațiile pe care compania le-a dobândit în trecut. Principalul scop este de a transforma aceste date brute în informații valoroase și utile. Figuri din trecut nu sunt reportare într-un foarte detaliat mod, dar în schimb sunt agregate, analizate și legate între ele cu scopul de a previziona activități viitoare. De asemenea, David M. Kroenke, 2006, a menționat ca sistemele de business intelligence cad în aceste largi categorii, anume raportare, inclusiv OLAP și data mining.

Business Intelligence și multe alte sisteme analitice care sprijină managementul de cerere, analize predictive, modelare de venituri și inteligenta bazată pe roluri in organizații sunt critice pentru orice organizație în a supraviețuii turbelenței pieții în ziua de azi. Factorul adițional al Internetului și marketingul digital este abilitatea de a captura comportament și alegeri pe Web, ca fiecare aplicație bazată pe Web care generează electronic date utilizator. Acesta este responsabil pentru o creștere de nivel excepțional în adoptarea BI în marketing, vânzări și servicii globale organizaționale. De asemenea redefinește functionalitățiile componentelor de analiză, raportare și folosirea informațiilor inteligentele la nivel global de întreprindere.

Pentru folosirea conceptului de Business Intelligence necesită anumite aptitudini, tehnologii, practici și procese care sunt angajate ca parte de support în luarea deciziilor într-o organizație. Aplicarea tehnologiilor de Business Intelligence au puncte de vedere istorice, contemporane chiar și predictive asupra preluării afacerii unei companii. Această tehnologie contine funcții unice care sunt intrinsece unui anumit sistem. Adoptarea unui sistem de tip BI este legat de sprijinirea unei mai bune calități în luarea unor decizii.

Preluarea unor sisteme de tip business intelligence este critic în operația lină și coordonată a fiecarei organizații. Totuși, nu au fost integrate în totalitate în multe companii și organizații. Acesta fiind rezultatul unei slabe comunicări între diferite întreprinderi și lipsa de coordonare și management.

1.2.2 Sistemele de Business intellingence

Business Intelligence este un sistem foarte important de informații pentru organizații pentru susținerea luării de decizii. Totuși, sisteme BI nu sunt folosite doar pentru suportul pentru decizii, ele ajutând firmele și la implementarea și monitorizarea practicilor lor sustenabile.

BI se referă la o combinație de diferite aplicații și tehnici pentru dobândirea, integrarea, analizarea și oferirea accesului la informatiile din interior și exterior cu scopul de a ajuta organizația de a lua deciziile zilnice într-o manieră mult mai strategică și fundamentală.

Dacă privim un sistem de BI observăm 3 componente: componenta de date, componenta logică și componenta de acces/analiză. Aceste trei componente (cf. Figura de mai jos) și părțile lor specifice vor fi prezentate mai jos.

Fig.1 Componentele BI

Capturarea datelor

Inainte ca datele să fie stocate, este nevoie să fie capturate dintr-un sistem ce stocheaza aceste date dintr-un sistem operațional ( de ex. Un server SQL care salvează date dintr-un process de producție). Pentru a fi capabil să ai datele stocate, este necesar un proces de Extragere, Transformare si Încarcare (ETL). În acest proces , datele sunt extrase din surse de date heterogene, fiind integrate și mutate în depozitul de date. După ce datele sunt analizate, rezultatele sunt prezentate de un sistem de vizualizare.

Stocarea datelor

Dupa ce datele au trecut prin procesul de ETL, acestea sunt stocate într-un Data Warehouse (Depozit de date). În acest depozit datele sunt structurate pentru interogări, analize și suport decizional. Rolul datelor este de a suporta deciziile de business, nu operatiile de afaceri. Aceste date pot fi de asemenea stocate in Datamarts, depozite mai mici create specific fiecărui departament pentru a ușura luarea deciziilor.

Accesare și alocare

Această parte a sistemelor inteligente oferă utilizatorilor o interfață, ascunzând complexitatea tehnică a analizei datelor. Aceasta interfață este oferită prin intermediul utilizării unui instrument de interogare a datelor a sistemului, pentru a face analize sofisticate și a vizualiza rezultatele. Cele mai cunoscute tehnici sunt Online Analytical Processing (OLAP) și Data Mining (DM).

OLAP transformă datele din depozit intr-o informație strategică utilizând (1) oferirea unei vizualizări multidimensionale a datelor, prin folosirea (2) capabilităților de calculație intensive și (3) prin capacitatea de timp inteligent.

La final aceste rezultate vor fi folosite de organizații în vederea luării de decizii.

Fig. 2 Un proces traditional de BI

În faza de analiză a datelor, interogarea bazei de date și raportare sistemul va executa analize statistice de bază sau interegorări predefinite pentru a reflecta unele informații legate direct de date, dar nu poate ajuta utilizatorii să acceseze cunoștințe implicite și utile din date. Comparând cu acesta, sistemul de OLAP poate furniza analize multidimensionale de date. OLAP permite datelor să fie defalcate sau rezumate pe diferite dimensiuni la multiple granularități specificate de utilizatori în avans. Mai mult, procesul de Data mining poate furniza analize viitoare ale datelor. Mai degrabă decât statistici de bază și agregări multidimensionale, Data mining oferă mai multe funcționalități complexe, ca de exemplu clasificarea și previzionare. Pentru unele conținuturi, reportarea și interogarea de baze de date, și OLAP pot fi privite ca părți componente ale procesului de Data Mining deoarece aceasta poate atinge și functionalitățile lor. Acesta ajuta organizațiile să extragă mai multe cunoștințe implicite. Mai mult, data mining incearcă sa automatizeze procesul de Mining( minerit) cât de mult posibil

1.3. Business intelligence și sustenabilitatea lui

În general sistemele de business intelligence sunt folosite pentru suportul organizațiilor în vederea luării de decizii. Totuși, în timp ce practicile de sustenabilitate și resposabilitatea sociala corporativă devine , în ultimele decenii, din ce în ce mai esențială pentru organizații , oamenii încep să folosească BI pentru susținerea strategiilor și practicilor de sustenabilitate a organizațiilor.

De exemplu, Petrini, M. and Pozzebon, M. (2009) ilustrează un model conceptual care poate ajuta organizațiile să integreze practicile lor de durabilitate în strategiile de afaceri bazate pe suportul de Business intelligence. Mai mult, SAS ( software de business intelligence și analitică) care este liderul în domeniul de BI consideră că investind în Business intelligence este una din cele cinci strategii care poate îmbunătății sustenabilitatea corporativă (SAS, 2008).

1.4. Framework-ul de Business intelligence

Framework-urile prezentate în cercetările de sisteme BI disting în general 3 straturi principale, și 3 straturi sunt acceptate drept model deși denumirile specifice diferă. Toți pașii și principalele instrumente discutate sunt prezentate în figura de mai jos.

Fig. 3 BI framework

Cinci nivele ale BI-ului sunt distinse în figura de mai sus prin separarea procesului de ETL și depozite de date ca nivele diferite, și prin adăugarea unui nivel de metadată. Acest strat de metadată constă în metadată pentru fiecare componentă din sistemul de business intelligence și astfel separă datele, definițiile, și regulile de afaceri ale datelor. Această abstracție poate fi văzută ca justificată sau nu, dar mai important straturile ne îndreaptă spre o separare a datelor și a structurii, de asemenea văzută și în implementarea de big data.

Având în vedere că acest domeniu de business intelligence trebuie să crească dependent de analiza de date , în anii 1900 termenul de business intelligence și analitică (BI&A) a fost adoptat drept combinația perfectă de termeni. Această definiție este des utilizată astăzi, o recentă și largă descriere a sistemului de Business intelligence va fi utilizată în această lucrare :

‘’Business intelligence și analitică este deseori utilizată ca referire la tehnicile, tehnologiile, sistemele, practicile, metodologiile, și aplicațiile care analizează date critice pentru a ajuta întreprinderea să înțeleagă mult mai bine afacerea proprie și piața și să ia decizii mai bune într-un timp mai scurt.’’

Data mining

Introducere

Data mining promite să facă viața mult mai ușoară pentru cei care iau deciziile de afaceri și pentru analiști. Aceasta poate fi văzută ca și explorarea și analiza unei cantități mari de date cu scopul de a descoperii paterne și reguli folositoare. Dincolo de doar a previziona performanțe viitoare, data mining ajută la identificarea relațiilor din date care pot fi altfel ascunse, calculând sanșele ca anumite produse pot fi vândute sau anumiți clienți se pot duce în altă parte bazându-se pe alte circumstanțe, sau mai multe.

În ultimii ani, data mining a fost folosit în diferite arii de știință și inginerie, de exemplu în bioinformatică, genetică, medicină și inginerie electronică. De asemenea oamenii din afaceri găsesc din ce în ce mai multe aplicații de data mining, majoritatea fiind în afaceri și asigurări, telecomunicații, vânzări cu amănuntul și securitate. În domeniul de vânzări fiind rar folosit. Acest lucru fiind ciudat ca și în sistemele de ERP. Sistemele modernde de ERP adună și centralizează cantități mari de date și astfel data mining pare să fie o tehnologie bună pentru sprijinirea procesului de date, regăsirea lor și procesului de cunoștințe pentru luarea deciziilor.

De când data mining are o mare istorie în domeniul academic și între timp în mult alte diferite domenii ca financiar și vânzări cu amănuntul există o mare cantitate de literatură disponibilă despre data mining. Acest lucru face dificil să obții o viziune precisă a unei arii țintă , fiecare arie având necesități și cerințe specifice. Este nevoie de un sector de informații specifice despre acest proces. Și mai departe, ca acest proces să fie aplicat într-un domeniu financiar unde încă nu este aplicat procesul de data mining, ca în domeniul de vânzări, este necesar să traduci corect întrebările de afaceri în sarcini de data mining.

Definiții și caracteristici

Termenul de data mining se referă la procesul de analiză și explorarea unei cantități mari de date cu scopul de a extrage și de a descoperii modele, paterne și relații folositoare, și aceste rezultate importante să fie sumarizate drept cunoștințe . Astfel unii oameni egalează sistemul de data mining cu procesul de KDD ( Knowledge Discovery in Databases). Totuși, alți autori consideră ca procesul de DM este doar unul din pașii din KDD. De exemplu, Han, J.and Kamber, M. 2006 și Hand, D. Manila, H.& Smith, P (2001) consideră că KDD ca întreg procesul de selecția de seturile de date țintă, preprocesarea datelor( inclusiv curățarea, integrarea, selecția și transformarea datelor), data mining, și prezentarea și evaluarea rezultatelor. De fapt, limitele precise ale procesului de minerit sunt greu de delimitat, astfel mulți oameni nu disting cele două procese. Un proces tradițional de data mining este prezentat în figura de mai jos.

Fig. 4 Proces traditional de data mining

Funcționalitățile acestei proces sunt multiple. Scopurile de bază sunt explorarea și vizualizarea datelor. Aceste funcționalități pot oferii utilizatorilor o înțelegere de bază a datelor, și uneori rezultatele sunt folositoare. De obicei procesul adoptă unele măsuri de sumarizare a datelor și metode de vizualizare pentru a-și atinge scopul.

Un alt grup de funcționalități a procesului de DM este funcționalitatea predictivă ce conține clasificarea, estimarea, predicția și analiza seriilor de timp. Sarcina de clasificare reprezintă gasirea unui model de sortare a obiectelor în diferite clase, în timp ce estimarea este utilizată să calculeze diferite valori al obiectelor pe baza informațiilor cunoscute. Previziunea este similară cu clasificarea și estimarea dar întodeauna previzionează valori viitoare. Analiza seriilor previzionate tinde să fie egală cu analiza seriilor de timp a datelor.

În contrast cu funcționalitățile predictive, regulile de clustering și asociere sunt descrise drept funcționalități descriptive. Procesul de Clustering este folosit de sortare a obiectelor în diferite clase. Totuși, comparativ cu etapa de clasificare, nu se cunoaște eticheta de clase înaintea procesului de clustering. Regulile de asociere este un fel de paterne frecvente de mining a cărui sarcină este de detectare care din lucruri merg împreună.

În sfârșit , analiza outlier care este utilizată de a detecta obiectele de date care nu prezintă comportamentul general. Această funcționalitate poate fi folosită pentru detectarea fraudei și monitorizarea focului.

Avantajele folosirii procesului de data mining sunt :

• costuri reduse pentru procesul de luare a deciziilor;

• management inteligent (de o mai bună calitate și cu decizii mai rapide);

• imbunătațirea serviciilor către clienți;

• oferirea unui suport valabil proiectelor de reinginerire a afacerii;

• imbunătațirea managementului firmei in ansamblu.

Sistemele de data mining sau de extragere de cunoștințe au urmatoarele caracteristici esențiale:

•concluziile generate de sistem au o probabilitate foarte mare; pot fi considerate „sigure”;

• comparativ cu informațiile deținute de utilizator sau sistem, informația rezultată nu este triviala;

•modelele descoperite sunt reprezentate utilizatorului intr-o forma comprehensibila.

Data mining este un subdomeniul al inteligenței artificiale în stransă legătură cu statistica, învățarea automată, sistemele expert, arborii decizionali,rețelele neuronale si altele. Sistemele de analiză statistică (SAS și SPSS) și modelele statistice (modelul liniar) sunt utilizate de către analiști pentru a detecta și explica anumite modele neobisnuite, a confirma sau infirma ipoteze, ș.a. Sistemele de invățare automată analizează exemplele și rezultatele anterioare și învață cum să le reproducă făcând generalizări pentru cazurile noi. În general, aceste sisteme folosesc pentru analiză un set finit de observații, ce poartă denumirea de set de antrenare – training set. Acest set de date conține exemple (observații codificate intr-o anume forma recunoscută de către mașină).

Sisteme Suport de Decizie și Sisteme inteligente

Istoricul Sistemelor Suport de Decizie

Conform lui Keen și Scott Morton (1978), termenul de SSD ( Sistem Suport pentru

Decizii) s-a dezvoltat din două arii de cercetare : studiile teoretice cu privire la alegerea unor decizii la nivel de companie organizate de Institului de Tehnologie Carnegie din anii 1950-1960 precum și munca tehnică în sistemele interactive bazate pe calculator, aceastea din urmă realizate la Institutul de Tehnologie Massachusetts în timpul anilor ’60. Acest concept se consideră o arie de cercetare în sine de la mijlocul anilor ‘70, câștigând ulterior intensitate de-a lungul anilor 1980.

La mijlocul și spre finalul anilor 1980 s-au dezvoltat Sistemele Informatice Executive, Sistemele Suport pentru Decizii de Grup și Sistemele Suport pentru Decizii Organizaționale, care au evoluat din Sistemele Suport pentru Decizii mono-utilizator orientate pe model.

La începutul anilor 90 au apărut termenul de depozite de date și procesarea analitică on-line care au lărgit domeniul SSD-urilor. O dată cu trecerea la noul mileniu au apărut pe piață noi aplicații de analiză bazate pe web.

Se poate preciza ca o concluzie că Sisteme suport pentru decizii sunt legate de un mediu cu fundamente multidisciplinare, inclusiv cercetarea în baze de date, metode de simulare, inginerie software, telecomunicații și inteligență artificială.

Anii 2000 SSD bazate pe Web

Anii 1990 Depozite de date, Procesare analitică on-line

Anii 1980 Sisteme informatice de execuție. SSD de grup

Anii 1970 Sisteme Suport pentru Decizii

Anii 1960 Studii tehnice asupra lucrului interactiv

Anii 1950 Studii teoretice referitoare la luarea deciziilor

Fig. 5. Evoluția SSD

Luarea deciziilor

A lua o decizie a devenit o parte indispensabilă a fiecarei zile din viața unei persoane. Luam sute de decizii în fiecare zi. Pentru a lua o decizie bună, trebuie să fim informați despre opțiunile alternative. Aceste opțiuni pot fi în diferite forme ca de exemplu numere, grafice, și impresii. Turban a clasificat deciziile în trei grupuri: structurate, semi-structurate și nestructurate. Deciziile structurate sunt decizii repetitive și de rutină. Deciziile nestructurate sunt decizii din afara rutinei care determină pe cei care iau aceste decizii să ofere gândire. Deciziile semi-structurate include câteva din caracteristicile din ambele tipuri de decizii structurate și nestructurate. Cei care trebuie să ia o decizie trebuie să ofere judecată doar părțile pentru care nu au o procedură acceptată.

Deciziile manageriale

Într-o organizație, managerul este primul și cel mai important în luarea deciziilor. Toate activitățile manageriale se învârt în jurul luării de decizii. Totuși, schimbările rapide în mediul managementului fac ca procesul de luare a deciziilor să fie mult mai complicat în zilele noastre decât în trecut. Motivele pentru care acest fapt pot fi sumarizate astfel:

Creeare de erori poate fi cauza a unui cost foarte mare datorită complexității într-o organizație

Este dificil să accesezi informații pentru a lua decizii

Sunt mult mai multe opțiuni datorită tehnologiilor îmbunătățite

Drept urmare cel care ia decizia trebuie să fie rapid mai ales în nivelurile mai înalte de educație.

Sistemele de suport pentru decizii

Aceste sisteme există pentru a ușura procesul de luarea a deciziilor. SSD-urile nu iau decizii singure. Ele încearcă să automatizeze câteva sarcini din procesul de luare a deciziilor în care modelarea este principalul scop. Pentru a înțelege aceste sisteme, utilizatorul uman trebuie să înțeleagă procesul de luare a deciziilor.

SSD-urile folosesc date, oferă o interfață ușor de folosit și poate încorpora inteligența umană. Tabelele din bazele de date ale procesului sunt foarte bine structurate și indexate și datele nestructurate sunt deseori preprocesate și organizate pentru a suporta diferitele tipuri de interogări utilizate.

Scopul sistemelor de suport pentru decizii

Holsapple and Whinston au declarat că, scopul sistemelor de suport pentru decizii este de a îmbunătății abilitatea managerilor de a lua o decizie prin permiterea a mai multor și de calitate mult mai bună a deciziilor în limitele de constrângeri cognitive, timp și economice. Mai specific, scopurile acestor sisteme sunt:

Suplimentarea celor care iau decizii

Permiterea a unei alegeri mai inteligente

Facilitarea în rezolvarea problemei

Conducerea cunoștinței

Componenetele SSD-urilor

Un SSD este compus din patru subsisteme fundamentale. Data management, model management, interfața de utilizator și subsistemele de management al cunoștințelor.

Sistemele de management al datelor: Un sistem SSD utilizează una sau mai multe stocări de date pentru a furniza informații relevante pentru SSD. Câteva din ele sunt întreținute de către acest sistem, altele sunt surse externe de date. Unele din bazele de date sunt utilizate prima oară și întreținute de alt sistem de informații cu propriul sistem de management al bazelor de date și unele aplicații de SSD nu au baze de date separate. Datele sunt introduse în sistemul de decizii care e necesar.

Sistemul de management de model: modelul de bază oferă factorilor de decizie accesul la o varietate de modele și ii asistă în luarea deciziilor. Poate include software-ul de sistem de management de model ce coordonează utilizarea modelelor în SSD.

Subsistemul Dialog sau Interfața de utilizator: permite utilizatorilor să interacționeze cu SSD-ul pentru a obține informații. Utilizatorul oferă informații SSD-ului și comenzi utilizând subsistemul.

În plus, utilizatorul este considerat ca parte din sistem. Interfața utilizator este hardware-ul și software-ul care facilitează comunicarea și interacțiunea dintre utilizator și calculator.

Subsistemul de management al cunoștințelor: acesta este un subsistem opțional și poate sprijinii oricare din celelalte subsisteme sau să se comporte ca o componentă individuală. De asemenea, furnizează informații pentru soluția problemei specifice.

Breiter și Light declară că, majoritatea teoriilor despre managementul de informații trag cantități distincte de date, informații, și cunoștințe și astfel se fac cele trei faze a procesului de transformare a datelor în informații. Începe cu datele nestructurate și sfârșește cu informații utile în procesul de luare a deciziilor. Acestea sunt următoarele:

Datele există într-o stare nestructurată. Acestea nu au o semnificație, și drept urmare, pot exista în orice formă. Se schimbă în funcție de persoana care privește și se transformă în informație.

Informația este data căruia îi este oferită o semnficație când este conectată cu un context

Cunoștințele este o colecție de informații considerate utile, și folosite pentru a ghida o acțiune.

Ackoff spune că sunt sașe pași în procesul de transformare a datelor în informație. În următoarea figură se pot vizualiza acești pași.

Fig. 6 Procesul de tranformare a datelor în cunoștințe

Procesul începe cu colectarea și organizarea datelor, urmată de sumarizare, analiză și sintetizarea informaților pentru a lua decizii. La sfârșitul acestui proces, datele nestructurate devin utile. Înafara de aceste subsisteme, conform lui Sauter există un nou subsistem la care se face referire ca la un subsistem de management de mesaj, care este folosit pentru a gestiona datele capturate din mail și din grupul de discuții electronic. O privire schematică a unui sistem de suport pentru decizii este afișată în figura următoare.

Fig. 7 Componentele unui SSD

Clasificare SSD

Există mai multe tipuri de Sisteme Suport pentru Decizii, acestea fiind clasificate din puncta de vedere a mai multor autori:

Funcțiile (Alter, 1977) care împarte SSD în două grupe:

Orientate pe date

Orientate pe modele

Sprague (1980) le clasifică după flexibilitate și transportabilitate:

Specifice

Generatoare de SSD

Instrumente primare de construire a SSD

în asistarea deciziilor sunt folosite sistemele expert, existând o asemănare între arhitectura SSD și cea de Sistem Expert , ce reflectă o convergență natural a tendințelor de gândire în rezolvarea unor probleme propuse de experți umani, independente. În continuare vom discuta despre sistemele expert și necesitatea acestui tip de sistem în procesul de luare a deciziilor.

1.3. Sistemele expert

Introducere

Tehnologia sistemelor expert este una din cele mai vechi și cea mai bine pusă la punct ( sisteme bazate pe reguli). De-a lungului timpului au apătut foarte multe tipuri de sisteme expert, compatibile cu o gamă largă de aplicații. Acestea folosesc o cunoaștere numită expertiză, provenită de la experții umani, iar procesul de colectare a acesteia se numește achiziția cunoașterii. Este nevoie de mai multe interviuri cu expertul sau de mai multe metode adecvate până este bine structurată baza de cunoștințe, o componentă de mare importanță a sistemului. Pe lângă baza de cunoștințe adevărata putere stă în motoarele de inferențe (componenta de raționament) și în sistemele de explicații de care dispun.

Pentru conceptul de sistem expert, cercetătorii oferă în principal definiții fundamentale, pragmatice. De exemplu Edward Feigenbaum de la Universitatea Stanford demonstrează că “sistemele expert sunt programe concepute pentru a raționa în scopul rezolvării problemelor pentru care în mod obișnuit se cere o expertiză umană considerabilă”.

Edward Feigenbaum este unul din cei mai mari cercetători în inteligență artificială care a mai definit acest termen ca pe “un program inteligent pentru calculatorul electronic, care utilizează cunoașterea și proceduri de inferență pentru soluționarea problemelor, care sunt suficient de dificile pentru a necesita o expertiză umană semnificativă pentru soluționarea lor”.

O altă definiție afișează sistemul expert ca un sistem care emulează abilitatea de a lua decizii ale expertului uman. Termenul “emulează” înseamnă că sistemul este menit să acționeze în toate privințele ca expertul uman. Emularea este ceva mai mult decât simularea, care cere doar să se acționeze prin imitarea condițiilor realizate. Sistemul expert acționează foarte bine în domenii bine delimitate.

P.V. Pigford și G. Baur arată că “Sistemul expert este un produs program care emulează comportamentul experților umani care rezolvă probleme din lumea reală asociate unui domeniu particular al cunoașterii”.

Din toate aceste definiții rezultă următoarele principale caracteristici ale sistemelor expert:

– la nivel conceptual sisteme expert se axează pe reconstituirea raționamentului uman pe baza expertizei obținută de la experți;

– au capacitatea de a memora cunoașterea, de a stabili legături între cunoștințe și de a infera concluzii, soluții, sfaturi, recomandări, chiar si cauzele unor fenomene și situații pe baza faptelor și prelucrării cunoașterii incerte;

– sunt organizate pentru achiziționarea și exploatarea cunoașterii dintr-un domeniu particular denumit domeniul problemei;

– sistemul expert dispune de cunoștințe și de capacitatea de a desfășura activități intelectuale umane;

– sistemele expert dispun de metode de invocare a cunoașterii și exprimarea expertizei, comportându-se ca un “asistent inteligent”;

– la nivel de realizare informatică sistemele expert se bazează pe principiul separării cunoașterii (bazei de cunoștințe) de programul care o tratează (motorul de inferență).

Deși nu au imaginația și ingeniozitatea umană, aceste sisteme prezintă mai multe avantaje față de expertul uman :

Prețul de cost al expertizei este mai redus;

Calitatea expertizelor nu este influențată de programul de lucru și de monotonie (nu obosește);

Cunoașterea înmagazinată nu se degradează în timp (nu există uitare).

Toată baza de cunoștințe poate fi dezvoltată continuu, cu cele mai noi realizări din domeniul expertizei, simulând astfel “stagiile de perfecționare” ale expertului uman.

Cunoașterea într-un sistem expert este organizată într-o manieră care separă cunoștințele despre domeniul problemei de alte tipuri de cunoștințe cum sunt cele despre rezolvarea problemei și cel despre interacțiunea cu utilizatorul.

Din această cauză au fost introduși următorii termeni :

1. bază de cunoștințe pentru colecția de cunoștințe despre domeniul problemei;

2. motor de inferențe pentru cunoașterea despre modul de rezolvare a problemei;

3. interfața cu utilizatorul pentru cunoașterea despre interacțiunea cu utilizatorul;

Modalitatea în care sistemul expert folosește cunoașterea din componența sa prezintă o importanță deosebită deoarece un astfel de sistem trebuie să dispună atât de cunoaștere, cât și de mijloacele de utilizare într-un mod eficient a cunoștințelor pentru a fi suficient de calificat într-un anumit domeniu.

Sistemele expert reproduc raționamentul uman asupra cunoștințelor puse la dispoziția lor într-o anumită manieră, multiplică cunoștințele și explică liniile proprii de raționament.

Analogia privind procesarea informației de către ființa umană și procesarea informației în cadrul sistemelor inteligente artificiale este reprezentată în schema de mai jos:

Structura de baza a unui sistem expert

Sistemul expert este o mulțime de cunoștințe specializate care poate fi consultată pentru o anumită problemă. Acesta conține trei componente principale :

Baza de cunostinte ;

Interfata cu utilizatorul ;

Motorul de inferenta.

Pentru achiziționarea și modificarea cunoștințelor, pentru colectarea informației asupra domeniului problemei, asigurarea unei interacțiuni cu utilizatorul în timpul lucrului ca și pentru luarea în seamă a mecanismului de raționament, un sistem expert trebuie să asigure și funcții complementare de achiziție a cunoașterii și explicare a propriului comportament. În acest caz el va fi dotat cu două componente suplimentare și anume :

Modul de achiziție a cunoașterii – este singurul specializat pentru a ajuta utilizatorul expert pentru introducerea unor piese în baza de cunoștințe și pentru actualizarea bazei de cunoștințe. Se pot folosi pentru achiziția unor informații, chiar baze de date sau fișiere create cu program de calcul tabelar.

Modul explicativ – are drept scop obținerea de către utilizator a explicațiilor referitoare la procesele inferențiale, la soluțiile date în timpul sesiunilor de consultare, la lipsa unor piese de cunoaștere, la inconsistența unor piese de cunoaștere sau la relevarea unor cauze care determină eșecul în rezolvarea unei probleme.

Clasificari de sisteme expert

Tipurile de sistem expert se deosebesc între ele pe baza funcțiilor ce le-au fost atribuit și domeniile de utilizare:

Sistem expert pentru diagnostic și întreținere – sunt programele cele mai utilizate în practică, analizând defectele și recomandând soluții pentru remedierea acestora pe baza cunoștințelor ce sunt adesea structuri euristice. S.E. de diagnostic și întreținere procesează întrebări care reprezintă problema de rezolvat.

Sistem expert pentru depanare și reparare – sunt folosite în aplicațiile de reparare, oferind diagnostic, pentru care dezvoltă un plan de reparații și controlează decizia.

Sistem expert de instruire – sunt sistemele utilizate în învățământ și conțin cunoștințe privind materiile de instruire, utilizând de obicei diagnoza și clasificarea.

Sistem expert de interpretare – sunt utilizate la analiza informațiilor pentru a le determina semnificația; conțin scenarii cu modele cunoscute, fiind folosite în supravegherea proceselor industriale, analiza imaginilor, înțelegerea vorbirii și altele.

Sistem expert pentru prognoză – sunt folosite în predicție pentru a determina viitoarele condiții din anumite situații, deducând cu tehnici de probabilitate consecințele fenomenelor observate.

Sistem expert pentru proiectare și planificare – sunt utilizate în aplicații inginerești și de management pentru minimizarea restricțiilor privind timpul, costul materialelor, condiții și altele.

Sistem expert de monitorizare și control – sunt utilizate în aplicații de timp real, de monitorizare și control a proceselor complexe de fabricație, unde nu pot fi utilizați oamenii.

Sistem expert de simulare – sunt utilizate în aplicații care simulează diferite condiții și pentru care realizarea practică ar costa foarte mult.

Capitolul 2. Depozite de date.

2.1 Introducere

Într-un sistem de baze de date a unei mari întreprinderi, este dificil de a analiza datele din moment ce datele sunt stocate în diferite formate și locații. Pentru a rezolva problema integrării sistemelor din întreprinderi, depozitele de date sunt utilizate ca un sistem integrat.

2.2 Definiția Depozitelor de date

De-a lungul ultimilor ani, instituțiile au s-au îndreptat la nivel larg către depozitele de date pentru a îmbunătății fluxul de informații și suportul pentru decizii. Un depozit de date poate fi un bun de valoare în oferirea unei căi de acces mai ușoare pentru analiza datelor și raportare. Din păcate, construirea și menținerea unui depozit de date eficient are câteva provocări. Astăzi multe organizații încearcă să dezvolte un Depozit de date care să corespundă cerințelor lor de afacere.

Han și Kamber, definesc un depozit de date ca ‘’ un depozit de informații colectate din multiple surse, stocate sub o schema unificată, și care de obicei se limitează la un singur site.’’

Din punctul de vedere al lui Inmon, ‘’ un depozit de date este o colecție orientată pe subiect, integrată, variată în timp și non-volatilă de date ce asistă la procesul managementului de luarea unei decizii.’’

Inmon și Hackathorn declară că: ‘’ Un depozit de date este o stocare separată de date din una sau mai multe baze de date de producție pentru a realiza o sursă autoritară pentru suport de decizie. Poate fi considerat un sistem de suport pentru decizie. Raportarea datelor este un alt aspect foarte important al depozitelor de date deoarece principalul output din sistemele de DD sunt ori interogări cu formatare minimală ori rapoarte formale.’’

Putem sumariza ca funcționalități ale depozitelor de date în următoarele:

Orientate pe obiecte: acestea sunt realizate pentru a ajuta o analiză a datelor. De obicei, acest tip de date nu sunt potrivite pentru factorii de decizie. Aceștia din urmă, au nevoie de date orientate pe obiecte.

Integrată: integrarea este legată de orientarea subiectului. DD trebuie să pună datele din diverse surse (excel sheets, baze de date relaționale) într-un format consistent. Ele trebuie să rezolve probleme ca numirea conflictelor și neconsistența printre unitățile de măsură. Când reușesc asta, se pot numi integrate.

Non-volatile: asta înseamnă, că odată intrate în depozitele de date, datele nu mai pot fi schimbate. Nu există nici o modificare de date exact ca în bazele de date OLTP ( Online Transactions Processing), și nu necesită procesare de transacții, recuperare și mecanisme de control concurențial. DD necesită doar două operații în accesarea datelor: încărcarea și accesul lor.

Variantă-timp

2.7. Procesarea in-memory

Existența business-urilor care solicită accesul rapid și usor la informații în scopul de a lua decizii corecte și rapide a dus la apariția tehnologiei procesării in-memory, o tehnologie în curs de dezvoltare, dar care se bucură de o atenție deosebită. Această tehnologie permite utilizatorilor să aibă acces imediat la informațiile ce provin din diferite părți. În tehnologa Business Intelligence tradițională, datele sunt încărcate și salvate pe disc sub forma tabelelor, bazelor de date, depozite de date etc. iar apoi sunt procesate prin interogări. Utilizarea tehnologiei in-memory presupune încărcarea datelor în RAM (Random Access Memory) în loc de hard disk și, prin urmare timpul de procesare a datelor scade semnificativ.

Fiecare calculator are doua tipuri de mecanisme de stocare a datelor – pe hard disk și în memoria RAM. Computerele moderne au un spațiu de salvare pe disc mult mai mare decât în RAM, dar citirea datelor se face mult mai lent (de sute de ori mai încet) mai ales cand este vorba de citirea datelor de dimensiuni foarte mari, cum sunt depozitele de date. Tehnologiile tradiționale bazate pe lucrul cu hard diskul sunt cunoscute și ca sisteme de management al bazelor de date relațional, cum ar fi SQL Server, MySQL, Oracle și multe altele. RDMS(Relational Databaze Management Systems) sunt concepute să păstreze în memorie procesele tranzacționale. Lucrând cu o bază de date care suportă atât adăugări, modificări cât și agregări de date, procese de joncțiune toate acestea nu pot fi realizate simultan. De asemenea SQL(Structured Query Language) este conceput pentru a prelucra eficient rânduri de date, în timp ce procesele de Business Intelligence implică prelucrarea parțială a unor date și efectuarea în același timp de calcule grele.

Apariția bazelor de date centrate pe coloană a determinat stocarea mult mai eficientă a datelor, apărând astfel posibilitatea stocării datelor în memoria RAM. Cu baza de date în memorie, toate informațiile sunt încărcate inițial în memorie.

Cele mai multe instrumente de procesare in-memory folosesc algoritmi de compresie care reduc dimensiunea datelor stocate. Utilizatorii interoghează datele încărcate în memoria sistemului, evitându-se astfel accesarea bazei de date care duce la îngreunarea procesului. Acest lucru este diferit de lucrul cu memoria cache, o metodă foarte utilizată pe scară largă pentru a accelera performanțele de interogare, în care cache-urile sunt zone de memorie în care sunt plasate subseturi de date. Utilizând instrumentele de procesare in-memory, datele pentru analiză pot fi foarte mari, organizate în depozite de date, concentrări de date sau depozite mai mici de date aflate în întregime în memorie. Aceste structuri de date pot fi accesate în termen de câteva secunde de utilizatori concurenți pentru diferite interogări. Teoretic există o creștere a vitezei de acces la date de la 10.000 la 1.000.000 de ori față de accesarea și procesarea datelor aflate pe disc.

Factori care au determinat apariția produselor de procesare in-memory sunt:

apariția hardware-ului mai ieftin și cu performanțe ridicate.

Sistemele de operare pe 64 biti. Apariția la scară tot mai largă a procesoarelor puternice și a sistemelor de operare pe 64 biti a dus la dezvoltarea procesarii in-memory. Sistemele de operare pe 64 biti permit accesul mult mai mult la memoria RAM(pana la 100 GB RAM) față de 2-4 GB RAM la sistemele pe 32 biti.

Volumele mari de date nu mai pot fi salvate în depozite de date tradiționale. ETL poate dura până la câteva săptămâni.Procesarea în memorie ușurează accesarea la terabytes de date pentru o raportare în timp real.

Costuri reduse.

Utilizând tehnologia de procesare in-memory sursa de date este accesată o singură dată în loc de accesarea acesteia la fiecare interogare, reducandu-se astfel sarcinii serverelor de baze de date.

Securitatea trebuie să fie tratată ca un punct foarte important în momentul implementării unei soluții de procesare in-memory, deoarece se expun cantități imense de date utilizatorilor finali. Trebuie să se aibă grijă cine are acces la aceste date, unde și cum sunt aceste date stocate. Utilizatorii finali descarcă volume imense de date pe calculatoare proprii unde acestea pot fi modificate sau pierdute. Trebuie luate măsuri pentru a asigura accesul la date doar pentru utilizatorii autorizați.