Solutii de Raportare Associate Unor Arhitecturi de Business Intelligence

1

Cuprins

Introducere în Business Intelligence

Capitolul 1. Componentele unui sistem de Business Intelligence

Surse de date

Data Warehouse

Tipuri de sisteme

Avantajele unui Data Warehouse

Volumul și calitatea datelor disponibile

Proprietăți ale bazelor de date de raportare

Abordarea dimensională versus abordarea normalizată pentru stocarea datelor

Data warehouse versus Sisteme operaționale

Procese de Extract, Transform, Load (ETL)

Extract

Transform

Load

Provocările procesului de ETL

Tehnologii ETL

Componente cub OLAP

Organizarea cuburilor

Construirea unui cub

Nivelul de prezentare (Portalul de BI)

Tehnologii de Business Intelligence

Capitolul 2. Real-Time Business Intelligence (RTBI)

Latența

Depozitul de date

Tehnologiile fără server

Procese automatizate

Tehnologii mobile

Tehnologii cloud

Capitolul 3. Studiu de caz: Implementarea unui proiect de Business Intelligence

Crearea unui cub OLAP

Crearea unui raport utilizând SQL Server Reporting Services

Design-ul raportului

Modele de rapoarte

Modele de aplicare a proceselor de Machine Learning

Decision Tree

Forecasting

Neural networks

Concluzii

Introducere în Business Intelligence

Termenul “Business Intelligence” a fost introdus de către Richard Miller Devens în “Cyclopedia of Commercial and Business Anecdotes” din anul 1865. Autorul a folosit acest termen pentru a descrie modul în care un bancher a obținut un profit foarte mare în afacerea sa, acționând în funcție de informațiile pe care le-a primit despre piață, spre deosebire de concurența sa, care nu a ținut cont de acest aspect. Prin urmare, capacitatea de a colecta și de a reacționa corespunzător în funcție de informațiile preluate a stat la baza conceptului de business intelligence.

În Anul 1958, un cercetător de la IBM, a folosit termenul de “Business intelligence” într-un articol de-al său, prezentând această noțiune ca pe o capacitate de a înțelege relația dintre faptele prezentate, în vederea folosirii lor pentru ghidarea acțiunilor firmei spre direcția dorită.

Termenul de Business Intelligence (BI) utilizat în prezent, a evoluat de la sistemele de informare executivă (EIS), apoi au urmat sistemele de asistare a deciziei (DSS) la începutul anilor 1960. Din acest sistem s-au dezvoltat bazele de date, OLAP (Online Analytical Processing) și BI abia la sfârșitul anilor 1980.

La sfârșitul acestor ani, a fost organizată o reuniune internațională de analiză a datelor, având ca rol detectarea modelelor de date, în vederea prezentării lor persoanelor cheie (persoane cu capacitatea de a lua decizii). Astfel, un analist a propus utilizarea noțiunii de BI ca și termen generic pentru a descrie conceptele și metodele de imbunătățire a procesului decizional în afaceri, prin utilizarea unor sisteme de sprijin bazate pe fapte.

Cei de la Gartner Group susțin că Business Intelligence este procesul prin care datele sunt transformate in informații, și prin descoperirea acestora, transformarea lor in cunoaștere.

Fig 1. Evoluția termenului Business Intelligence

Business intelligence poate fi aplicat în urmatoărele scopuri de afaceri:

Măsurători: program care crează o ierarhie de metrici de performanta și valori de referință, care informează liderii de afaceri cu privire la progresele înregistrate în scopul afacerii.

Analiză: program care construiește procesele cantitative pentru a ajunge la deciziile optime și pentru a afla informații noi despre afacere. Include data mining (creare de modele pentru găsirea șabloanelor în volumele mari de date), analiza statistică, analiza predictivă, modelarea predctivă, modelarea procesului de business, apartenența datelor, prelucrarea evenimentelor complexe.

Raportare: program care construiește infrastructura de raportare pentru a servi manegementului strategic al unei afaceri, nu include raportarea operațională. Implică vizualizarea datelor și procesarea analitică online.

Platforma de colaborare: program care vizează anumite arii care lucrează împreuna prin schimbul de date.

Managementul cunoașterii: gestionarea cunoștințelor

In plus, poate oferi o abordare pro-activa, cum ar fi functia de alerta, care notifica imediat utilizatorului final daca sunt indeplinite anumite conditii.

Competitive Intelligence

O altă noțiune este aceea de “Competitive Intelligence”, care reprezintă o acțiune de definire, colectare, analiză și distribuire de informații despre produse, clienți, competitori, precum și orice aspect al mediului, necesare pentru a sprijini conducerea unei companii în luarea unor decizii strategice.

Deși acești doi termeni, “Business intelligence” și “Competitive Intelligence” pot părea sinonimi, sistemul de BI folosește tehnologii, procese, și aplicații pentru a analiza datele, cel de-al doilea colectează, analizează și oferă informații focusate pe concurenții companiei. Înțeles ca și termen general, Business intelligence, poate include și subgrupul de “Competitive intelligence”.

Business Analytics

Business Analytics se referă la competențe, tehnologii și practici de cercetare iterative, continue și investigare a performanței din trecut a afacerii pentru a obține o perspectivă asupra evoluției, contribuind astfel la planificarea afacerii în viitor. Aceasta analiză se concentrează pe dezvoltarea unor noi perspective și pe intelegerea performanței afacerii pe baza datelor și a metodelor statistice.

Se utilizează pe scară largă analiza statistică și modelarea predictivă, deaorece acestea sunt bazate pe fapte, astfel pot fi utilizate ca baza pentru deciziile umane sau pentru decizii complet automatizate, în zona de management a unei companii.

Business Intelligence include interogarea, raportarea, procesare analitică (OLAP). Cu alte cuvinte, interogarea, raportarea și instrumentele de alertă, pot raspunde la întrebări referitoare la ceea ce s-a întâmplat, cât de des, care este problema, și mai ales ce acțiuni sunt necesare.

Business Analytics poate răspunde la întrebări referitoare la motivul pentru care un anumit fenomen se întâmplă, dacă tendințele vor continua, ce se va întâmpla în continuare, sau care este cel mai bun, respectiv rău lucru care se poate întâmpla. În contrast, Business Intelligence, se concentrează pe utilizarea unui set consistent de metrici pentru măsurarea performanței din trecut, în vederea obținerii unei planficări a afacerii, care este de asemenea bazată pe date și metode statistice.

Deși Business Analytics și Business Intelligence sunt folosite alternativ, profesorul Thomas Davenport, susține că Business Intelligence ar trebui să fie împărțit în interogare, raportare, procesare analitică online (OLAP), instrumente de alertă și Business Analytics. Prin această definiție, Business Analytics este un subset al Business Intelligence, concentrându-se mai degrabă pe statistici, previziuni și optimizare, decât pe funcționalitatea de raportare.

S-a stabilit existenta a trei zone critice pe care organizațiile ar trebui să le evalueze înainte de a implementa un proiect de BI:

Nivelul de angajament și sponsorizare a proiectului de la conducerea superioară

Nivelul de nevoi ale afacerii

Cantitatea și calitatea datelor de afaceri disponibile.

Etapa de dezvoltare

Cele trei aspecte importante de care un proiect de BI trebuie sa țină cont, sunt următoarele:

Infrastructura: Presupune etapa de intalare si implementare hardware și software, conexiune la nivel de rețea și baze de date, administrare.

Datele: Acces date, mapare, derivare, transformare și agregare în conformitate cu solicitările, definire metadate

Aplicația: Colectare cerințe, model proiect, implementare, vizualizare și publicare rezultate analiză

Capitolul 1. Componentele unui sistem de Business Intelligence

Un sistem de acest tip cuprinde următoarele:

Surse de date: reprezintă sistemele operaționale ce oferă date în procesul de raportare.

Data Warehouse: reprezintă o bază de date ce are rolul de a consolida informațiile din toate sursele de date și de a oferi un singur spațiu de stocare al datelor necesare sistemului de raportare. Popularea cu informații se face la intervale de timp regulate, prin mecanisme de tipul ETL. Consolidarea datelor poate necesita crearea unui Master Data Management, o structură care asigură unicitatea informațiilor din nomenclatoarele comune ale sistemelor participante.

ETL (Extract Transform and Load): un set de instrumente prin intermediul cărora datele din sistemele sursă sunt transferate în baza de date data warehouse. În cadrul transferului de date în data warehouse se pot implementa tehnici de transformare, curățire și consolidare a datelor, rezultând structuri de raportare coerente și curate.

Cuburi OLAP, Data mart-uri: informațiile adunate în data-warehouse se pregătesc pentru raportare (preagregare, ierarhizare, denormalizare). Pentru a putea delimita zonele funcționale de raportare, se creează data-marturi specializate(de exemplu: vânzari, achiziții, stocuri, financiar, proiecte, service, producție, resurse).

Comparativ cu o baza de date relațională, un cub OLAP reprezintă un model logic multidimensional, caracterizat de dimensiuni și niveluri de date, și este de regulă parte a unei submulțimi dintr-un depozit de date. Legătura dintre depozitele de date și tehnologia OLAP poate fi definită astfel: „în timp ce depozitele de date asigură gestiunea datelor, OLAP implementează tehnologii ce asigură transformarea acestor date în informații strategice”.

Nivelul de prezentare:Acest nivel reprezintă interacțiunea utilizatorilor cu metadatele expuse de sistemul de raportare. Folosind aceste metadate, analiștii își pot creea singuri rapoartele cu „drag and drop”. Se pot impune reguli de securitate de tipul: cine ce are dreptul să vadă și cine ce informații poate vedea. Nivelul poate interacționa cu repository-ul intern de utilizatori (Active Directory de exemplu) putându-se astfel prefiltra informațiile în funcție de rolul utilizatorului care le consumă.

După cum se poate observa, arhitectura unui sistem de Business Inteligence este una multinivel.

Fig 2. Arhitectura multinivel

Surse de date

Datele pe care o companie le poate analiza prin intermediul unui sistem de Business Intelligence provin dintr-o gamă variată de surse de date, iar cele mai comune sunt:

Baze de date

Flat files

Servicii web

RSS feeds

Bazele de date reprezintă cea mai des folosită sursă de date în BI. Există mai multe tipuri de baze de date, și de asemenea mai multi furnizori ce oferă baze de date cu aritecturi și funcționalități diferite.

Cele mai comune sunt: Microsoft Access, Microsoft SQL Server Management Studio, Oracle, DB2, MySQL. Bazele de date operaționale sunt proiectate în funcție de standardele de normalizare, și sunt eficiente pentru sistemele tranzacționale, de exemplu pentru reducerea redundanței.

În cadrul mediului de business se poate stoca o cantitate enormă de date operaționale, iar pentru ca un sistem de Business Intelligence să funcționeze, este nevoie de realizarea unei căi de comunicare între sursele de date.

Alte surse de date sunt reprezentate de:

Sisteme Enterprise Resource Planning (ERP) : Sunt implementate modular în cadrul unor companii, mapate pe diferite arii de business precum resurse umane, financiar, contabilitate, warehouse management, achiziții, vanzări și altele.

Customer Relationship Management (CRM) : Sistemele de tip CRM oferă o sursă de date comună pentru BI, procesând și stocând informații despre clienți și comportamentul acestora.

E-commerce: Aplicațiile web pot fi privite ca surse de date pentru platformele de BI deoarece oferă date în timp real despre activitatea din zona de vânzări online.

Data Warehouse

Data warehouse este nucleul unui sistem de business intelligence și reprezintă o bază de date construită special pentru analiza datelor și raportare, iar in funcție de scopul pentru care a fost proiectată structura acesteia va fi diferită.

Intr-o bază de date de tip data warehouse, singura cale pricerea redundanței.

În cadrul mediului de business se poate stoca o cantitate enormă de date operaționale, iar pentru ca un sistem de Business Intelligence să funcționeze, este nevoie de realizarea unei căi de comunicare între sursele de date.

Alte surse de date sunt reprezentate de:

Sisteme Enterprise Resource Planning (ERP) : Sunt implementate modular în cadrul unor companii, mapate pe diferite arii de business precum resurse umane, financiar, contabilitate, warehouse management, achiziții, vanzări și altele.

Customer Relationship Management (CRM) : Sistemele de tip CRM oferă o sursă de date comună pentru BI, procesând și stocând informații despre clienți și comportamentul acestora.

E-commerce: Aplicațiile web pot fi privite ca surse de date pentru platformele de BI deoarece oferă date în timp real despre activitatea din zona de vânzări online.

Data Warehouse

Data warehouse este nucleul unui sistem de business intelligence și reprezintă o bază de date construită special pentru analiza datelor și raportare, iar in funcție de scopul pentru care a fost proiectată structura acesteia va fi diferită.

Intr-o bază de date de tip data warehouse, singura cale prin care datele suntr introduse este aceea oferită de mecanisemele de ETL, iar scopul ei principal este acela de a acoperi toate cerințele referitoare la raportare și analiză de date. Diferența față de bazele de date operaționale constă tocmai în faptul că datele ajunse în tabele nu sunt aduse direct din alte sisteme.

Aplicațiile de Business Intelligence folosesc date colectate de la un depozit de date, sau dintr-un data mart de date, conceptele de BI și DW fiind adesea folosite împreună ca și “BI/DW” sau “BIDW”. Un depozit de date conține o copie a datelor analitice, pentru a facilita suportul decizional, deși nu toate depozitele de date sunt folosite pentru BI, iar nu orice aplicație de BI necesită un depozit de date.

Pentru a diferenția aceste două concepte, Forrester Research a oferit următoarele definiții pentru BI:

Definiția pe larg, aceea de set de metodologii, procese, arhitecturi și tehnologii care transformă datele brute în informații utile și folosite pentru analize strategice, tactice si operaționale eficiente, pentru suportul decizional.

Conform acestei definiții, Business Intelligence include, de asemenea, tehnologii de integrare a datelor, de verificare a calității datelor, de stocare de date, precum și altele, folosite în piață ca și “Managementul Informației”. Astfel, Forrester se referă la pregătirea datelor și utilizarea lor, ca si două segmente separate, dar legate de stiva arhitecturală a sistemului de BI.

Cea de-a doua definiție este una limitată, referindu-se doar la nivelele superioare ale stivei arhitecturale, cum ar fi raportarea, analiza si tablourile de bord.

Avantajele mediilor de procesare Warehouse:

Informații de calitate, verificate si de încredere

O singură sursă de date

Nu este necesar un efort pentru duplicare

Nu există perdioade de conflict, confuzii la nivel de algoritm și restricții la drill-down

Tipuri de sisteme

Data mart: reprezintă o formă simplă a depozitului de date care este focusată pe o singură arie funcțională, precum financiar, vanzări, marketing. De obicei sunt construite și controlate de un singur departament din cadrul unei organizații, iar datele importate vin dintr-un număr restrâns de resurse, ca de exemplu sisteme operaționale interne, o bază de date centrală sau date externe.

OLAP: acestea sunt caracterizate de un volum mic de tranzacții, iar interogările sunt de obicei foarte complexe și implică agregări. Pentru sistemele OLAP, timpul de răspuns este o măsură de eficiență. Bazele de date OLAP salvează date istorice agregate, în scheme multi dimensionale (de obicei schemă stea). Sistemele de acest tip au de regulă o latență de câteva ore, spre deosebire de Data Mart-uri, unde latența poate fi de aproximativ o zi.

Avantaje OLAP:

Viteza de răspuns la interogări, datorată valorilor agregate – valori care sunt calculate în momentul în care se face actualizarea datelor din cub

Interogări bazate pe metadate

Posibilitatea utilizării formulelor de calcul asemănătoare cu cele de calcul tabular

Dezavantaje OLAP: Dimensiunea unui cub OLAP este fixă

OLTP: este caracterizat de un număr mare de tranzacții mici (insert, update, delete). Acest tip de sistem are o viteză foarte mare de procesare a interogărilor și menține integritatea datelor în mediile în care accesul este multiplu. Eficiența acestor tipuri de sisteme este dată de numărul de tranzacții pe secundă, iar bazele de date OLTP conțin date curente și detaliate.

Analiza predictivă: acest tip de analiză se referă la descoperirea și cuantificarea unor șabloane în datele existente, folosind modele matematice complexe. Diferența față de OLAP și OLTP este aceea că atenția este îndreptată către viitor.

Avantajele unui Data Warehouse

Acest tip de bază de date păstrează o copie a informațiilor din sistemele tranzacționale sursă, așadar se pot realiza următoarele:

Punerea la un loc a datelor din mai multe surse, astfel încât este nevoie de un singur motor de interogare pentru prezentarea datelor.

Păstrarea datelor istorice, chiar și în cazul în care sistemele tranzacționale sursă nu fac asta.

Integrarea datelor din sisteme sursă multiple.

Îmbunătățirea calității datelor, prin provizionarea unor coduri și descrieri consistente, sau prin corectarea datelor.

Prezentarea informației companiei într-un mod consistent.

Oferirea unui singur model de date pentru toate datele de interes, indiferent de sursa acestora.

Restructurarea datelor astfel încât să fie întelese de către anumiți utilizatori, dar și pentru a îmbunătăți timpul de răspuns la interogări.

Mediul pentru depozitele de date și data mart-uri includ următoarele:

Sisteme sursă care furnizează date pentru data warehouse, sau pentru data mart.

Tehnologii de integrare a datelor care sunt necesare pentru a pregăti datele înainte de utilizare

Arhitecturi diferite pentru stocarea datelor în data warehouse sau data mart.

Aplicații și instrumente diferite, adaptate pentru varietatea de utilizatori

În cazul sistemelor sursă, bazele de date operaționale ale companiei, care pot fi baze de date relaționale, pot reprezenta o sursă comună pentru datele din data warehouse, iar pentru integrarea datelor este necesară extragerea, transformarea și încarcărea acestora într-un data mart sau un depozit de date.

Astăzi,companiile de succes sunt cele care pot răspunde rapid și flexibil la schimbări sau oportunități de piață, o cheie pentru acest răspuns fiind utilizarea efectivă și eficientă a datelor și a informațiilor de către analiști și manageri. "Depozitul de date" este un depozit de date istorice, care sunt organizate în funcție de subiect pentru a sprijini factorii de decizie în cadrul organizației. Odată ce datele sunt stocate într-un data mart sau depozit de date, ele pot fi accesate.

Volumul și calitatea datelor disponibile

În cazul în care datele oferite nu sunt relevante, nici o implementare a unui sistem de Business Intelligence nu va fi una de succes, astfel că înaintea începerii oricărei acțiuni de acest gen, trebuie facută o analiză de conținut, consistență și structură a datelor, analiză ce are următoarele etape:

Vizualizarea surselor de date și colectarea celor necesare

Conversia datelor de business în informații relevante și prezentate corespunzător

Interogarea și analiza datelor

Luarea unor măsuri în funcție de rezultatul datelor colectate

Aspectul calității în Business Intelligence trebuie să acopere toate procesele, începând cu datele sursă, pana la raportarea finală astfel:

Datele sursă: trebuie să fie date standardizate, să aibe aceeași masură, același model (este necesară detectarea și corectarea datelor inexacte, dar și verificrea valorilor inadecvate, precum null sau fără valoare).

Depozitul de date: se verifică faptul că toate datele solicitate au fost încărcate și consisțenta datelor.

Raportarea: se verifică acuratețea formulelor de raportare și indicatorii.

Proprietăți ale bazelor de date de raportare

Granularitatea

Reprezintă nivelul de detaliu sau de sumarizare a datelor, iar acesta scade atunci când nivelul de detaliu este mai ridicat, si crește atunci câand nivelul de detaliu este mai mic. În funcție de nivelul de granularitate, volumul de date memorat în depozitul de date răspunsul la interogări diferă. Scăderea granularității are loc atunci când datele sunt comprimate, iar rezultatul constă în micșorarea spațiului de stocare și mărirea vitezei de prelucrare a datelor.

Nivelul de granularitate este ales luând în calcul nivelul de detaliu necesar în procesul decizional, dar și necesitățile de stocare și procesare a volumelor de date.

Partiționarea

Partiționarea este o funcționalitate a unui sistem de gestiune al bazelor de date și reprezintă împărțirea datelor în unități fizice separate, ce pot fi tratate în mod independent. Facută corect, aceasta aduce beneficii majore în ceea ce privește timpul de acces, de încărcare, stocare, arhivare sau monitorizare a datelor.

Partiționarea este necesară pentru că:

Depozitele de date pot crește foarte mult, devenind baze de date foarte mari (VLDB – Very large databases), în care tabelele de fapte sunt foarte mari si conțin multe date istorice.

Disponibilitatea tabelelor: tabelele foarte mari sunt vulnerabile în cazul în care există probleme cu discurile, iar costul este foarte mare atunci când o tabelă mare este inacesibilă mult timp, din cauza restaurării.

Din punct de vedere al performanței, timpul unei interogari poate sa scadă de la zeci de minute, la câteva secunde, iar accesul la date poate fi realizat la orice oră.

Administrarea unei astfel de baze se face mult mai ușor, datorită volumelor structurate de date

Partiționarea facilitează accesul rapid la date și se observă o creștere a performanței la interogări, de exemplu, pentru o tabela de dimensiuni mari care cuprinde datele despre vânzări din perioada 2008-2012, în varianta partiționata va cuprinde 5 tabele cu datele de vânzari pe ani.

Tipuri de partiționare

View-uri partiționate: pot fi create cu UNION-ul tabelelor cu structuri similare sau din aceiași bază de date ori din baze de date diferite partiționate orizontal. De exemplu avem cinci partiții cu structură identică care prin UNION pot fi vazute ca o singură tabela.

Partiții view locale: toți membrii partiției sunt din aceiași instanță

Partiții view distribuite: membrii partiției sunt plasați pe mai multe instanțe.

Partiționarea tabelelor și a indecșilor: tabelele/indecșii se divizează orizontal în unități numite partiții care pot fi distribuite pe mai mult de un filegroup într-o singură bază de date.

Administrare simplificată: se poate realiza o compresie a indecșilor la nivelul fiecărei partiții

Coloana după care se realizează partiționarea poate găzdui date de orice tip cu excepția: text, ntext, image, xml, timestamp, varchar(max), nvarchar(max), varbinary(max), tipuri de date alias sau tipuri de date definite CLR.

Indexarea

Are rolul de a sprijini sistemul de gestiune al bazei de date în localizarea rândurilor stocate în tabele. Atunci când indexarea este realizată pe coloanele folosite în mod frecvent, performanța în ceea ce privește operațiile de acces la date, este vizibil îmbunătățită. În cazul folosirii indecșilor, concurența este de asemenea mai bună, atunci cand mai multe tranzacții accesează aceleași tabele în același timp.

Tipuri de indecși:

Arbori de tip B: reprezintă cel mai comun tip de indexare, fiind folosiți pentru coloanele ce conțin un număr ridicat de valori distincte, pentru a putea returna un set cât mai mic de informații.

Bitmap: acest tip oferă beneficii în ceea ce privește performanța și spațiul de stocare al informațiilor; informațiile sunt salvate sub formă de “0” și “1.” Poate fi folosit în locul tipului anterior atunci când tabelele sunt foarte mari și coloanele au un numar mic de valori distincte.

Dezavantajul în ceea ce privește utilizarea indecșilor, este acela că performanța scade atunci când se realizează operații de insert sau update, deoarece aceste operații nu se realizează doar asupra tabelei, ci și asupra indecșilor asociați. Acest compromis este totuși unul benefic, deoarece operațiile de insert sau update sunt mult mai rare față de operațiile de acces la date.

Paralelismul

Acest aspect se referă la faptul că o tranzacție poate fi împărțită în mai multe subinterogări, care rulează în paralel, astfel încât timpul de răspuns va fi unul mai scurt.

Gradul de paralelism reprezintă numărul de execuții ce au loc în paralel în momentul in care rulează o tranzacție.

Există mai multe operații care pot fi paralelizate, printre care:

Metode de acces

Join-uri

Data Definition Language (DDL)

Data Manipulation Language (DML)

Deși un grad ridicat de paralelism poate îmbunătăți timpul de execuție, există situații în care anumite interogări pot fi încetinite.

Abordarea dimensională versus abordarea normalizată pentru stocarea datelor

Există mai multe tipuri de abordări care conduc la stocarea datelor într-un depozit de date. Cele mai importante sunt abordarea dimensională și abordarea normalizată.

Abordarea dimensională se referă la abordarea Ralph Kimball, în care se afirmă că depozitul de date ar trebui să fie modelat cu ajutorul unui model dimensional sau a unei scheme de tip stea. Abordarea normalizată, de asemenea, numită modelul 3NF (a treia Formă Normală) se referă la abordarea Bill Inmon în care se afirmă că depozitul de date ar trebui să fie modelat cu ajutorul unui model normalizat.

Într-o abordare dimensională, datele tranzacției sunt împărțite în "fapte", care sunt, în general valori numerice, și "dimensiuni", care sunt informațiile de referință care dau context „faptelor”. De exemplu, o tranzacție de vânzare poate fi împărțită în fapte, cum ar fi numărul de produse comandate și prețul acestora și în dimensiuni, cum ar fi data comenzii, numele clientului, codurile produselor și agentul de vânzări responsabil pentru primirea comenzii.

Un avantaj cheie al unei abordări dimensionale este că depozitul de date este mai ușor de înțeles și de folosit de către utilizator. De asemenea, recuperarea datelor din depozitul de date tinde să funcționeze foarte rapid. Structurile dimensionale sunt ușor de înțeles pentru utilizatorii de afaceri, deoarece acestea sunt împărțite în măsurători / fapte dimensiuni.

Principalele dezavantaje ale abordării dimensionale sunt următoarele:

În scopul menținerii integrității faptelor și dimensiunilor, încărcarea depozitului de date cu informații de la diferite sisteme de operare este complicată.

Este dificilă modificarea structurii depozitului de date în cazul în care organizația schimbă modul în care își desfășoară activitatea.

În abordarea normalizată, datele sunt stocate urmând reguli de normalizare a bazei de date. Tabelele sunt grupate pe zone care reflectă categoriile de date generale (de exemplu, clienți, produse, finanțe etc.). Structura normalizată împarte datele în entități, care creează tabele într-o bază de date relațională. Atunci când se aplică în întreprinderile mari, rezultatul este un număr foarte mare de tabele care sunt legate între ele prin legături de tipul join.

Principalul avantaj al acestei abordări este faptul că procedura de adăugare de informații în baza de date este una simplă. Un dezavantaj îl constituie numărul semnificativ de tabele implicate, prin urmare poate fi dificil pentru utilizatori să alăture și să acceseze date din diferite surse și sa le transforme în informații semnificative fără o înțelegere precisă a structurilor sistemelor sursă și a structurii de date din depozitul de date.

Ambele modele normalizate și dimensionale pot fi reprezentate în diagrame entitate-relație care conțin tabele relaționale. Diferența dintre cele două modele este gradul de normalizare (de asemenea cunoscut ca Forma Normala). Aceste abordări nu se exclud reciproc.

În afacerile bazate pe informații, se poate observa că modelele normalizate dețin mult mai multe date decât echivalentele lor dimensionale (chiar și atunci când aceleași domenii sunt utilizate în ambele modele), dar aceste informații suplimentare se adaugă la costul de utilizare.

Data warehouse versus Sisteme operaționale

Sistemele operaționale sunt optimizate pentru păstrarea integrității datelor și viteza de înregistrare a tranzacțiilor de afaceri prin utilizarea normalizării bazelor de date și a modelului entitate-relație.

Bazele de date relaționale sunt eficiente în gestionarea relațiilor dintre tabelele rezultate în urma normalizării. Acestea au performanțe foarte rapide la operațiile de insert/update, deoarece doar o cantitate mică de date din aceste tabele este afectată de fiecare dată când o tranzacție este procesată. În cele din urmă, în scopul de a îmbunătăți performanța, datele mai vechi sunt de obicei curățate periodic.

Depozite de date sunt optimizate pentru modelele de acces analitice care implică, în general, selectarea câmpurlor specifice și foarte rar, selectarea tuturor câmpurilor ("select *"), un caz întalnit mai frecvent în bazele de date operaționale.

Spre deosebire de sistemele operațiionale care țin o imagine a afacerii, depozitele de date mențin, în general, o istorie infinită care este pusă în aplicare prin procese ETL care migrează periodic datele din sistemele de operare pe la depozitul de date.

Tipuri de actualizare:

Data Warehouse offline: baza de date este actualizată din sistemul operațional în mod regulat, intr-o structură concepută special pentru facilitarea raportării.

On time Data Warehouse: în această situație, datele sunt actualizate în timp real, în momentul realizării tranzacțiilor.

Data Warehouse integrat: aceste baze de date colectează date din diferite domenii de activitate, astfel încât utilizatorii pot avea acces.

Procese ETL(Extract, Transformation and Load)

Noțiunea de ETL se referă la procesle care au loc la nivelul unei baze de date, unde se realizează următoarele:

Extragerea informațiilor din surse de date omogene sau heterogene

Transformarea datelor pentru stocarea lor într-o structura adecvată realizării interogărilor și analizelor.

Încarcarea datelor în baza de date destinație

De obicei cele trei faze se execută în paralel, iar datorită faptului că extragerea de date durează, în timpul acestui proces, se execută și cele de transformare, procesând datele primite, urmând ca acestea să fie încărcate atunci când transformarea s-a finalizat. Procesul de încărcare începe imediat ce primește date, și nu așteaptă finalizarea fazelor precedente.

Sistemele ETL integrează în mod frecvent date din mai multe sisteme, chiar dacă sunt dezvoltate de furnziori diferiți, sau sunt găzduite pe platforme hardware separate. Sistemele disparate care conțin datele originale, sunt de obicei administrate și exploatate de către angajați diferiți, de exemplu, un sistem de contabilitate combină date din salarii, vânzari și achiziții.

Extract

Prima parte a unui proces ETL implică extragerea datelor din sistemele sursă. Acesta reprezintă cel mai important aspect, deoarece corectitudinea acestei operații va impacta succesul proceselor următoare.

Majoritatea proiectelor de implementare data warehouse consolidează date din sisteme sursă diferite, în cadrul cărora pot exista structuri si formate de date diferite. Printre formatele comune se regăsesc baze de date relaționale, fișiere XML, dar pot include și structuri de baze de date non-relaționale sau formate preluate din alte surse. In general, scopul principal al colectării datelor este acela de a realiza conversia acestora într-un format corespunzător pentru procesarea transformării.

O altă etapă importantă în extragerea datelor este acceea în care se confirmă faptul că datele preluate din sistemele sursă au valorile corecte. Dacă se constată nerespectarea regulilor de validare, este posibilă oprirea întregului proces. În acest caz, datele respinse sunt raportate înapoi la sistemul sursă pentru analize o regulă de validare a datesuplimentare și pentru rectificarea greșelilor. În unele cazuri, procesul de extracție poate conține lor, astfel încât acțiunea să poată trece la etapa următoare. De asemenea, este posibil să nu fie necesară neapărat respingerea datelor, în cazul unor nereguli acestea pot fi marcate sau adăugate în coloane separate.

Transform

În faza transformării datelor, o serie de reguli și funcții sunt aplicate datelor extrase, acesta fiind un proces pregătitor încărcării lor. Există posibilitatea ca nu toate datele sa aibă nevoie de transformări, urmând ca acestea să fie importate în mod direct.

O funcție importantă este curățarea datelor, care reprezintă un proces ce are ca scop transmiterea către destinație doar a datelor adecvate. Acest proces este mai dificil și reprezintă o provocare din cauza modului în care sistemele relevante comunică și interacționează.

În afară de curățarea datelor, o transformare poate fi nevoită să respecte anumite cerințe tehnice și/sau de business, precum:

Selectarea pentru încărcare doar a anumitor coloane (sau excluderea coloanelor care nu conțin date)

Translatarea valorilor codate

Standardizarea valorilor

Derivarea valorilor noi calculate

Sortarea: Ordonarea datelor bazată pe o listă de coloane, pentru îmbunătățirea timpului de răspuns

Selectarea datelor din mai multe surse

Agregarea datelor

Transpunerea sau pivotarea coloanelor/rândurilor

Împărțirea unei coloane în mai multe coloane

Dezagregarea unui tabel

Căutarea (look-up) și validarea datelor

Load

La nivelul acestei etape are loc încărcarea datelor în destinația stabilită, care poate fi un fișier sau o bază de date de raportare. În funcție de cerințele companiei, acest proces poate varia. Astfel de baze de date pot suprascrie informațiile existente cu unele suplimentare, actualizarea facându-se la intervale de timp determinate.

În alte situații se pot adăuga datele în tabele de istoric. Atunci când se păstrează datele istorice, este importantă înțelegerea faptului că în cele mai multe cazuri acestea reflectă starea lor din momenul respectiv. De exemplu, dacă un client și-a mutat sediul, este importantă pastrarea sediului anterior în cazul în care este necesară interogarea bazei la momentul anterior mutării.

Baza de date destinație poate avea definite anumite constrângeri (chei primare, chei străine, valori diferite de null, unicitate pe coloane) sau anumiți triggeri, prin urmare procesul de încărcare a datelor contribuie la calitatea datelor.

Unele companii folosesc procesele de ETL pentru mutarea permanentă a informațiilor în cadrul altor aplicații. Este posibil ca noua aplicație să folosească alt furnizor de baze de date, cu o schemă diferită, iar procesul ETL va ajuta la transformarea informațiilor într-un format adecvat.

Provocările procesului de ETL

Astfel de procese pot implica nivele de complexitate considerabile, iar dacă sistemele ETL nu au fost proiectate corespunzător, atunci pot apărea diferite probleme.

Gama de valori sau calitatea datelor dintr-un sistem operațional poate depăși cerințele proiectării inițiale. Analiza datelor din sursă poate identifica condițiile necesare ce vor fi utilizate în timpul procesului de transformare.

Depozitele de date sunt de obicei formate dintr-o varietate de surse de date cu formate și scopuri diferite, astfel că procesul de ETL este un proces cheie pentru a aduce toate datele împreună intr-un mediu omogen si standardizat.

Data mining

Data Mining, un subdomeniu al informaticii, reprezintă un proces computațional de descoperire de șabloane în seturi mari de date și implică metode situate la intersecția inteligenței artificiale, machine learning, statisticii și a sistemelor de baze de date. Scopul procesului de data mining este acela de extragere a datelor și transformarea lor într-o structură ce poate fi înțeleasă ușor. În afară de analiză, implică de asemenea aspecte ce țin de bazele de date și gestiunea acestora, pre-procesare de date și de structuri descoperite, vizualizări și actualizări online.

Rolul principal pe care îl are Data Mining este acela de a realiza analiza automată sau semi-automată a unor volume mari de date pentru extragerea unor șabloane încă nedescoperite, precum grupuri de înregistrări de date (cluster analysis), înregistrări neobișnuite (anomaly detection) și dependențe (association rule mining).

Șabloanele pot fi văzute ca o sinteză a datelor de intrare și pot fi utilizate în cadrul altor analize, sau în procesele de machine learning și analiză predictivă. De exemplu, în procesul de data mining se pot identifica grupuri de date care pot fi apoi utilizate de către sistemele de suport decizional pentru obținerea unor rezultate mai precise referitoare la predicții.

Domenii de aplicare

Pattern mining: este o metodă ce implică găsirea șabloanelor deja existente în date

Afaceri: în cadrul afacerilor, procesele de data mining reprezintă analiza activităților din trecut, stocate ca și date statice în baze de date de tip data warehouse, scopul fiind acela de a descoperi șabloanele ascunse și tendințele.

Știință și inginerie: se utilizează în ramuri ale științei și ale ingineriei precum bioinformatica, genetica, medicina și educație.

Sensor data mining: rețelele de senzori wireless pot fi folosite pentru a facilita colectarea de date pentru aplicații precum cele de monitorizare a poluării aerului

Jocuri

Medical

Visual data mining

Music data mining

Supraveghere

Machine Learning

Un alt subdomeniu al informaticii este Machine learning. Acesta a evoluat de la studiul de recunoaștere a șabloanelor și de la teoria învățării computaționale preluată din domeniul inteligenței artificiale. Reprezintă un tip de inteligență artificială care permite calculatoarelor să învețe fără a fi programate în mod explicit. Se focusează pe dezvoltarea programelor care se pot învăța singure să crească și să își schimbe comportamentul atunci când sunt expuse la date noi.

Procesele din machine learning sunt asemănătoare cu cele din data mining, ambele sisteme cautând șabloane în datele existente. În cazul data mining-ului, datele extrase sunt folosite de către oameni pentru a înțelege anumite fenomene. În cazul machine learning-ului, datele sunt folosite de către program pentru a-și îmbunătăți propria înțelegere, iar la detecția șabloanelor acțiunile sunt ajustate în consecință.

Machine learning este un domeniu apropiat de statistica computațională, care este de asemenea specializată pe realizarea de predicții, având legături strânse cu matematica. Efectuează o serie de sarcini computaționale unde proiectarea și programarea explicită nu sunt posibile. Filtrarea mesajelor spam, recunoașterea optică a caracterelor și motoarele de căutare reprezintă aplicații de machine learning.

Tipuri de probleme

Sarcinile de machine learning sunt împărțite în trei categorii:

Învățare supravegheată: calculatorului îi sunt prezentate exemple de intrări și ieșiri de date dorite, iar scopul este acela de a învăța o regulă generală care se mapează pe datele oferite.

Învățare nesupravegheată: calculatorul este lăsat să găsească singur structura datelor.

Reinforcement learning: calculatorul va interacționa cu un mediu dinamic în care trebuie să atingă un scop anume, fără ca un professor să-i spună în mod explicit cât de aproape este de realizarea acestuia.

Aplicații machine learning:

Decision tree learning: folosește un arbore de decizie ca și model predictiv, care va mapa observațiile cu privire la un articol la concluziile referitoare la valoarea țintă a articolului.

Association rule learning: este o metodă folosită pentru a descoperi relații între variabilele din baze de date de volume mari.

Rețele neurale artificiale: o rețea neurală este un algoritm inspirat de structura si aspectele funcționale ale rețelelor neurale biologice. Calculele sunt structurate în funcție de un grup de neuroni artificiali interconectați, care procesează informația folosind o abordare bazată pe conexiune. Rețelele neurale moderne sunt folosite pentru modelarea relațiilor complexe dintre datele de intrare și cele de ieșire, pentru a găsi șabloane în date sau pentru a capta structura statistică într-o distribuție de probabilitate.

Rețele Bayesiene: reprezintă un model grafic probabilistic al unui set de variabile aleatoare și dependențele lor condiționate, prezentate printr-un graf aciclic direcționat. De exemplu, o rețea bayesiană poate reprezenta relațiile probabilistice dintre boli și simptomele acestora. Dacă sunt oferite simptomele ca și date de intrare, rețeaua poate calcula probabilitatea prezenței anumitor boli.

Altele: programarea logică inductivă, clustering, reinforcement learning, representation learning, similarity and metric learning, sparse dictionary learning, algoritmi genetici.

Tehnologii ETL

La nivel de programare, se pot configura procese de ETL folosind aproape orice limbaj, dar construirea unui astfel de proces de la zero poate deveni foarte complexă, astfel că au apărut instrumente dedicate care ajută la crearea acestor procese.

Prin folosirea unui framework de ETL stabil, se pot aduce îmbunătățiri privind atât conexiunea, cât si scalabilitatea. Un instrument de ETL trebuie să poată comunica cu mai multe baze de date relaționale diferite, dar și cu formate de date diferite.

Exemple: Informatica Power Center, IBM Datastage, Oracle Data Integrator (ODI), Microsoft SQL Server Integration Services (SSIS), Pentaho Data Integration (or Kettle) opensource data integration framework, SAP Business Objects Data Services.

Componente cub OLAP

Denumirea OLAP vine de la “Online Analytical Processing”, adică accesul și analiza datelor pentru raportare se face în timp real. Se pot crea rapoarte multidimensionale, utiliza metode de calcul complexe, suportă analiză bazată pe timp și este ideal pentru aplicații cu cerințe imprevizibile.

Modelul logic multidimensionale conține următoarele elemente:

Tabela FACT (Tabela de fapte)

Măsuri: valori numerice, stocate în tabela de fapte, asociate nivelului corespunzător din dimensiune. Ele pot fi de două tipuri:

Măsuri stocate – valoarea este salvată în coloană.

Măsuri calculate – se aplică diverse formule.

Conține un număr foarte mare de înregistrări.

Cuprinde indicatorii de performanță.

Face conexiunea indirectă dintre tabelele de dimensiuni.

Dimensiuni:

Tabele în care sunt stocate informații privind atributele măsurilor.

Conțin date statice sau date care nu se schimbă des.

Ierarhii:

Structuri care fac legătura de subordonare între dimensiunile aflate pe aceeași axă dimensională.

Este posibil ca o ierarhie sa conțină mai multe nivele ierarhice.

Un membru poate fi inclus în mai multe ierarhii, sau independent.

Există două tipuri de ierarhii:

Ierarhie Level-based (ierarhia de timp – an, trimestru, luna, zi)

Ierarhie Value-based (organigrama unei companii)

Un alt instrument folosit este MOLAP (Multidimensional OnLine Analytical Processing), bazat pe baze de date multidimensionale, proiectate și configurate pentru procesare analitică.

Pentru optimizarea sistemelor multidimensionale, s-a trecut la implementarea view-urilor mutidimensionale pe motoare relaționale, adica ROLAP (Relational OnLine Analyrical Processing), sau motoare hibride (HOLAP – Hyrid Relational OnLine Analyrical Processing).

Organizarea cuburilor

Organizarea cuburilor se poate face în două feluri:

Schema stea (Star):

Este cel mai utilizat model de organizare

Există o tabelă de fapte centrală, iar restul tabelelor dimensionale se leagă direct cu tabela de fapte. Performanță în cadrul acestei utilizări este mai ridicată, datorită numărului de tabele si legături.

Conexiunea tabelei de fapte cu celelalte tabele se face pe baza cheilor externe.

Figura 3. Star schema

Schema fulg de nea (Snowflake):

Are la bază tot modelul stea, dar dimensiunile sunt normalizate.

Reduntanță este redusă

Dezavantajul este că la interogarile complexe, timpul de răspuns este unul destul de mare

Figura 4. Snowlake schema

Prelucrare relationala versus prelucrare analitica:

Motivele pentru care OLTP (Online transaction processing) nu este portivit penrtu raportarea analitică:

Construirea unui cub

După realizarea unei analize a cerințelor, urmatoarea etapă este cea de modelare dimensională a datelor. Kimball susține că cele mai bune practici recomanda ca modelarea să se desfășoare în patru etape bine puse la punct:

Alegerea procesului de afaceri

Identificarea granularității

Proiectarea dimensiunilor

Proiectarea tabelelor de fapte

Nivelul de prezentare (Portalul de BI)

Un portal este interfața dintre depozitul de date și aplicația de Business intelligence aferentă, de obicei o aplicație în browser, prin care utilizatorii au acces la serviciile sistemului de DW/BI, rapoarte și alte funcționalități analitice.

Este necesar ca portalul să fie ușor de utilizat și de inteles, și cu un aspect similar altor aplicații sau conținut, existente în compania pentru care a fost proiectat sistemul. Informațiile afișate într-un raport pot fi prefiltrate în funcție de utilizatorul logat.

Caracteristici:

Utilizatorul trebuie să aibă acces rapid la informațiile dorite

Trebuie sa conțină și funcționalități precum cele de ajutor, suport, informare, documentație.

Trebuie să fie actualizat în mod regulat

Să fie un mediu interactiv pentru utilizator, și conceput astfel încât acesta să înțeleagă necesitatea folosirii acestuia

Business Intelligenge ajută angajații companiilor să:

Alinieze operațiile zilnice cu strategia și obiectivele organizației

Indentifice și înțeleagă relația dintre procesul de business și impactul acestora asupra performanțelor.

Acceseze informațiile relevante unui rol sau responsabilitate specifică

Monitorizeze indicatorii de performanță vitali, necesari pentru organizație să se dezvolte:

Statusul curent, trendul producției, vânzărilor

Eficacitatea și profitabilitatea canalelor de vânzări

Valori operaționale critice

Tehnologii de Business Intelligence

Toți producătorii de sisteme de gestiune a bazelor de date au integrat treptat în soluțiile lor și funcții de business intelligence, cei mai importanți fiind Microsoft, Oracle, IBM.

Microsoft

Serviciile de Business Intelligence oferite de Microsoft sunt integrate cu baze de date SQL Server, Microsoft Reporting Services fiind o soluție ce oferă o gamă largă de intrumende și servicii care ajută la crearea, implementarea și gestionarea rapoartelor unei companii. Cu ajutorul funcționalităților de programare, SQL Server permite extinderea și personalizarea rapoartelor conform cerințelor.

Reporting Services (SSRS) este o platformă de raportare bazată pe server care oferă o gamă variată de rapoarte provenite din surse de date diferite. Este componenentă a suitei Microsoft SQL Server alături de SQL Server Analysis Services (SSAS) și SQL Server Integration Services (SSIS). În timp ce SSAS permite utilizatorilor proiectarea bazelor de date pentru analiza rapidă a unor cantități mari de date, iar SSIS permite integrarea datelor din mai multe surse în afara Microsoft SQL Server, SSRS oferă posibilitatea creării rapide a unor rapoarte din bazele Ms SQL Server.

Include un set complet de instrumente pentru crearea, gestionarea si livrarea rapoartelor, precum și API-uri (application programming interface) care permit dezvoltatorilor să integreze sau să extindă datele și rapoartele prelucrate, în aplicații personalizate. Instrumentele de lucru Reporting Services sunt compatibile cu mediul Microsoft Visual Studio și sunt complet integrate cu componentele și instrumentele SQL Server.

Se pot crea rapoarte interactive, tabulare, grafice sau personalizate, din surse de date relaționale, multidimensionale, sau bazate pe XML. Se pot alege diverse formate pentru vizualizare, se pot exporta rapoartele în alte aplicații precum Microsoft Excel, iar accesarea lor se poate face prin intermediul unei conexiuni la internet, ca Aplicatie Windows sau pe un site SharePoint. De asemenea, se pot crea alerte pe rapoartele publicate pe un site SharePoint, iar la schimbarea datelor dintr-un raport se va trimite un email către persoanele responsabile.

Avantajul folosirii SQL Server Data Tools (BI SSDT – disponibil gratuit de la Microsoft) este componenta RDL (Report Definition Language ), care este redusă la icoane grafice într-un GUI ( Graphical User Interface ). În acest fel, în loc de a scrie cod, utilizatorul poate face drag and drop.

Rapoartele definite prin RDL pot fi descărcate într-o varietate de formate, inclusiv Excel, PDF, CSV, XML, TIFF (și alte formate de imagine), precum și HTML Web Archive.

SQL Server 2008 și SSRS 2012 pot pregăti, de asemenea rapoarte în format Microsoft Word (DOC). Utilizatorii pot interacționa cu serviciul web Server Report direct sau pot utiliza Report Manager, o aplicație web-based, care interacționează cu serviciul web Report Server. Cu Report Manager, utilizatorii pot vizualiza, se pot abona și gestiona rapoartele, precum și gestiona surse de date și setările de securitate.

Securitatea se bazează pe roluri și permisiuni și poate fi atribuită unui element individual, cum ar fi o sursă de date, un raport sau un folder. Rolurile de securitate și drepturile sunt moștenite și pot fi supraîncărcate.

Microsoft SQL Server 2012 SP1 extinde sprijinul Microsoft pentru vizualizarea rapoartelor către platforme mobile, inclusiv Microsoft Surface, Apple iOS 6 și Windows Phone 8. Publicarea de rapoarte în Windows Azure este de asemenea posibilă.

Microsoft Analysis Services este un instrument ce permite procesarea analitică online, mineritul de date (Data Mining) și crearea rapoartelor. Este utilizat de către companii în scopul de a analiza și a înțelege datele preluate din surse de date variate, sau din tabele disparate. Microsoft a inclus în cadrul SQL Server o serie de servicii pentru BI și Data Warehousing, printre care se numără Integration Services și Analysis Services, componentă ce conține o serie de funcționalități pentru Data Mining.

Moduri de stocare

Analysis Services permite ca MOLAP, ROLAP, HOLAP să fie folosite în cadrul aceluiași model.

Partition Storage Modes

MOLAP: Atât datele din tabelele de fapte, cât si agregările sunt procesate, stocate și indexate utilizând un format special optimizat pentru datele multidimensionale.

ROLAP: Atât datele din tabelele de fapte, cât si agregările rămân în sursa de date relațională, eliminând nevoia unei procesări speciale

HOLAP: Acest mod utilizează sursele de date relaționale pentru a stoca datele referitoare la fapte, dar pre-procesează agregările, indecșii și le salvează într-un format optimizat pentru datele multidimensionale.

Dimension Storage Modes

MOLAP: Dimensiunile și ierarhiile sunt procesate și stocate într-un format special

ROLAP: Dimensiunile nu sunt procesate și rămân în sursa de date relațională

Limbaje de interogare

Analysis Services permite următoarele limbaje de interogare:

DDL (Data Definition Language): DDL este bazat pe XML și suportă comenzi precum: <Create>, <Alter>, <Delete>, <Process>. Pentru modele Data Mining de import și export suportă PMML (Predictive Model Markup Language)

DML (Data Manipulation Language) :

MDX pentru interogarea cuburilor OLAP

LINQ pentru interogarea cuburilor din .NET

SQL

DMX pentru interogarea modelelor de Data Mining

SharePoint Business Intelligence este o alta componentă Microsoft care oferă utilizatorilor instrumente de analiză ușor de folosit, care pot fi implementate fără ajutorul specialiștilor. Cu programe precum Excel, care sunt special concepute pentru a veni în ajutorul utilizatorilor, se pot crea foarte ușor rapoarte și se pot distribui rezultatele analizelor. Una dintre principalele caracteristici ale SharePoint este PowerPivot, un add-on pentru Excel, care utilizatorilor să acceseze și să compare volume mari de date, din orice sursă.

Sharepoint este unul dintre cele două servere de Business Intelligence ale Microsoft. Ca și platformă de aplicație web, poate oferi companiile o pagină de intranet, unde pot stoca, organiza și distribui, în cadrul unui grup, documente, videoclipuri, fotografii. Acest tip de serviciu poate îmbunătăți comunicarea între angajați, schimbul de informații realizându-se mult mai ușor.

Oracle

Un alt instrument de Business Intelligence, Oracle Business Intelligence Enterprise Edition (OBIEE), oferă de asemenea o gamă diversificată de instrumente care permit:

Colectarea în timp real a datelor pentru companie

Prezentarea datelor în formate usor de înteles (tabele, grafice)

Furnizarea datelor la timp pentru angajații companiei

Aceste facilități ajută compania să ia deciziile corespunzătorare fiecărei situații, să acționeze în timp util și să implementeze strategii de afacere mai eficiente.

În cadrul OBIEE se poate lucra cu:

Analize – interogări asupra datelor companiei care oferă răspunsuri la intrebările de afaceri. Acestea permit explorarea si interacționarea cu informațiile din cadrul companiei într-un mod ușor de înțeles, prin intermediul tabelelor sau graficelor). Rezultatele anal]izei pot fi salvate, organizate și distribuite mai departe.

Tablouri de bord – Oferă o vizualizare personalizată atat asupra informațiilor corporatiei, cât si asupra datelor externe. Un astfel de tablou este alcătuit din una sau mai multe pagini care au ca si conținut analize, link-uri către alte site-uri web, rapoarte, oferindu-le utilizatorilor finali acces la informatiile anlitice.

Filtre, pasi de selectie, solicitări – permit limitarea sau specificarea datelor care vor fi afișate în tablourile de bord și analize.

Agenți – Permit automatizarea proceselor afacerii. Se pot folosi în cazul creării alertelor, la publicarea de conținut programat, executarea acțiunilor cauzate de anumite evenimente.

Pentru accesarea conținutului analizelor si rapoartelor, este necesară autenficarea in browser prin intermediul unui utilizator și a unei parole, furnizate de companie.

BI Publisher este o componentă în cadrul OBIEE, iar acesta poate fi folosit pentru a crea, gestiona și livra rapoarte și documente cu formă fixă într-un mod mai ușor și rapid decât instrumentele tradiționale de raportare. Spre deosebire de OBIEE, BI Publisher oferă posibilitatea de a crea modele de rapoarte într-o formă fixă precum: adeverințe, facturi, documente oficiale etc.

IBM

IBM Cognos Business Intelligence este o suită integrată de business intelligence, bazată pe web. Oferă un set de instrumente de raportare, analiză, monitorizare a evenimentelor și a măsurilor. Softul este format din mai multe componente pentru a acoperi cât mai multe solicitări de informații din cadrul unei companii.

Componente:

Cognos Connection: Reprezintă portalul web pentru IBM Cognos BI și un punct de plecare pentru accesul la toate funcțiile oferite de suita IBM. Cu ajutorul acestuia se pot face căutări în conținutul rapoartelor, se pot programa și distribui rapoarte, crea task-uri, administra serverul și accesa drepturile pentru diferiți utilizatori.

Query Studio: Oferă posibilitatea de a scrie interogări simple și de a crea rapoarte rapid pentru a răspunde unor cerințe de business simple. Forma raportului poate fi personalizată, iar datele pot fi filtrate și sortate, iar formatarea și crearea de diagrame este de asemenea posibilă.

Report Studio: Este utilizat pentru crearea rapoartelor pentru management și oferă două moduri:

Profesional, adică oferă utilizatorilor acces la toată gama de funcționalități, unde aceștia pot crea orice tip de raport, inclusiv grafice, hărți, liste. Pot fi folosite toate tipurile de date (relaționale sau multidimensionale), dar datele dinamice nu pot fi afișate.

Express, unde există o interfață mult mai simplificată proiectată pentru utilizatorii non-tehnici. Aceștia au posibilitatea de a crea rapoarte financiare sau de gestiune.

Analysis Studio: Utilizatorii pot crea analize cu date colectate din surse de date de dimensiuni foarte mari. De asemenea, pot căuta informații suplimentare despre un eveniment sau o acțiune. Analiza multidimensională oferă posibilitatea de a descoperi tendințe, dar și de a înțelege apariția anomaliilor în date, anomalii care nu pot fi observate în alte tipuri de rapoarte. Funcționalități precum drag-and-drop, indicatori de performanță (KPI) pot fi incluse în analiză, rândurile și coloanele pot fi interschimbate și se pot realiza operații OLAP precum drill-up/drill-down.

Event Studio: Este un instrument de notificare, ce oferă informații despre eventimente în timp real. Pot fi creați agenți pentru a detecta apariția unor evenimente de business sau a unor circumstanțe deosebite, bazându-se pe schimbarea unui eveniment anume, sau a unor condiții. O notificare poate fi trimisă prin intermediul unui e-mail sau prin publicarea în portal.

Capitolul 2. Real-Time Business Intelligence (RTBI)

Noțiunea de Business Intelligence în timp real se referă la procesul de livrare a informațiilor referitoare la operațiunile de afaceri desfășurate. Accesul la informații în timp real înseamnă ca ele pot fi accesate oricand este nevoie, iar latența este aproape zero.

Viteza sistemelor de procesare actuale a făcut posibilă trecerea la real-time business intelligence. Astfel, tranzacțiile de afaceri sunt tranmise în sistemul de Business Intelligence în momentul în care au loc.

Sistemele RTBI suportă atât funcțiile strategice de data warehousing pentru obținerea informațiilor și a cunoștințelor din trecutul activităților companiei, cât și suport tactic în timp real pentru a reacționa și a ajuta la luarea deciziilor în momentul în care anumite evenimente au loc.

În acest context, în timp real înseamnă un interval de la milisecunde la câteva secunde, din momentul în care un eveniment a avut loc. În timp ce Business Intelligence tradițional prezintă datele istorice pentru analiză manuală, cel în timp real compară evenimente de afaceri curente cu modele istorice pentru a detecta automat probleme sau oportunități. Această capacitate de analiză automată permite acțiuni de corecție care urmează sa fie aplicate, iar regulile de business să fie ajustate pentru a optimiza procesele de afaceri.

Abordarea real-time Business Intelligence este una în care datele sunt analizate într-un timp foarte rapid, de până la un minut, fie direct de la sursele operaționale, fie dintr-un depozit de date alimentat in timp real.

Acest tip de abordare este fezabil doar pentru anumite aplicații, iar organizațiile trebuie să ia în considerare toți factorii pentru a putea face o astfel de investiție. Esențială este înțelegerea nevoilor afacerii, iar în ceea ce privește utilizatorii, este necesar să se stabilească dacă aceștia au nevoie de acces imediat la date, sau dacă furnizarea lor în modul tradițional este suficientă.

În mediul competitiv din prezent, deciziile se bazează pe datele cel mai recent obținute pentru a îmbunatăți relațiile cu clienții, creșterea veniturilor, maximizarea eficienței operaționale și chiar salvarea unei vieți, iar sistemele de real-time business intelligence furnizează astfel de informații necesare perfecționării proceselor strategice ale unei companii.

Latența

Toate sistemele de real-time Business Intelligence au latențe, dar scopul este de a minimiza timpul din momentul în care evenimentul a fost lansat și până la inițierea acestuia în sistem. Analistul Richard Hackathorn a descris trei tipuri de latență:

Latența datelor – timpul necesar pentru a colecta și a stoca datele

Latența analizei – timpul necesar pentru a analiza datele și a le transforma în informații relevante

Latența de acțiune – timpul necesar pentru luarea măsurilor și pentru a reacționa in urma informațiilor colectate

Tehnologiile de business intelligence în timp real sunt proiectate pentru a reduce toate cele trei tipuri de latență la o valoare cât mai apropiata de zero, în vreme ce sistemele tradiționale de business intelligence încearcă să reducă doar latența de date, fiindcă celelalte tipuri de latență sunt în concordanță cu procese manuale.

Aceste sisteme folosesc tehnici complexe de prelucrare a evenimentelor și fluxurilor de prelucrări pentru a permite analiza evenimentelor fără a fi întâi transformate și stocate în baza de date. Aceste tehnici "in-memory" au avantajul că rate mari ale evenimentelor pot fi monitorizate, iar dacă scrierea datelor în bază nu este necesară, latența acestora poate fi redusă la milisecunde.

Depozitul de date

O altă abordare a arhitecturilor bazate pe apariția evenimentelor este aceea de a crește ciclul de reîmprospatare a depozitului de date pentru a actualiza datele mai frecvent. Aceste sisteme pot atinge un nivelul de actualizare al datelor foarte aproapiat de timpul real, unde în mod tipic, latența datelor este de la câteva minute, la câteva ore. Analiza datelor se face încă manual, asa că latența totală este în continuare semnificativ mărită comparativ cu cea din abordările arhitecturale bazate pe evenimente.

Tehnologiile fără server

Cea mai recentă inovație în ceea ce privește real-time este tehnologia MSSO – Multiple Source Simple Output care elimină necesitatea unui depozit de date si a serverelor intermediare, deoarece este capabil sa acceseze datele în timp real, direct din sursă (sau chiar din mai multe surse, diferite). Deoarece datele sunt accesate în timp real, acest tip de tehnologie este cel mai apropiat de noțiunea de "date în timp real", iar latența este într-adevăr apropiată de zero.

Procese automatizate

Permit ca procese întregi (tranzacții, pași) să fie monitorizate, valori precum latența să fie vizualizate și comparate cu date istorice. Implementările avansate permit detectarea pragurilor, trimiterea de alerte si furnizarea de feedback pentru sistemele de execuție a proceselor.

Tehnologii mobile

Există foarte puțini furnizori pentru soluții de Business Intelligence pentru mobil. MBI este integrat cu o arhitectură de Business Intelligence deja existentă și utilizează aplicații de BI astfel încat oamenii să le poată folosi de pe telefoanele mobile si să poata lua decizii bazate pe informații primite în timp real.

Tehnologii cloud

Power BI este un serviciu în cloud, componenta a Microsoft Office 365 și este format din mai multe caracteristici și servicii care funcționează cu Excel, oferind posibilitatea distribuirii, a colaborării și a acesării rapoartelor oriunde, de pe orice dispozitiv.

Caracteristici și capabilități Excel:

Power Query: folosit pentru conectarea la surse de date publice și private

Power Pivot: folosit pentru crearea modelelor de date direct din Excel

Power View: folosit pentru crearea rapoartelor și a vizualizărilor analitice în mod interactiv

Power Map: folosit pentru explorarea și navigarea geospațială pe hărți 3D în Excel

Capitolul 3. Studiu de caz: Implementarea unui proiect de Business Intelligence

Crearea unui cub OLAP

Orice cub OLAP este creat utilizând o soluție de analiză, iar pentru crearea acesteia se va utiliza SQL Server Data Tools (SSDT) și se va selecta un nou proiect de tipul “Analysis Services Multidimensional and Data Mining Project”.

Figura 5

Se va deschide o nouă soluție și se vor crea folderele de bază necesare din cadrul solution explorer.

Figura 6

Pentru crearea unei noi surse de date se face dublu click pe Data Sources, apoi se selectează opțiunea New Data Source. Se va deschide o nouă fereastră în cadrul căreia se va realiza conexiunea la data warehouse.

Figura 7

La pasul următor se cere specificarea tipului de conexiune, și este important de analizat tipul de securitate necesar pentru cubul OLAP. Este recomandată folosirea contului de Active Directory și a opțiunii „Use a specific Windows user name and password”.

Figura 8

După realizarea acestei etape, s-a creat sursa de date pentru cubul OLAP ce urmează a fi folosit. Următorul pas este crearea unui data source view și specificarea tabelelor care vor fi incluse în cadrul cubului. Acest lucru se realizează făcând dublu click pe folderul Data Source Views, apoi se selectează Add Data Source. După alegerea conexiunii, se aleg tabelele de fapte și dimensiunile dorite.

Pentru exemplu, am ales secțiunile de Internet Sales ale bazei de date AdventureWorksDW2012.

Figura 9

Este important ca relațiile dintre tabelele din cadrul data warehouse-ului să fie definite corect. Având aceste informații, SSDT poate crea o diagramă a obiectelor din baza de date, iar dacă relațiile nu au fost definite în prealabil, va fi necesară specificarea explicită a relațiilor dintre tabelele de fapte și de dimensiuni.

Figura 10

Odată ce s-a creat data source view-ul, se poate trece la crearea cubului. Pentru asta, se face click dreapta pe „Cubes”, apoi se alege „New Cube”. La apariția wizard-ului, de regulă se alege opțiunea Use existing tables, apoi se va solicita selectarea tabelelor de fapte, iar sistemul va detecta automat câmpurile ce pot fi utilizate ca și măsuri.

Dacă relațiile dintre tabele au fost definite anterior, sistemul va selecta automat dimensiunile necesare. Dacă este nevoie de definirea relațiilor la aceasta etapă, cel mai simplu se realizează prin drag and drop. La ultimul pas este necesară denumirea cubului, apoi se apasă butonul de Finish.

Figura 11

Structura cubului va arăta astfel:

Figura 12

În acest moment configurația de bază este realizată, dar cubul există doar la nivel de model. Pentru crearea lui pe serverul de Analysis Services este nevoie de precizarea locației acestuia în cadrul SSDT. Acest lucru se face din cadrul proprietăților proiectului, în secțiunea deployment.

Figura 13

Pentru crearea cubului si procesarea datelor din data warehouse în cub, este nevoie de build la nivel de proiect. Se apasă butonul Run, iar dacă nu există erori de configurare, cubul va fi procesat.

Figura 14

Figura 15

După procesarea cubului, datele pot fi vizualizate.

Figura 16

Din această interfață se pot verifica datele din cub și pot fi generate interogări de bază în vederea folosirii acestora în rapoarte.

Crearea unui raport utilizând SQL Server Reporting Services

Pentru crearea unui raport se utilizează SQL Server Data Tools prin intermediul Visual Studio. Pentru început, se creează un proiect de tipul Report Server Project pentru care se precizează denumirea și locația.

Figura 17

Se specifică informațiile de coxiune și credențialele pentru sursa de date OLAP.

Figura 18

În fereastra de proprietăți trebuie menționat tipul, Micrrosoft SQL Server Analysis Services, iar apoi se apasă butonul Edit, iar la deschiderea noii ferestre se va completa câmpul Server name.

Figura 19

Figura 20

Următorul pas este crearea seturilor de date, iar asta se face accesând Shared Datasets din Solution Explorer.

Figura 21

Se introduce Dataset Name, se alege sursa de date din listă, apoi se deschide Query Designer.

Figura 22

Query Designer permite drag and drop pe măsurile și pe câmpurile din diferite dimensiuni, sau se poate scrie un query.

Figura 23

Pentru utilizarea filtrelor pe înregistrări se poate folosi de asemenea funcționalitatea de drag and drop.

Figura 24

Se poate vedea și query-ul generat automat în urma filtrării

Figura 25

Adăugarea unui raport nou se face din Solution Explorer, secțiunea Reports.

Figura 26

Se selectează Report Project -> Project -> se denumeste raportul -> Add

Figura 27

Adăugarea unei surse de date comune sau a unui set de date se face din Report Designer

– > View -> Report Data apoi se va selecta butonul “Use shared data source reference”

Figura 28

Figura 29

Pentru schimbarea proprietăților unor parametri ai raportului, de exemplu schimbarea tipului de dată se va deschide fereastra de proprietăți și se vor efectua modificările dorite.

Figura 30

După efectuarea modificărilor, este necesară ștergerea valorii default pe care a avut-o parametrul data.

Figura 31

Crearea unui look up data set se face din secțiunea Report data -> Data sets -> Add Dataset

Se bifează „Use a datasat embedded in my report” sau se face apasă butonul „Query Designer” pentru scrierea unui query MDX.

Figura 32

Figura 33

Design-ul raportului

Se vor insera PageHeader și PageFooter astfel:

Report Design Area-> Select Insert ->Click PageHeader.

Report Design Area-> Select Insert ->Click PageFooter.

Figura 34

Select ToolBox- >Drag & Drop TextBox in PageHeader -> se completează Report Title

ToolBox -> Drag & Drop matrice în Report Design Area.

Figura 35

Drag & Drop Full_Date_UK în secțiunea Columns a matricii sau Drag & Drop Full_Date_UK în Column Groups.

Drag & Drop Product_Name în secțiunea Rows sau Drag & Drop Product_Name în Row Groups.

Drag & Drop Quantity în secțiunea Data.

Figura 36

Acum raportul este aproape finalizat și poate fi vizualizat astfel: Preview -> Choose From Date->Choose To Date ->Select Product Name ->Click View Report.

Figura 37

Este necesară realizarea deploy-ului raportului și a surselor de date pe Report Server urmând pașii următori:

Solution Explorer -> Click SalesAnalysisReports -> Click Properties.

Setare Target Server URL -> Setare Target Server Version-> Click OK.

Figura 38

În Solution Explorer -> Click dreapta SalesAnalysisReports -> Click Deploy.

Figura 39

Previzualizarea raportului folosind Report Manager se face astfel:

Se deschide Internet Explorer sau Mozilla FireFox -> Se scrie Report Manger URL -> se apasă Enter -> se introduc credențialele dacă este necesar -> Click folder SalesAnalysisReports.

Figura 40

Se face click pe raportul creat și se aplică filtrele dorite.

Figura 41

Modele de rapoarte

Pentru a exemplifica aspectul unui raport creat cu ajutorul Reporting Services, se va crea o serie de rapoarte:

Raport privind vânzările unei companii pe decursul a patru ani.

Figura 45

Raportul prezintă datele referitoare la vânzări, fiind împărțit pe categorii de produse, ani și trimestre.

Raport prinvind liniile de producție

Figura 46

În cadrul acestui raport s-au aplicat filtre pe: categorie produs, subcategorie produs, data de început și data de sfârșit.

Raport privind vânzările, împărțit pe regiuni

Figura 47

Modele de aplicare a proceselor de Machine Learning

Decision Tree

În cadrul acestui model se pot observa caracteristicile unor potențiali cumpărători de biciclete.

Figura 42

Primul nivel are ca atribut vârsta posibilului cumpărător, iar dacă dorim să vizualizăm clienții cu probabilitatea cea mai mare de achiziție a unei biciclete, este nevoie să selectăm opțiunea „1” din cadrul „Background.” Această probabilitate ridicată este evidențiată prin folosirea culorii albastru.

Forecasting

Pentru exemplificarea noțiunii de forecasting, vom evidenția acest aspect prin prezentarea unui scenariu de vânzări, ce are ca scop vizualizarea vânzărilor pe anul următor din cadrul unei companii.

Scenariul se va realiza comparând previziunile pentru regiuni și categorii de produse diferite, în perioade de timp distincte.

După realizarea modelului, vor fi clarificare următoarele aspecte:

Cum se schimbă vânzările diferitelor modele de biciclete în timp.

Diferența de eșantioane pe regiuni

Figura 43

Fiecare linie din grafic reprezintă o combinație unică dintre produs, regiune și valoare previzionată. Legenda din partea dreaptă afișează perioadele de timp disponibile în funcție de criteriile selectate din lista de produse și regiuni.

Graficul afișat include atât date istorice, cât și date previzionate, care sunt marcate cu linie punctată pentru diferențiere.

Din liniile graficului putem observa faptul că totalul de vânzări de pe toate regiunile, crește în luna decembrie (la fiecare douăsprezece luni). De asemenea, se mai poate observa că vânzările modelului de biciclete T1000 încep mai târziu în an față de celelalte modele. Acest lucru se întâmplă pentru că este un produs nou, iar pentru ca nu există foarte multe informații, previziunile pot fi mai puțin concludente.

Neural networks

Se va utiliza un model de rețea neurală pentru a stabili posibilele cauze a calității slabe ale serviciilor dintr-un call center. Analiza va stabili dacă există probleme în ceea ce privește angajații sau dacă există posibilitatea îmbunătățirii satisfacției clienților.

Setul de date este unul de dimensiuni reduse, acoperind doar o perioadă de 30 de zile a activității operatorilor din call center. Se urmărește numărul angajaților noi, dar și a celor cu experiență de pe fiecare tură, numărul apelurilor, numărul comenzilor și a problemelor care trebuiesc rezolvate și timpul mediu de așteptare pentru preluarea apelului. De asemenea, setul de date conține o măsură referitoare la rata de abaondon, ce reprezintă un indicator a nemulțumirii clientului.

Pentru că nu există așteptări referitoare la ceea ce vor reflecta datele, se va folosi un model de rețele neurale pentru a explora toate posibilitățile, deoarece acesta poate analiza relațiile complexe dintre datele de intrare și cele de ieșire.

Figura 44

Pentru a vedea cum anumiți factori influențează serviciile, se vor compara două nivele diferite de servicii prin selectarea unor intervale diferite din lista de valori pentru “Value1” și “Value2”. Intervalul 0.0 – 0.7 reprezintă cea mai mică rată de abandon, adică cel mai ridicat nivel de satisfacție privind serviciile. În intervalul 0.12 – 0.21 se va regăsi cea mai mare rată de abandon, și prin urmare, cel mai ridicat grad de nemulțumire al clienților. Cu alte cuvinte, 12% dintre clienții care au efectuat apeluri în cadrul acelei ture, au închis înainte de a vorbi cu un operator.

Conținutul din zona variabilelor este actualizat pentru a compara atributele care contribuie la valorile rezultate. Așadar, coloana din partea stângă va afișa atributele care sunt asociate celui mai ridicat nivel de satisfacție, iar in partea dreaptă se află atributele asociate celui mai scăzut nivel de satisfacție.

Concluzii

În decursul celor peste douazeci de ani de existență, domeniul Business Intelligence a fost extins și s-a perfecționat, iar în prezent se apreciază ca va deveni parte integrată a sistemelor informaționale din cadrul companiilor.

Business Intelligence nu reprezintă în sine un produs sau un sistem, ci mai degrabă un concept care înglobează arhitecturi, aplicații și baze de date. Scopul vizat este acela de a facilita accesul utilizatorilor la date, printr-o accesare intreractivă și în timp real a bazei de date. De asemenea, se doreste simplificarea procesului de manipulare și analiză a datelor.

Analizând datele istorice cu ajutorul BI-ului, se obține o vedere de ansamblu asupra situației afacerilor, iar astfel managerii pot lua decizii pe baza unor informații concludente, putându-se baza chiar și pe predicții.

Trebuie subliniat faptul că Business Ingelligence nu reprezintă o sursa de date, ci folosește datele oferite de către aplicații precum cele de tip ERP sau CRM. Pentru reorganizarea și valorificarea datelor s-au dezvoltat depozitele de date și s-au implementat instrumente de ETL.

Soluțiile de Business Intelligence se aplică cu succes în următoarele domenii:

Raportări generale

Analize de vânzări/marketing

Planificări și predicții

Consolidări financiare

Analize de profibilitate

Instalarea unui astfel de sistem va aduce după sine un beneficiu companiei deoarece informațiile necesare desfășurării afacerilor vor fi disponibile în orice moment, acesta fiind un plus în ceea ce privește succesul acesteia. Cu ajutorul Business Intelligence, informațiile pot fi valorificate și se pot crea avantaje din punct de vedere competițional întrucât vor exista deja răspunsuri la anumite probleme, iar pe baza acestora se vor lua decizii pentru rezolvarea lor.

O astfel de soluție nu vizează neaparat doar companiile mari, ci de asemenea firmele mici și mijlocii, mai pe scurt orice companie ce are nevoie de informații concludente într-un timp cât mai scurt. BI a devenit practic un instrument strategic în conducerea unei întreprinderi, ajutând la conducerea, optimizarea, descoperirea și inovarea aspectului organizației.

Capacitățile Business Intelligence permit angajaților :

alinierea operațiunilor zilnice cu obiectivele și strategiile generale

identificarea și înțelegerea relațiilor dintre procesele de business și impactul lor asupra performanței

accesarea informațiilor relevante pentru responsabilitățile specifice utilizatorului

monitorizarea indicatorilor de business vitali de care au nevoie pentru a înainta într-o organizație cum ar fi:

statutul curent și direcția rapoartelor financiare

eficacitatea și profitabilitatea departamentelor de vânzări

metodele de măsurare cruciale

Putem afirma că Business Intelligence este o soluție ce ajută companiile să câștige o privire cuprinzătoare și integrată asupra afacerii lor pentru a putea servi în luarea deciziilor eficiente.

Bibliografie

Bibliografie