Lucrare de Licent , a [616733]
Universitatea din Craiova
Facultatea de S ,tiint ,e
Departamentul de Informatic˘ a
Lucrare de Licent ,˘ a
Absolvent: [anonimizat] ,˘ a David Leonard
Coordonator S ,tiint ,ific
Asist.univ.dr. T ,icleanu Oana-Adriana
Craiova 2020
Universitatea din Craiova
Facultatea de S ,tiint ,e
Departamentul de Informatic˘ a
Sisteme de gestiune a datelor în mediul web
Absolvent: [anonimizat] ,˘ a David Leonard
Coordonator S ,tiint ,ific
Asist.univ.dr. T ,icleanu Oana-Adriana
Craiova 2020
Cuprins
I Introducere 1
1 Descriere Domeniului 2
1.1 Gestionarea datelor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Sistemele de gestionare a datelor în prezent . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Big Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.1 Ce este Big Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.2 Sistemele de gestionare pentru Big Data . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 Probleme legate de gestionarea datelor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.5 Practici bune de gestionare a datelor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2 Istoric 7
2.1 Administrarea datelor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 Gestionarea datelor în mediul online . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2.1 SQL (Structured Query Language) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2.2 Gestionarea datelor mari in mediul online . . . . . . . . . . . . . . . . . . . . . . . 8
II Modele abordate 10
3 Instrumente s ,i tehnici de gestionare a datelor 11
3.1 Sisteme de gestionare a bazelor de date . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.2 Sisteme relat ,ionale de gestionare a bazelor de date . . . . . . . . . . . . . . . . . . . . . . . 12
3.2.1 MS-SQL (Microsoft SQL-Server) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.3 Sisteme NoSQL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.3.1 MongoDB Atlas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.4 Baze de date cloud . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4 Software folosit pentru dezvoltarea aplicat ,iei 13
4.1 Visual Studio Enterprise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
4.2 Microsoft SQL-Server Management Studio . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
4.3 Tehnologii folosite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
ii
CUPRINS CUPRINS
4.3.1 ASP .NET Core . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
4.3.2 HTML, CSS, JavaScript . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
4.3.3 Ace Editor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
5 Aplicat ,ie 14
5.1 Configurat ,ia init ,ial˘ a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
5.2 Autentificare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
5.3 Metode de protejare a datelor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
5.3.1 Protejare împotriva SQL-Injection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
5.3.2 Utilizarea funct ,iilor hash . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
5.4 Generare cookie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
5.5 Prelucrarea datelor din cookie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
6 Concluzionare 15
6.1 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
6.2 Contribut ,ii proprii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
6.3 Pas ,ii urm˘ atori . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Bibliografie 17
iii
Partea I
Introducere
Capitolul 1
Descriere Domeniului
1.1 Gestionarea datelor
Reprezint˘ a procesul de utilizare, colectare s ,i p˘ astrare a datelor în mod economic, sigur s ,i eficient. Obiec-
tivul gestion˘ arii datelor este de a ajuta oamenii, organizat ,iile s ,i procesele conexe s˘ a optimizeze utilizarea
datelor în limitele politicilor s ,i reglement˘ arilor, astfel încât s˘ a poat˘ a lua decizii s ,i m˘ asuri care s˘ a maximi-
zeze beneficiul pentru organizat ,ia care se ocup˘ a cu gestionarea de date. O strategie robust˘ a de gestionare
a datelor devine din ce în ce mai important˘ a, deoarece organizat ,iile care lucreaz˘ a cu date se bazeaz˘ a tot
mai mult pe active intangibile pentru a crea valoare.
Gestionarea datelor înseamn˘ a procesul de colectare, p˘ astrare s ,i utilizare a datelor în mod sigur, efi-
cient s ,i economic. Obiectivul gestion˘ arii datelor este de a ajuta oamenii, organizat ,iile s ,i procesele conexe
s˘ a optimizeze utilizarea datelor în limitele politicilor s ,i reglement˘ arilor, astfel încât s˘ a poat˘ a lua decizii
s,i m˘ asuri care s˘ a maximizeze beneficiul pentru organizat ,ie. O strategie robust˘ a de gestionare a datelor
devine din ce în ce mai important˘ a, deoarece organizat ,iile se bazeaz˘ a tot mai mult pe active intangibile
pentru a crea valoare.
• Crearea, accesarea s ,i actualizarea datelor la un nivel de date diferit
• Stocarea datelor în mai multe clouduri s ,i on-premises
• Nivel ridicat de disponibilitate s ,i recuperare în caz de dezastru
• Utilizarea datele într-o gam˘ a tot mai variat˘ a de aplicat ,ii, analize s ,i algoritmi
• Asigurarea confident ,ialit˘ at ,ii s ,i securit˘ at ,ii datelor
• Arhivarea s ,i distrugerea datelor conform programelor de p˘ astrare a datelor s ,i cerint ,elor de con-
formitate
O strategie oficial˘ a de gestionare a datelor abordeaz˘ a activitatea utilizatorilor s ,i a administratorilor,
capacit˘ at ,ile tehnologiilor de gestionare a datelor, cerint ,ele de reglementare s ,i nevoile organizat ,iei pentru
CAPITOLUL 1. DESCRIERE DOMENIULUI 3
a obt ,ine valoare din datele sale.
1.2 Sistemele de gestionare a datelor în prezent
Companiile, organizat ,iile actuale au nevoie de o solut ,ie de gestionare a datelor care s˘ a ofere o moda-
litate eficient˘ a de gestionare a datelor în cadrul unui nivel de date diverse, dar unificate. Sistemele de
gestionare a datelor sunt construite pe platformele de gestionare a datelor s ,i pot include baze de date,
lacuri de date s ,i depozite de date, sisteme de gestionare a Big Data, analize de date s ,i multe altele.
Toate aceste componente lucreaz˘ a împreun˘ a ca un “utilitar de date” pentru a furniza capacitatea de
gestionare a datelor de care o organizat ,ie are nevoie pentru aplicat ,iile sale, precum s ,i pentru analizele s ,i
algoritmii care utilizeaz˘ a datele generate de aceste aplicat ,ii. Des ,i instrumentele actuale ajut˘ a administra-
torii de baze de date (DBA) s˘ a automatizeze multe dintre sarcinile de gestionare tradit ,ionale, intervent ,ia
manual˘ a este deseori necesar˘ a datorit˘ a m˘ arimii s ,i complexit˘ at ,ii asociate cu implementarea unei baze de
date. Ori de câte ori este necesar˘ a intervent ,ia manual˘ a, s ,ansele de erori cresc. Reducerea nevoii de
gestionare manual˘ a a datelor este un obiectiv cheie al unei noi tehnologii de gestionare a datelor.
1.3 Big Data
1.3.1 Ce este Big Data
Pur s ,i simplu, datele mari sunt seturi de date mai mari, mai complexe, în special din surse noi de date.
Aceste seturi de date sunt atât de voluminoase încât software-ul tradit ,ional de prelucrare a datelor pur
s,i simplu nu le poate gestiona. Dar aceste volume masive de date pot fi utilizate pentru a rezolva
problemele de afaceri pe care nu le-ai fi putut rezolva pân˘ a acum.
Ast˘ azi, datele mari au devenit capital. Gândit ,i-v˘ a la unele dintre cele mai mari companii tehnologice
din lume. O mare parte din valoarea pe care o ofer˘ a provin din datele lor, pe care le analizeaz˘ a constant
pentru a produce mai mult˘ a eficient ,˘ a s,i a dezvolta produse noi.
Descoperirile tehnologice recente au redus exponent ,ial costurile de stocare s ,i calculare a datelor,
f˘ acând mai us ,oar˘ a s ,i mai put ,in costisitoare stocarea mai multor date decât pân˘ a acum. Cu un volum
crescut de date mari acum mai ieftine s ,i mai accesibile, putet ,i lua decizii de afaceri mai precise.
G˘ asirea valorii în datele mari nu înseamn˘ a doar analizarea acesteia (care este un alt beneficiu). Este
un întreg proces de descoperire care necesit˘ a analis ,ti atent ,i, utilizatori de afaceri s ,i directori care pun
întreb˘ ari corecte, recunosc tiparele, fac presupuneri în cunos ,tint ,˘ a de cauz˘ a s ,i prezic comportamentul.
1.3.2 Sistemele de gestionare pentru Big Data
În anumite privint ,e, Big Data este exact ceea ce pare — o mare mult ,ime de date. Îns˘ a Big Data se
prezint˘ a, de asemenea, într-o varietate mai mare de forme decât datele tradit ,ionale s ,i sunt colectate cu
vitez˘ a mai mare. Gândit ,i-v˘ a la toate datele care apar în fiecare zi sau în fiecare minut dintr-o surs˘ a a
1.2. SISTEMELE DE GESTIONARE A DATELOR ÎN PREZENT
CAPITOLUL 1. DESCRIERE DOMENIULUI 4
unui canal de socializare, cum ar fi Facebook. Cantitatea, varietatea s ,i viteza acestor date le confer˘ a
valoarea pe care o au pentru întreprinderi, îns˘ a totodat˘ a gestionarea lor este foarte complex˘ a.
Dat fiind c˘ a tot mai multe date sunt colectate din surse diferite, cum ar fi camerele video, canalele de
socializare, înregistr˘ arile audio s ,i dispozitivele Internet of Things (IoT), au ap˘ arut sisteme de gestionare
a Big Data. Aceste sisteme se specializeaz˘ a în trei domenii generale.
•Integrarea Big Data aduce diverse tipuri de date — de la loturi la streaming — s ,i le transform˘ a
astfel încât s˘ a poat˘ a fi consumate.
•Gestionarea Big Data stocheaz˘ a s ,i proceseaz˘ a date într-un lac de date sau într-un depozit de date
în mod eficient, sigur s ,i fiabil, adesea prin utilizarea stoc˘ arii obiectelor.
•Analiza Big Data dezv˘ aluie noi informat ,ii prin analiz˘ a s ,i utilizeaz˘ a înv˘ at ,area asistat˘ a de computer
s,i vizualizarea AI pentru a construi modele.
1.4 Probleme legate de gestionarea datelor
Marea majoritate a problemelor legate de gestionarea a datelor din ziua de ast˘ azi sunt generate de ritmul
mai accelerat al afacerilor s ,i de cres ,terea prolifer˘ arii datelor. Volumul, viteza s ,i varietatea tot mai mare de
date disponibile organizat ,iilor le determin˘ a pe acestea s˘ a caute instrumente de gestionare mai eficiente
pentru a nu r˘ amâne în urm˘ a. Anumite probleme dintre cele principale cu care se confrunt˘ a organizat ,iile
sunt urm˘ atoarele:
•Nu s ,tiu ce date det ,in. Sunt colectate s ,i stocate date dintr-un num˘ ar tot mai mare de diverse surse,
cum ar fi senzori, dispozitive inteligente, canale de socializare s ,i camere video. Dar aceste date nu
sunt utile dac˘ a organizat ,ia nu s ,tie ce date det ,ine, unde se afl˘ a s ,i cum s˘ a le foloseasc˘ a.
•Organizat ,iile trebuie s˘ a ment ,in˘ a nivelurile de performant ,˘ a pe m˘ asur˘ a ce nivelul de date cres ,te.
Acestea capteaz˘ a, stocheaz˘ a s ,i utilizeaz˘ a mai multe date tot timpul. Pentru a ment ,ine timpii ma-
ximi de r˘ aspuns în cadrul acestui nivel aflat în curs de extindere, organizat ,iile trebuie s˘ a monito-
rizeze în permanent ,˘ a tipul de întreb˘ ari la care r˘ aspunde baza de date s ,i s˘ a schimbe indexurile pe
m˘ asur˘ a ce interog˘ arile se schimb˘ a, f˘ ar˘ a a afecta performant ,a.
•Trebuie s˘ a respecte cerint ,ele de conformitate aflate în continu˘ a schimbare . Regulile de conformi-
tate sunt complexe, se aplic˘ a în mai multe jurisdict ,ii s ,i se schimb˘ a constant. Organizat ,iile trebuie
s˘ a poat˘ a revizui cu us ,urint ,˘ a datele s ,i s˘ a identifice orice aspect care face obiectul unor cerint ,e noi
sau modificate. În special, informat ,iile de identificare personal˘ a (PII) trebuie s˘ a fie detectate, ur-
m˘ arite s ,i monitorizate pentru a se respecta reglement˘ arile tot mai stricte privind confident ,ialitatea
la nivel mondial.
•Nu s ,tiu cum s˘ a reutilizeze datele pentru a le valorifica în scopuri noi . Prin colectarea s ,i identifi-
carea datelor nu se asigur˘ a valoare — organizat ,ia trebuie s˘ a le proceseze. Dac˘ a este nevoie de mult
1.4. PROBLEME LEGATE DE GESTIONAREA DATELOR
CAPITOLUL 1. DESCRIERE DOMENIULUI 5
timp s ,i efort pentru a transforma datele în ceea ce este necesar pentru analiz˘ a, analiza respectiv˘ a
nu va avea loc. Prin urmare, valoarea potent ,ial˘ a a acelor date se pierde.
•Trebuie s˘ a t ,in˘ a pasul cu schimb˘ arile survenite în domeniul stoc˘ arii datelor . În noul univers al
gestion˘ arii datelor, organizat ,iile stocheaz˘ a date în mai multe sisteme, inclusiv în depozite de date
s,i lacuri de date nestructurate, care stocheaz˘ a orice date în orice format într-o singur˘ a colect ,ie.
Expert ,ii în date din cadrul unei organizat ,ii au nevoie de o modalitate de a transforma rapid s ,i
us,or datele din formatul lor original în forma, formatul sau modelul de care au nevoie pentru a le
exploata pentru o gam˘ a larg˘ a de analize.
1.5 Practici bune de gestionare a datelor
Pentru a aborda problemele legate de gestionarea datelor este nevoie de un set cuprinz˘ ator s ,i bine gândit
de cele mai bune practici. Des ,i cele mai bune practici variaz˘ a în funct ,ie de tipul de date implicate s ,i de
industrie, urm˘ atoarele cele mai bune practici abordeaz˘ a problemele majore de gestionare a datelor cu
care se confrunt˘ a organizat ,iile în prezent:
•Creat ,i un nivel de descoperire pentru a v˘ a identifica datele . Un nivel de descoperire peste nivelul
de date al organizat ,iei permite analis ,tilor s ,i expert ,ilor în date s˘ a caute seturi de date cu ajutorul
c˘ arora datele dvs. s˘ a devin˘ a utilizabile.
•Dezvoltat ,i un mediu de s ,tiint ,˘ a a datelor pentru a reutiliza eficient datele dvs. Un mediu de
s,tiint ,˘ a a datelor automatizeaz˘ a cât mai mult activitatea de transformare a datelor, simplificând
crearea s ,i evaluarea modelelor de date. Un set de instrumente ce elimin˘ a necesitatea de transfor-
mare manual˘ a a datelor poate accelera emiterea de ipoteze s ,i testarea noilor modele.
•Utilizat ,i o tehnologie autonom˘ a pentru a ment ,ine nivelurile de performant ,˘ a în cadrul întregu-
lui nivel de date aflat în extindere . Capacit˘ at ,ile autonome de date folosesc AI s ,i înv˘ at ,area asistat˘ a
de computer pentru a monitoriza în permanent ,˘ a interog˘ arile bazei de date s ,i pentru a optimiza
indexurile pe m˘ asur˘ a ce interog˘ arile se schimb˘ a. Datorit˘ a acestui lucru, baza de date poate s˘ a
ment ,in˘ a timpul rapid de r˘ aspuns, iar administratorii DBA s ,i expert ,ii în date nu vor mai avea de
efectuat sarcini manuale ce iau mult timp.
•Utilizat ,i descoperirea pentru a t ,ine pasul cu cerint ,ele de conformitate . Instrumentele noi utili-
zeaz˘ a descoperirea datelor pentru a examina datele s ,i a identifica lant ,urile de conexiuni ce trebuie
detectate, urm˘ arite s ,i monitorizate în vederea asigur˘ arii conformit˘ at ,ii la nivel de jurisdict ,ii multi-
ple. Întrucât cerint ,ele privind conformitatea cresc la nivel global, aceast˘ a capacitate va deveni tot
mai important˘ a pentru cei responsabili cu evaluarea riscurilor s ,i asigurarea securit˘ at ,ii.
•Utilizat ,i un nivel comun de interogare pentru a gestiona forme multiple s ,i diverse de stocare a
datelor . Cu ajutorul noile tehnologii colect ,iile de date pot s˘ a colaboreze, ceea ce duce la eliminarea
1.5. PRACTICI BUNE DE GESTIONARE A DATELOR
CAPITOLUL 1. DESCRIERE DOMENIULUI 6
diferent ,elor dintre ele. Prin intermediul nivelului comun de interogare, ce acoper˘ a numeroase
tipuri de stocare a datelor, expert ,ii în date, analis ,tii s ,i aplicat ,iile pot s˘ a acceseze datele f˘ ar˘ a a fi
nevoie s˘ a s ,tie unde sunt stocate s ,i f˘ ar˘ a a fi nevoit ,i s˘ a le transforme manual într-un format utilizabil.
1.5. PRACTICI BUNE DE GESTIONARE A DATELOR
Capitolul 2
Istoric
2.1 Administrarea datelor
Gestionarea datelor reprezint˘ a organizarea datelor, pas ,ii folosit ,i pentru obt ,inerea eficient ,ei s ,i colectarea
de informat ,ii din aceste date. Gestionarea datelor , ca un concept, a început în anii 1960, ADAPSO
(Asociat ,ia Organizat ,iilor de Servicii de Prelucrare a Datelor) a transmis sfaturi de gestionare a datelor,
cu accent pe formarea profesional˘ a s ,i m˘ asurile de asigurare a calit˘ at ,ii.
Gestionarea datelor nu trebuie confundat˘ a cu guvernarea datelor s,i nici cu gestionarea bazelor
de date . Guvernarea datelor este un set de practici s ,i concepte care acord˘ a prioritate s ,i organizeaz˘ a
datele, precum s ,i aplicarea politicilor din jurul datelor, respectând în acelas ,i timp diverse reglement˘ ari
s,i reducând practicile slabe ale datelor.
Guvernarea datelor este în esent ,˘ a o parte a întregului ansamblu de gestionare a datelor. Gestionarea
bazelor de date, pe de alt˘ a parte, este concentrat˘ a pe instrumentele s ,i tehnologia utilizate pentru a crea
s,i modifica fundamentul datelor, mai degrab˘ a decât sistemul general utilizat pentru organizarea datelor.
Gestionarea bazelor de date este, de asemenea, o subdiviziune a Gestion˘ arii datelor.
Gestionarea datelor a devenit pentru prima dat˘ a o problem˘ a în anii ’50, când calculatoarele erau
lente, stângace s ,i au necesitat cantit˘ at ,i masive de fort ,˘ a de munc˘ a manual˘ a pentru a opera. Câteva com-
panii orientate pe computer au folosit podele întregi pentru a depozita s ,i „gestiona” doar cardurile
perforate care stocheaz˘ a datele. Aceeas ,i companii au folosit alte etaje pentru a ment ,ine sortatoarele, ta-
bulatoarele s ,i b˘ ancile de perforatoare pentru carduri. Programele vremii au fost configurate într-o form˘ a
binar˘ a sau zecimal˘ a s ,i au fost citite de la comutatoarele de pornire / oprire în partea din fat ,˘ a a compu-
terului, sau de pe banda magnetic˘ a, sau chiar de pe cardurile perforate. Aceast˘ a form˘ a de programare a
fost init ,ial numit˘ a Absolute Machine Language .
CAPITOLUL 2. ISTORIC 8
2.2 Gestionarea datelor în mediul online
Sistemele online de gestionare a datelor, cum ar fi rezerv˘ arile de c˘ al˘ atorie s ,i tranzact ,ionarea piet ,elor
bursiere, trebuie s˘ a coordoneze s ,i s˘ a gestioneze datele rapid s ,i eficient. La sfârs ,itul anilor 1950, mai
multe industrii au început s˘ a experimenteze tranzact ,iile online. În prezent, sistemele de gestionare a
datelor online pot prelucra informat ,ii medicale (gândit ,i eficient ,a) sau pot m˘ asura, stoca s ,i analiza cât
mai mult de 7,5 milioane de sesiuni de sudur˘ a pe zi (gândit ,i productivitatea). Aceste sisteme permit
unui program s˘ a citeasc˘ a fis ,iere sau înregistr˘ ari, s˘ a le actualizeze s ,i s˘ a trimit˘ a informat ,iile actualizate
înapoi utilizatorului online.
2.2.1 SQL (Structured Query Language)
SQL (Structured Query Language) a fost dezvoltat de Edgar F. Codd în anii ’70, s ,i s-a concentrat pe baze
de date relat ,ionale, oferind prelucrarea constant˘ a a datelor s ,i reducerea cantit˘ at ,ii de date duplicate. Pro-
gramul este, de asemenea, destul de us ,or de înv˘ at ,at, deoarece r˘ aspunde la comenzi în englez˘ a. Modelul
relat ,ional permite cantit˘ at ,i mari de date s˘ a fie procesate rapid s ,i eficient. Limba a devenit standardizat˘ a
în 1985.
Modelele relat ,ionale reprezint˘ a atât relat ,iile, cât s ,i subiectul într-un mod uniform. O caracteristic˘ a a
modelelor relat ,ionale de date este utilizarea lor într-un limbaj unificat în timp ce navigheaz˘ a, manipu-
leaz˘ a s ,i defines ,te date, în loc s˘ a foloseasc˘ a limbi separate pentru fiecare sarcin˘ a. „Algebra” relat ,ional˘ a
este utilizat˘ a pentru procesarea seturilor de înregistr˘ ari ca grup, „operatorii” fiind aplicat ,i seturilor de
înregistr˘ ari întregi. Modelele relat ,ionale de date, combinate cu operatorii, ofer˘ a programe mai scurte s ,i
mai simple.
Modelul relat ,ional a prezentat câteva avantaje neas ,teptate. S-a dovedit a fi foarte potrivit pentru
procesarea paralel˘ a, calculul client-server s ,i GUI (interfet ,e grafice de utilizator). În plus, un sistem de
model relat ,ional de baze de date (RDBMS) permite mai multor utilizatori s˘ a acceseze simultan aceeas ,i
baz˘ a de date.
2.2.2 Gestionarea datelor mari in mediul online
Des ,i conceptul de date mari în sine este relativ nou, originile seturilor de date mari se întorc în anii
’60 -’70, când lumea datelor tocmai începea cu primele centre de date s ,i cu dezvoltarea bazei de date
relat ,ionale.
În jurul anului 2005, oamenii au început s˘ a cons ,tientizeze cât de mult au generat utilizatorii de date
prin Facebook, YouTube s ,i alte servicii online. Hadoop (un cadru open-source creat special pentru
stocarea s ,i analizarea seturilor de date mari) a fost dezvoltat în acelas ,i an. De asemenea, NoSQL a
început s˘ a câs ,tige popularitate în aceast˘ a perioad˘ a.
Dezvoltarea cadrelor open-source, cum ar fi Hadoop (s ,i mai recent, Spark) a fost esent ,ial˘ a pentru
cres ,terea datelor mari, deoarece acestea fac mai us ,or de lucrat cu datele mari s ,i mai us ,or de stocat.
2.2. GESTIONAREA DATELOR ÎN MEDIUL ONLINE
CAPITOLUL 2. ISTORIC 9
În anii de atunci, volumul de date mari a crescut treptat. Utilizatorii genereaz˘ a în continuare cantit˘ at ,i
urias ,e de date, dar nu numai oamenii care o fac.
Odat˘ a cu aparit ,iaInternet of Things (IoT) , mai multe obiecte s ,i dispozitive sunt conectate la internet,
adunând date despre modelele de utilizare ale client ,ilor s ,i performant ,a produsului. Aparit ,ia înv˘ at ,˘ arii
automate a produs date tot mai multe.
În timp ce datele mari au ajuns departe, utilitatea ei este abia la început. Cloud computing a extins
posibilit˘ at ,ile mari de date s ,i mai mult. Cloud-ul ofer˘ a scalabilitate cu adev˘ arat elastic˘ a, în care dezvol-
tatorii pot contura pur s ,i simplu clustere ad-hoc pentru a testa un subset de date.
2.2. GESTIONAREA DATELOR ÎN MEDIUL ONLINE
Partea II
Modele abordate
Capitolul 3
Instrumente s ,i tehnici de gestionare a
datelor
3.1 Sisteme de gestionare a bazelor de date
Gestionarea corect˘ a a datelor este crucial˘ a pentru succesul s ,i reproductibilitatea analizei. Selectarea
instrumentelor adecvate s ,i utilizarea eficient˘ a a acestor instrumente poate economisi cercet˘ atorul nume-
roase ore s ,i permite altor cercet˘ atori s˘ a utilizeze produse ale muncii lor. În plus, pe m˘ asur˘ a ce dimensiu-
nea bazelor de date în transport continu˘ a s˘ a creasc˘ a, este din ce în ce mai important s˘ a investim resurse
în gestionarea acestor date.
Exist˘ a o serie de etape auxiliare care trebuie efectuate atât înainte cât s ,i dup˘ a analiza statistic˘ a a
datelor. De exemplu, o baz˘ a de date compus˘ a din diferite fluxuri de date trebuie adaptat˘ a s ,i integrat˘ a
într-o singur˘ a baz˘ a de date pentru a fi analizat˘ a. În plus, în unele cazuri, datele trebuie transformate
în formatul electronic preferat pentru o varietate de pachete statistice. Uneori, datele obt ,inute trebuie
cur˘ at ,ate s ,i inspectate pentru intrare, erori de m˘ asurare s ,i reformatate.
Foarte multe tehnici, instrumente s ,i tehnologii pot fi folosite ca parte a procesului de a administra
datele. Aceasta include urm˘ atoarele opt ,iuni disponibile pentru diferite aspecte ale administr˘ arii datelor.
•Sisteme relat ,ionale de gestionare a bazelor de date . Cel mai r˘ aspândit tip de SGBD este sistemul
relat ,ional de gestionare a bazelor de date. Bazele de date relat ,ionale organizeaz˘ a date în tabele cu
rânduri s ,i coloane care cont ,in înregistr˘ ari ale bazei de date; înregistr˘ arile conexe din diferite tabele
pot fi conectate prin utilizarea cheilor primare s ,i str˘ aine, evitând necesitatea cre˘ arii de intr˘ ari de
date duplicate.
•Administrarea datelor mari . Bazele de date NoSQL sunt deseori utilizate în implement˘ arile de
date mari datorit˘ a capacit˘ at ,ii lor de a stoca s ,i gestiona diferite tipuri de date.
•Depozite de date s ,i lacuri de date . Dou˘ a depozite alternative pentru gestionarea datelor analitice
CAPITOLUL 3. INSTRUMENTE S ,I TEHNICI DE GESTIONARE A DATELOR 12
sunt depozitele de date s ,i lacurile de date. Depozitarea datelor este metoda mai tradit ,ional˘ a – un
depozit de date se bazeaz˘ a, de obicei, pe o baz˘ a de date relat ,ional˘ a sau columnar˘ a, s ,i stocheaz˘ a
date structurate trase împreun˘ a de diferite sisteme operat ,ionale s ,i preg˘ atite pentru analiz˘ a. Cazu-
rile principale de utilizare a depozitului de date sunt interogarea BI s ,i raportarea întreprinderilor,
care permit analistilor s ,i directorilor de afaceri s˘ a analizeze vânz˘ arile, gestionarea stocurilor s ,i alt ,i
indicatori de performant ,˘ a cheie.
•Integrarea datelor . Cea mai utilizat˘ a tehnic˘ a de integrare a datelor este extragerea, transformarea
s,i înc˘ arcarea (ETL), care extrage date din sistemele surs˘ a, o transform˘ a într-un format consistent s ,i
apoi încarc˘ a datele integrate într-un depozit de date sau un alt sistem t ,int˘ a.
•Guvernarea datelor, calitatea datelor s ,i MDM . Guvernarea datelor este în principal un proces
organizat ,ional; sunt disponibile produse software care pot ajuta la gestionarea programelor de
guvernare a datelor, dar sunt un element opt ,ional. În timp ce programele de guvernare pot fi
gestionate de profesionis ,ti în gestionarea datelor, acestea includ de obicei un consiliu de guvernare
a datelor format din directori de afaceri care iau în mod colectiv decizii privind definit ,iile comune
de date s ,i standardele corporative pentru crearea, formatarea s ,i utilizarea datelor.
•Modelarea datelor . Modelatoarele de date creeaz˘ a o serie de modele de date conceptuale, logice
s,i fizice care documenteaz˘ a seturile de date s ,i fluxurile de lucru într-o form˘ a vizual˘ a s ,i le asigur˘ a
cerint ,ele de bussiness pentru procesarea tranzact ,iilor s ,i analitice. Tehnicile obis ,nuite de modelare
a datelor includ dezvoltarea diagramelor relat ,ie-entitate, map˘ ari de date s ,i scheme
3.2 Sisteme relat,ionale de gestionare a bazelor de date
3.2.1 MS-SQL (Microsoft SQL-Server)
3.3 Sisteme NoSQL
3.3.1 MongoDB Atlas
3.4 Baze de date cloud
3.2. SISTEME RELAT ,IONALE DE GESTIONARE A BAZELOR DE DATE
Capitolul 4
Software folosit pentru dezvoltarea
aplicat ,iei
4.1 Visual Studio Enterprise
4.2 Microsoft SQL-Server Management Studio
4.3 Tehnologii folosite
4.3.1 ASP .NET Core
4.3.2 HTML, CSS, JavaScript
4.3.3 Ace Editor
Capitolul 5
Aplicat ,ie
5.1 Configurat,ia init,ial˘ a
5.2 Autentificare
5.3 Metode de protejare a datelor
5.3.1 Protejare împotriva SQL-Injection
5.3.2 Utilizarea funct ,iilor hash
5.4 Generare cookie
5.5 Prelucrarea datelor din cookie
Capitolul 6
Concluzionare
6.1 Concluzii
6.2 Contribut,ii proprii
6.3 Pas,ii urm˘ atori
Bibliografie
Bibliografie
Copyright Notice
© Licențiada.org respectă drepturile de proprietate intelectuală și așteaptă ca toți utilizatorii să facă același lucru. Dacă consideri că un conținut de pe site încalcă drepturile tale de autor, te rugăm să trimiți o notificare DMCA.
Acest articol: Lucrare de Licent , a [616733] (ID: 616733)
Dacă considerați că acest conținut vă încalcă drepturile de autor, vă rugăm să depuneți o cerere pe pagina noastră Copyright Takedown.
