Student masterand: Brătucu Carmen -Georgiana Master: Baze de date și tehnologii WEB – IFR, Anul II HOYA HBASE ON YARN HOYA este o aplicație YARN… [615480]

Student: [anonimizat]: Brătucu Carmen -Georgiana
Master: Baze de date și tehnologii WEB – IFR, Anul II
HOYA
HBASE ON YARN

HOYA este o aplicație YARN pentru lansarea,
monitorizarea și mărirea / micșorarea aplicațiilor
distribuite existente în YARN chiar și atunci când
cluster -ul rulează .
HOYA conține :
•O aplicație master YARN : ”HOYA AM”;
•O aplicație client – comunică prin apeluri de
procedură remote cu YARN și HOYA AM.
HOYA are o arhitectură furnizor pentru a suporta diferite
aplicații – în prezent Apache HBase și Apache Accumulo .

Fiecare aplicație cluster este descrisă ca un set de
unul sau mai multe roluri . Fiecare rol poate avea un
program/comandă diferit/ă și un set diferit de opțiuni și
parametri de configurare .
AM preia detaliile cu privire la pornirea unui rol și
solicită un container YARN pentru fiecare rol. Aceasta
monitărizează status -ul cluster -ului până cînd primește
mesaj de la YARN că un proces remote s-a încheiat . Apoi
lansează o altă instanță a acelui rol.

Cluster -ele pot fi oprite , înghețate și repornite
mai târziu – distribuția aplicațiilor lansate de-a lungul
cluster -ului YARN sunt persistente – permițând cel mai
bun efort de plasare în apropierea locațiilor anterioare ale
cluster -ului repornit .
Aplicațiile care își amintesc locația anterioară a datelor
(ca HBase) pot prezenta un timp de pornire rapid datorită
acestei caracteristici .

YARN monitorizează ”containerele YARN” găzduind
părți ale aplicației utilizate și notifică aplicația HOYA în
cazul defectării containerului .
HOYA solicită apoi un nou container în care
lansează o înlocuire pentru componenta defectă .
Ca rezultat, HOYA poate păstra configurația
aplicațiilor manageriate nemodificată, chiar și în cazul
unor defectări ale serverelor din cluster, dar și părți ale
aplicației înseși .

FURNIZORUL CLUSTER -ULUI HOYA
Un furnizor setează cluster -ul HOYA astfel:
•Validează timpul de creare a datelor de intrare;
•Contribuie la construirea specificațiilor in ițiale prin definirea
rolurilor șablon ;
•Verifică parametrii înainte de pornire – partea client (trebuie
făcută și în AM);
•Adăugă fișiere și opțiuni suplimentare la pornirea AM (ex.
fișierul HBase tar ca resursă și HBase JAR în classpath);
•Setează pornirea pentru diferite roluri din AM;
•Ajută la monitorizarea statusului instanțelor de rol lansate în
execuție în AM.

ARHITECTURA AM
Arhitectura AM are rolul ”hoya ”. Este un serviciu
YARN ce urmărește ciclul de viață al acestuia .
Aplicația master constă în:
•Motorul AM care tratează toate interogările cu
serviciile externe, în special clienții YARN și HOYA ;
•Un furnizor specific tipului de cluster dorit ;
•Modelul cluster -ului : Application State .

RM – YARN
Resource Manager
Node Managers Services
Containers Applications
Application
Engine
send events
request /
release
assigned to
START

APPLICATION STATUS
Modelul cluster -ului conține :
•O specificare a statusului dorit pentru cluster : numărul de
instanțe pentru fiecare rol, cerințele de memorie pentru
YARN și procese și alte opțiuni ;
•O hartă cu instanțele curente ale rolurilor din cluster,
incluzând statisticile de fiabilitate ale fiecărui nod din
cluster -ul utilizat ;
•Role History – o înregistrare cu nodurile rolurilor lansate
în execuție pentru reinterogarea acelorași noduri pe
viitor . Acesta este persistent pe disk și recitit, dacă este
prezent, pentru o pornire rapidă a cluster -ului.

FAILURE MODEL
AM este concepută ca fiind o aplicație ”crash -only”,
clienții având libertatea de a șterge clusterul prin interogarea
YARN în mod direct .
Există un apel RPC (remote procedure call) care oprește
cluster -ul – aceasta este o subtilitate care include un mesaj în
log-ul de terminare, ce ar putea, pe viitor, atenționa furnizorul că
cluster -ul este distrus .
Hoya este concepută să se întrerupă fără avertisment, să
repornească la o restartare a YARN și să fie oprită manual, fără
nicio notificare în avans .

INTERFAȚA RPC
Permite clientului să interogheze status -ul curent al
aplicației și să-l actualizeze prin utilizarea unei noi
specificații JSON (JavaScript object notation) .
Operațiile de core :
•getJSONClusterStatus (): extrage statusul cluster -ului ca
un document JSON ;
•flexCluster () : actualizează numărul dorit de instanțe de
rol în cluster -ul care rulează ;
•stopCluster : oprește cluster -ul.

SECURITATE ȘI IDENTITATE
•Un cluster HOYA trebuie să acceseze datele ce aparțin
utilizatorului care a creat cluster -ul.
•Într-un cluster securizat, acest lucru se face folosind
token -uri Kerberos pe client, când cluster -ul este
actualizat, token -uri care sunt transmise către HOYA AM
și de acolo către container -ele aplicațiilor lansate în
execuție .
•Aceste token -uri sunt valabile pentru o perioadă de timp
finită (ex. În Hadoop 2.2 token -urile pentru comunicarea
între Hoya AM și YARN expiră după 72 ore, default) .

ÎN CONCLUZIE
Hoya nu este o aplicație YARN clasică de analiză,
care alocă și programează sarcinile în interiorul
cluster -ului, în containere cu durată de viață de la zile la
luni.
Hoya rulează pentru a menține statusul actual al
propriei aplicații de cluster pentru a atinge starea
dorită, în timp ce aplicația are sarcina de a se recupera
după defectarea nodurilor, localizând nodurile pereche
și lucrând într-un sistem de fișiere HDFS (Hadoop
Distributed File System) .