Nagy Jefte Licenta 2019 08.07.2019 Eficientizarea Proceselor Termice [302552]
[anonimizat]: [anonimizat]
2019
[anonimizat]-UN DATACENTER
STUDII ȘI MĂSURĂTORI EXPERIMENTALE
Coordonator științific
Prof.Univ.Dr.Ing. BRAD Stelian
Declarație de originalitate din partea student: [anonimizat]:
Declar că lucrarea de licență cu titlul:
[anonimizat].
STUDII ȘI MĂSURĂTORI EXPERIMENTALE
Reprezintă contribuția mea originală și nu a fost plagiată.
Lucrarea a fost elaborată de mine sub îndrumarea Prof.univ.dr.ing. BRAD Stelian și am primit concursul persoanelor nominalizate mai jos drept consultanți.
Consultant: Lect.dr.ing. MURAR Mircea
Mențiuni speciale:
Data:
________________________
(semnătura student: [anonimizat])
Declarație de originalitate din partea coordonatorului științific
Subsemnatul Prof.univ.dr.ing. BRAD Stelian
cadru didactic îndrumător al lucrării de diplomă cu titlul:
[anonimizat].
STUDII ȘI MĂSURĂTORI EXPERIMENTALE
realizată de doamna/domnul: NAGY Jefte
confirm prin prezenta că nu am cunoștință ca realizările prezentate în lucrare să fie copiate sau să reprezinte contribuțiile unei alte persoane decât autorul nominalizat.
Mențiuni speciale (dacă este cazul):
Data:
________________________
(semnătura coordonatorului)
Încadrarea lucrării de licență în domeniul de specialitate sau domenii conexe
Vă rugăm să introduceți în caseta adecvată litera P pentru subdomeniul principal în care se încadrează lucrarea de licență (se optează pentru un singur subdomeniu principal) și litera C pentru subdomeniile complementare (dacă este cazul; se poate opta pentru mai multe subdomenii complementare.
Domeniul de specialitate
Domenii conexe
Aprecierea lucrării de licență de către coordonatorul științific
Acest spațiu este alocat pentru coordonatorul științific
Semnătura coordonatorului științific: ______________________________
Listă de verificare
Semnătura coordonatorului științific: ______________________________
CUPRINS
CUVINTE DE MULȚUMIRE
Mulțumesc domnului Prof.univ.dr.ing. BRAD Stelian pentru suportul și îndrumarea oferită pe toată durata dezvoltării lucrării mele de licență. Îi mulțumesc de asemenea pentru răbdarea de care a [anonimizat], experiența și timpul pe care le-a dedicat lucrării.
Pentru asistența oferită în rezolvarea problemelor tehnice apărute îi mulțumesc domnului Lect.dr.ing. MURAR Mircea.
[anonimizat]. ALBERT Ștefan și Dr.ing. TRUȘCĂ Radu Mihail Cătălin pentru tot sprijinul pe care mi l-au oferit.
Doresc de asemenea să mulțumesc conducerii Institutului Național de Cercetare și Dezvoltare în Tehnologiile Izotopice și Moleculare(INCDTIM) [anonimizat].
[anonimizat].
Obiectivul general
Obiectivul general al temei de proiect este eficientizarea sistemului de răcire actual al Datacenterului pentru a se putea crește puterea de calcul, fără a fi nevoie de achiziționarea unor sisteme de răcire mai performante.
Obiective specifice
S-a creat un model 3D al Datacenterului, urmat de înregistrarea temperaturilor existente în zonele de interes precum și debitelor de aer. S-au simulat condițiile reale evidențiind zonele cu probleme, după care s-au propus diferite soluții pentru a îmbunătăți performanțele de răcire.
Metodologie/Abordare/Proiectare
S-au introdus valorile măsurate în programul de simulare Ansys CFD 17.1(Computational Fluid Dinamics). Modelul 3D a fost proiectat in Catia V5. Măsurarea temperaturilor s-a făcut cu ajutorul unui mini calculator Raspberry PI și al unor senzori de temperatură realizați din termotranzistori. Debitele s-au măsurat cu ajutorul unui debitmetru realizat dintr-un ventilator de calculator și al unei plăci de dezvoltare Arduino Leonardo. Programele de achiziție au fost scrise în Piton și C++. Programul de simulare al proceselor termice și dinamicii fluidelor(CFD) a permis vizualizarea analizarea zonelor cu probleme, astfel oprimizarea proceselor termice realizându-se mult mai exact și rapid decât prin metodele clasice, iar soluțiile alese au putut fi testate înainte de a fi construite.
Rezultatele majore
Am reușit cu succes simurarea condițiilor termice și de flux de aer existente în Datacenterul INCDTIM. S-a găsit o soluție optimă de îmbunătățire al răcirii incintei care rezolvă ineficiența sistemului actual, astfel se reduc cu mult costurile necesare răcirii actualelor servere, precum și crearea astfel al posibilității de a mări puterea de calcul fără a investi în unități de răcire suplimentare care ar crește semnificativ costurile de funcționare.
Limitări ale rezultatelor
Metodologia de lucru creată în această lucrare poate fi aplicată cu succes și la alte centre de date care se confruntă cu probleme similare privind ineficiența sistemelor lor de răcire, sau pur și simplu dacă se dorește reducerea costurilor de funcționare prin folosirea mai eficientă al puterii e răcire.
Implicații practice
Eficientizarea puterii de răcire al Datacenterelor este preocuparea principală la nivel global. Din puterea electrică totală necesară funcționării unui Datacenter 40% este alocat răcirii.
REZUMATUL CAPITOLELOR
Capitolul 1: În primul capitol sunt descrise centrele de date. Sunt enumerate componentele ce alcătuiesc un centru de date, serverele și unitățile de aer. Unde sunt amplasate, cum funcționează. Sunt prezentate aspectele generale privind soluțiile ce se folosesc pentru răcirea Datacenterelor, regimurile termice, valorile de temperatură și umiditate recomandate pentru a asigura buna funcționare al echipamentelor.
Capitolul 2: Descrierea problemei de rezolvat care este găsirea unor soluții de a eficientiza sistemul de răcire al Datacenterului din INCDTIM Cluj-Napoca. Enumerarea componentelor principale ale sistemului existent, metodologia de lucru pentru rezolvarea problemei. Descrierea etapelor care vor fi parcurse. Scurtă introducere în dinamica fluidelor, dinamicii lor. Sunt evidențiate și descrise formulele folosite și caracteristicile fluidelor principale.
Capitolul 3: Realizarea echipamentelor electronice necesare colectării valorilor de temperatură și al debitelor. S-a realizat un echipament electronic pentru achiziționarea valorilor de temperaturi precum și un debitmetru realizat cu ajutorul unei platforme de dezvoltare Arduino.
Capitolul 4: Modelarea 3D al Datacenterului cu toate componentele la scară reală. Pregătirea geometriilor pentru realizarea structurilor de tip mesh care stau la baza procesului de calcul și simulare in simulările de procese termice și fluidelor(Computational Fluid Dinamics). S-au făcut calcule pentru a avea valorile de debite masice și vitezele aerului care se folosesc apoi ca date de intrare în Ansys CFD 17.1. Sunt simulate condițiile existente de temperaturi și “curgere” al aerului din incinta Datacenterului. Sunt evidențiate zonele cu probleme.
Capitolul 5: Sunt modelate în CAD îmbunătățirile propuse, deflectoare de aer, tubulaturi, după care se importă în Ansys CFD, unde se simulează din nou pentru a vedea îmbunătățirile. Se compară cu cele inițiale. Se concluzionează adoptarea soluțiilor pe baza rezultatelor simulărilor.
OBIECTIVUL GENERAL ȘI OBIECTIVELE SPECIFICE
Obiectivul proiectului este de a eficientiza sistemul de răcire al Datacerului din INCDTIM Cluj-Napoca, pentru a putea susține creșterea puterii de calcul. Răcirea centrelor de date este dependentă de modul cum este dirijat și distribuit fluxul de aer, precum și recircularea aerului cald degajat de servere spre unitățile de răcire. Softurile de simulare a dinamicii fluidelor CFD(Computational Fluid Dinamics) sunt instrumente excelente pentru a furniza informații detaliate despre temperatura și fluxul de aer într-un centru de date. Modelarea CFD poate fi utilizată pentru a analiza atât configurațiile existente cât și configurațiile propuse înainte de a fi construite. Astfel se pot testa într-un mediu virtual diferite configurații și soluții de răcire, care se pot analiza, iar soluția cea mai potrivită se implementează, astfel reducând costurile și asigurând găsirea unor soluții optime și personalizare, mult mai eficiente decât preluarea unor soluții de la alte Datacentere, care nu corespund spațiului și configurației pe care îl avem noi, sau alții în general.
Înainte de a reproduce condițiile termice din Datacenter avem nevoie de un dispozitiv cu care să putem înregistra pe o perioadă mai îndelungată variațiile de temperatură din diferite zone ale incintei, înregistrând amprenta termică atât în puncte fixe de interes, cât și pe verticală. Pentru realizarea acestui lucru trebuie construit un aparat bazat pe un microcalculator Raspberry Pi care să facă achiziția de date cu ajutorul unor senzori pe o perioadă mai îndelungată.
Este nevoie să măsurăm debitul de aer care iasă prin grilajele din podea. Acest debit este de fapt cel util. Pentru construirea debitmetrului se poate folosi o placă de dezvoltare Arduino Leonardo cu ajutorul căruia să se facă achiziția de date. Debitmerul se va baza pe un ventilator recuperat dintr-un calculator, care se va monta în calea aerului rece care iasă prin podea. La acest ventilator, din datele furnizate de producător, la o turație de 1400 [], avem un debit de aer de 41,6[CFM]. CFM este prescurtare de la cubic feet pe minut (). Transformăm din [cubic feet⁄m] in și obținem că atunci când avem o turație de 1400[ ], debitul de aer este de 70,6788 ] prin palele ventilatorului. Folosim aceste date pentru a scrie un program de achiziție care citește datele primite de la senzorul de turație al ventilatorului și face calculele în timp real pentru a afișa valorile instantanee ale debitelor de aer.
Următorul obiectiv este de a crea un model 3D al Datacenterului in Catia. Se vor respecta dimensiunile și configurația situației reale. Acest model se introduce în softul de analiză și simulare al proceselor termice Ansys CFD unde, după ce se introduc valorile măsurate înainte, se rulează modulul de calcul Fluid Flow(Fluent) care după mai multe iterații de calcul, rezolvă modelul matematic și redă în simulare situația existentă. Ajungem astfel la analizarea și identificarea problemelor, al zonelor cu turbulențe mari care deranjează fluxul normal al aerului, precum și pungile de aer fierbinte care trebuie eliminate. Se vor propune soluții pentru eliminarea acestor zone cu probleme. Se vor face noi modele geometrice care vor include aceste îmbunătățiri. Se reproduc simulările cu noile geometrii pentru a vedea dacă situația se îmbunătățește. Se vor trage concluziile referitoare la beneficiile implementării acestor soluții în practică.
Partea I
Aspecte generale
INTRODUCERE
Elemente de bază privind domeniul temei de proiect
Centrul de Date(Datacenter). Considerații termice generale
Răcirea este un factor de cost major în centrele de date. Dacă răcirea este implementată necorespunzător, puterea necesară pentru răcirea centrului de date poate să ajungă sau să depășească puterea utilizată pentru a rula însuși echipamentul IT. Răcirea este, de asemenea, adesea factorul de limitare în capacitatea centrului de date (eliminarea căldurii poate fi o problemă mai mare decât obținerea energiei necesare echipamentelor de calcul).
Orientări privind temperatura și umiditatea centrului de date
American Society of Heating, Refrigeration, and Air Conditioning Engineers (ASHRAE), prin comitetul Tehnic, a creat un set de standarde acceptate pentru setarea optimă a temperaturii și umidității în centrele de date. Aceste standarde specifică atât o gamă de temperatură și umiditate cerută, cât și una admisibilă.
Recomandările și limitele de temperaturi sunt prezentate în Ghidul termic 2016 ASHRAE, (2016 ASHRAE Data Center Power Equipment Thermal Guidelines and Best Practices), pentru centralele de date. Figura 1.1. ilustrează aceste limite.
Figura 1.1. Limitele de umiditate și temperaturi conform ASHRAE and NEBS
Tabel 1.1. Clasele A1 până la A4 al temperaturilor și umidităților recomandate de ASHRAE
Deși recomandările ASHRAE definesc mai multe clase cu diferite intervale de funcționare, intervalul de operare recomandat este același pentru fiecare clasă. Temperatura recomandată și umiditatea sunt prezentate în tabelul 1.1.
Aceste limite descriu temperatura aerului în punctul de admisie a echipamentului IT, nu în încăpere. Cu toate acestea, există câteva locații în centrul de date unde mediul poate fi măsurat și controlat, după cum se arată în figura 1.2.
Aceste puncte includ:
Intrarea serverului (punctul 1);
Exhaustul serverului (punctul 2);
Temperatura de alimentare la nivelul podelei (punctul 3);
Încălzirea, ventilarea și aerul condiționat (HVAC), temperatura aerului de retur (punctul 4);
Temperatura de alimentare a unității de climatizare a camerei computerizate (punctul 5);
În mod tipic, unitățile HVAC(răcire și aer condiționat), din centrul de date sunt controlate pe baza temperaturii aerului de retur. Stabilirea temperaturilor aerului de retur al unității HVAC pentru a corespunde cerințelor ASHRAE va avea ca rezultat temperaturi de intrare foarte scăzute ale serverului, deoarece temperaturile de retur a HVAC sunt mai apropiate de temperaturile de evacuare ale serverului decât de temperaturile de admisie. Cu cât temperatura de alimentare cu aer este mai mică în centrul de date, cu atât costurile de răcire sunt mai mari. În esență, sistemul de climatizare din centrul de date este un sistem de refrigerare. Sistemul de răcire transferă căldura generată în centrul de date în mediul ambiant exterior.
Figura 1.2. Diagramă a circulației aerului într-un centru de date cu podea înălțată
Cerințele de alimentare pentru răcirea unui centru de date depind de cantitatea de căldură eliminată (cantitatea de echipamente IT din centrul de date) și variația de temperatură dintre centrul de date și aerul exterior. Aranjamentul rack-ului de pe podeaua centrului de date poate avea, de asemenea, un impact semnificativ asupra costurilor și capacității de energie legate de răcire, după cum rezultă în secțiunea următoare.
Configurația de aer cald-aer rece
Aranjamentul cu culoar de aer cald și aspectul culoarului la centrul de date a devenit standard (Figura 1.3). Aranjarea rafturilor în rânduri de culoar cald și rece minimizează amestecarea aerului în centrul de date. Dacă aerul cald este lăsat să se amestece cu aerul de admisie al serverului, aerul furnizat de sistemul de climatizare trebuie să aibă o temperatură mai scăzută pentru a compensa acest lucru. Așa cum am descris mai devreme, temperaturile mai scăzute ale aerului de alimentare determină creșterea consumului de energie de către răcitorul de aer și limitarea eficienței de răcire a centrului de date prin crearea punctelor fierbinți.
Din acest motiv, nefolosirea culoarurilor separate de aer cald aer rece duce la amestecarea aerului de admisie in zona serverelor. Aerul trebuie să fie alimentat de la grilajul din pardoseală la o temperatură mai mică pentru a satisface cerințele de admisie ale serverelor, așa cum se arată în figura 1.4.
De obicei, aerul rece cev iasa din podea este la temperatura de 15-16°C. După ce trece prin rack-ul de servere, la iesire din sirsele serverelor, regăsim temperaturi de 25, 27°C. Sunt diferențe semnificative de temperatură pe care unitățile de aer trebuie să le regleze. Cele mai întâlnite configurații de aranjare al serverelor în Datacenterele mici este cea cu podeaua înălțată, prin care se împinge aerul rece, după care este dirijat spre servere cu akitorul unor grilaje care se montează în podea, în fața ușilor rack-urilor.
Figura 1.3. Configurația insulă de aer cald-aer rece
Figura 1.4. Amestecarea aerului la admisia serverelor
Popularea rack-ului cu servere
Rack-urile ar trebui populate cu echipamentul cel mai greu și care are cea mai mare putere, în partea de jos. Plasarea echipamentului greu în partea inferioară ajută la scăderea centrului de masă al rack-ului și la reducerea riscului de răsturnare. Echipamentul mai dens are tendința de a atrage mai mult aer. Într-un centrul tipic de date, în care aerul este alimentat prin grilajul din podea, plasarea unui echipament dens în apropierea părții inferioare a rack-ului conferă echipamentului acces la cel mai rece aer.
Spațiul neocupat în rack poate, de asemenea, să lase aerul fierbinte să pătrundă înapoi în culoarul rece. Panourile obturatoare goale(blank-uri), sunt o măsură simplă care poate fi utilizată pentru a preveni această problemă, așa cum se arată în figura 1.5.
În concluzie, trebuie umplute rack-urile de jos în sus și umplute toate spațiile între hardware sau în partea superioară a rackului cu panouri de protecție.
Soluții de izolare
O prelungire efectivă a conceptului de culoar fierbinte și rece este curgerea aerului. Figura 1.6 prezintă o izolare a culoarului cald. Izolarea asigură o separare completă a fluxurilor de aer cald și rece, ceea ce are avantajul reducerii consumului de energie în sistemul HVAC, permițând ridicarea temperaturii aerului rece. Deoarece nu există amestec de aer, nu este nevoie să setați temperatura aerului mai scăzută pentru a compensa. Această abordare mărește temperatura aerului care revine la sistemul HVAC, ceea ce îmbunătățește eficiența sistemului HVAC.
Pentru izolarea la cald, trebuie avut grijă să nu se creeze presiune în culoarul fierbinte. Sistemele IT sunt proiectate astfel încât să permita o diferență de presiune aproape nelimitată între admisia lor de aer și evacuare. Presiunea inaltă în culoarul fierbinte poate cauza însă o funcționare mai puternică și zgomotoasă a ventilatoarelor din sistem.
Figura 1.5. Folosirea panourilor obturatoare pentru prevenirea scurtcircuitării fluxului de aer
Figura 1.6. Exemplu de izolare a fluxului de aer cu retur de aer cald
Organizarea cablurilor
Este foarte important ca obstacolele din fluxul de aer să fie eliminate si să nu se tragă cabluri în fața orificiilor de admisie și evacuare ale echipamentelor montate pe șasiu. Lipsa fluxului suficient de aer poate duce la creșterea consumului de energie al ventilatorului pentru a compensa creșterea fluxului de aer. Dacă este instalată o ușă la rack, aceasta trebuie perforată astfel încât să fie deschisă în proporție de cel puțin 65%.
Gestionarea corectă a cablului este esențială pentru reducerea blocajului de aer. Este important să se pozeze(ordoneze) corect cablurile pentru a asigura fluxul de aer cel mai bun. Aranjarea corectă al cablurilor de alimentare și de rețea în spatele serverelor
Repere privind dezvoltările tehnologice în domeniu
Relația dintre căldură și putere(Watt-BTU)
Toată energia consumată de echipamentul IT este convertită in căldură. Deși energia este în general raportată în wați (W) și căldura este raportată de obicei în unități termice britanice (BTU) pe oră (BTU/oră), aceste unități sunt de fapt interschimbabile.
Deși energia este aproape întotdeauna raportată în wați, sarcina termică este raportată frecvent în wați sau BTU/oră. Conversia de la Watt la BTU/oră este 1W = 3.412 BTU/oră. De exemplu, un server care consumă 100W produce aproximativ 341,2 BTU/oră de energie termică.
Pentru a studia cu atenție efectele celor mai bune metode pentru a promova eficiența energetică, Cisco a facut un studiu de eficiență a centrelor de date în laboratoarele de cercetare și dezvoltare Cisco. Ca parte a acestui studiu, au fost aplicate următoarele setări:
● puterea redundantă a fost dezactivată acolo unde a fost posibil;
● au fost utilizate programe de economisire a energiei;
● s-a utilizat modelarea dinamică a fluidelor computerizate (CFD);
● aplicarea virtualizării;
● au fost folosite panouri de protecție;
● grilele de podea au fost rearanjate;
● temperatura aerului rece a fost ridicată de la 44F la 48F (7C până la 9C);
Acest studiu a demonstrat îmbunătățiri majore în eficiența centrului de date și de răcire. Chiar dacă o creștere a numărului de instalații hardware a determinat o ușoară creștere a încărcăturii IT (de la 1719 la 1761 kilowați [kW]), consumul pentru răcirea centrului de date a scăzut (de la 801 la 697 kW).
Eficiența totală a consumului de energie (PUE) a scăzut de la 1,48 la 1,36. Amortizarea in bani a conceptului a fost de la 6 la 12 luni. Ideile din acest proiect-pilot sunt aplicate tuturor facilităților Cisco și sunt proiectate să economisească 2 milioane USD pe an.
Opțiuni de Rack și descrieri
Optimizarea fluxului de aer prin rack-uri implică eliminarea aerului de bypass și asigurarea unei gestionări corecte a cablurilor. O atenție deosebită trebuie acordată eliminării amestecării aerului fierbinte cu cel rece. În mod similar, pentru a reduce blocajele fluxului de aer, ar trebui utilizată o bună ordonare al cablurilor, astfel încât să nu interfereze cu aerul cald care iese din servere. In tabelul 2.1 sunt prezentate standardele dimensionale ale rack-urilor folosite in centrele de date.
Figura 1.8. Exemplu de Datacener cu podea înălțată
Tabel 1.2. Specificațiile rack-urilor în care ce montează echipamentele de calcul(serverele)
Considerații privind puterea centrului de date(puterea absorbită de rețea)
Livrarea de energie la nivelul instalației necesită o planificare atentă. Planificarea intenționată a energiei necesită o înțelegere a cerințelor privind consumul de energie al serverului și cerințele de redundanță. Planificarea slabă a redundanței poate duce la eșecuri în cascadă și downtime al unui centru de date.
Implementarea corectă a soluțiilor de alimentare cu energie electrică și putere de răcire corespunzătoare în centrul de date implică potrivirea cerințelor echipamentului IT cu capabilitățile PDU(puterea absorbita) din reteaua de energie electrică. PDU-ul este priza standardizată ce conectează echipamentul IT cu sursa de alimentare din centrul de date. Dimensionarea puterii absorbite urmează următorii pași:
Pasul 1.Se adună cerințele de alimentare al echipamentelor IT.
● se ia în considerare redundanța alimentării;
● numărul de prize de alimentare necesare (numărul de conexiuni de alimentare între serverul PSU și PDU);
● capacitatea de alimentare;
Pasul 2. Se adună parametrii de putere și de răcire ale instalației. Acest pas presupune colectarea unor informații de bază despre centrul de date:
● tensiunea de intrare;
● puterea monofazică sau trifazică;
● prizele disponibile;
● răcirea disponibilă;
Pasul 3. Se proiectează soluția PDU.
După ce sunt definiți parametrii instalației și parametrii echipamentului IT, soluția PDU poate fi proiectată. Acest pas presupune asigurarea că cerințele echipamentului IT se potrivesc cu capacitățile instalației. De asemenea, implică verificarea faptului că soluția oferă o redundanță corespunzătoare.
Planificarea energiei
Procesul descris aici presupune sa decideți mai întâi câte servere să instalați pe rack și apoi să proiectați unitatea în jurul rack-ului. Deseori, limitările privind spațiul disponibil ghidează proiectarea soluției IT. În acest caz, poate fi necesar ca procesul să se desfășoare în mod iterativ. De exemplu, dacă cerințele echipamentelor informatice nu pot fi satisfăcute cu capacitățile instalației, este posibil ca numărul echipamentelor instalate pe rack să fie redus.
Se adună cerințele de alimentare cu echipamentele IT.
După proiectarea și alegerea solutiei PDU, corect dimensionată, se trece la calcularea puterii necesare pentru răcirea centrului de date.
Parametrii de putere și de răcire a instalației
Înainte ca soluția de rack și PDU să poată fi proiectată, trebuie să înțelegem capacitățile necesare centrelor de date, precum și cerințele echipamentului.
Echipamentul necesită spațiu, putere electrică și răcire.
1.Spațiu: Spațiul fizic din raft este cuantificat în unitățile rack (RU), care sunt unități de spațiu vertical. 1RU de spațiu este de 1,75 inci înăuntru; 42RU. Spațiul este în mod obișnuit factorul cel mai puțin limitator în densitatea de implementare a echipamentelor IT. Adesea, cantitatea de echipamente care pot fi utilizate în rack este limitată de capacitatea de a furniza energie sau de a elimina căldura.
2.Alimentare: Pentru a cuantifica capacitatea de alimentare a unui circuit de alimentare cu curent alternativ în centrul de date, utilizatorii trebuie să cunoască tensiunea și curentul maxim utilizabil.
Adesea, curentul utilizabil este mai mic decât curentul nominal maxim. În Statele Unite, toate circuitele de putere trebuie să fie devalorizate cu 20% pentru a satisface sistemul național de protecție împotriva incendiilor (NFPA) 70: Codul electric național. De exemplu, în Europa, un circuit de 20 de amperi (A) este dimensionat la o capacitate continuă de curent de 16 A.
Pentru un circuit de alimentare monofazat:
Puterea maximă = Tensiunea medie înmulțită cu curentul mediu;
Pentru un circuit de alimentare trifazat:
Puterea maximă = tensiunea medie la fază înmulțită cu curentul mediu și 1,732, unde constanta 1,732 rezultă din faptul că nu toate cele trei faze produc aceeași putere în același timp. Fiecare tensiune și curent ale fazei se deplasează prin zero în momente diferite.
Capacitatea mai mare a circuitelor trifazate permite circuite mai mici de putere pentru o sarcină fixă. Mulți furnizori de dispozitive PDU oferă PDU-uri care acceptă o intrare trifazată și oferă alimentarea monofazată la prizele de alimentare ale echipamentului. În multe centre de date, capacitatea de a elimina căldura tinde să fie o constrângere mai mare decât capacitatea de a furniza energie. Pentru centrele de date fără răcire adecvată, capacitatea crescută de livrare a puterii nu face nimic pentru a îmbunătăți densitatea rack-ului.
3.Răcire: toată energia livrată echipamentelor IT este convertită la căldură.
În multe centre de date, capacitatea de răcire a serverelor este factorul cel mai important care limiteaza densitatea sau numarul de servere care pot fi adăugate.
Soluții cum ar fi folosirea modelelor de racire cu culoar cald și culoar rece, utilizarea panourilor de obturare a zonelor in care aerul rece și cel cald poate să se amestece formând zone în care nu mai circulă aerul și structura plăcilor de pardoseală afectează cantitatea reală de echipamente care pot fi răcite pe rack-uri.
Cele mai multe încăperi pentru servere sunt construite cu o limitare a capacității de răcire în minte din cauza costurilor mari care apar în cazul supradimensionării. Pe de altă parte și soluțiile de răcire alese afectează în mod direct capacitatea de răcire, iar capacitatea reală de răcire se poate plafona în timp în orice instalație dată. Asta datorită faptului că în timp se tot adaugă în încăpere servere și echipamente de rețelistică, care crește temperatura în încăpere și duce repede la atingerea limitei superioare al capacității de răcire al sistemului.
În figura 1.9. putem observa o comparație din punct de vedere al costurilor între un proces de proiectare și producție clasică și unul bazat pe verificarea corectitudinii și funcționării cu ajutorul softurilor de analiză și simulare. Putem vedea ușor de ce se folosesc aceste metode(CFD) tot mai mult la toate produsele înainte de a se trimite în producție.
Figura 1.9. Diagramă de comparație între procesu clasic și cel computational
PLANIFICAREA PROIECTULUI
Problema de rezolvat
Scopul proiectului este de a eficientiza sistemul de răcire al Datacerului din INCDTIM Cluj-Napoca, pentru a putea susține creșterea puterii de calcul. Deși se investește masiv în puterea de calcul al Datacenterelor din toată lumea, totuși sustenabilitatea este un factor din ce în ce mai important.
De exemplu în 2016, energia electrică totală utilizată de centrele de date a reprezentat aproximativ 2% din întreaga utilizare a energiei electrice în lume. Se estimează o creștere până în 2021 de la un volum de date actual de 286 exabytes, la 1.3 zettabytes stocare, adică 13 urmat de 20 de zerouri de bytes, un volum de date imens. Prin urmare, este foarte important să se ia în considerare eficiența energetică a centrelor de date în general.
Componentele principale ale unui Datacenter racit cu aer sunt unitățile de aer condiționat HVAC(Heating, Ventilation, and Air Conditioning)respectiv rack-urile pentru server(figura 2.1). Servere disipă căldură și trebuie răcite pentru a asigura faptul că elementele electronice funcționează în intervalul de temperatură recomandat de producători, de obicei 21C°.
Temperaturile recomandate și maximele admisibile ale aerului din partea frontală a rackurilor pentru servere sunt specificate de standardele ASHRAE(American Society of Heating, Refrigerating). Intervalul de temperatură recomandat este de 18 – 27◦C(se poate vedea și în tabelul 1.1). În caz contrar, există riscul de supraîncălzire, ducând la defecțiuni ale serverelor sau oprirea pentru a preveni deteriorarea hardware. Aceste întreruperi si defecțiuni sunt costisitoare, costurile de înlocuire al unui server sunt foarte mari, pe de altă parte este obligatorie funcționarea continuă, fără întreruperi al Datacenterului.
Din aceste cauze trebuie împiedicate aceste întreruperi. Prin urmare, este important să ne asigurăm că avem putere de răcire suficientă, în timp ce o răcire prea mare și forțată duce la costuri suplimentare considerabile și pierderi de energie. Unitățile HVAC livrează aer rece în centrul de date pe sub podeaua înălțată al datacenterului(figura 2.2).
Aerul rece trebuie să intre prin partea din față a rack-urilor, unde ventilatoarele serverelor îl absorb, iar aerul cald iasă prin spate. În funcție de distribuția unităților HVAC și a rack-urilor de servere în centrul de date, există riscul ca aerul rece să nu ajungă la toate rack-urile de servere în măsura dorită si în mod uniform distribuit.
Răcirea centrelor de date este, prin urmare, extrem de dependentă de modul cum este dirijat și distribuit fluxul de aer, precum și recircularea aerului cald degajat de servere spre unitățile de răcire pentru a putea fi răcit din nou. Softurile de simulare a dinamicii fluidelor CFD(Computational Fluid Dinamics) sunt instrumente excelente pentru a furniza informații detaliate despre temperatura și fluxul de aer într-un centru de date.
Modelarea CFD poate fi utilizată pentru a analiza atât configurațiile existente cât și configurațiile propuse înainte de a fi construite. Astfel se pot testa într-un mediu virtual diferite configurații și soluții de răcire, care se pot analiza, iar soluția cea mai potrivită se implementează, astfel reducând costurile și asigurând găsirea unor soluții optime și personalizare, mult mai eficiente decât preluarea unor soluții de la alte Datacentere, care nu corespund spațiului și configurației pe care îl avem noi, sau alții în general.
Figura 2.1. Dispunerea Rack-urilor și al unităților de răcire HVAC în Datacenterul INCDTIM
Figura 2.2. Modelul 3D Datacenter INCDTIM cu podea înălțată
Sistemul de răcire cu aer din centrul de date care se află în incinta INCDTIM Cluj-Napoca se bazează cum am menționat înainte, pe o configurație cu podea înălțată la 600mm deasupra planșeului. Atunci când se utilizează o astfel de configurație a podelei înălțate, unitățile de răcire HVAC furnizează aer rece într-un spațiu sub podea, iar aerul rece întră în incintă cu servere printr-un sistem de grilaje de dimensiunile 600X600mm(figura 2.3.), care sunt astfel gândite, încât lamelele să dirijeze aerul într-un unghi de 45°, putând astfel direcționa agentul de răcire spre servere. Grilajele sunt detașabile și pot fi înlocuite cu plăci solide care fac configurația și controlul volumului de aer rece care intră în incintă mult mai flexibilă.
Strategiile pentru proiectarea centrelor de date se bazează adesea pe culoarele calde- reci, unde rack-urile de servere sunt plasate într-o serie de rânduri. În partea din față a două rânduri de rafturi de servere se formează culoare de aer rece, iar pe celelalte părți se formează culoare de aer caldAceastă strategie de proiectare a devenit standard atunci când sunt utilizate configurațiile de podea ridicată. Totuși, din cauza spațiului mic de care dispune datacenterul nostru de doar , configurația standard nu se putea aplica.
Astfel, rackurile sunt dispuse pe doua rânduri, fiecare rack de servere având în față un grilaj prin care se direcționează aerul rece spre servere.În spatele serverelor se acumulează aerul cald, care în momentul de față nu este recirculat înspre unitățile de răcire. În mod normal, trebuie instalate tubulaturi în tavanul fals, eventual echipate cu ventilatoare, cu ajutorul cărora se preia aerul cald degajat de servere și se direcționează spre inleturile unităților de răcire pentru a fi răcit și recirculat în sistem închis.
Scopul este de a împiedica amestecarea aerului fierbinte cu aerul rece înainte de a reveni la unitățile HVAC. Nu există posibilitatea,din cauza spațiului mic, de a izola complet spațiul cu aer rece din fața rackurilor de aerul cald aflat în spatele lor, dar este totuși posibilă utilizarea unor tubulaturi care să ajungă în zonele de aer cald și care să preia aerul fierbinte, prevenind astfel amestecarea și implicit ineficiența recirculării aerului pe care îl avem în stadiul actual. S-a constatat că o soluție de întoarcere prin tavanul fals pentru revenirea aerului fierbinte către unitățile CRAC a fost preferabilă atât pentru configurațiile de podea ridicată, cât și pentru podeaua cu pardoseală. Configurația podelei ridicate are o performanță mai bună decât configurația de pardoseală, tocmai de aceea a fost aleasă ca soluție în cadrul acestui centru de date.
Modelul 3D al Datecenterului este necesar pentru a putea simula procesele termice și fluxurile de aer în ANSYS CFD.Modelarea s-a făcut în Catia V5. Acest model 3D a fost salvat cu extensia .igs pentru a putea fi importat în ANSYS. ANSYS în modulul de Fluid Flow Simulation cere reprezentarea simplificată a rack-urilor în modelul CFD. Abordarea cea mai simplă este de a modela un server rack ca o "cutie neagră" în care fluxul din interior nu este rezolvat. Debitul intră în partea din față a rack-ului pentru servere și apoi reapare în partea din spate a rack-ului de servere, cu o creștere corespunzătoare a temperaturii incluse.
Acest model de server rack a fost comparat cu modele mai detaliate pentru a investiga măsura în care temperatura și fluxul de date dintr-un centru de date sunt afectate de modelul simplificat sau mai complex al rackului. S-a constatat că nu există diferențe semnificative în rezultatele obținute de diferite modele de rack-servere. Locurile pronunțate de aer cald și rece erau încă prezente. Aceasta indică faptul că reprezentarea simplificată a rack-urilor de servere în modelul CFD nu este de natură să provoace abateri de la măsurători.
Modelarea cu CFD poate furniza informații detaliate despre domeniul temperaturii și fluxului în centrele de date și are capacitatea de a oferi o cantitate imensă de date, cât și modele 3D despre fluxul de aer și variațiile de temperaturi.
Figura 2.3. Amplasarea grilajelor în fața serverelor. Model 3D grilaj folosit la simulări
Metodologia de lucru
Trebuie dezvoltat un model CFD (Computational Fluid Dinamics) al centrului de date din INCDTIM, care în prima fază să reproducă cu exactitate condițiile de temperatură și debit existente în realitate . Scopul dezvoltării modelul CFD, este de a putea simula diferite metode de răcire pentru găsirea unor soluții mai eficiente, ce se pot implementa fizic. În momentul de față unele rafturi de servere sunt doar pe jumătate pline, dar încărcătura de căldură va crește în viitorul apropiat, cu adăugarea unor noi servere pentru calcule paralele cu o amprentă termică foarte mare.
Utilizăm datele cunoscute despre Datacenter, precum, capacitate de calcul existent, capacitate de răcire, pentru a realiza un model precis a Datacenterului; modelul realizat la scară, va include dispunerea exactă a rack-urilor cu echipamentele și a sistemelor de calcul în interiorul lor, a unităților de răcire și tubulaturii de recirculare a aerului și va fi realizat într-o aplicație software CAD Catia V5. Software-ul comercial CFD ANSYS CFX 17.2. a fost utilizat pentru a efectua simulările. Modelul va fi folosit în Ansys CFD (computational fluid dynamics) pentru simularea dinamicii fluxului de aer de răcire în interiorul Datacenterului în vederea identificării precise a zonelor calde și reci precum și a eficientizării sistemului de răcire.
Pentru componentele Datacenterului se vor folosi ca date de intrare, datele de catalog aferente fiecărui echipament, (de ex. 1 unitate de climatizare are o capacitate de răcire de 75000 BTU (24kW), asigură un flux de aer de 5740m3/h, și are un consum de 6kWh; 1 unitate de calcul are un consum mediu de 0.3kWh).Au fost măsurate temperaturile în toate zonele de interes, respectiv în fața și spatele fiecărui rack la 500mm, 1250mm, respectiv 2000mm de la nivelul podelei. Acestea sunt datele de intrare pentru a simula în ANSYS CFD condițiile existente în momentul de față.
Traseul de parcurs
Pentru realizarea unei simulări cât mai corecte, vor trebui parcurse următoarele etape:
Etapa1, în care colectăm datele de intrare. Se înregistrează variația de temperatură, pentru început pe o perioadă de timp de 2 săptămâni, în interiorul Datacenterului, cu ajutorul senzorilor de temperatură instalați în incintă; pentru o acuratețe ridicată se vor folosi pe verticală trei senzori, plasați la 500mm, 1250mm și 2000mm de la podea, rack-urile standard având înălțimea de 2020mm(figura 2.1).
Se citesc valorile de temperatură simultan în fața fiecărui rack de echipamente și în spatele lui cu ajutorul unui Raspberry PI(figura 2.2.). Rezultatele citirilor se stochează într-un fișier text în care se consemnează și poziția fiecărui senzor în Datacenter(figura 2.3.).
Etapa2. Se crează modelul 3D al centrului de date la scară reală folosind ca și soft de modelare Catia V5. Pe baza modelului 3D, se reproduce în ANSYS CFD, folosind modulul de Fluid Flow, stadiul actual în care se realizează răcirea, model care va sta la baza simulărilor ulterioare în care se vor reproduce diferite modele de tubulaturi și soluții de eficientizare.
Etapa3. În această etapă se modelează diferite soluții de dirijare a fluxului de aer în incinta datacenterului, folosind tubulaturi de diverse forme și dimensiuni, poziționate atât în tavanul fals, cât și în podeaua înălțată astfel încât să elimine zonele de aer cald, respectiv amestecarea aerului cald cu cel rece și se introduc diferite echipamente active și pasive de control al debitului cu ajutorul cărora să se mențină un circuit corect și eficient al aerului în incintă(figura 2.4.).
Figura 2.1. Poziționarea senzorilor pentru citirea temperaturilor
2.2.2.Teoriile, metodele și instrumentele utilizate
Notiuni teoretice. Prin fluid se înțelege un mediu material continuu, care ia forma recipientului care îl conține. Prin urmare, fluidele se caracterizează printr-o slabă coeziune între molecule. În categoria fluidelor intră lichidele și gazele. Noi ne vom folosi de proprietățile fizice ale aerului, care este un gaz, pentru a afla debitele, volumele, vitezele, temperaturile și presiunile din interiorul Datacenterului.
Dintre cele mai importante proprietăți ale fluidelor fac parte:
Densitatea ρ [kg/m3],sau greutatea specifică, care se definește cu relația:
(1.1)
unde Δm este o masă elementară de fluid, iar ΔV este volumul acesteia.
Se mai utilizează și noțiunea de densitate relativă, adică raportul dintre densitatea absolută a unui fluid, dată de relația (1.1) și densitatea absolută a unui fluid de referință, aflat în aceleași condiții de presiune și temperatură, sau în condiții standard. Ca fluid de referință se alege de obicei apa pentru lichide și aerul pentru gaze.
Greutatea specifică, definită cu relația:
(1.2)
unde g este accelerația gravitațională(≈9.80665).
Presiunea p [N/m2], a cărei relație de definiție este:
(1.3)
unde ΔF reprezintă forța care acționează asupra elementului de arie ΔA.
Deformabilitatea, reprezintă proprietatea fluidului de a se deforma sub acțiunea unor forțe exterioare sau a temperaturii. Aprecierea deformabilității se face, de obicei, cu coeficientul de compresibilitate β, definit cu relația:
(1.4)
sau cu coeficientul de dilatație α, definit cu relația:
(1.5)
unde ΔV reprezintă variația volumului V, Δp este variația presiunii, iar ΔT este variația temperaturii absolute.
Inversul coeficientului de compresibilitate se numește modul de elasticitate:
(1.6)
Vâscozitatea, care reprezintă proprietatea fluidelor de a se opune deplasării particulelor care îl compun.Avem vâscozitatea dinamică η[Ns/m2] și vâscozitatea cinematică ν[m2/s]. Dacă se consideră mișcarea a două straturi de fluid aflate la distanța infinit mică dy și care alunecă unul față de altul cu viteza relativă valoarea tensiunii tangențiale care ia naștere între cele două straturi este:
(1.7)
unde η poartă numele de coeficient de vâscozitate dinamică. Se mai definește coeficientul de vâscozitate cinematică:
(1.8)
Coeficienții de vâscozitate variază cu temperatura în mod diferit la lichide și la gaze. Variația lui ν este ilustrată în figura 2.5, pentru apă și aer uscat. La lichide, ν scade odată cu creșterea temperaturii, iar la gaze crește cu temperatura. De această comportare trebuie să se țină seama în problemele de lubrificație, ca și în alte aplicații practice.
Figura 2.5. Variația coeficientului cinematic de vâscozitate, în funcție de temperatură
În practică, este uneori posibilă neglijarea vâscozității prin introducerea modelului de fluid perfect. Adoptarea acestei ipoteze simplificatoare depinde, însă, de îndeplinirea unor condiții speciale. În tabelul 2.1 se prezintă unitățile de măsură pentru mărimile definite anterior.
Tabelul.2.1. Unități de măsură ale mărimilor caracteristice proprietăților fluidelor
În mod curent, o relație de forma:
(1.9)
unde p, V, T reprezintă presiunea, volumul și respectiv temperatura masei m de fluid studiat, poartă numele de ecuație de stare. Această relație îmbracă forme diferite pentru lichide și pentru gaze. Pentru ca noi vom studia comportamentul aerului in incinta Datacenterului, forma ecuatiei de stare pentru gaze este:
(1.10)
sau
(1.11)
unde R este constanta specifică a gazului, R este constanta universală a gazelor ( R =8314 J/kmol K) și M este masa kilomolară a gazului. Această ecuație, în forma (1.10) sau (1.11), poartă numele de ecuația Clapeyron-Mendeleev.
În continuare, în tabelele 2.2 si 2.3 se prezintă valorile densității unor gaze uzuale precum si constanta specifică a gazelor, R.
Tabelul 2.2. Densitatea unor gaze la presiunea normală (760 mm Hg)
Tabelul 2.3. Constanta specifică a gazelor, R
Metode si instrumente. Pornim de la citirea temperaturilor din zonele de interes pe un interval de timp mai îndelungat(doua săptămâni), în care înregistrăm temperaturile citite de senzori cu ajutorul unui dispozitiv Raspberr PI. În figura 2.4 putem vedea schema de interonectare dintre senzorii de temperatură cu ajutorul cărora s-au citit valorile și Raspberry PI, iar în figura 2.6 vedem schema de amplasare pe verticală al senzorilor. Valorile citite cunt importate într-un worksheet EXCEL.
Cu ajutorul acestor grafice de temperaturi putem realiza amprenta termica al încăperii și putem identifica zonele cu probleme, de exemplu pungile de aer cald sau rece, zonele în care nu avem un circuit sau flux de aer. Aceste zone sunt cele mai dăunătoare, pentru că reprezintă pierderi din eficienta sistemului de răcire Ideal ar fi că tot aerul rece introdus să recircule prin servere. Trebuie găsite soluții pentru a pune în mișcare aerul respectiv crescând astfel cu mult eficienta sistemului, implicit se mai pot adăuga servere de lucru, crescând astfel puterea de calcul al centrului de date fară a mări puterea de răcire.
Fișierele rezultate din monitorizarea temperaturilor într-un interval de timp(două săptămâni în cazul nostru)se importa în Exel și se crează graficele de temperature pentru fiecare Rack în parte, astfel fiind vizibile diferențele de temperaturi pe înălțime, cât și fata-spate. În figura 2.5 putem vedea un grafic cu temperaturile citite la dulapul de echipamente din încăpere, unde putem vedea atât variațiile de temperaturi pe inaltme(500mm, 1250mm și 2000mm), cât și diferențele de temperaturi dintre aerul absorbit de servere și cel care este evacuat în spate.
Figura 2.4. Schemă cu exemplu de conectare al senzorilor la RaspberryPI
Figura 2.5. Grafic de variatie al temperaturii pentru Rack1
Figura 2.6. Schemă poziționare senzori
Se trece apoi la modelarea 3D al Datacenterului. Acest lucru se realizează în softul de modelare Catia V5. Acest pas este important, pentru că reproducerea la scară reală și cât mai exactă al dimensiunilor obiectelor afectează în mod direct rezultatele simulărilor ulterioare. În figura 2.7 vedem modelul 3D al Datacenterului realizat în Catia. Softul de simulare a dinamicii fluidelor CFD(Computational Fluid Dinamics) ANSYS CFD Fluentul 7.1 a fost utilizat pentru a obține distribuția termică a diferiților algoritmi de programare și eficiența de răcire a centrului de date la scară redusă într-un spațiu închis.
Această metodologie este potrivită pentru a furniza condiții limită în a simula modelul fluxului de aer și pentru a confirma rezultatele îmbunătățirilor aduse. Modelul 3D creat în Catia V5 este salvat sub o extensie care se poate importa ca și geometrie în ANSYS(se salvează cu extensia .igs). Se crează în Modulul Fluent al softului Ansys CFD V17.1 condițiile preliminarii pentru mesh. Pentru crearea lui a fost utilizat un mesh de tip tetraedru ilustrat în figura 2.7, iar finețea țesăturii precum și grila au fost rafinate în jurul gurilor de admisie și evacuare, al serverelor și al orificiilor de ventilație pentru a asigura un calcul și o simulare exactă al acestor zone(figura 2.9.).
Figura 2.7. Model 3D Datacenter realizat în Catia V5
Figura 2.8. Exemplu de structură mesh de tip tetraedru folosit în simulările CFD
Figura 2.9. Exemplu de mesh pregătit pentru analiza CFD al Datacenterului nostru
Tehnologiile, experimentele, testele utilizate
Ecuațiile ce guvernează mecanica fluidelor rareori au o soluție analitică. Prin urmare, modelarea CFD(Computational Fluid Dinamics) este utilizată pentru a le rezolva. Ecuațiile diferențiale sunt aproximate ca un sistem de ecuații algebrice prin utilizarea unei metode de discretizare. Discretizarea este demersul fundamental cerut în analizele elementelor finite și constă în trecerea de la structura continuă (cu o infinitate de puncte) la un model discret, cu un număr finit de puncte (noduri). Această structură în domeniul CFD este denumit mesh(plasă).
ANSYS CFD utilizează o metodă de volum finit bazată pe elemente. Domeniul de calcul este împărțit în volume de control discrete utilizate pentru conservarea unor valori cum ar fi masa, impulsul și energia. Volumele de control pot avea orice formă în două sau trei dimensiuni și sunt reprezentate de mesh(plasă). Hexaedrele și tetraedrele(figura 2.8.) sunt forme comune ale volumelor de control atunci când este luat în considerare un domeniu computational tridimensional. Ecuațiile de guvernare sunt integrate peste volumele de control pentru a rezolva ecuațiile de discretizare la nodurile care sunt situate în centrul acestor volume. Programul rezolvă ecuațiile algebrice în fiecare nod. Valorile numerice ale tuturor proprietăților fluidelor și ale variabilelor soluțiilor sunt stocate în aceste noduri.
În Datacenterul INCDTIM măsurăm temperaturile în zonele de interes cu ajutorul unor senzori de temperatură conectați la un minicalculator Raspberry PI. Măsurăm debitul aerului ce trece prin grilajele din podea pentru a ști exact debitul util. Pentru acesta se construiește un debitmetru bazat pe o placa de dezvoltare Arduino Leonardo, care face achiziția datelor furnizate de senzorul de turație al unui ventilator. Se scrie un program în C++ pentru a face calculele și afișarea rezultatelor. Avem nevoie de aceste date, temperatură și debit pentru a avea date de control pe care să le comparăm cu cele rezultate din modelul computațional.
Partea a II-a
Contribuții la tema proiectului
3. COLECTAREA DATELOR DE INTRARE
3.1. Realizarea echipamentelor necesare pentru înregistrarea temperaturilor
Pentru a reproduce condițiile termice din Datacenter avem nevoie de un dispozitiv cu care să putem înregistra pe o perioadă mai îndelungată variațiile de temperatură din diferite zone ale incintei, înregistrând amprenta termică atât în puncte fixe de interes, cât și pe diferite nivele pe verticală.
Pentru acest lucru trebuie stabilite tehnicile și metodele prin care parametrii fizici(temperatură, flux de aer) din Datacenter să fie înregistrați cu exactitate pentru a putea replica acești factori în modelul virtual. În urma înregistrării valorilor parametrilor urmăriți, pe diferite perioade de timp și prin interpretarea variației acestora se pot stabili domeniile de variație pentru o funcționare eficientă a Datacenter-ului.
S-au folosit un număr de 12 senzori. Gestionarea sistemelor de monitorizare se realizează cu un program elaborat în limbajul Python (”1wire_pi.py”) care are rolul de a inregistra valorile citite de senzorii care sunt conectați la sistemul Raspberry Pi pe linia de comunicație ”one-wire” (sincronizată cu ceasul intern al microcalculatorului) în vederea prelucrării ulterioare. Toate aceste date rezultate în urma proceselor de monitorizare ne oferă o imagine exactă a funcționării Datacenter-ului și ne permit să facem simulări privind condițiile de funcționare în cazul creșterii numărului de sisteme de calcul.
Aceste date și simulări ne sunt de ajutor pentru găsirea de soluții tehnice în vederea îmbunătățirea funcționării Datacenter-ului din punct de vedere al variației parametrilor de mediu și al consumului de energie.
S-a folosit placa de dezvoltare de tip Raspberry PI și senzori de temperatură de tip 1wire. S-a ales acest tip de senzor deoarece placa de bază de la Raspberry PI este prevăzut cu interfață de tip “1wire” care poate fi folosită direct. Vedem schema de interconectare în figura 3.1.
Figura 3.1. Schemă bloc cablaj senzor
Acești senzori permit măsurarea temperaturilor în domeniul -10 – +85 °C cu o precizie de ± 0.5 °C, iar în domeniul extins, -55 la +125 °C, asigură o precizie de +/- 2.0 °C. Conectarea senzorilor la microsistem se face pe pinul dedicat DQ pe care sistemul de operare ales (Raspbian), realizează comunicația standard 1wire. Alimentarea senzorilor cu tensiunea de 5V se asigură de la placa Raspberry, linia de date DQ este menținută la potențialul necesar de o rezistentă “pull-up” de 4.7 Kohm la 3.3 V. În figura 3.2. putem vedea fizic interconectarea dintre placa Raspberry PI și senzor, precum și rezistența de 4,7 Kohm care se conectează între pinii de 5V și semnalul de intrare.
Figura 3.2. Schemă de interconectare între senzori și Rasberry PI
Modul de conectare a senzorilor este "în stea", cu 8 noduri de intrare în placa de adaptare la microsistemul Raspberry. A fost aleasă această modalitate de conectare pentru a asigura poziționarea cu ușurință a senzorilor în jurul rack-urilor, fiecare senzor fiind dotat cu cablu de conectare de lungime de 4 m. Pentru conectarea tuturor senzorilor necesari se folosește o placă de adaptare(figura 3.3.), care este un circuit imprimat pe care s-au montat opt conectoare cu trei contacte pentru a putea lega 8 senzori suplimentari.
Fiecare conector asigură legătura la pinii de alimentare VDD (5V), GND (0 V) și linia comună de date DQ, pe placă găsind loc și un condensator de decuplare de 10 µF și rezistența “pull-up” amintită. Când microcalculatorul Raspberry PI funcționează, sistemul de operare Raspbian urmărește starea liniei DQ.
Dacă sesizează existența conectării unui senzor 1wire în mod automat acesta va fi identificat de un număr serial propriu de 48 biți și din acest moment va fi interogat pentru obținerea valorii mărimii determinate, în cazul nostru temperaturii.
Figura 3.3. Placa de extensie folosită pentru legarea senzorilor suplimentari la Raspberry PI
Figura 3.4. Schemă bloc sistem de înregistrare temperaturi
Dezavantajul sistemului este că citește datele senzorilor mai des sau mai rar după posibilități, după gradul de încărcare al controllerului, după numărul de senzori atașați și alți factori, nu se poate vorbi de o rată de măsură riguroasă sincronizată în timpul real. Totuși, se constată că sistemul interoghează cel puțin un senzor la fiecare secundă, astfel intervalul dintre citiri este suficient de mic, mai ales că modificările termice din încăpere sunt destul de lente în timp. Astfel, această abordare de măsurare a temperaturilor cu un “sample-rate” ales de 1 minut sau valori chiar mai mari, asigură o precizie de urmărire suficient de precisă.
Din punct de vedere fizic, un senzor de temperatură se compune dintr-un ansamblu de două conectoare, tată și mamă, un condensator de decuplare de 0.1-10 µF, senzorul 1wire propriu-zis și un cablu flexibil cu trei fire, de lungime 1–8 m (fig. 3.1.). După realizarea acestora, acestea s-au conectat la microsistemul funcțional, unul câte unul, în vederea identificării numărului de serie propriu și sau etichetat corespunzător de la “T1” la “T12”, notație care facilitează legarea senzorului de locul de captură în orice proces de măsurare ulterior(figura3.4.).
3.2. Înregistrarea temperaturilor din Datacenter
Valorile de temperatură s-au înregistrat pe o perioadă de 7zile în fața și spatele fiecărui rack de servere. S-a ales o perioadă de timp de 7 zile pentru a cuprinde toate ciclurile de funcționare ale serverelor, atât în timpul orelor de lucru, când sunt solicitate la maxim, precum și în intervalurile orare în care se lucrează mai puțin pe ele, astfel putem face o medie reală a variațiilor de temperatură. Pe verticală senzorii au fost așezați la înălțimile de 500mm, 1250mm și 2000mm. Înălțimea maximă al unui rack este de 2000mm, de aceea trei senzori dispersați pe o înălțime de 2000mm sunt suficienți pentru a înregistra variația de temperatură pe suprafața rack-ului după cum se poate vedea în figura 3.5. Pentru înregistrarea temperaturilor determinate cu acești senzori s-a adaptat un program în limbajul Python, preluat de pe platforma dezvoltatorului de limbaj Python, care scrie valorile măsurate întru-un fișier de date, frecvența de măsurare fiind la 1 minut, iar ca mediu de stocare s-a folosit cardul SD(32GB) al sistemului Raspberry.
Figura 3.5. Schemă de amplasare al senzorilor pe înălțime
Programul “1wire_pi.py”, lansat în execuție de operator prin comandă directă din terminal sau de la distantă prin comunicație Telnet/SSH, inițializează driver-ul propriu al liniei de comunicație DQ utilizate, iar apoi la fiecare minut, sincronizat cu ceasul intern, preia valorile generate de senzori, le convertește la un format interpretabil cu orice program de prelucrare de date și le înscrie pe cardul SD.
3.2.1. Configurarea programului pentru înregistrarea temperaturilor
Programul ”1wire_pi.py” elaborat în limbajul Python(vezi Anexa 1), are ca scop înregistrarea valorilor senzorilor de temperatură conectate la sistemul Raspberry Pi pe linia de comunicație ”one-wire” sincronizată cu ceasul intern al microcalculatorului, în vederea prelucrării ulterioare comode a datelor salvate într-un fișier text. Numele fișierului se generează automat la lansarea programului din data și timpul momentului de pornire iar locul de salvare se alege într-un folder specific în directorul utilizatorului. De exemplu, fișierul /home/pi/achiz_temp/1810220925.txt este creat la pornirea programului în 2018. octombrie. 22 – ora 10:25.
Prima operațiune este identificarea senzorilor de temperatură utilizați. Pentru acesta, cu microsistemul în funcțiune, senzorii se conectează unul câte unul la placa de adaptare și se identifică numărul serial propriu al senzorului prin consultarea listei dispozitivelor de acest tip. Acestea se vor găsii în locația /sys/bus/w1/devices/ al sistemului raspbian utilizat. Sistemul de operare este astfel conceput încât identifică automat toate dispozitivele funcționale la un moment dat, preia și actualizează datele furnizate în folder-ul aferent pentru fiecare senzor în parte, într-un fișier cu numele w1_slave.
Numele folder-elor este construit din codul de identificare al senzorului, astfel de exemplu, pentru un senzor de temperatură DS1820 cu codul intern 28-02-10-91-17-77-74-08, numele generat va fi 28-021091777408. Acest nume se va introduce în sursa programului ”1wire_pi.py” prin editare în poziția în care senzorul va fi identificat la achiziție.
Conținutul fișierului ”w1_slave” din folder-ul aferent senzorului și actualizat permanent de sistem va avea totdeauna două linii ce conțin valorile în format hexazecimal al registrelor interne al senzorului, valori din care se poate determina valoarea temperaturii curente.
Pentru senzorul din exemplul prezentat, fișierul generat de sistem, la un moment dat, are următorul conținut.
Prima linie terminată cu YES reflectă că citirea senzorului a decurs fără erori (NO în caz contrar) ce a rezultat din comparația sumei de control calculate din primele opt valori și ultima valoare citită. De la sfârșitul liniei a doua se extrage direct temperatura determinată de sistem în miimi de grade Celsius. Calculul sumei de control și a temperaturii este făcut de sistem în mod automat ținând cont și de tipul/familia senzorului, programului nostru nu ii rămâne altceva de făcut decât preluarea și prelucrarea acestor date
Programul principal este o buclă infinită care apelează modulul de achiziție prin intermediul modulului de sincronizare, după fiecare ciclu de citire a grupului de senzori, datele sunt afișate pe terminalul pe care a fost lansat programul și scrise în fișierul de captură. Pornirea programului se face cu comanda:
din terminal, local sau de la distanță (printr-o sesiune Telnet/SSH). Înainte de pornire este recomandat verificarea și/sau potrivirea datei și orei sistemului, deoarece la sistemul Raspberry Pi acestea se inițializează la valori corecte prin protocolul ntp (network time protocol) care presupune conectarea microcalculatorului într-o rețea cu acces la Internet, respectiv la servere de timp globale.
Preluarea datelor capturate pe cardul SD se poate face în orice moment după ce achiziția a fost pornită. Durata unei achiziții de date continue nu este specificata precis, dar se recomandă ca aceasta să nu se depășească 7 zile, pentru a preveni situația in care dimensiunea fișierul de date devine exagerat de mare.
Un astfel de fișier de date conține pe fiecare linie valorile celor n senzori conectați, în ordinea stabilită la înregistrarea senzorilor (T1 – T12) precedate de momentul achiziției acestor valori (dată și oră) (fig. 3.6).
Fig. 3.6. Exemplu de date brute colectate în format text
3.2.2. Prelucrarea și interpretarea valorilor colectate
Valorile brute obținute la punctul anterior sunt, cum s-a putut vedea în figura 3.6. de tip text. Aceste fișiere text trebuie prelucrate într-o formă care să permită atât vizualizarea cât și interpretarea lor ușoară. Metoda folosită în acest caz este de a importa aceste fișiere în Microsoft Excel, aranjate într-o formă tabelară, după care, tot în cadrul Excelului să se genereze graficele care să permită analizarea în detaliu al fluctuațiilor de temperaturi. În figura 3.7. vedem un exemplu de date importate din fișierul original de într-un tabel(vezi anexa 6.). Aranjarea și denumirea corectă și intuitivă al câmpurilor de date este foarte importanta,deoarece de acești factori depinde rezultatul și implicit corecta interpretare al valorilor afișate în graficul generat din Excel. S-au notat într-un tabel locațiile senzorilor în timpul măsurătorilor. În tabelul respectiv se regăsesc perioadele în care s-au realizat citirile, denumirile rack-urilor, numărul suportului care a fost amplasat la locația respectivă și denumirile senzorilor de pe suportii(vezi tabel 3.1).
În tabelul de mai jos putem observa intervalele de înregistrare ale temperaturilor în perioade de câte 7 zile, pentru acoperirea tuturor ciclurilor de lucru precum și de folosire al serverelor. Așa ne putem asigura că temperaturile medii pe care o să le folosim în simulări acoperă toate scenariile de utilizare ale serverelor. Astfel asigurăm o simulare cât mai reală în Ansys CFD. După ce s-au importat și aranjat în tabel datele în Excel, s-a trecut afișarea graficelor cu temperaturi.
În figura 3.8. putem vedea graficul generat pentru temperaturile din fața și din spatele primului rack. Sunt afișate șase grafice, trei pentru senzorii din față, restul de trei pentru cele care afișează temperaturile din spatele rack-ului. După analiza graficelor și stabilirea temperaturilor medii se trece la notarea lor pe un plan al Datacenterului. Acest lucru ne ajută să putem pune condițiile de temperatură(boundary conditions ) pe suprafețele rack-urilor atunci când simulăm condițiile termice în Ansys CFD. Din graficele obținute în Excel se conturează foarte repede problemele și zonele de aer cald ale incintei.
Ordinea pe înălțime al senzorilor de pe suporți și locurile unde au fost amplasați sunt esențiali pentru a ști care date în ce zone din Datacenter sunt. După cum putem vedea în poza de la figura 3.8. amplasarea senzorilor se face în fața și spatele fiecărui rack la o distanță de 500mm de uși, pentru ca senzorii să fie cât mai bine poziționați în curentul de aer care iese prin grilajele din podea. Poziționarea la această distantă(de 500mm) s-a stabilit după ce s-au făcut diferite scenarii de amplasare, incercandu-se amplasarea senzorilor în spatele curentului de aer, astfel încât să nu sufle aerul rece direct pe senzori. Grilajele din podea au lamelele deflectoare orientate la un unghi de 45°fată de verticală, astfel aerul care pătrunde prin ele este automat direcționat către dulaputile de servere și nu spre senzorii de temperatură.
Figura 3.7. Exemplu cu tabel în excel cu valorile temperaturilor importate din formatul text
Tabel 3.1. Tabel cu locațiile senzori și perioada în care s-au colectat datele
Figura 3.8. Amplasarea senzorilor în fața rackurilor
Figura 3.9. Exemplu de grafic de temperaturi
Să analizăm în detaliu graficul de temperaruri pentru rack1(figura.3.9) trasată pentru o perioadă de trei zile(vezi anexa 7.). Liniile roșii verticale delimitează un interval de 24 ore. Graficul T9(violet), T1(albastru închis) și T8(verde) reprezintă temperaturile din fața rack-ului. Observăm că senzorul T9, care se află la o înălțime de 500mm față de podea a înregistrat o medie de temperatura de 14,7C°, T1 aflat la 1250mm înălțime are o medie de 16.2C°. T8 la înălțimea de 2000mm a citit o valoare medie de 18C°.
Observăm că cele trei grafice își mențin pe tot parcursul perioadei distanța între ele, asta însemnând că nu au existat perturbări externe sau erori de citire, iar unitățile de răcire și-au păstrat constant temperatura de răcire și fluxul de aer. T6(culoare roșie) la 500mm , T11(albastru deschis) la 1250mm și T12(portocaliu) la 2000mm, reprezintă tempraturile din spatele rack-ului, și putem vedea imediat o creștere a valorilor.
La T6 avem o medie de 25C°, cu fluctuații foarte mari datorită faptului că serverele din zona aceea au lucrat la capacități diferite, în funcție de joburile care li s-au alocat de către utilizatori, prin urmare se văd perioarele în care lucrau la o capacitate maximă, perioade în care senzorul T6 a înregistrat valori de până la 26C° și perioade în care avem temperaturi de doar 20,5C°. Ceilalți doi senzori T11 și T12 au avut valori apropiate și relativ constante de 22,5C° respectiv 23C°.Acest lucu se datorează faptului că severele din acele zone sunt alocate să lucreze în sistemul de GRID Computing pentru CERN Geneva și primesc joburi într-un ritm constant și cu un set mic de date care trebuie prelucrate pe ele, astfel nu sunt forțate procesoarele cu calcule care ar genera multă căldură.
Mai putem observa două zone în grafic, care se întâmplă cam în același interval orar, în ambele zile afișate pe grafic, în care valorile de temperatură din fața și spatele rackului tind să se egalizeze(vezi figura 3.10). În fiecare zi, aproximativ în intervalul orar 14:30-21:30, serverele care generau căldură excesivă înregistrată de senzorul T6 își termină joburile și reduc puterea consumată.
Ciclicitatea acestui fapt apare din cauza setărilor făcute de cei care rulează calcule paralele de modelare matematică pe serverele respective, serverele sunt setate să calculeze ,după care să salveze rezultatele în intervale regulate. I timp ce salvează, serverele își reduc mult amprenta termică, ne folosind procesoarele la putere maximă.
Figura 3.10. Perioade cu fluctuații majore de temperatură
În continuare se trec valorile citite de senzori într-un desen al Datacenterului pentru a fi mai ușor, în momentul în care se indică condițiile de temperatură pe suprafețele rack-urilor în Ansys CFD, setări necesare pentru a reda aceste procese termice cu exactitate. Cu săgeți sunt indicate zonele unde s-au făcut măsurătorile de temperatură. Pe săgeți sunt trecute valorile măsurate la cele trei înălțimi, valoarea cea mai de jos corespunzând înălțimii de 500mm, cel din mijloc celui de 1250mm, iar cel de sus este valoarea măsurată la o înălțime de 2000mm.
Putem observa că temperaturile din fața rack-urilor, cu mici modificări, sunt cam aceleași, relativ uniform distribuite atât pe înălțime, cât și pe suprafață. Se încadrează în intervalul 14,5C°-18,5C°. Observăm totuși o diferență între temperaturile care iasă din grilajele care sunt mai aproape de unitățile de răcire HVAC, și cele care sunt mai îndepărtate. Valorile apropiate de unitățile de răcire sunt mai ridicate, din două motive:
-temperatura aerului la ieșirea din unitățile de răcire este setată la 21C°, iar distanța fiind așa de mică încât nu reușește să se răcească ajutat de viteza aerului;
-spre ușa Datacenterului temperaturile cresc pentru că tot aerul rece se acumulează acolo, formând o pungă de aer și datorită lipsei unui sistem cu tiraj forțat de recirculare;
Această problemă reapare în spatele rack-urilor, unde se formează pungi de aer cald, care ne fiind puse în mișcare suficient de ventilatoarele stațiilor de lucru, ele se acumulează în zonele respective și duc la o răcire deficitară. Un astfel de exemplu vedem în zona din spatele al rack-urilor 4 și 5. Datorită faptului că tot aerul este împins la peretele de la intrare și de acolo este forțată să se întoarcă spre colțurile încăperii, în zona rack-urilor 1și 2 de pe partea stangă, 8 și 9 de pe partea dreaptă avem o răcire mai bună în spate. Însă, ideal ar fi că tot aerul rece să fie direcționat de la unitățile de răcire direct spre intrările serverelor, fară ca aerul să scape spre tavan, ușa sau peste dulapurile cu servere, iar apoi, tot aerul cald din spate să fie captat și forțat să se reîntoarcă în unitățile de aer rece spre a fi răcit și recirculat.
Figura 3.11. Distribuția în Datacenter al valorilor de temperaturi înregistrate
În concluzie, datele astfel obținute sunt utilizate pentru studiului regimului termic al serverelor și ajută la alegerea sistemului de răcire care să acopere cerințele curente pentru funcționarea sistemelor de calcul existente, dar să permită dezvoltarea Datacenter-ului prin creșterea puterii de calcul asigurând o răcire optimă.
3.3. Măsurarea debitului aerului de răcire
Fluxul de aer prin servere este condus de ventilatoare interne cu un debit constant. Debitul furnizat de unitățile de climatizare HVAC trebuie să fie cel puțin egal cu debitul solicitat de servere pentru a putea fi răcite. Dacă aerul rece disponibil pentru răcirea serverelor este insuficient, aerul cald va refula în fața serverelor. Atunci când se folosește o configurație a podelei ridicate și aerul rece este furnizat în încăpere prin grilaje de obicei partea superioară a rack-urilor pentru servere ajung să nu fie răcite suficient.
De aceea, al doilea factor important de știut, înainte să realizăm simulările proceselor din Datacenter, pe lângă măsurarea temperaturilor, este să cunoaștem debitul de aer care intră în incintă prin grilajele din poeaua înălțată.
Debitul de aer rece care este furnizat de unitățile de răcire se cunoaște din catalogul furnizorului. Din tabelul 3.3 rezulta un debit de aer de 5740 pentru modelul nostru de unitate de aer marca Uniflair TDAR0611A(figura 3.12.).
Noi în Datacenter avem patru astfel de unități de răcire din care funcționează tot timpul trei, unul fiind oprit tot timpul prin rotație pentru a fi folosit pe post de rezervă în caz de nevoie(vezi componența unității de răcire în ANEXA 4).Astfel avem un total de debit de aer furnizat de cele trei unități de aer de 17220, împinse sub podeaua înălțată la o temperatură prestabilită de 20C°.
Temperaturile recomandate și maximele admisibile ale aerului din partea frontală al serverelor sunt specificate de normative ASHRAE(vezi tabel 1.1). Intervalul de temperatură recomandat este de 18 – 27°C, iar intervalul de temperatură admisibil este de 15 – 32°C. În incintă temperaturile citite de senzorii de temperatură se încadrează în limitele prescrise de normative.
Este nevoie însă să știm cât debit de aer pierdem și cât folosim util pentru răcirea incintei. Mai trebuie să știm acest lucru să putem introduce valori reale în modelul simulat astfel încât să reproducă exact realitatea.
Tabel 3.2. Specificații tehnice unitate de racire Uniflair TDAR0611A
Figura 3.12. Unitate răcire aer Uniflair TDAR0611A
Tabel 3.3. Debitul unității de răcire Uniflair TDAR0611
Figura 3.13. Diagrama performanțelor ventilatorului unității de răcire
În specificațiile ventilatorului marca Nicolta PFK500, montat în unitatea de aer, putem găsi presiunea generată de ventilator și turația la care ea se învârte. Din figura 3.13 putem vedea performanțele acestui ventilator. Din grafic reiese că la o turație nominală de 1400[rpm], avem o presiune generată de 590[Pa]. Astfel știm debitul de aer rece care pleacă de la unitățile de aer, dar trebuie să știm ce debit regăsim după ce trece de grilaje, pentru că nu avem un mediu etanș și practic ce regăsim după grilaje este capacitatea reală de răcire pe care o putem utiliza.
Pentru acest lucru s-a realizat un debitmetru cu care am putut măsura debitul de aer ce trece prin fiecare grilaj în parte. Grilajele sunt de dimensiunea 600mmX600mm(figura 3.14). Ca soluție de măsurare am folosit un ventilator de calculator care are diametrul de 120mm. S-a ales acest tip de ventilator pentru că are incorporat un senzor de turație care transmite date pe un singur fir, impulsuri electronice digitalece pot fi preluate cu ajutorul unei plăci de dezvoltare Arduino Leonardo. Știind turația la care se învârte la un moment dat ventilatorul, precum și diametrul acestuia putem afla debitul de aer care trece printre palele ei. Astfel, captând debitul de aer de pe fiecare grilaj și făcând suma lor, aflăm debitul util care intră în incinta Datacenterului. Ventilatorul folosit este produs de Thermaltake, model TT-1225 DC Brushless.
La acest ventilator, din datele furnizate de producător conform tabelului 3.4, la o turație de 1400 [], avem un debit de aer de 41,6[CFM]. CFM este prescurtare de la cubic feet pe minut ().
Figura 3.14. Grilaj folosit pentru trecerea aerului prin podea
Tabel 3.4. Date tehnice ventilator Thermaltake TT-1225
Unitatea de măsură CFM este adesea folosită cu referire la sistemul de răcire al unui computer și la sistemele de răcire cu aer. Este folosit și în Datacentere, ca unitate de masură folosită la exprimarea debitelor de aer în cadrul datacenterelor().
Transformăm din [cubic feet⁄m] in și obținem:
] (2.1)
de aici rezultă că:
41,6 ⸱ 1,688011 ]= 70,6788 ] (2.2)
Astfel, știm că prin diametrul ventilatorului de de 120mm, atunci când avem o turație de 1400[ ], trece un debit aer de 70,6788 ]. Cunoscând aceste date de intrare putem să aflăm ce debit de aer avem atunci când turația ventilatorului este diferită.
Ventilatorul folosit (vezi figura 3.15), trebuie modificat, pentru că el este proiectat să se învârtă la o turație constantă de 1400[], acționat de un motor de curent continu alimentat la o tensiune de 12 volți. Noi avem nevoie ca palele ventilatorului să fie învârtite liber de către aerul care trece prin orificiu. Pentru asta trebuie să scoatem bobinajul motorului și să refacem legăturile pe placa electronică astfel încât cele două fire de alimentare la 12volti(firul roșu +12volti, firul negru 0volti), să alimenteze doar circuitul electronic care alimentează encoderul, pentru a putea măsura viteza de rotație al ventilatorului.
Pentru acest lucru demontăm rotorul ventilatorului pentru a avea acces la partea electronică și la bobinele statorului care trebuie demontat. Motorul electric de curent continuu folosit la acest ventilator este de tip stator cu bobinaj și cu rotor din magnet permanent fară perii(brushless).Pentru a putea scoate paletele, trebuie scoasă siguranța(figura 3.16.), care este montată pe axul rotorului, după care se poate scoate rotorul afară.În rotor putem vedea magnetul permanent, cu doi poli, care are dublu rol. Primul este de a asigura prin inducție electromagnetică rotirea paletelor, al doilea este aceea de a furniza impulsuri magnetice encoderului de pe placa electronică prin schimbarea succesivă al polaritatilor N-S. Se trece la demontarea bobinajului statorului și la excluderea lui de pe circuitul electronic.
Figura 3.15. Ventilator de răcire carcasă de calculator, model Thermaltake TT-1225
Figura 3.16. Siguranță ax rotor și rotor demontat
Figura 3.17. Schema electrică ventilator Thermaltake TT-1225
Figura 3.18. Graficul tacturilor senzorului la o turatie completă al ventilatorului
În graficul din figura 3.18. vedem reprezentate impulsurile măsurate de senzor la o singură rotație. După cum se poate vedea în schema electrică din figura 3.17. se elimină din circuitul electric cele două bobine(coil1 și coil2), respectiv cei doi condensatori de 2,2μF. Rămâne doar circuitul electronic care asigură funcționarea circuitului integrat AH277A care măsoară rotațiile, trimițând impulsuri de 1 și 0 logic la fiecare schibare de polaritate al magnetului permanent de pe rotorul ventilatorului. Putem observă în schema logică că se adaugă rezistența R4 de 650 Ohm la circuitul electric pentru a asigură funcționarea senzorului AH 277A în „open colector” în lipsa circuitului celor două bobine de stator care s-au eliminat anterior.
Tensiunea minimă de alimentare al circuitului electronic este de 3,5V, care se leagă la o placă de dezvoltare Arduino Leonardo cu ajutorul căruia se vă face citirea și interpretarea impulsurilor date de senzorul de turație. În Arduino Uno se scrie codul pentru a citi datele de turație în rot⁄min și realizarea transformărilor necesare ,pentru ca la final să avem valori de presiune în .
De aici știm ce parametrii să intoducem în codul pe care îl vom folosi să calculeze debitul la o turație anume. De exemplu, turația nominală de 1400[] îl transformăm în frecvență [Hz] pe care il exprimăm în , vom obține transformările:
(2.3)
Avem nevoie să știm o legătură directă între frecvență și viteză pentru a calcula constanta cu care vom face împărțirea să aflăm în timp real valorile de debit care vor fi afișate. Pentru acest lucru împărțim 1400 cu 23,3 și ne rezultă o constantă de calcul de 3,0385. Avem toate calculele făcute(vezi subcapitolul 4.4) și toate variabilele pe care le vom folosi în codul sursă. Următorul pas este conectarea ventilatorului la placa de dezvoltare Arduino Leonardo.
Avem nevoie de două ieșiri pentru alimentarea cu 5volti(firul roșu) și null(firul negru) al circuitului electric și de o intrare digitală pe care se va colecta semnalul transmis de către senzorul de turație(firul galben). Acest fir se leagă la pinul 2 de intrări digitale al plăcii de dezvoltare(vezi figura 3.19.).
Figura 3.19. Conectarea cablurilor pe placa Arduino Leonardo
După ce realizam legăturile, urmează să scriem codul pentru a putea citi și afișa valorile de debit. Folosim un cod scris în C++(vezi ANEXA 2) de pe site-ul producătorului plăcii arduino pe care îl modificăm după nevoile noastre: definim pinul de intrare pe care să îl activeze la citirea datelor ca pin 2, îl definim de tip INPUT respectiv PULLUP. De tip PULLUP, pentru că ieșirea digitala de pe tranzistorul plăcii electronice al ventilatorului este de tip „open collector”, deci ca să vedem valorile de ‚HIGH’ sau 1 logic(5volti), respectiv „LOW”,0 logic(0volti) placa Arduino trebuie să măsoare tot timpul pinul 2 față de o diferență de potențial respectiv față de un scurt la masă când avem 0 potențial(vezi schema electrică din figura 3.17.)
unsigned long X;
unsigned long Y;
float TIME = 0;
float FREQUENCY = 0;
float AIR_DEBIT = 0;
//float TOTAL = 0;
//float LS = 0;
const int sensor_input = 2;
void setup() {
//start serial connection
Serial.begin(9600);
//configure pin 2 as an input and enable the internal pull-up resistor
pinMode(sensor_input, INPUT_PULLUP);
}
definim două variabile X și Y corespunzătoare celor două stări ale senzorului de turație 1 logic=”HIGH”, 0 logic=”LOW”. Calculăm variabila TIME ca fiind de doua ori suma variabilelor X și Y deoarece am stabilit mai sus ca perioada T este egala cu 2*FREQUENCY;
astfel calculăm debitul de aer AIR_DEBIT ca fiind raportul dintre frecvența măsurată și constanta pe care am calculat-o din specificațiile producătorului;
void loop() {
/*
* pulseIn(pin, value, timeout):unsigned long(int, int, optional unsigned long)
*/
X = pulseIn(sensor_input, HIGH); //[microSec] = [10E-06 Sec]
Y = pulseIn(sensor_input, LOW); //[microSec]
TIME = 2 * float (X + Y); //rotation period
if (TIME > 0) {
FREQUENCY = 1000000/TIME; //F=1/T [Hz]
AIR_DEBIT = FREQUENCY/3.0385; //[m^3/Sec] – 3.0385 constanta
// LS = AIR_DEBIT/60;
printăm rezultatele cu Serial.print, atât valorile variabilelor X și Y, cât și valoarea frecvenței măsurate, respectiv al debitului de aer;
Serial.print("X = ");
Serial.print(X);
Serial.print(" ; Y = ");
Serial.print(Y);
Serial.print(" ; FREQUENCY = ");
Serial.print(FREQUENCY);
Serial.print(" ; AIR_DEBIT = ");
Serial.println(AIR_DEBIT);
}
delay(1000); //wait 1 Sec
}
Rezultatele afișări variabilelor se pot vedea în figura 3.20. unde ne sunt afișate atât lungimile variabilelor X și Y, corespunzătoare celor două stări logice de 1 și 0, cât și valorile instantanee calculate ale debitelor exprimate în . Să putem capta debitul de aer care trece printr-un grilaj, construim un trunchi de con din placaj, având la bază dimensiunile de 600mmX 600mm, corespunzătoare dimensiunilor grilajelor. În partea de sus al trunchiului de con dimensiunile sunt de 120mmX120mm, exact cât sunt dimensiunile ventilatorului să putem capta tot debitul și să îl forțam prin ventilatorpentru măsurare(figura3.21.).
Figura 3.20. Afișarea rezultatelor variabilelor citite
Figura 3.21. Desen cu trunchiul de con realizat pentru canalizarea aerului
Figura 3.22. Debitmetru construit cu ajutorul plăcii de dezvoltare arduino
Tabel 3.4. Valorile debitelor măsurate pe suprafețele grilajelor
În figura 3.22. vedem tot sistemul asamblat folosit la măsurarea debitelor grilajelor. Așezăm aparatul pe rând deasupra fiecărui grilaj prin care trece aerul. În total sunt montate zece astfel de grilaje în podeaua înălțată, distribuite pe două rânduri în fața rack-urilor. Valorile s-au citit după ce turația ventilatorului s-a stabilizat, cam după un sfert de oră de la montare pe poziție, în momentul în care nu mai erau variații ale valorile afișate. Rezultatele valorilor astfel citite sunt trecute într-un tabel(tabel 3.4). Adunăm valorile colectate pentru a afla debitul total real măsurat care intră în incinta serverelor și rezultă că avem un debit total util de aer rece de 1,95 , ceea ce inseamna un debit de 7020 . Dacă comparăm această valoare măsurată cu specificațiile unităților de aer HVAC Uniflair TDAR0611(vezi tabel 3.3.), vedem că debitul de aer ce iasă dintr-o astfel de unitate este de 5740 . În momentul măsurătorilor au funcționat simultan trei din cele patru unități de aer. Astfel în circuit s-au introdus 17220 și devin utili doar 7020 .
Luăm în considerare că valorile de debit date de producător sunt valori ideale, măsurate în condiții ideale unde filtrele de aer erau perfect curate și de o calitate superioară, iar densitatea aerului era la 1,293, la temperatura de referință de 20°C, comparativ cu conditiile din Datacenter care nu sun cele ideale. Din literatura de specialitate aflăm că între cazul ideal și cel real avem o diferență medie de 20%. În cazul nostru debitul real ajunge să scadă la 13776 Dacă scădem din valoarea teoretica a debitului de aer produs de cele trei unități de răcire care funcționează simultan, valorile măsurate cu ajutorul debitmetrului, observăm că avem o pierdere de 6756. Acesta este echivalentul unei pierderi de 49%, rezultând că sistemul este total ineficient. Doar 51% din debitul produs de unitățile de aer ajung să fie dirijate prin grilaje în fața serverelor pentru a le răci.
Literatura de specialitate în sisteme de răcire denumește acest delta ca fiind Delta C și reprezintă diferența, sau delta-ul dintre debitul de aer produs de ventilator, exprimat ofcial în CFM și cel măsurat la capătul util. Ce rezulta este pierderea, ineficiența sistemului. Acesta este Delta C. Am calculat că Delta C=49%. Aceste condiții reale trebuie să le reproducem într-un mediu 3D, după care să încercăm găsirea de soluții viabile de îmbunatățire atât în cazul uniformizării temperaturilor de răcire cât și în dirijarea eficienta fără pierderi majore. Astfel scade costul răcirii unităților pe de o parte și ne dă posibilitatea măririi putetii de calcul fară a fi nevoie să adaugăm unități de răcire.
Figura 3.23. Ventilatorul acționat de aerul captat de pe grilaj
4. MODELAREA 3D ȘI SIMULAREA CONDIȚIILOR EXISTENTE
4.1. Modelarea 3D al Datacenterului
Componentele principale în sala de servere de la INCDTIM sunt cele patru unități de răcire și nouă rack-uri de servere care sunt aranjate în două rânduri paralele. Cele doua rânduri de rack-uri de servere sunt orientate față în față. Modelul 3D este generată în Catia V5. Dimensiunile camerei server sunt de 4,8× 5,4 × 2.55 m.
Geometria este ilustrată în figura 4.1. Este simplificată presupunând că unitățile HVAC(Figura 4.2) și toate rack-urile de servere sunt cutii dreptunghiulare.
Toate celelalte componente din camera serverului, cum ar fi cablurile, sunt neglijate. De asemenea, se presupune că nu există spațiu între componente și pereții adiacenți. Toate componentele sunt modelate ca și "cutii negre”.
S-a modelat podeaua înălțată și grilajele din podea. Podeaua este înălțată la o înălțime de 45cm față de pardoseală. În figura 4.3 vedem modelul 3D al podelei înălțate în cadrul căruia sunt modelate și treptele din fața ușii. Se pot vedea locurile unde cele patru unități de aer șuflă aerul sub podea. În modelul podelei înălțate putem vedea și locul unde vin montate cele doua rânduri de grilaje. În total sunt zece grilaje cu dimensiunea de 600x600mm(figura 4.4).
Figura 4.1.1. Vedere de sus model 3D Datacenter
Figura 4.1.2. Vedere rack-uri modelate in Catia V5
Figura 4.2. Model 3D unitate de răcire și Rack pentru servere
Figura 4.3. Model 3D al podelei înălțate
Figura 4.4. Grilaj de direcționare aer
Este esențială păstrarea simplității în geometria modelată pentru că o geometrie complicată și exagerat de detaliată nu numai că nu ajută deloc în calcularea și simularea proceselor termice și fizice, dar o și îngreunează. Cu cât avem mai multe suprafețe, cu atât avem nevoie de putere mai mare de calcul și de timp în care calculele sunt efectuate de către servere. Rezultatul final însă nu este influentad de o geometrie simplificată. Pentru a putea exporta modelele geometrice în Ansys CFD trebuie să salvăm aceste modele în altă extensie decât extensia sub care salvează Catia(.CATProduct sau .CATPart).
Avantajul softului de modelare Catia este că permite salvarea geometriilor sub alte formate. Ar fi fost mai ușor dacă geometriile ar fi fost modelate în PTC Creo de exemplu, pentru că Ansys-ul are modul de import al geometriilor din Creo, dar s-a optat pentru Catia pentru că sunt mai familiarizat cu acest soft. S-a încercat exportarea geometriilor în mai multe formate din Catia, cum ar fi .stp, .stl, dar cel mai ușor s-a putut lucra în Ansys cu geometriile salvate cu extensia .igs.
4.2. Pregătirea geometriei și mesh-ul (“ochiul de plasă”)
Geometria este generată în ANSYS DesignModeler. Este simplificată toată geometria doar la dreptunghiuri presupunând că unitățilede aer și toate rack-urile de servere sunt cutii dreptunghiulare. Celelalte componente din camera serverului, cum ar fi cablurile, sunt neglijate. De asemenea, se presupune că nu există spațiu între componente și pereții adiacenți.
Fluxul de aer din interiorul unităților HVAC și al rack-urilor serverelor nu se ia în considerare. În modulul de geometric cu spațiul de sub podea(figura 4.5) și un model cu incinta Datacenterului(figura 4.6.).
Figura 4.5. Model simplificat în GeometryModeler al spațiu de sub podea(plenum cu presiune ridicată)
Figura 4.6. Model simplificat în GeometryModeler al spațiului din Datacenter
S-a dovedit necesară împărțirea în două părți distincte al modeluli geometric inițial, pentru a ușura simularea condițiilor fizice separat în cele două spații. Modelul inițial a fost mult prea complicat de simulat și puterea de calcul a fost depășit. Am încercat acest lucru, dar modelul matematic pe care ar fi trebuit să îl rezolve și meshul (“ochiul de plasă”) au fost aproape imposibil de rafinat în așa fel încât trecerile dintre suprafețele mari și cele cu dimensiuni mici să poată fi optimizat ulterior pentru calcule.
În plus, chiar daca Ansys CFD 17.1 este instalat și rulează pe un server performant care are 128Gb memorie RAM și două procesoare Xeon de ultima generație având fiecare câte 8 core-uri, analiza și simularea s-au dovedit a fi mult prea grele de făcut. Din această cauză am realizat două geometrii diferite al celor două spații existente. Practic simularle nu sunt afectate, și se pot rula într-un timp mult mai scurt.
În GeometryModeler trebuie definite zonele de interes, denumite în Ansys “Named Selection”. De fapt, se selectează suprafețele la care se vor aplica anumite condiții termice sau presiuni și se dau nume sugestive(ex. Inlet Aer, Outlet Grilaje sau Ușa Rack) pentru a putea fi regăsite ușor în momentul când pe aceste suprafețe se pun condițiile fizice necesare simulării. Următoarea fază de pregătire presupune „umplerea” spațiului gol din cele doua modele cu „aer”. De fapt se crează încă un part solid care este negativul spațiului care va juca rolul de aer. Acestui solid i se vor atribui mai târziu proprietățile fizice ale aerului(exemplu în figura 4.7).
Figura 4.7. Modelul „Aerului” din Datacenter
Figura 4.8. Exemplu de mesh de diferite dimensiuni realizat pe modelul grilajelor
Se trece la pregătirea mesh-ului. Trebuie să aflăm la început mai multe despre discretizare și mesh(“ochiul de plasă”). Întotdeauna se începe cu geometria. În CFD (Compulational Fluid Dynamics)se știe cât de important este rolul geometriei într-o simulare și, de exemplu, că trebuie să avem o așa numită geometrie curată. Astfel, pentru a ne asigura că avem o geometrie și un mesh cât mai curat, trebuie să urmăm câțiva pași:
primul pas în analiză necesită pregătirea geometriei pentru mesh-uire. Acest lucru necesită adesea curățarea modelului CAD, prin eliminarea marginilor mici, prin îmbinarea fețelor într-o singură piesă, eliminând astfel ansamblurile realizate din multe piese separate. În figura 4.8 vedem în detaliu structura mesh-ului din zona grilajelor. Dimensiunile mesh-ului tetraedric crește treptat de la 10mm pe suprafețele cu muchii mici, până la câțiva centimetrii în zonele cu suprafețe mari.
se realizează mesh-uri separate pentru fiecare model în parte, astfel avem patru în total. Cele două volume cu spațiile de sub podea și în Datacenter, respectiv încă două volume reprezentând „aerul”din interiorul celor două încăperi. Figura 4.9 și 4.10. ilustrează meshurile de diferite dimensiuni care au fost create în zonele în care sunt multe muchii. De asemenea, arată faptul că , pentru această geometrie, poate fi utilizat un singur corp la model pentru a crea o țesătură tetraedrică evitandu-se ansamblele geometrice pentru simplitate și ușurință în simulare.
Figura 4.9. Detaliu cu mesh-uri de diferite dimensiuni necesare în zonele cu multe muchii
Figura 4.10. Mesh-ul tetraedric rezultat pentru camera serverului
utilizăm „named selection”-urile(zone la care se vor pune condiții fizice pentru simulare)create în secțiunea de geometrie pentru a grupa caracteristicile de interes, cum ar fi corpurile și fețele, care sunt folosite pentru a defini orificiile de intrare al aerului, ieșirile prin grilaje, pereții rack-urilor sau alte zone de pe care se vor colecta date. Utilizarea facilitații „named selection” este foarte utilă pentru a defini rapid suprafețele în vederea simulărilor și vizualizării în timpul postprocesării. atentie sa nu avem elemente de proporții mari. Verificam suplimentar calitatea ochiurilor cu ajutorul solverul ales si prin utilizarea CFD-Post pentru plotarea izo-volumelor.
folosim cu atenție setările pentru rata de creștere al mesh-ului. O rată de creștere implicită de 1,2 este acceptată în general în analizele CFD, dar în cazul de față a creat prea multe elemente și un model mult prea complicatde rezolvat, de aceea, prin încercări mulriple am ajuns la o rată de creștere rezonabilă de 1,5 de a crește treptat volumul celulelor și de a permite totuși softului să redea dinamica fluxului în mod corespunzător. Modificările minore în setarea ratei de creștere al mesh-ului pot avea un impact mare asupra numărului total de celule ale ochiului de plasă!
În această etapă totul se rezumă la găsirea echilibrului optim între o geometrie funcțională, un mesh care are să nu aibă nici prea multe elemente, să nu îngreuneze în mod nejustificat procesul de calcule, dar totuși să permită suficiente iterații astfel încât să ducă la un rezultat corect.
4.3. Stabilirea condițiilor impuse suprafețelor(boundary conditions)
Pereții, podeaua și tavanul se presupun a fi suprafețe adiabate. Se consideră că aceste suprafețe nu permit schimbul de căldură cu exteriorul și nu preiau din căldură. De asemenea, se presupune că nu există nicio scurgere termică. Modulul de analiză Fluid Folw(Fluent) este folosit din Ansys CFD 17.1 pentru a simula amprenta termică și pentru modelul transferului de căldură. Tot în acest modul se rezolvă și modelui „curgerii” aerului. Unitățile de aer HVAC furnizează aer cu un debit de 17220(totalul celor trei unități care funcționează simultan), la o viteză de 0,7 m/s și o temperatură de 21°C. Debitul de aer trebuie menținut constant între orificiul de intrare și ieșirea din unități. Localizarea condițiilor de intrare și ieșire la o unitate HVAC este ilustrată în Figura 4.12. În figurile 4.11, 4.13, 4.14. vedem suprafețele pe care se aplică condițiile fizice rezultate din calcule și din colectarea datelor inițiale.
Figura 4.11. Suprafețele definite ca massflow inlet(definite la spațiul de sub podea)
Figura 4.12. Condiții impuse pentru unițătile de aer
Figura 4.13. Ieșirile grilajelor definite ca presure outlets(spațiul de sub podea)
Figura 4.14. Suprafețele rack-urilor pe care s-au impus condiții de temperatură
4.4. Calcule și dimensionări
4.4.1. Ecuațiile de bază folosite de Ansys CFD
Ecuațiile de guvernare ale mecanicii fluidelor sunt legile de conservare pentru masă, moment și energie. Aceste ecuații pot fi declarate în formă diferențială sau integrală prin aplicarea legilor de conservare al unui punct sau a unei regiuni din fluidul respectiv. Forma diferențială a ecuațiilor descrisă aici. Fluidul este considerat a fi unul continuu și toate proprietățile fluidului sunt funcții de spațiu și timp.
În Ansys CFD aerul este tratat precum un gaz ideal, legea ideală de gaz este folosită pentru a calcula densitatea, iar capacitatea specifică de căldură poate fi cel mult o funcție de temperatură. Ecuația de continuitate pe care se bazează este:
(2,4)
unde u este viteza fazei (x,y,z). Indicele reprezintă axa x, y sau z.
Numărul lui Reynolds este un număr al importanței relative a forțelor de inerție și a forțelor în mecanica fluidelor utilizată pentru a ajuta la prezicerea tiparelor de curgere în diferite situații de curgere a fluidului.
Este exprimată ca:
(2,5)
ρ este densitatea fluidului (unități SI: kg / m3)
u este viteza fluidului în raport cu obiectul (m / s)
L este o dimensiune liniară caracteristică (m)
μ este vâscozitatea dinamică a fluidului (Pa · s sau N · s / m2 sau kg / m · s)
ν este vâscozitatea cinematică a fluidului (m2 / s).
4.4.2. Calcularea datelor de intrare pentru condițiile impuse în analiza CFD
Softul de analiză folosește în loc de debit de aer[], fluxul de masa(massflow) exprimat în []. Facem transformările și calculele cunoscând debitul introdus în sistem de 17220, sau 4,78[], densitatea aerului de 1,2 aflat la temperatura de 21 °C.
17220[]⸱1,2[]=20664[] (2.13)
Rezultatul este exprimat în[ , îl transformăm în ,
20664[] / 3600[s]=5.72[] (2.14)
Obținem astfel datele pe care le introducem ca intrare pentru unitățile de aer: massflow 5.72[], temperatura de 21 °C, adică 294°K și o viteză de 0,7m/s sau 2,51km/h.
4.4.3. Calcule de dimensionare a componentelor mecanice principale. Plenumul(spațiul de sub podea)
În secțiunea de planșe al proiectului putem vedea desenul de ansamblu al spațiului de sub podea(pagina 105), unde avem dimensiunile componentelor sistemului de ghidare al aerului.
Trei factori sunt luați în considerare pentru dimensiunea optimă a plenumului: debitul individual de aer din fiecare grilaj montat în podea, nivelul de uniformitate a debitelor de aer între grilaje datorită ineficiențelor sistemului de ghidare al aerului și temperatura aerului de admisie în partea superioară al rack-urilor, la 2 m deasupra podelei ridicate. Rezultatele arată că plenumul ridicat cu înălțimea de 500-600mm sau mai mare a avut cele mai uniforme debite de aer prin grilaje și temperatura cea mai uniformă în partea de sus a rafturilor.
Constatările indică, de asemenea, că uniformitatea presiunii statice din interiorul plenumului crește cu înălțimea plenului. Rezultatele curente arată că plenumurile centrelor de date cu o înălțime cuprinsă între dimensiunile 500mm-1000mm sunt cea mai bună opțiune bazată pe considerentele termo-dinamice. In cazul nostru, podeaua este ridicată la o înălțime de 600mm. Dimensiunile spațiului sunt de 5330mm lungime, 4800mm lățime respectiv 600mm înălțime. Avem deci un volum de 15,35 cu presiune ridicată pe care trebuie să îl scoatem prin cele zece grilaje care au o suprafață de 3,6 .
4.4.4. Calcule de dimensionare a sistemului de acționare. Debitmetrul de aer
Pentru măsurarea debitelor de aer cu debitmetrul descris în subcapitolul 3.3. facem calculele și transformările necesare pentru ca programul să ne afișeze valori corecte.Facem calculele necesare. Avem nevoie să stabilim relația directă înte debitul de aer pe care vrem să îl măsurăm și celelalte două valori pe care le cunoaștem: viteza cu care se învârt palele ventilatorului și diametrul lor. Formulele de bază pentru debitul(Q) sunt următoarele:
= = (2,6)
unde V este viteza exprimată în [] și t este timpul în [s].
Particularizăm formula debitului și ajungem la o formă pe care o putem folosi cu datele pe care le avem:
(2.7)
de unde rezultă că:
(2.8)
A[] este aria suprafeței ventilatorului, și se calulează cu formula:
(2.9)
Știm diametrul cercului ca este de 120mm(0,120m), astfel calculăm aria cercului:
(2.10)
Debitul ventilatorului este după specificațiile producătorului la o turatie de 1400 de 70,6788 ](transformat din 41,6 ). Aria cercului este de 0,376. Astfel putem calcula debitul citind viteza relativă pe care o are ventilatorul la un moment dat, pe care îl înmulțim cu aria cercului care este constantă(formula 1.14).
Pentru acest lucru ne folosim de senzorul de turație menționat mai sus. Știm că la o rotație de 360° senzorul trece din 0 logic in 1 logic de două ori. De aici rezultă că două impulsuri de 1 logic și două impulsuri de 0 logic sunt egale cu o rotație în jurul axei.
(2.11)
T este perioada. Deci frecvența f este(vezi graficul din figura 3.18.):
(2.12)
4.4.5. Calcule tehnologice pentru un reper mecanic. Grilajul
Centrul de date are o suprafață totală de 26 cu două rânduri cu nouă rafturi de servere standard și zece grolaje cu dimensiunile de 600x600mm amplasate strategic pentru fiecare rack de servere pentru a asigura capacitatea necesară de răcire. Modelul definește serverele ca surse de căldură cu debitele lor corespunzătoare de aer și fiecare grilaj este definit ca și o rezistență plană cu o porozitate de 47%. Selectarea grilajelor deschise în proporție de 47% se bazează pe experiență. Încărcarea maximă a fiecărui rack este de 10kW putere calorică cu o încărcare maximă de căldură de 900 kW căldură pentru tot Datacenterul. O unitate standard HVAC furnizează o capacitate de răcire necesară pentru centrul de date și este setată la 21 °C.
Calculăm aria grilajelor știind că avem 10 grilaje, fiecare având o dimensiune de 600x600mm. Aria grilajelor prin care trece aerul din plenum în camera serverelor este de:
=> A=600⸱600=360000 (2.15)
Înmulțind rezultatul cu 10 bucăți de grilaje obținem o suprafață prin care intră aerul de:
(2.16)
Astfel știm că prin această suprafață de 3,6 va trebui să treacă un debit de aer de 7020, valoare măsurată la punctul 3.3 al lucrării.
Fiecare dulap de servere generează o căldură de 10 kW/h, cu un debit de 0,45 m3/s. Acestea sunt date din catalog presupunănd că toate rack-urile sunt complet populate cu servere. Serverele trebuie menținute la o temperatură care să se încadreze între 18-23°C, conform normativelor în vigoare(vezi Tabel 1.1. Clasele A1 până la A4 al temperaturilor și umidităților recomandate de ASHRAE). Ieșirile grilajelor sunt definite ca ieșiri de presiune(pressure outlet) fără alte constrângeri pentru că Ansys-ul ne calculează presiunea de ieșire și viteza aerului, respectiv temperatura. Temperatura de la gura grilajului trebuie menținut între 14-17°C pentru a asigura temperatura minimă necesară răcirii serverelor.
4.4.6. Definirea parametrilor geometrici și toleranțelor pentru un reper mecanic. Grilajul
Dimensiunile grilajului exprimate în mm:
Detaliu cu dimensiunile lamelelor grilajelor
Vederea isometrică al grilajului:
4.5. Simularea condițiilor actuale în ANSYS CFD
În secțiunea din softul de analiză în care se introduce numărul de procesoare pe care rulăm calculele, se definesc 16 CPU și o placă grafică GPU ca resurse folosite. În figura 4.15. vedem serverul pe care s-au rulat aceste simulări în Ansys.
Serverul are o configurație de două procesoare Xeon 5400 cu 4 Core-uri fiecare la o frecvență de 3,33GHz și 128GB memorie RAM. Sistemul de operare este Windows Server 2012 R2.
Figura 4.15. Serverul Ansys 17.1 model HP ProLiant BL460c
Figura 4.16. Simularea fluxului de aer în Datacenterul INCDTIM
Dorim să comparăm rezultatele simulărilor din Ansys cu cele măsurate anterior fizic în încăpere. Dacă cele două coincid, putem trege concluzia că modelul virtual este corect realizat și mai departe putem folosi acest model pentru simularea condițiilor noi în care dorim să aducem îmbunătățiri modelului inițial. Nu există o diferență semnificativă în fluxul de aer care trece prin rack-uri atunci când ele sunt modelate ca patru suprafețe. Culorile fluxurilor reprezintă viteza aerului reprezentate pe scala de viteză. Direcția fluxului prin rack-urile serverului este de la grilaje spre returul unităților de aer. Direcția fluxului de aer în spațiul de sub podea pleacă de la gurile de aer ale unitarilor HVAC înspre grilajele prin care este forțat să iasă și direcționat spre servere.
Se pot astfel observa curgerile de aer și zonele unde apar turbulențe, zone care trebuie îmbunătățite pentru a crește eficiența. În figura 4.16. vedem că cea mai mare parte a aerului rece furnizat de unitățile HVAC nu ajunge la rackurile serverelor, ci este pur și simplu împins spre tavan. După aceea, la nivelul tavanului apar turbulențe care perturbă și mai mult fluxul de aer. Mai putem observa că din tavan aerul rece tinde să „curgă” spre partea din spate ale reck-urilor și să coboare spre podea pentru că nu mai are loc unde să meargă, formând alte zone de turbulențe unde nu mai circula aerul. Din grilaje aerul rece este direcționat spre servere la un unghi de 45°, care ajută să nu fie împins direct spre tavan, dar nu este suficient acest lucru.
În figura 4.17. observăm că în lipsa unor deflectoare montate în partea de sus al rack-urilor, aerul este pur și simplu suflat spre tavan. Ineficiența este clar dovedită prin faptul că aerul nu poate fi absorbit în totalitate(cazul ideal) de ventilatoarele serverelor din dulapurile de echipamente(rack-uri). Problemă des întâlnită din cauza lipsei unor deflectoare care să preia aerul rece și să îl direcționeze spre gurile de admisie al aerului serverelor. Viteza aerului scade treptat de la gurile de aer spre tavan, după care începe să crească din nou în apropierea admisiilor unităților de aer unde este absorbit de ventilatoare(figura 4.18) pentru a fi răcit și evacuat înapoi în plenum.
Figura 4.17. Vedere din față al simulării fluxului de aer
Figura 4.18. Viteza aerului în zona de absorbție al ventilatoarelor unităților de aer
Dacă analizăm rezultatul simulărilor aplicate zonei de sub podea(plenum cu presiune mai mare decât presiunea din incinta serverelor), observăm imediat de ce avem o ineficiență atât de mare. Rezultatele arată că aerul în zona treptelor tinde să aibă o curgere turbulentă care deranjează mult fluxul de aer care iasă prin grilaje. In figura 4.19. cele doua săgeți ne indica zonele cu probleme în cele două colțuri de lângă scări. Un efect imediat al acestor turbulențe este că la cele două grilaje care sunt în imediata apropiere a scărilor nu mai avem un flux de aer corespunzător, la fel cum avem la următoarele grilaje după cum se poate observa foarte ușor în imaginea cu rezultatul simulării.
În figura 4.20. observăm că din cauza înălțimii mici(450mm) al podelei față de planșeul clădirii, aerul rece este pur și simplu suflat cu putere spre planșeu unde crează turbulențe puternice care duc la scăderi semnificative de viteză. Amplasarea unor deflectoare care să dirijeze aerul spre încăpere și astfel să împiedice formarea zonelor turbionale rezolva ușor problema din această zonă. Analizând culorile din imagine vedem cu ușurință că se crează zone albastre cu viteze mici de deplasare al aerului de la ieșirea din unitatie de aer tocmai din cauza faptului că tot aerul este suflat în podea. Este foarte important să direcționăm corect aerul de la ieșirea din unitățile de aer pentru a asigura o curgere fără perturbatii al aerului, astfel asigurăm un flux constant de aer, altfel avem pierderi foarte mari care adunate duc la consum mare de energie și randament foarte scăzut.
Din analiza rezultatelor observăm că vitezele de aer rece sunt cele mai mari în zona de mijloc al grilajelor, în loc să fie dispersată uniform spre toate grilajele. Acest lucru se datorează tocmai din cauza faptului că în colțurile incăperii și in zona perimetrală sunt create turbulențe foarte mari care canalizează tot aerul spre grilajele din centru(figura 4.21.). Acest lucru apare și din cauza lipsei unor tubulaturi care ar fi trebuit montate sub podea care să canalizeze aerul direct spre grilaje, fară a mai umple tot spațiul înainte. Astfel, sub podea avem două zone cu probleme:
zone cu turbulențe de sub unitățile de aer;
zonele cu turbulențe din zona scărilor unde aerul nu mai circulă deloc(apare pungă de aer);
Figura 4.19. Simularea fluxului de aer sub podeaua înălțată(plenum cu presiune ridicată)
Figura 4.20. Turbulențele la iesirile din HVAC
Figura 4.21. Reprezentarea vitezelor aerului la ieșirile prin grilaje
Al doilea aspect analizat a fost distribuția aerului în încăpere. Observăm în imaginea din figura 4.22. zonele fierbinți ale încăperii, zone în care trebuie dirijat mai bine fluxul de aer pentru a împinge aceste pungi de aer fierbinte din spatele dulapurilor cu servere. Se vede foarte clar, că în zona din spatele rack-urilor 3 și 4 avem o pungă de aer fierbinte care trebuie rezolvată. Dacă comparăm zonele cu aer cald simulate în Ansys cu măsurătorile temperaturilor realizate anterior, venem că avem aproximativ aceleași rezultate. Se vede acest lucru comparând figura 4.22. cu figura 4.23. în care sunt reprezentate valorile temperaturilor înregistrate.
Figura 4.22. Evidențierea zonelor cu aer fierbinte
Figura 4.23. Valori de temparatură măsurate în spatele rack-urilor 3 și 4
Figura 4.24. Vedere de sus cu evidențierea vitezelor aerului și al turbulențelor
În figura 4.24. se văd clar turbulențele de aer care sunt prezente atât în zona rack-urilor de servere cât și în zona de absorbție ale unităților de aer HVAC, turbulențe care împiedică absorbirea în totalitate al aerului fierbinte acumulat în zona tavanului fals al încăperii.
4.6. Concluziile rezultatelor inițiale
Programului de calcul i s-au impus inițial o sută de iterații pentru a vedea dacă valorile reziduale de calcul o să aibă o tendință de convergență. Cele o sută de iterații nu s-au dovedit a fi suficiente, astfel s-au repornit calculele cu 500 de iterații. De această dată de la 120 de iterații valorile reziduale au devenit liniare, fără modificări de traiectorie(figura 4.25.). Acest lucru indică corectitudinea calculelor, astfel s-au oprit calculele la 125 de iterații, ne mai fiind nevoie de cele 500 de iterații propuse inițial.
Valorile reziduale plotate în grafic se referă la patru valori:
• continuity, se referă la relațiile dintre calculele făcute pe fiecare formă geometrică tetraedrică de-a lungul întregului mesh;
• x-velocity, se referă la calculele vitezei aerului pe axa x;
• y-velocity, se referă la calculele vitezei aerului pe axa y;
• z-velocity, se referă la calculele vitezei aerului pe axa y;
Figura 4.25. Graficul plotat cu convergeța valorilor reziduale
Rezultatele studiului de convergență al mesh-ului(ochiului de plasă) au fost cele dorite. Date despre dimensiunea mesh-ului vedem în tabelul 4.1. Numărul de elemente este foarte mare în condițiile în care s-a simplificat foarte mult forma geometrică al Datacenterului. Pentru mesh-ul solidului avem un numar de 17269114 de elemente. Pentru aer au rezultat 21921880 de forme tetraedrice. Numărul acestora este important deoarece fiecărei forme geometrice i se vor aplica condițiile fizice specifice și se vor efectua calculele aferente, rezultând un volum uriaș de calcule. Rezultatele astfel obținute pentru o dimensiune a celulei tetraedrice setate , au reprodus cu fidelitate situația existentă în Datacenter. Au existat probleme de convergență atunci când dimensiunea celulei a scăzut la o valoare mai mică de 5 cm. Ar fi fost de dorit să se ajungă la o convergență mai fină a ochiurilor. Cu toate acestea, ca urmare al limitărilor resurselor de calcul disponibile, rezultatele obținute se pot considera satisfăcătoare pentru a putea trece mai departe la îmbunătățirea geometriilor în zonele cu probleme, și simularea lor pentru a vedea dacă rezultatele îmbunătățesc situația actuală.
Tabel 4.1. Raport mesh
Datorită naturii complexe a fluxului de aer din interiorul centrului de date, o parte din aerul fierbinte din punctele de evacuare ale serverelor au fost recirculate în intrările altor servere. Acest lucru dăunează mult calității aerului absorbit de servere, deoarece în loc să absoarbă aerul rece de la gurile de aer la o temperatură de 15-16°C, la ieșire rezultând o temperatură rezonabilă de 22-24°C, ajunge să absoarbă aerul cald degajat de alte servere, astfel având temperaturi de evacuare care ating și 28°C. Diferențele costurilor răcirii se văd în puterea necesară compensării acestor diferențe de temperatură de 3-4°C.
Un motiv pentru costul suplimentar a sistemelor de răcire este amestecul de aer rece cu aerul fierbinte recirculat la intrare, așa cum am descris cazul nostru mai sus. Pentru a oferi o temperatură de admisie acceptabilă pentru toate serverele, temperatura de aer furnizată trebuie redusă mult, ceea ce deseori crește costurile. Temperatura aerului rece a fost un parametru care a influențat fluxul de aer. Odată cu creșterea temperaturii aerului rece, indicele a scăzut și utilizarea energiei, indicele ηr a crescut. În timp ce temperatura era peste 17 ° C, indicele ocupa o regiune stabilă, indicând un consum decent de energie electrică care este legat de transferul de căldură în serverele din centrul de date.
Amprenta vitezelor aerului într-un plan Z este prezentat în Figura 4.26, care indică suprafețele din spatele și fața serverelor din rack-urile R5-R9. La fel observăm în figura 4.27. vitezele corespunzătoare rack-urilor R1-R4. Din simularea CFD se prezintă o distribuție neuniformă al valorilor în fluxul de aer care iese prin grilaje, iar temperatura șasirilor serverelor cresc din partea de jos spre tavanul camerei, fiind o distribuție a temperaturii care variază de la 15°C până la 25-27°C.
În tabelul 4.2. vedem un raport cu condițiile fizice care s-au impus suprafețelor care sunt importante pentru a putea calcula. Grilajele din modelul Datacenterului s-au definit ca Velocity-Inlet, pentru a putea impune condițiile fizice de viteză calculate în capitolul 4.4. La fel s-a procedat și cu gurile de admisie ale unităților de arer care s-au definit ca pressure-outlets.
Tabel 4.2. Raport cu condițiile fizice impuse celor două domenii aer-solid
Figura 4.26. Amprenta vitezelor aerului din fața și spatele rack-urilor din dreapta Datacenterului
Figura 4.27. Amprenta vitezelor aerului din fața și spatele rack-urilor din stânga Datacenterului
În urma alizei amprentei termice reprezentate în figurile 4.26. și 4.27. putem concluziona că este obligatoriu să putem împinge aerul fierbinte din spatele celor două rânduri de servere. Trebuie să găsim o soluție cu care să punem în mișcare această masă de aer, după care să o canalizăm spre gurile de admisie ale unităților de răcire. În ce privește optimizarea fluxului de aer de sub podea, trebuie găsite tubulaturile necesare canalizării aerului direct spre griljele din podea, fără a mai exista pierderi și turbulențe.
5. MODELE DE ÎMBUNĂTĂȚIRE AL FLUXULUI DE AER
5.1. Propunerea soluțiilor de îmbunătățire
Trebuie să optimizăm curgerea debitului de aer de la ieșirile unităților HVAC până la grilajele din podea prin canalizarea aerului. Trebuie să evităm folosirea pe cât posibil al coturilor, al spliterelor, pentru că altfel creștem șansele de a crea turbulențe. Din aceste considerente proiectăm o structură simplă dar eficientă. Mai avem de rezolvat “punga” de aer fierbinte din spatele dulapurilor cu servere. Aici, aerul fierbinte care este evacuat de ventilatoarele serverelor, rămâne după cum am văzut în figura 4.22. staționar, fluxul de aer creat de unitățile de răcire ale serverelor neavând suficientă putere să pună în mișcare masa respectvă de aer. Acest lucru se poate rezolva prin două metode:
-prin absorbția aerului respectiv cu ajutorul unor tubulaturi și ventilatoare;
-prin crearea unui flux de aer suplimentar, canalizat în spatele rackurilor, care să iasă printr-o fantă din podea și să creeze un curent de aer care să ajute la împingerea aerului cald spre tavan ;
În incinta Datacenterului trebuie să rezolvăm problema pungilor de aer fierbinte din spatele rack-urilor prin captarea și ducerea lor spre intrarea unităților de aer rezolvând astfel recircularea lui. Pornim de la modelul 3D inițial și modelăm în Catia soluțiile propuse.
5.2. Modelarea soluțiilor propuse
Prima dată am adus îmbunătățiri modelului 3D al spațiului de sub podea. În figura 5.1. este reprezentat modelul realizat în Catia. Sunt evidențiate cu culoarea albastră cele două deflectoare, unul proiectat imediat sub unitățile HVAC pentru a direcționa aerul înspre grilaje, al doilea deflector montat la capătul scărilor pentru a devia aerul spre ieșire. Aceste deflectoare având raza de 500mm, au fost montate cu scopul de a rezolva problema turbulențelor create prin ricoșarea aerului din podea în pereții laterali(vezi figura 4.20).
Cu culoarea neagră sunt ilustrați pereșii laterali care canalizează aerul rece spre grilaje. S-au proiectat două duze de aer în spatele ambelor rânduri de rack-uri(evidențiate cu culoarea albastru închis în figura 5.2.), care cu ajutorul unor tuburi captează o mică cantitate de aer, dar suficientă să pună în mișcare masa de aer cald din spatele dulapurilor și să o împingă spre tavan. Toate aceste modificări se pot realiza fizic dintr-o multitudine de materiale cum ar fi placajul, sau poliesterul extrudat. Ambele materiale sunt ușor de prelucrat și oferă o rigiditate ridicată precum și o etanșare bună. Avantajul plăcilor de poliester extrudat este că oferă și izolare termică. Aceste materiale, dublate cu folii de aluminiu sunt des folosite în construirea tubulaturilor instalațiilor de climatizare. Aceste plăci se lipesc ușor între ele, asigurând astfel etanșeitatea sistemului.
Modificările aduse spațiului de sub podea, deși simple la prima vedere, aduc beneficii mari în optimizarea sistemului deoarece aici avem o ineficiență mare în ceea ce privește direcționarea aerului rece spre grilaje. Costurile acestor îmbunătățiri sunt relativ mici, aceste plăci de poliester extrudat sunt ieftine, montarea lor nu necesită personal calificat specializat în domeniul sistemelor de aer condiționat. Utilizăm din nou softul de modelare și simulare al curgerii fluidelor pentru a evidenția rezultatele modificărilor aduse.
Figura 5.1. Modelul reproiectat al spațiului de sub podea
Figura 5.2. Deviere debit aer spre spatele rack-urilor
Urmează să aducem îmbunătățiri modelului încăperii cu servere. Aici, cum am menționat la punctul anterior, trebuie să rezolvăm prioritar captarea aerului fierbinte din spatele serverelor. Ne folosim de spațiul pe care îl avem în tavanul fals al încăperii, unde avem un gol de 300mm. În acest spațiu putem ascunde tubulaturile. La gurile de intrare înlocuim plăcile de casetare cu grilaje. Tubulaturile se pot realiza tot din materialele descrise anterior pentru spațiul de sub podea. Coborâm 500mm cu tubulatura din tavan să ne apropiem cât mai mult de partea superioară al rack-urilor. Cu aceste îmbunătățiri rezolvăm captarea fluxul de aer din spatele rack-urilor ajutați și de aerul care a fost dirijat prin podea în spatele serverelor.
În figura 5.3. vedem tubulaturile proiectate care vor fi montate în tavanul fals(evidențiate cu culoare galbenă). Avem astfel două guri de aspirație în spatele ambelor rânduri de servere. Aceste admisii de aer sunt conectate prin două tuburi flexibile de 300mm diametru la incinta construită deasupra unităților de răcire. Această incintă este conectată la gurile de recirculare al aerului aflate în partea de sus al unităților de aer. Aspirarea aerului este asigurată de ventilatoarele celor patru unități de aer care crează vacuum. Una dintre problemele principale avute în incinta serverelor a fost lipsa recirculării arului spre unitățile de aer, astfel majoritatea aerului fierbinte rămâne blocat în zona tavanului din spatele dulapurilor, fapt evidențiat și de rezultatele simulărilor efevtuate în Ansys(vezi figura 4.22.).
Unitățile de aer au fost proiectate astfel încât, dacă se conectează circuitul corect cu tubulaturi de captare și recirculare, să asigure o recirculare completă al aerului.
Figura 5.3. Model reproiectat Datacenter cu tubulaturi de evacuare
5.3. Simularea noilor condiții în Ansys
5.3.1. Simularea îmbunătățirilor aduse spațiului de sub podea
Procedăm la fel ca în prima parte de simulări din subcapitolul 4.5. Exportăm modelul 3D modelat în Catia V5. cu extensia .igs și îl importăm în modului Fluid flow(Fluent) din Ansys CFD. Realizăm mesh-ul. Avem grijă ca numărul de elemente să fie oprim, nu foarte multe noduri pentru a nu îngreuna inutil calculele, dar nici prea puține ca să avem un rezultat cât mai apropiat cu realitatea. Ajungem la un număr de 2402306 de elemente(tetraedre). Modulul de verificare ne spune că setările sunt optime, astfel introducem valorile debitelor unităților de aer(viteza aerului=0,7m/s, fluxul de masă=5,72kg/s). Definim, după cum se vede în figura 5.4. zonele de interes(boundary conditions), respectiv intrările de presiune(Inlets) și ieșirile prin podea(Velocity outlets).
Figura 5.4. Definirea zonelor de interes
Figura 5.5. Rezultatul vitezelor aerului după optimizările aduse plenumului
Rulăm modulul de analiză cu 120 de iterații,la finalul căruia rezultatul este satisfăcător. Modelul vitezelor aerului din plenum sunt afișate în figura 5.5. Vedem imediat o îmbunătățire semnificativă, deoarece s-au eliminat zonele cu turbulențe. Zona roșie reprezintă viteza aerului foarte mare de aproape 2,7m/s, de la o viteză inițială de 0,7 m/s cu care iasă din unitățile de aer. Mai putem observa că distribuția aerului în zona de ieșire al grilajelor este uniform distribuită, indicată prin săgeți, spre deosebire de modelul inițial din figura 5.6, unde se vede clar că aerul este concentrat ca o pâlnie pe mijlocul grilajelor din cauza turbulențelor create și vitezele sunt mult scăzute după cum se vede prin culorile afișate.
Vedem zona încercuită(figura 5.5.), unde am preluat o parte al aerului si l-am dirijat spre spatele serverelor pentru a ajuta la împingerea pungilor de aer fierbinte din acele zone. Dacă analizăm zonele în care am introdus deflectoarele de aer, respectiv în cele două capete de tunel, vedem imediat că ele rezolvă problema eliminării turbulențelor din aceste zone.
Figura 5.6. Zonele cu turbulențe în modelul inițial
Figura 5.7. Dirijarea aerului cu ajutorul deflectoarelor de aer(sub unitățile de aer și capătul de la scări)
Aceste deflectoare sunt ușor de realizat și au un efect benefic imediat. În figura 5.7. sunt reprezentate aceste deflectoare și modul cum ajută la canalizarea aerului. Putem observa că circulația aerului este unul liniar, fără turbulențe în ambele zone unde s-au montat aceste deflectoare.
5.3.1. Simularea îmbunătățirilor din Datacenter
Urmează simularea condițiilor noi aduse incintei reproiectate al Datacenterului. Procedăm la fel ca în primul caz, simulăm noile condiții în Ansys, după care observăm îmbunătățirile față de cazul inițial. Ne interesează în mod special dacă s-au eliminat zonele cu aer fierbinte din spatele rack-urilor. Rulăm programul Ansys cu setările adecvate, folosind din nou un mesh suficient de mărunt încât să ne asigurăm că soluția finală este cea reală. Ajungem să avem un număr relativ mare de elemente, 27849903 de tetraedre. Din această cauză volumul de calcule pe care trebuie să le facă serverul sunt foarte mari.
Rezultatele sunt însă îmbucurătoare. Se văd imediat rezultatele pozitive. Dispersia aerului este mult mai uniformă(figura 5.8.). În imagini putem vedea că zonele cu aer fierbinte sunt absorbite de inleturile de recirculare(figura 5.9.). Fluxul de aer direcționat spre spatele serverelor rezolvă problema formării pungilor de aer fierbinte din spatele serverelor, împingând acest aer spre tavan pentru a fi aspirat și recirculat. Mai putem observa că aerul rece care iasă prin grilajele din podea are un debit și o viteză mult îmbunătățită. În figura 5.10. Observăm îmbunătățirea distribuției aerului rece pe suprafețele de admisie al serverelor(partea din față al rack-urilor), precum și circuitul de recirculare care ajută mult la eliminarea turbulențelor datorate lipsei unui sistem de captare al aerului fierbinte în modelul inițial.
Figura 5.8. Rezultatele eficientizării fluxului de aer în Datacenter
Figura 5.9. Rezultatele direcționării aerului
Figura 5.10. Tubulaturile de recirculare al aerului fierbinte către unitățile de răcire
Variația temperaturii aerului afectează în mod direct distribuția maselor de aer în încăpere, astfel cu temperaturi mai scăzute obținem nu numai o răcire optimă și uniformă la toate serverele, prelungind astfel viața lor, dar scădem mult și consumul de energie folosită pentru răcire datorită faptului că aerul cald aspirat este la o temperatură mai joasă. Rezultatele simulării au arătat că temperatura de 15-17°C este optim pentru o eficiență maximă în răcirea Datacenterului.
Modelul geometric îmbunătățit a confirmat faptul că putem obține performanțe mult mai bune prin aducerea unor modificări minime sistemului actual.
5.4. Concluzia rezultatelor obținute în urma îmbunătățirilor
Am pornit de la găsirea și proiectarea unor soluții prin care să optimizăm sistemul de răcire al Datacenterului din INCDTIM Cluj-Napoca. Pentru acest lucru a fost nevoie să identificăm ce probleme sunt de fapt și să intervenim în zonele cu probleme, să găsim cele mai bune soluții dedicate cazului nostru particular. Astfel, s-au modelat și simulat condițiile inițiale. S-au identificat problemele în softul de simulare Ansys CFD. Paralel, s-au măsurat temperaturile și debitele în zonele cu probleme pentru a verifica faptul că modelul creat este corect.
S-a confirmat acest lucru, de aceea s-au căutat soluții de optimizare. Soluțile găsită s-au dovedit eficiente, rezultatele arătate după calcularea și rezolvarea modelelor în Ansys sunt satisfăcătoare. Modelului inițial al Datacenterului s-au adus mai multe îmbunătățiri pentru rezolvarea tuturor zonelor cu ineficiență termică.
Beneficiile utilizării unei configurații de pardoseală ridicată în comparație cu o configurație de pardoseală la nivelul solului sunt clare. Performanța sistemului de răcire a fost îmbunătățită semnificativ cu construirea unei configurații a podelei ridicate de la început, indiferent de strategia de proiectare utilizată pentru rack-urile serverului. Cea mai mare parte a aerului care intră în partea din față a rack-urilor serverului vine din grilaje, ceea ce duce la temperaturi apropiate de temperatura de alimentare din unitățile de aer.
Prin urmare, se recomandă în general configurațiile de podea înălțată la construirea unui centru de date. Această recomandare se bazează nu numai pe performanța sistemului de răcire în cazul datacenterului din cadrul INCDTIM Cluj-Napoca ci și pe rezultalele obținute de alții.
Rezultatul simulărilor confirmă eficiența noului model(figura 5.11.), astfel se poate trece cu încredere la implementarea acestor soluții în incinta Datacenterului și construirea elementelor proiectate pe baza unor desene de execuție.
Figura 5.11. Diferențele termice dintre modelul inițial(din stânga) și cel final
SINTEZA PRIMELOR TREI PROVOCĂRI MAJORE DIN PROIECT
Prima provocare majoră
A trebuit să găsesc o soluție de înregistrare al temperaturilor din centrul de date pe o perioadă mai îndelungată. Provocarea a fost să găsesc modalitatea cum să fie distribuiți senzorii prin încăpere. După mai multe încercări am ajuns la concluzia că trebuie așezați cel puțin trei senzori pe o bară verticală, pentru a avea înregistrări pe toată înălțimea încăperii. La final, s-au construit patru astfel de bări cu câte trei senzori așezați la 500mm, 1250mm, respectiv 2000mm. Am văzut că această înălțime acoperă zonele care sunt importante. Senzorii s-au legat la o placă de extensie conectat la un minicalculator Raspberry PI.
Figura 6.1. Poziționarea senzorilor
A trebuit să găsesc o modalitate de a putea interpreta valorile citite, pentru că softul de achiziție doar înregistra valori de tip text. Am ales să le import în Microsoft Excel, în primul rând pentru că acest program permite aducerea de valori din formatul text, dar mai important, pentru că puteam foarte ușor să transform aceste valori în grafice care pot fi interpretate mult mai ușor pentru a vedea unde sunt zonele cu temperaturile înalte, zonele cu probleme.
A doua provocare majoră
Provocarea majoră a fost familiarizarea cu programul de analiză Ansys CFD 17.1. Pentru a putea face simulări complexe fără să apară probleme din cauza calculatorului, a trebuit să cresc puterea de calcul al serverului pe care era instalat.Serverul pe care rulează Ansys-ul a avut inițial 32GB memorie RAM. Am instalat un total de 128GB de memorie pentru cele două procesoare Xeon. Astfel am eliminat problema lipsei de memorie cu care m-am confruntat prima dată când am început simulările. Trebuie remarcat faptul că modelarea CFD include întotdeauna erori și incertitudini într-o anumită măsură. Erorile sunt definite ca deficiențe recunoscute în modelul CFD care nu sunt cauzate prin lipsa de cunoștințe al celui care face simulările. La CFD modelarea este un proces iterativ, erorile de convergență iterativă sunt diferența dintre soluția numerică și cea exactă. Soluția este considerată convergentă atunci când aceasta este suficient de aproape de soluția exactă. Valorile reziduale sunt adesea folosite ca criterii de convergență. Rafinarea mesh-ului(ochiului de plasă) este importantă. Când am definit geometria, forma și dimensiunea regiunilor de interes(boundary conditions) a trebuit să am gijă să rezulte din ele un mesh care să aibă suficiente elemente și dimensiune al elementului pentru a calcula soluția finală corect. Dar geometria din modelul CFD probabil nu va fi exact la fel ca și în realitate deoarece se modelează niște cuburi cărora li se atribuie proprietățile elementelor reale.
Când se specifică condițiile limită, aceste valori ar putea să nu fie cunoscute cu o precizie satisfăcătoare, deși am încercat să măsor cu precizie temperaturile, debitele de aer și să verific valorile de catalog ale elementelor care erau importante. Toate proprietățile lichidului depind într-o oarecare măsură de valoarea locală din parametrii de curgere. Incertitudinea modelului fizic rezultă din faptul că modelarea CFD implică definirea empirică de submodele cum ar fi modelele de turbulență. Toți acești factori au dus la faptul că a trebuit să tot fac încercări în setări, să rezolv erorile pe care le tot raporta programul unul câte unul. De aceea timpul pe care l-am petrecut găsind rezolvări acestor probleme și familiarizându-mă cu Ansys-ul, respectiv cu găsirea unei metode corecte și eficiente prin care să rezulte simulări care să fie exacte, a fost considerabil.
Doar refacerea modelelor 3D, pe care a trebuit să le modific de mai multe ori ca să rezolv problemele de geometrie care erau raportate în modulul de generare al mesh-ului, au fost consumatoare de timp. Dar în final am reușit să găsesc o metodă care a dat rezultate și lucrurile au mers bine după, rezultatele obținute fiind spectaculoase și au ajutat la rezolvarea problemelor de ineficiență pe care le are sistemul de răcire al Datacenterului.
A treia provocare majoră
Problema celor care fac analiză de element finit în softuri precum Ansys CFD sau altele este meshul. Un mesh realizat perfect duce la rezultate bune și foarte bune. Deoarece eu nu am fost deloc familiarizat până să încep acest proiect cu Ansys, am încercat să folosesc setările implicite la mesh (metoda dimensiunii adaptive) încercând să mă bazez pe setările implicite ale softului. Pe lângă setările de tip Adaptive, am încercat toate celelalte metode, dar erorile tot apăreau. Am încercat, de asemenea, să stabilesc relevanța optimă al mesh-ului între -100 și +100, centrul de relevanță pentru Gros, Mediu și Fin la dimensunile mesh-ului. Când am folosit metoda Proximity, am încercat să ajustez Max Face Size, dar fără noroc.
Am încercat, de asemenea, să ignor erorile ochiurilor de plasă (setarea de verificare al calităților ochiurilor) și să merg mai departe la modulul de analiză, dar fără succes. Ansys, precum alte softuri de analiză rezolvă analiza prost, dacă utilizatorul a introdus date eronate sau nu a respectat pașii corec, sau nu știe să definească corect toți parametrii necesari.
Au urmat perioade îndelungate în care am urmărit tutoriale, am căutat soluții, exemple cum au rezolvat alții situații similare. Procesul a fost îngreunat și datorită faptului că aveam mai multe geometrii pe care a trebuit să fac simulări, trebuind astfel să găsesc setările optime pentru fiecare geometrie în parte.
CONCLUZII
Obiectivul principal al acestei lucrări de licență a fost dezvoltarea unei soluții de eficientizare al sistemului de răcire existent în Datacenterul INCDTIM Cluj-Napoca. În vederea realizării proiectului au fost fixate obiectivele și metodologia de implementare. Obiectivele planificate au fost atinse, nu însă fără a întâmpina probleme. Cunoșteam în detaliu problemele ce țineau de ineficiența sistemului de răcire și am văzut deverse soluții de eficientizare. S-a ales metoda simulării diverselor soluții în Ansys CFD, iar după obținerea unor soluții eficiente, să urmeze implementarea lor fizică.
Pentru realizarea lucrării au fost consultate multiple surse ale literaturii de specialitate (articole, studii de caz, cărți, tutoriale) pentru a crea o imagine de ansamblu asupra echipamentelor și tehnologiilor ce le-am putea folosi, precum și familiarizarea cu softul de simulare Ansys, ne mai lucrând cu un astfel de soft de analiza al elementului finit. Problemele au fost multiple, de la erori la importarea geometriilor din Catia în Ansys, până la probleme în crearea mesh-ului, al setărilor variabilelor. Astfel, soluția finală a fost relativ dificil de atins după nenumărate încercări și testări, dar mult mai rezonabile în ce privește costurile, decât realizarea fizică al lor, după care să constatăm că nu sunt eficente. S-au realizat echipamente electronice pentru colectare datelor necesare simulărilor(Raspberry PI și Arduino). Pentru comanda echipamentelor respective s-au folosit softurile de programare C++ și Python.
Acest proiect demonstrează importanța pe care o au în proiectare și execuție softurile de simulare și de element finit în a ușura și a reduce costurile atunci când se proiectează un produs nou sau se dorește îmbunătățirea unor produse aflate pe piață. S-a dorit și s-a realizat în cadrul acestui proiect dezvoltarea unei metodologii care să ofere soluți și altor centre de date care se confruntă cu ineficiența sistemelor de răcire, sau pentru cei care vor să reducă costurile de mentenanță prin crearea unui raport mai bun între consumul electric al sistemelor de răcire și rezultatul eficienței răcirii. În zilele noastre resursele energetice sunt tot mai puține și se pune accent tot mai mare pe economisirea acestora. Puterea de calcul la nivel global crește vertiginos, astfel dezvoltarea unor soluții eficiente de răcire, specifice fiecărui centru de date, sunt foarte importante, știind că peste 40% din puterea electrică absorbită de un centru de date este folosită doar pentru răcirea acestuia. Răcirea acestor centre este foarte costisitoare atât financiar cât și din punct de vedere al mediului.
Se investesc mulți bani în eficientizarea acestora de către cei care dețin centrele de date. Tocmai de aceea metodologia de eficientizare propus în această lucrare poate fi implementat cu succes pentru găsirea rapidă al soluțiilor optime și specifice în Datacenterele de dimensiuni mici și mijlocii.
Figura 5.11. Distribuția consumului de energie în Datacentere
BIBLIOGRAFIE
Respectați formatul de redactare a referințelor bibliografice.
Acur, N., Englyst, L. (2012), Assessment of Strategy Formulation: How to Ensure Quality in Process and Outcome, International Journal of Operations & Production Management, vol. 26, nr. 5, pg. 69-91.
Alexis, J. (2008), Metoda Taguchi în Practica Industrială. Planuri de Experiențe, Ed. Tehnică, București.
Allegra, M., Fulantelli, G. (2017), ICT for SMEs: Some Key Elements to Improve Competitiveness, Proceeding of the 2nd International Conference on the Management of Technological Changes, Ed. Economică, București, pg. 377-388.
Heylighen, F., Pop, I, Mann, T. (2015), Building a Science of Complexity, www.pespmc1. vub.ac.be/papers/BuildingComplexity.html, descărcat de pe internet la 30.03.2016.
*** (2009), SR EN ISO 9001. Sisteme de Management al Calității. Cerințe, ASRO.
*** (2011a), Concept to Customer. A Roadmap for the Integrating Leading DFSS Methods, www.c2c-solutions.com, descărcat de pe internet la 23.05.2016.
Mai sus aveți exemple de redactare a referințelor bibliografice pentru diverse situații. Vă rugăm să respectați cu rigurozitate aceste cerințe. Referințele se trec în ordine alfabetică după numele primului autor, apoi după anul apariției dacă sunt mai multe lucrări ale aceluiași autor. Referințele fără autor (***) se trec cel mai la urmă în listă.
ANEXE
ANEXA 1-codul sursă în Python pentru Raspberry PI
import os
#import sys
import time #used by sleep function
import datetime
os.system('modprobe w1-gpio')
os.system('modprobe w1-therm')
fc = '/home/pi/achizitie/' #path fisier captura
#reload(sys) #Reload does the trick!
#sys.setdefaultencoding('UTF8')
os.environ["PYTHONIOENCODING"] = "utf-8"
#Lista senzorilor:
#––––––––––––––––––––––––––-
#'/sys/bus/w1/devices/28-000006d8153e/w1_slave'
temperature_sensor = [
'28-021091777408',
'28-021091777408',
'28-021091777408',
'28-021091777408',
'28-021091777408',
'28-021091777408',
'28-021091777408',
'28-021091777408'
#'28-000006d8153e', # 1
#'10-000801d2f52b', # 2
#'28-00000a03819b', # 3
#'28-000006d73ce1', # 4
#'28-000006d7824b', # 5
#'28-000006d77f15', # 6
#'28-00000a02fe9f', # 7
#'28-00000a038cff', # 8
#'10-0008025e4fd3', # 9
#'28-000003d1d5e2', # 10
#'28-000003d1ea34', # 11
#'10-0008025e51d9' # 12
#'28-00000xxxxxxx', # 13
#'28-00000xxxxxxx', # 14
#'10-00000xxxxxxx', # 15
#'28-00000xxxxxxx' # 16
]
#––––––––––––––––––––––––––-
#definire string unitate de masura grad celsius
#local_encoding = 'cp850'
grd_C = '[' + chr(176) + 'C]'
#grd_C='['+u'\xb0'.encode('utf8')+'C]'
#grd_C = grd_C.decode('utf8').encode(local_encoding)
#grd_C='[' + \xb0 + 'C]'
#print (grd_C) #tiparire de proba
#*******************************************************************************
def temp_raw(indice):
temp_sensor = '/sys/bus/w1/devices/'+temperature_sensor[indice]+'/w1_slave'
if os.path.isfile(temp_sensor):
f = open(temp_sensor, 'r')
lines = f.readlines()
1wire_pi.py 04-Jul-19 9:25 AM
f.close()
else: #sensor nefunctional – fisier inexistent
lines = ['Sensor nefunctional: crc=YES\n',
'Conventie nefunctionalitate: t=126000']
#print lines[0],lines[1]
return lines
#*******************************************************************************
def read_temp(indice):
contor_reincercare = 3 #numar maxim de reincercari test1
#crc_OK = 'NO'
while contor_reincercare > 0:
#test1 – se repeta citirea pana cand se obtine 'YES' !!!
lines = temp_raw(indice) #citire date
#print lines[0],lines[1] #vizualizare de test
#tiparire captura curenta pe ecran
crc_OK = lines[0].strip()[-3:]
if crc_OK == 'YES': #citire OK
contor_reincercare = 0 #iesire din test
temp_output = lines[1].find('t=') #pregatire test2
if temp_output != -1:
#extragere string temperatura
temp_string = lines[1].strip()[temp_output+2:]
temp_c = float(temp_string) / 1000.0 #obt. temperatura in grd_C
else:
#print "Fisier eronat – 't=' negasit"
temp_c = 128. #conventie marcare eroare test2 = 't=' negasit
else:
temp_c = 127. #conventie marcare eroare test1 = 'YES' negasit
time.sleep(0.1) #intarziere
contor_reincercare -= 1
temp_f = temp_c * 9.0 / 5.0 + 32.0 #conversie grd_C –> grd_F (optional)
return temp_c , temp_f
#***** Rutina extragere pt. familia 28 *****************************************
def Temp_28():
TempLSB=lines[1][0:2] #extragere Temp LSB ca string
TempMSB=lines[1][3:5] #extragere Temp MSB ca string
#TempLSB='00'#f8'#5e'#'6f'
#TempMSB='00'#'fe'
byteLSB=int(TempLSB,16)
byteMSB=int(TempMSB,16)
if byteMSB > 7:
#negativ
byteLSB=255-byteLSB #byte complement
byteMSB=255-byteMSB
temp_calc=-0.0625*(256*byteMSB+byteLSB+1)
else:
#pozitiv
temp_calc=0.0625*(256*byteMSB+byteLSB)
return temp_calc
#***** Syncro_Time *************************************************************
def Syncro_Time(selector):
#–––––––––––––––––––––––––
# Sincronizare captura cu ceasul sistemului: rutina testeaza timpul sistem
# pana cand se identifica combinatia dorita. Sunt definite intervalele:
# 1 – 5 [sec], 2 – 10 [sec], 3 – 20 [sec], 4 – 30 [sec], 5 – 1 [min]
1wire_pi.py 04-Jul-19 9:25 AM
# 6 – 5 [min], 7 – 10 [min], 8 – 20 [sec], 9 – 30 [min]
# Rutina se termina imediat daca este apelat cu parametrul selector ales
# in afara intervalului 1 .. 9
#–––––––––––––––––––––––––
sync = False
while sync == False:
now = datetime.datetime.now() #capura moment sfarsit ciclu de achizitie
dc = now.strftime("%Y-%m-%d;%H:%M:%S") #data,timp
sinc_ss=dc[17:19] #extragere amprenta secunde
sinc_us=sinc_ss[-1] #extragere unitati secunde
sinc_mm=dc[14:16] #extragere amprenta minute
sinc_um=sinc_mm[-1] #extragere unitati minute
# time.sleep(1.01) #asigurare intarziere minimala
if ((sinc_us == '0' or sinc_us == '5') and
(selector == 1)): #5 [sec]
sync = True
elif ((sinc_us == '0') and
(selector == 2)): #10 [sec]
sync = True
elif (((sinc_ss == '00') or (sinc_ss == '20') or (sinc_ss == '40')) and
(selector == 3)): #20 [sec]
sync = True
elif (((sinc_ss == '00') or (sinc_ss =='30')) and
(selector == 4)): #30 [sec]
sync = True
elif ((sinc_ss == '00') and
(selector == 5)): #1 [min]
sync = True
elif (((sinc_um == '0') or (sinc_um == '5')) and
(sinc_ss == '00') and
(selector == 6)): #5 [min]
sync = True
elif ((sinc_um == '0') and (sinc_ss == '00') and
(selector == 7)): #10 [min]
sync = True
elif (((sinc_mm == '00') or (sinc_mm == '20') or (sinc_mm == '40')) and
(sinc_ss == '00') and
(selector == 8)): #20 [min]
sync = True
elif (((sinc_mm == '00') or (sinc_mm =='30')) and
(sinc_ss == '00') and
(selector == 9)): #30 [min]
sync = True
elif (selector < 1) or (selector > 9): #orice valoare nedefinita
sync = True #iesire imediata <–> mod nesincronizat
return dc
#***** Main program ************************************************************
#generare nume pt. fisier de captura la pornirea programului
fc += datetime.datetime.now().strftime("%y%m%d%H%M.txt")
open(fc,'w').write('') #creare/rescriere fisier de captura
nr_sensor = len(temperature_sensor) #numar senzori utilizati
selector = 2 #5 #optiune sincronizare timp captura (5 – 1 min)
1wire_pi.py 04-Jul-19 9:25 AM
print ("Program 1wire_pi started")
while True:
# now = datetime.datetime.now() #capura moment sfarsit ciclu de achizitie
# dc = now.strftime("%Y-%m-%d;%H:%M:%S") #captura data si timp
dc = Syncro_Time(selector) #rutina captura sincronizata
str_line = '' #initializare linie inregistrare tiparita
str_file = '' #initializare linie inregistrare salvata in fisier
for i in range(0,nr_sensor):
tc = read_temp(i)[0] #preluare valori temperatura
ii = "{0:2d}".format(i+1).strip() #eliminare spatiu !!!
ts = "T({0:s})={1:5.1f} ".format(ii,tc) #conversie la string
tf = "{0:5.1f};".format(tc).strip() #conversie pt. string de salvare
str_line += ts
str_file += tf
#print "Temperatura({0:2d}) = {1:6.2f} {2:s} – Timp = {3:s}".format(i,tc,grd_C,dc)
#print "Timp = {2:s} – {0:s}{1:s}".format(str_line,grd_C,dc)
#tiparire captura curenta pe ecran
print ("{2:s} – {0:s}{1:s}".format(str_line,grd_C,dc))
#print "{0:s};{1:s}".format(dc,str_file) #linie curenta pt. fisier
str_file = "{0:s};{1:s}\r\n".format(dc,str_file) #finalizare linie curenta
open(fc, 'a').write(str_file) #adaugare linie in fisierul de captura
#––––––––––––––––––––––––––-
# Programul se opreste cu Ctrl-C !!!
#––––––––––––––––––––––––––-
ANEXA 2-codul sursă în C++ pentru Arduino Leonardo
unsigned long X;
unsigned long Y;
float TIME = 0;
float FREQUENCY = 0;
float AIR_DEBIT = 0;
//float TOTAL = 0;
//float LS = 0;
const int sensor_input = 2;
void setup() {
//start serial connection
Serial.begin(9600);
//configure pin 2 as an input and enable the internal pull-up resistor
pinMode(sensor_input, INPUT_PULLUP);
}
void loop() {
/*
* pulseIn(pin, value, timeout):unsigned long(int, int, optional unsigned long)
*/
X = pulseIn(sensor_input, HIGH); //[microSec] = [10E-06 Sec]
Y = pulseIn(sensor_input, LOW); //[microSec]
TIME = 2 * float (X + Y); //rotation period
if (TIME > 0) {
FREQUENCY = 1000000/TIME; //F=1/T [Hz]
AIR_DEBIT = FREQUENCY/7.5; //[m^3/Sec] – ??? 7.5 ???
// LS = AIR_DEBIT/60;
Serial.print("X = ");
Serial.print(X);
Serial.print(" ; Y = ");
Serial.print(Y);
Serial.print(" ; FREQUENCY = ");
Serial.print(FREQUENCY);
Serial.print(" ; AIR_DEBIT = ");
Serial.println(AIR_DEBIT);
}
delay(1000); //wait 1 Sec
}
ANEXA 3- dimensiuni ventilator PFK-REV
ANEXA 4-componentele sistemului de răcire Uniflair TDAR0611A
ANEXA 5- Tabel Excel cu valorile temperaturilor înregistrate de senzori
ANEXA 6- Grafic Excel cu valorile temperaturilor
PLANȘA 1- Desen de ansamblu podea înălțată
Copyright Notice
© Licențiada.org respectă drepturile de proprietate intelectuală și așteaptă ca toți utilizatorii să facă același lucru. Dacă consideri că un conținut de pe site încalcă drepturile tale de autor, te rugăm să trimiți o notificare DMCA.
Acest articol: Nagy Jefte Licenta 2019 08.07.2019 Eficientizarea Proceselor Termice [302552] (ID: 302552)
Dacă considerați că acest conținut vă încalcă drepturile de autor, vă rugăm să depuneți o cerere pe pagina noastră Copyright Takedown.