Skysčiu aušinamų serverių taikymas duomenų centruose

 

Pastaraisiais metais pramonės šakos aktyviai skatina skaitmeninę transformaciją, o Kinijos skaitmeninė ekonomika sparčiai auga, o skaičiavimo galia suteikia naują impulsą ekonominiam ir socialiniam vystymuisi. Siekiant patenkinti didėjantį skaičiavimo galios poreikį, duomenų centrų mastai sparčiai auga visoje šalyje. Iki 2023 m. pabaigos bendras Kinijos duomenų centruose naudojamų stelažų skaičius viršijo 8,1 mln. standartinių stelažų, o bendra skaičiavimo galia pasiekė 230 EFLOPS ir užima antrąją vietą pasaulyje. Plečiantis skaičiavimo galiai, sparčiai didėja ir duomenų centrų elektros suvartojimas.

 

Remiantis Kinijos duomenų centrų pramonės plėtros baltąja knyga (2023), tikimasi, kad iki 2025 m. nacionalinis duomenų centrų elektros suvartojimas pasieks 1,2 × 10¹¹ kW•h, o bendras anglies dvideginio išmetimas bus apie 100 mln. sudaro apie 1,23 % visos šalies. Siekdama įgyvendinti „anglies dioksido didžiausią padidinimą ir anglies dioksido neutralumą“, vyriausybė paskelbė keletą politikos priemonių, skatinančių energijos taupymą ir energijos suvartojimo mažinimą duomenų centruose, o PUE (Power Usage Effectiveness) reikalavimai greitai pasikeitė iki mažesnio nei 1,3 ir net 1,25. Tradicinės duomenų centrų aušinimo technologijos palaipsniui neatitinka šių naujų reikalavimų.

 

Kartu didėjant pavienių lustų skaičiavimo galios tankiui, oro aušinimas pamažu tapo kliūtimi, o didelės galios įrangos, pvz., AI serverių, atsiradimas dar labiau paaštrino spintelių trūkumo problemą. Esant dvigubam nacionalinės anglies dioksido politikos spaudimui ir didėjančiam lustų skaičiavimo galios tankiui, skysčių aušinimo technologijos diegimas tampa vis skubesnis.

 

 

I Skysčio aušinimo technologijos privalumai

 

Lyginant su tradiciniu oro aušinimu, aušinimas skysčiu gali žymiai pagerinti aušinimo efektyvumą ir veikimo patikimumą, gerai prisitaikant prie aplinkos ir sumažinti žemės užimtumą.

 

1. Įrangos energijos suvartojimo mažinimas ir energijos taupymo bei anglies dvideginio mažinimo rėmimas

Skaitmeninės ekonomikos eroje kompiuterinės galios poreikis sparčiai auga kartu su plačiai paplitusiu 5G taikymu, skatinančiu informacinės infrastruktūros plėtrą. Tai žymiai padidino duomenų centrų elektros suvartojimą ir anglies dvideginio išmetimą. Aušinimas skysčiu gali sumažinti duomenų centro PUE iki maždaug 1,1–1,2, taip efektyviai sumažinant energijos sąnaudas ir anglies dvideginio išmetimą. Pavyzdžiui, 100 20kW skysčiu aušinamiems stovams sumažinus PUE nuo 1,45 iki 1,15 kasmet galima sutaupyti daugiau nei 10⁷ kW•h elektros energijos, sutaupyti daugiau nei 7 mln. juanių elektros sąnaudų ir sumažinti anglies dvideginio išmetimą 6,{{ 14}} tonų. Be to, skysčių aušinimo aplinka gali sumažinti arba visiškai pašalinti ventiliatorius, taip dar labiau sumažinant serverio energijos sąnaudas.

 

2. Pailginti įrangos eksploatavimo laiką ir sumažinti techninės priežiūros slėgį

Pagal lustams taikomą 10 laipsnių taisyklę komponentų eksploatavimo trukmė sutrumpėja maždaug 50% kas 10 laipsnių temperatūros pakilus. Aušinimas skysčiu gali efektyviai sumažinti procesoriaus jungties temperatūrą daugiau nei 10 laipsnių (jungties temperatūra yra faktinė puslaidininkio veikimo temperatūra elektroniniuose įrenginiuose), prailginant serverio tarnavimo laiką. Palyginti su tradiciniu oro aušinimu, panardinamasis skystis aušinimas gali pašalinti ventiliatorius, sumažinti triukšmą ir dulkes, taip pat turi mažesnį terminio gedimo koeficientą. Duomenys rodo, kad kietųjų diskų gedimų dažnis panardinamoje aušinimo aplinkoje yra maždaug 50 % mažesnis nei oru aušinamose aplinkose. Sumažinus serverio gedimų dažnį ir prailginus serverio tarnavimo laiką, galima žymiai pagerinti verslo stabilumą ir sumažinti priežiūros naštą.

 

3. Geras prisitaikymas prie aplinkos ir aukštas stovo panaudojimo greitis

Tradiciniai oru aušinami stelažai kelia aukštus aplinkosaugos reikalavimus ir yra labai veikiami išorinių aplinkos veiksnių. Skysčiu aušinami stovai turi žemus aplinkosaugos reikalavimus ir gali išlaikyti stabilų PUE regionuose, kuriuose yra dideli temperatūros skirtumai. Skysčiu aušinamų stelažų išdėstymo tankis yra didelis, maždaug 3–4 kartus didesnis nei tradicinių oru aušinamų stelažų, todėl sutaupoma apie 75 % duomenų centro vietos tai pačiai skaičiavimo galiai. Skysčiu aušinami duomenų centrai gali panaikinti oro kondicionavimą ir sumažinti aušintuvų poreikį, taip sutaupant vietos.

 

 

II Skysčio aušinimo technologijos maršrutai

 

Oru aušinami serveriai naudoja orą kaip šilumos perdavimo terpę, o skysčiu aušinami serveriai naudoja skysčius, tokius kaip vanduo arba fluorinti skysčiai. Dėl tankio, savitosios šiluminės talpos ir šilumos laidumo skirtumų skysčio aušinimo galia esant tokiam pačiam srautui gali būti iki 3500 kartų didesnė nei oro. Labai efektyvus skysto aušinimo aušinimas gali žymiai padidinti serverio diegimo tankį, sumažinant stovo ir kambario vietos užimtumą.

 

Skysčio aušinimo technologijas galima suskirstyti į nekontaktinį aušinimą skysčiu ir kontaktinį aušinimą skysčiu pagal tai, kaip aušinimo skystis sąveikauja su šilumos šaltiniais.

 

1. Nekontaktinis aušinimas skysčiu

Aušinimas bekontakčiu skysčiu pirmiausia reiškia šaltų plokštelių aušinimą skysčiu, kai skystis teka per šaltas plokštes, kad išsklaidytų šilumą iš komponentų, tokių kaip CPU/GPU/VRD/DIMM, aušinimo serverio dalys. Skystis, esantis šaltoje plokštelėje, aušinant tiesiogiai nesiliečia su šilumos šaltiniu.

 

Dėl didesnio specifinio šiluminio pajėgumo ir šilumos laidumo šaltojo plokštelės skysčio aušinimas gali sumažinti energijos sąnaudas 60–90 %, palyginti su tradiciniu oro aušinimu, ir sumažinti duomenų centrų PUE iki maždaug 1,2. Šaltosios plokštės skysčiu aušinami serveriai naudoja tradicinį stovo diegimą, todėl esamų duomenų centrų modernizavimas yra gana lengvas ir ekonomiškas. Tačiau kadangi aušinimas skysčiu taikomas tik tam tikriems labai karštiems komponentams, vis tiek reikalingi kai kurie ventiliatoriai, o oro kondicionavimas reikalingas kitiems neskysčiu aušinamiems serverio komponentams aušinti.

 

Šilumos vamzdžių aušinimas skysčiu taip pat patenka į bekontakčio skysčio aušinimą, per šilumos vamzdžius iš serverio perduodant šilumą iš komponentų, pvz., CPU, o vėliau ją išsklaido cirkuliuojantis vanduo. Jame daugiausia naudojamas vanduo, šaltnešiai ir alkoholio pagrindu pagaminti skysčiai, nors šiuo metu jis naudojamas ribotai.

 

2. Kontaktinis aušinimas skysčiu

 

2.1 Panardinamasis aušinimas skysčiu

Naudojant panardinamąjį aušinimo skystį, visas serveris panardinamas į aušinimo skystį, o aušinimo skystis tiesiogiai liečiasi su serveriu. Cirkuliuojantis srautas arba garuojantis aušinimo skysčio kondensacija pašalina šilumą. Paprastai naudojami nelaidūs, nerūdijantys skysčiai, tokie kaip mineralinė alyva, silikoninė alyva arba fluorinti skysčiai.

 

Naudojant panardinamąjį aušinimą skysčiu, visi šilumą generuojantys komponentai išsklaido šilumą aušinant skysčiu, todėl galima visiškai pašalinti ventiliatorius ir nebereikia oro kondicionavimo duomenų centre. Palyginti su aušinimo šaltuoju skysčiu, panardinamasis skystis užtikrina geresnį šilumos perdavimą, energijos taupymą ir triukšmo mažinimą, todėl PUE gali sumažėti iki 1,1 ar mažesnio. Tačiau aušinant panardinant dažnai reikia įdiegti dėžės tipo, o diegimo tankis yra mažesnis nei šalto plokštelinio skysčio aušinimas, o pagalbinės infrastruktūros modernizavimas yra sudėtingesnis ir brangesnis. Panardinami skysčiu aušinami serveriai taip pat palaiko tik SSD ir helio pripildytus diskus, o optines jungtis ir kabelius reikia užsandarinti arba pritaikyti, kad jie būtų atsparūs korozijai.

 

Atsižvelgiant į tai, ar aušinimo skysčio fazė keičiasi, panardinamasis skystis aušinimas gali būti skirstomas į vienfazį ir fazės keitimo panardinamąjį aušinimą. Vienfazio panardinimo aušinimo metu skystis nekeičia fazės, o šiluma pašalinama kylant temperatūrai ir išlieka skysta viso aušinimo ciklo metu. Naudojant fazės keitimo panardinamąjį aušinimą, skystis kaitinant išgaruoja, pašalindamas šilumą dujinėje būsenoje, o kondensatoriumi atšaldomas atgal į skystą formą, kur gravitacijos dėka jis teka atgal į kamerą, užbaigdamas aušinimo ciklą.

 

2.2 Purškiamas skystis aušinimas

Purškiamas skystis aušinimas apima aušinimo skysčio purškimą iš serverio korpuso viršaus per purškimo modulį, o šiluma perduodama per konvekciją tarp aušinimo skysčio ir šilumos kriauklės, aušinant visus serverio šilumą generuojančius komponentus. Tada šiluma išsklaido per šilumokaitį. Nelaidūs, nerūdijantys skysčiai, tokie kaip mineralinė alyva ir fluorinti skysčiai, dažniausiai naudojami kaip aušinimo skysčiai.

 

Kaip ir panardinamasis aušinimas, purškiamas skystis gali visiškai pašalinti serverio ventiliatorius, todėl duomenų centruose nereikia oro kondicionavimo, o PUE sumažinamas iki maždaug 1,1. Skirtingai nei panardinamasis aušinimas, purškiamuoju skysčiu aušinami serveriai paprastai naudoja blade tipo diegimą, todėl reikia modifikuoti stovą ir serverio korpusą. Purškiamas skystis turi mažesnes aušinimo skysčio sąnaudas ir priežiūros išlaidas.

 

3. Skysčio aušinimo technologijų palyginimas

Skirtingų skysčių aušinimo technologijų palyginimą žr. 1 lentelėje.

 

▲ Skysčio aušinimo technologija

 

Atsižvelgiant į tokius veiksnius kaip pradinės investicijų sąnaudos, techninis aptarnavimas, PUE efektyvumas ir pramonės branda, aušinimas šaltuoju sluoksniu ir vienfazis panardinamasis aušinimas skysčiu yra pranašesni už kitas aušinimo skysčiais technologijas ir tampa pagrindiniais sprendimais pramonėje. Šaltos plokštės skysčių aušinimas leidžia sklandžiai pereiti nuo tradicinių oru aušinamų modelių ir plačiau taikomas duomenų centruose. Šioje analizėje daugiausia dėmesio bus skiriama šalto plokštelės skysčiui aušinimui.

 

 

III Pagrindinės šaltojo plokštelinio aušinimo skysčiu komponentai

 

Pagrindiniai šalto plokščių skysčio aušinimo sistemų komponentai, kurie glaudžiai sąveikauja su IT įranga, pirmiausia yra antrinėje pusėje, įskaitant aušinimo skystį, greitąsias jungtis ir aušinimo paskirstymo bloką (CDU).

 

1. Aušinimo skystis

Dabartiniai aušinimo skysčių pramonės pasirinkimai apima etilenglikolio tirpalus, propilenglikolio tirpalus ir dejonizuotą vandenį. Etilenglikolio ir propilenglikolio tirpalai yra pramoniniai standartiniai produktai ir yra lengvai prieinami, o etilenglikolis yra ekonomiškesnis. Dejonizuotas vanduo pasižymi geromis šilumos perdavimo savybėmis, yra netoksiškas ir saugus, tačiau reikia atsižvelgti į 0 laipsnio antiužšalimą.

 

Aušinimo skysčius reikia papildyti korozijos inhibitoriais ir biocidais, kad būtų išvengta bakterijų dauginimosi, galinčių sukelti užsikimšimą ar nutekėjimą. Rekomenduojama 20–30 % koncentracija, nes per didelės koncentracijos gali turėti įtakos šilumos išsklaidymui, o per mažos koncentracijos gali sumažinti aušinimo skysčio gebėjimą užkirsti kelią užšalimui ir slopinti mikrobų augimą.

 

2. Greitos jungtys

Greitosios jungtys sujungia šaltosios plokštės modulį skysčiu aušinamuose serveriuose su kolektoriumi skysčiu aušinamame stove. Yra dviejų tipų greitosios jungtys: rankinės greitosios jungtys ir „blind-mate“ greitosios jungtys. Rankinėms jungtims reikia aukštesnių techninės priežiūros darbuotojų įgūdžių, o prijungimas ir atjungimas priklauso nuo duomenų centro darbuotojų rankinio valdymo, todėl serverį lengviau atjungti nuo stovo. Blind-mate jungtysneturi specialių eksploatacinių reikalavimų ir automatiškai prisijungia, kai serveris įdedamas į skysčiu aušinamą stovą. Greitosios jungtys turi turėti didelį atsparumą korozijai ir minimalius skysčio nuostolius atjungus, kad būtų išvengta aušinimo skysčio išsiliejimo.

 

3. Aušinimo paskirstymo blokas (CDU)

CDU yra sistema, naudojama aušinimo skysčiui paskirstyti tarp skysčiu aušinamų serverių, užtikrinant antrinį šoninio srauto paskirstymą, slėgio valdymą, fizinę izoliaciją ir antikondensacijos funkcijas. Jis taip pat gali izoliuoti pirminę ir antrinę puses, kad atitiktų skirtingus vandens kokybės reikalavimus. Pagal formą ir diegimo vietą CDU galima suskirstyti į centralizuotus ir paskirstytus CDU.

 

Centralizuotas CDU paprastai yra prijungtas prie kelių serverių spintų, tuo pačiu užtikrinant kelių serverių spintų aušinimo pajėgumą. Keli CDU klasteriai gali pasiekti N+M dubliavimą, užtikrinantį aukštą patikimumą ir tinkantį didelio masto skysčiu aušinamų serverių spintų diegimui. Paskirstytasis CDU, kuriam nereikia antrinio vamzdyno, aušina tik savo korpuse esančius serverius ir negali pasiūlyti kryžminio perteklinio pertekliaus, todėl turi mažesnį patikimumą, palyginti su centralizuotu CDU. Centralizuotų ir paskirstytų CDU palyginimą galima rasti 2 lentelėje.

 

▲ Palyginimas tarp centralizuoto CDU ir paskirstyto CDU

 

 

IV Techniniai reikalavimai šalto plokščių skysčiu aušinamiems serveriams ir spintoms

 

1. Serverio techniniai reikalavimai

Šaltos plokštės skysčiu aušinamų serverių konstrukcija turi atitikti techninius reikalavimus, nurodytus 3 lentelėje.

 

▲ Šaltos plokštės skysčio aušinimo serverio projektavimo reikalavimai

 

Šaltos plokštės skysčiu aušinami serveriai turi atitikti ne tik įvairius lentelėje nurodytus reikalavimus, bet ir tradiciniams oru aušinamiems serveriams keliamus projektavimo reikalavimus, įskaitant tokius komponentus kaip centrinis procesorius, atmintis, standieji diskai ir pagrindinė plokštė.

 

2. Kabineto techniniai reikalavimai

Skysčio aušinimo scenarijuose serverių ir spintelių ryšys yra didelis. Skysčiu aušinamų spintų konstrukcija turi atitikti 4 lentelėje nurodytus techninius reikalavimus.

 

▲ Skysčiu aušinamos spintos

 

Skysčiu aušinamas spintas turi atitikti ne tik lentelėje nurodytus reikalavimus, bet ir tradicinių oru aušinamų spintų projektavimo reikalavimus, tokius kaip transportavimas ir montavimas, kabelių klojimas spintoje ir funkcinis pertvarų išdėstymas.

 

 

V Pakeitimai, kuriuos atnešė duomenų centruose įdiegtas aušinimas skysčiu

 

Kai duomenų centruose bus pristatyti skysčiu aušinami serveriai, pasikeis palaikoma infrastruktūra, veikla ir priežiūra bei pristatymo modeliai.

 

1. Pagalbinė infrastruktūra

Skysčiu aušinamų serverių įdiegimas padidina diegimo tankį, o tai kelia didesnius reikalavimus duomenų centro apkrovai. Be to, keičiasi tokiose srityse kaip pakeltų grindų aukštis, elektros tiekimas ir priežiūros erdvė. Pagalbinės infrastruktūros pokyčiai pateikti 5 lentelėje.

 

▲ Infrastruktūros pakeitimų palaikymas

 

2. Eksploatacijos ir techninė priežiūra

Šiuo metu skysčiu aušinami serveriai dažniausiai yra pritaikyti diegimui, kurie skiriasi nuo tradicinių oru aušinamų serverių komponentų suderinamumu, diegimo metodais ir priežiūros priemonėmis. Konkretūs skirtumai parodyti 6 lentelėje.

 

▲ Veiklos ir priežiūros pakeitimai

 

3. Pristatymo modeliai

Aušinimas skysčiu duomenų centruose apima sąsają tarp pirminės aušinimo sistemos, antrinės aušinimo sistemos, CDU, skysčiu aušinamų spintų ir skysčiu aušinamų serverių. Standartizacijos lygis yra žemas, o suderinamumas tarp skirtingų gamintojų yra ribotas. Atsižvelgiant į pristatymo turinį, šiuo metu yra trys skysčiu aušinamų serverių pristatymo modeliai, kaip parodyta 7 lentelėje.

 

 

▲ Pristatymo modeliai

 

Diegiant skysčių aušinimo sistemas duomenų centruose, reikia atsižvelgti į tokius veiksnius kaip pramonės branda, priežiūros paprastumas ir statybos terminai. Pradiniuose etapuose 2 arba 3 modelis gali įgyti patirties statybos ir priežiūros srityse. Laikui bėgant, sąsajos standartizavimas tarp pirminės sistemos, antrinės sistemos, CDU, skysčiu aušinamų spintų ir skysčiu aušinamų serverių gali būti palaipsniui skatinamas, siekiant 1 modelio.

 

 

VI Išvada

 

Skysčiu aušinamų serverių įdiegimas duomenų centruose gali žymiai sumažinti PUE vertes, pagerinti įrangos veikimo stabilumą ir verslo prieinamumą, padidinti serverių diegimo tankumą, sumažinti žemės naudojimą duomenų centruose ir sutaupyti energijos bei sumažinti anglies dvideginio kiekį. Be to, didėjantis lustų galios tankis ir laipsniškas didelės galios įrangos, pvz., AI serverių, diegimas suteikia dar daugiau galimybių naudoti aušinimą skysčiu, kuris palaipsniui tampa svarbiu duomenų centrų aušinimo sprendimu.

 

Tačiau skysto aušinimo standartizavimas yra palyginti mažas, skirtingi gamintojai dirba savarankiškai. Ryšys tarp skysčiu aušinamų serverių ir skysčiu aušinamų spintų yra ypač didelis, todėl būtina vėliau standartizuoti atitinkamas sąsajas. Laikui bėgant svarbu pasiekti, kad vandens, energijos ir tinklo sąsajos būtų aklai suderintos, kad aušinimas skysčiu taptų ne tik funkcionalus, bet ir patogus naudoti, visiškai suvokiant savo vaidmenį siekiant dvigubo anglies dioksido kiekio.