Het dataverkeer neemt wereldwijd steeds grotere vormen aan. Dat vraagt meer van datacenters, die met opslag en bewerking van data een centrale functie in het dataverkeer hebben. Volgens een rapport van het Economisch Bureau van ING uit 2019 zullen de wereldwijde digitale datastromen in 2030 naar verwachting meer dan twintig keer zo groot zijn als die in 2018. Dat komt mede doordat in Azië en Afrika steeds meer mensen toegang krijgen tot internet. Daarnaast gaan bedrijven meer data verzamelen en bewerken, en wordt er meer gebruikgemaakt van clouddiensten.
Minimaliseren van latency
Ook door de opkomst van het 5G-netwerk wordt er meer van datacenters gevraagd. Tegen 2027 verwacht technisch onderzoeksbureau Omdia dat meer dan 5,8 miljard mobiele abonnementen op het 5G-netwerk zullen opereren, goed voor bijna de helft van het totaal aantal mobiele abonnementen. 5G is veel sneller dan de generaties ervoor. De latency - oftewel vertraging - is geminimaliseerd, wat veel meer rekenkracht vraagt. Die korte latency is ook belangrijk vanwege de opkomst van de metaverse, een soort virtuele wereld. Om de latency te verkleinen, zijn zogenaamde edge-datacenters in opkomst. Ze zijn relatief klein en bevinden zich dicht bij de eindgebruikers en de databronnen. De kortere verbindingen zorgen voor minder latency, waardoor eindgebruikers sneller toegang krijgen tot de benodigde applicaties, data en diensten, en de transportkosten voor data worden geminimaliseerd.
Hoger elektriciteitsverbruik
De enorme groei van het dataverkeer zorgt er ook voor dat datacenters meer elektriciteit gaan verbruiken. Het Economisch Bureau van ING verwacht dat alle datacenters samen in 2030 twee keer zoveel elektriciteit nodig hebben dan nu. Het aandeel in het wereldwijde stroomverbruik groeit daardoor van 3 procent nu naar 5 procent. Daarbij is rekening gehouden met een toename van het totale stroomgebruik. ING waarschuwt dat zonder het verbeteren van de efficiëntie het aandeel in de wereldwijde stroomvraag naar meer dan 30 procent kan groeien.
Anticipatie op strengere regels
Door het hoge energiegebruik worden datacenters steeds meer in de gaten gehouden door overheden. “Dat gebeurt op alle niveaus en we verwachten dat de regelgeving strenger zal worden”, zei Karsten Winther, President van Vertiv in de EMEA-regio, tijdens een bijeenkomst die het bedrijf voor de internationale pers organiseerde in de Italiaanse stad Padova. “Een groot datacenter verbruikt tussen de 20 en 50 MW; die laatste hoeveelheid is evenveel als het verbruik van 37.000 woningen. Dat betekent nogal wat. De industrie zal op stengere eisen moeten anticiperen door meer het voortouw te nemen om het energiegebruik te minimaliseren.” Winther wees daarbij ook op het datacenter dat in Zeewolde had moeten verrijzen; door grote weerstand vanuit de maatschappij ging de bouw ervan uiteindelijk niet door.
Modulaire prefabmodules
Een andere ontwikkeling bij datacenters waar Winther op wees, is standaardisatie. “Uit een enquête van onderzoeksbureau Omdia blijkt dat nagenoeg alle datacenterondernemingen geprefabriceerde, modulaire modules als onderdeel van hun strategie zien.” Verder ziet Winther dat de nieuwbouwprojecten aan specialisten worden uitbesteed. “Die zijn beter op de hoogte en kunnen daardoor beter inspelen op nieuwe ontwikkelingen.”
Toename van hardwarecapaciteit
Winther ging verder in op de dieselgenerator. “Die is een essentieel onderdeel van datacenter, maar hij blijft grotendeels ongebruikt. De generatoren moeten onderhouden worden, waarbij de brandstof wordt vervangen. De industrie zoekt naar alternatieven, zoals apparaten op waterstof.” Een ontwikkeling die Winther met extra belangstelling volgt, is de toename van de capaciteit en dichtheid van hardware. “Volgens het Uptime Institute zegt meer dan een derde van de datacenters dat dit de afgelopen drie jaar heeft plaatsgevonden. Dat geldt vooral voor grote datacenters.”
Koeling middels vloeistof
De grotere rackdichtheid en capaciteit van processors heeft gevolgen voor de koeling. Koeling is een belangrijk onderdeel van datacenters. 70 procent van de elektriciteit van een datacenter wordt gebruikt voor de processors. Die benutten slechts 0,01 procent van die elektriciteit; de rest komt vrij als warmte die moet worden afgevoerd. Dat gebeurt nu grotendeels middels lucht die langs de hardware stroomt. Bij een grote dichtheid van de hardware en de toepassing van zwaardere processors lukt dat echter niet meer; er kan niet genoeg energie worden opgenomen. Bij die omstandigheden komt vloeistofkoeling in beeld. Het is deze techniek die Vertiv op de persbijeenkomst met het thema ‘roadmap to liquid cooling’ wilde promoten.
Toepassing op kleine schaal
Vloeistofkoeling is niet nieuw voor datacenters. Jon Summers, Research Lead in Data Centres bij Research Institutes of Sweden (RISE) gaf hier tijdens de persbijeenkomst een lezing over. Al tien jaar doet hij onderzoek naar vloeistofkoeling. “Gedurende die tien jaar hoorde ik steeds dat vloeistofkoeling snel zou doorbreken. Dat gebeurde steeds niet, maar nu misschien wel.” Vloeistofkoeling wordt volgens Nigel Gore, Global Offering Director van Vertiv, nog maar toegepast bij zo’n 10 MW aan datacapaciteit. “Dat is nog niet eens de capaciteit van een groot datacenter. Verschillende datacenters passen de techniek op kleine schaal toe om er ervaring mee op te doen.”
Chips met meer capaciteit
Ronald van Veen, Technical Solutions Architect Datacenters EMEA bij Vertiv, twijfelt er niet aan dat snel meer MW-capaciteit zal worden gekoeld met vloeistof. “Inspelend op de vraag naar meer rekenkracht en grotere bandbreedtes zijn fabrikanten zo’n drie jaar geleden krachtigere processors gaan maken. De capaciteit van die nieuwe chips is groter dan 600 watt, en verwacht wordt dat ze zelfs de 1 kW gaan overstijgen. Die energie komt op een paar vierkante centimeters vrij. Dit afvoeren lukt niet meer met lucht, maar wel met vloeistof.”
Omslagpunt lucht- versus vloeistofkoeling
Volgens Summers hebben de nieuwe processors een warmteflux bereikt van 100 W/cm². “Dat is heel veel, en het zorgt voor een uitdaging om de warmte af te voeren.” Bij een standaardrack is volgens hem 25 kW het omslagpunt van lucht- naar vloeistofkoeling. Omgerekend komt dat neer op zo’n 50 W/cm². “Om voldoende te koelen, is hiervoor een luchtsnelheid van 15 m/s (54 km/uur) nodig. Dat is al zo’n hoge luchtsnelheid dat je een deur niet meer open krijgt. Dit is het maximaal mogelijke.” Van Veen vult aan: “Als de snelheid heel hoog wordt, kan de lucht sowieso minder energie opnemen.”
Vloeistof in leidingen langs processors
Een variant van vloeistofkoeling is immersiekoeling, waarbij de hardware in een bad met niet-geleidende koelvloeistof hangt. Dit is bij Vertiv een niche; voor de grootschalige toepassing van directe vloeistofkoeling richt het bedrijf zich op een ander systeem. Daarbij wordt vloeistof door leidingen langs processors geleid, waar de warmte wordt opgenomen. Op basis van deze techniek heeft Vertiv met de Liebert XDU een nieuw product ontwikkeld waarbij vloeistofkoeling wordt gecombineerd met high performance computing (HPC)-toepassingen en de mogelijkheid van hergebruik van restwarmte. Dit product werd tijdens de persbijeenkomst in Padova officieel gelanceerd (zie kader).
Koelen met hogere temperatuur
Een nadeel van vloeistofkoeling is de hoge investering. Een bijkomend voordeel is echter de mogelijk om met hogere temperaturen te werken dan bij luchtkoeling. Vloeistof, meestal water, kan volgens Summers met een temperatuur van 50 °C een rack ingaan en komt er met 60 °C weer uit. Het lijkt er misschien op dat de temperatuur van de processors hierdoor hoger ligt dan bij luchtkoeling, maar dat is niet het geval. Water kan de energie beter en dichter bij de bron opnemen, waardoor met hogere temperaturen kan worden gekoeld.
Geen chiller nodig
Bij luchtkoeling liggen de temperaturen veel lager. Volgens de ASEA-richtlijn moet de temperatuur van lucht die een rack wordt ingeblazen tussen de 18 en 27 °C liggen, met 32 °C als maximum. Bij hogere buitentemperaturen moet de lucht daarvoor middels een chiller (met koudemiddelcircuit) worden gekoeld. Voor vloeistofkoeling, waarbij een rack wordt gekoeld met maximaal 50 °C, is dat op de meeste plekken in de wereld niet nodig en volstaat simpele koeling met buitenlucht, in een koeltoren.
Benutting van restwarmte
De hogere temperatuur die bij vloeistofkoeling uit de hardware komt, is volgens Summers heel geschikt om als restwarmte te worden benut. Summers werkt momenteel aan experimenten waarbij de afgiftetemperatuur op 60 °C leidend is; de temperatuur bij de microprocessors wordt daarop aangepast. Summers wijst erop dat de hoge temperatuur in warmtenetten direct geschikt is voor het verwarmen van woningen of gebouwen. “Daarbij kan energie worden bespaard omdat er geen warmtepomp meer nodig is om de temperatuur te verhogen.”
Minder warmteverlies bij lage temperaturen
Ook de lagere temperaturen die datacenters met luchtkoeling afgeven, zijn geschikt voor hergebruik. Daarbij kan worden aangemerkt dat het energieverlies bij transport over langere afstanden kleiner is dan bij hoge temperaturen. Een voorbeeld van hergebruik van restwarmte met lagere temperaturen is het datacenter NorthC in Aalsmeer. De energie van dit datacenter wordt door drie afnemers benut, waarbij hij als bron van een warmtepomp dient. Ondanks deze restwarmtebenutting gaat nog steeds 80 procent van de warmte van NorthC de lucht in. Volgens Summers wordt wereldwijd minder dan 5 procent van de warmte die vrijkomt bij datacenters benut.
Opties voor luchtkoeling
Vooralsnog is luchtkoeling de standaard methode om datacenters te koelen. Daarbij zijn er verschillende mogelijkheden. De energie kan in een warmtewisselaar worden overgedragen op water, waarna de energie via een chiller of - afhankelijk van de buitentemperatuur - via vrije koeling, al dan niet aangevuld met een adiabatisch pakket, wordt afgevoerd en gekoeld water wordt afgegeven aan het luchtkoelsysteem. De energie kan ook direct via een DX-systeem worden afgevoerd. Verder is het mogelijk om direct met buitenlucht te koelen. Ook dit gebeurt bij grote datacenters in Nederland.
Chiller gecombineerd met vrije koeling
De meest toegepaste methode in Nederland is luchtkoeling, waarbij de energie via water als energiedrager in een chiller/drycooler wordt afgevoerd. Het systeem kan eventueel worden aangevuld met verdampingskoeling. Er wordt zoveel mogelijk gebruikgemaakt van vrije koeling. Dat kan tot een buitentemperatuur van zo’n 12 °C. Wordt het buiten warmer, dan wordt gekoeld in een ‘mix mode’: een combinatie van vrije koeling en koeling middels de chiller. Met de verdampingskoeling erbij is vrije koeling tot zo’n 20 °C mogelijk. De aanvoer zit vaak tussen de 22 en 26 °C; de afvoer is zo’n 10 graden warmer.
