Vloeistofgekoelde AI-servers worden geconfronteerd met knelpunten

 

 

 

Met de toename van de verzendingen van Blackwell-chips zal ook de bereidheid van klanten om vloeistofkoeling toe te passen toenemen.

Insiders uit de industrie melden dat het aanbod van universele snelkoppelingsapparaten (UQD) voor vloeistofkoelingsoplossingen krap wordt, wat een groot knelpunt kan worden voor de groei van AI-servervloeistofkoeling.

 

Fabrikanten van server-ODM geven aan dat de Blackwell AI-chips van Nvidia, waaronder de B100 en B200, dit jaar op de markt zullen komen, terwijl de GB200-oplossing pas eind 2024 of 2025 in massaproductie zal gaan. De meeste klanten van de B100 en B200 gebruiken nog steeds luchtkoelingsontwerpen , maar ODM-fabrikanten melden een aanhoudende toename van de penetratie van vloeistofkoeling, in de verwachting dat de bereidheid van klanten om vloeistofkoeling toe te passen ook zal toenemen met de toename van het aantal Blackwell-chipverzendingen.

 

▲ Vloeistofgekoelde AI-servers

 

 

I Uitbreiding van de capaciteit om aan de stijgende vraag naar vloeistofkoeling te voldoen

 

Relevante bedrijven breiden de productie uit om het nieuwe tijdperk van vloeistofkoeling te verwelkomen. Fabrikant van thermische modules Amlogic is van plan zijn maandelijkse productiecapaciteit van waterkoelplaten te verhogen van 30,000 naar 300,000 eenheden.

 

Auras heeft een nieuwe fabriek in Thailand opgezet om tegemoet te komen aan de geopolitieke zorgen en eisen van klanten. Verwacht wordt dat deze fabriek in het derde kwartaal met de massaproductie zal beginnen. Naast het uitbreiden van de lokale productiecapaciteit voor koelplaten, is Auras ook van plan om koeldistributie-eenheden (CDU) en koelvloeistofdistributiespruitstukken (CDM) lokaal te produceren, met een geplande maandelijkse capaciteit van ongeveer 2,000-3,{{2 }} sets.

 

Fabrikant van thermische modules AVC verklaarde in zijn recente winstoproep dat zijn maandelijkse productiecapaciteit voor koelplaatmodules in China en Vietnam ongeveer 115,000 eenheden bedraagt, wat zich vertaalt naar een maandelijkse productie van ongeveer 420,000 eenheden wanneer berekend door koelplaten.

 

AVC is van plan om tegen het einde van het jaar de capaciteit met 50% uit te breiden. AVC is ook van plan zijn maandelijkse productiecapaciteit voor CDU's te verhogen naar 1,000 eenheden en voor CDM's naar 30,000 sets. AVC benadrukte dat deze geplande capaciteit flexibel kan worden aangepast op basis van de klantorderbehoefte.

 

Thermotechnologiebedrijf Goli Thermal Processing breidt zijn capaciteit in de Zhongli-fabriek in Taiwan uit vanwege de toegenomen vraag van klanten naar vloeistofkoeling. Tegen het einde van het derde kwartaal zal de maandelijkse capaciteit voor CDM's naar verwachting stijgen van 1,000 eenheden naar 2,000 eenheden, en tegen het einde van het jaar naar 4,{{5} } eenheden, waarbij de jaarlijkse CDU-productie tegen het einde van het jaar naar verwachting ook 2,000 eenheden zal bereiken.

 

Deze fabrikanten hebben hoge verwachtingen van de vraag naar vloeistofkoeling, voornamelijk vanwege de rekenefficiëntie en de PUE-standaarden van datacenters in China en de EU, maar de belangrijkste factor is dat Nvidia zelfopgelegde beperkingen op thermische specificaties voor chipfabrikanten opheft.

 

 

II Snelle groei van vloeistofkoeling leidt tot UQD-tekorten

 

Terwijl de industrie reikhalzend uitkijkt naar de komst van het tijdperk van vloeistofkoeling, is UQD het grootste knelpunt voor de groei geworden. Fabrikanten van thermische modules hebben erop gewezen dat het aanbod van UQD's onlangs krap is geworden. Hoewel het huidige marktaandeel van vloeistofkoeling slechts enkele cijfers bedraagt, kunnen UQD's moeilijk verkrijgbaar worden als dit in de toekomst tot dubbele cijfers stijgt.

 

UQD-leveranciers komen voornamelijk uit Europa en de Verenigde Staten, zoals de grote Amerikaanse bedrijven Parker Hannifin en CPC, het Zwitserse Staubli International, het Deense Danfoss en het Zweedse Cejn. De Taiwanese connectorcomponentengigant Lotes betreedt ook actief de markt en is begonnen met de levering van monsters.

 

De voorzitter van Anbo Technology, Liang Zhijian, wees erop dat, aangezien vloeistofkoeling primair bedoeld is om lekken te voorkomen, en UQD's de componenten zijn die het meest gevoelig zijn voor lekken, het aanbod van UQD het meest beperkt is onder de vloeistofkoelingcomponenten. Dit is niet alleen een technisch probleem; relevante fabrikanten hebben ook patentbescherming en Anbo Technology onderzoekt manieren om deze patentbarrières te doorbreken.

 

Insiders uit de industrie hebben opgemerkt dat hoewel UQD-fabrikanten patentbescherming hebben, ze ook meerdere validaties moeten ondergaan, waaronder OCP-certificering en klantvalidaties, die tijdrovend en arbeidsintensief zijn. Bovendien zijn de bestaande Europese en Amerikaanse fabrikanten niet van plan de capaciteit uit te breiden, wat een groot knelpunt zal worden voor de snelle ontwikkeling van vloeistofkoeling.

 

Supermicro is een van de snelstgroeiende fabrikanten van vloeistofkoeling. Oprichter en CEO Liang Jianhou wees erop dat vloeistofkoeling de afgelopen dertig jaar slechts 1% van de servermarkt vertegenwoordigde, maar hij schat dat de penetratiegraad in 2025 naar 30% zal stijgen.

 

 

III Vloeistofkoeling als mogelijke oplossing; AI-boom zet de grid onder druk

 

De snelle ontwikkeling van generatieve kunstmatige intelligentie heeft geleid tot een ongekende uitbreiding van datacenters, waardoor zorgen zijn ontstaan ​​over de impact ervan op het elektriciteitsnet. Deze energie-intensieve faciliteiten kunnen leiden tot stroomuitval en hogere energiekosten. Volgens schattingen van het Electric Power Research Institute zouden datacenters in 2030 9% van de elektriciteit in de Verenigde Staten kunnen verbruiken, een verdubbeling van het huidige cijfer. Het elektriciteitsverbruik van een groot datacenter is gelijk aan dat van honderdduizenden huishoudens.

 

Vooral de toenemende stroomvraag van kunstmatige intelligentie is zorgwekkend. Vroege AI-modellen verbruikten tien keer zoveel energie als een Google-zoekopdracht, terwijl nieuwere chips nog meer stroom nodig hebben. Deskundigen waarschuwen dat de toekomstige ontwikkeling van kunstmatige intelligentie beperkt kan worden door ons vermogen om voldoende stroom te genereren.

 

Sommige landen worden geconfronteerd met ernstige uitdagingen. Tegen 2026 kan Ierland bijvoorbeeld 30% van zijn elektriciteit aan datacentra besteden. In de VS is het elektriciteitsverbruik van datacenters geconcentreerd in 15 staten, waarvan Texas en Virginia de hoogste zijn. Californië bevindt zich in een kritieke situatie, waarbij nieuwe datacenters naar verwachting een elektriciteitsbehoefte zullen genereren die groter zal zijn dan die van kerncentrales.

 

 

IV Datacenters: enorm energieverbruik en de opkomst van vloeistofkoeling

 

De computationele eisen van kunstmatige intelligentie drijven de servertemperaturen en de CO2-uitstoot op, wat resulteert in een aanzienlijke toename van de vraag naar koelsystemen. Koelsystemen zijn verantwoordelijk voor 40% van het totale energieverbruik van een datacenter, waardoor ze na de servers zelf de grootste bron van energieverbruik zijn. De mondiale markt voor serverkoeling zal naar verwachting groeien van 20 miljard dollar in 2024 naar 90 miljard dollar in 2027. De markt voor vloeistofkoelingssystemen in datacenters zal naar verwachting groeien van 1% naar 22%, terwijl de marktwaarde naar verwachting zal groeien van 317 miljoen dollar naar 2027. 7,8 miljard dollar in de komende drie jaar.

 

Vloeistofkoelingoplossingen, waarbij water of koelmiddelen worden gebruikt om servers te koelen, worden steeds populairder. Nieuwe technologieën zijn onder meer dompelkoeling (het onderdompelen van volledige serverracks in niet-geleidende vloeistoffen) en directe vloeistofkoeling (water circuleren rond servers). Hoewel momenteel duurder dan luchtkoelsystemen, kan vloeistofkoeling het energieverbruik van een datacenter met 10% of meer verminderen.

 

Onderzoeksbureau Global Market Insights voorspelt dat de mondiale markt voor vloeistofkoeling voor datacenters zal groeien van $2,1 miljard in 2022 naar $12,2 miljard in 2032. Uit een onderzoek van het Uptime Institute blijkt dat 16% van de datacentermanagers gelooft dat vloeistofkoeling de primaire koeling zal worden. methode in 1-3 jaar, terwijl 41% denkt dat dit 4-6 jaar zal duren. Daarom is het waarschijnlijker dat hybride koelmethoden op korte termijn opduiken.

 

Upsite Technologies, toonaangevend op het gebied van het beheer van luchtkoelsystemen voor datacenters, merkte op dat, hoewel de technologie voortdurend vooruitgaat, het bereiken van 100% vloeistofgekoelde datacenters op korte termijn onwaarschijnlijk is, omdat vloeistofkoelingsapparatuur nog steeds luchtkoeling nodig heeft voor warmteafvoer. . Hoewel vloeistofkoeling efficiënter is, is het een uitdaging om het op grote schaal te implementeren en vereist het aanzienlijke investeringen vooraf. Luchtkoeling is goedkoper, maar ook minder efficiënt. Hybride koelfaciliteiten worden dus steeds populairder om de voordelen van zowel vloeistof- als luchtkoeling te maximaliseren.

 

 

V De energiecrisis in het datacenter vraagt ​​om dringende actie

 

Vanwege hun impact op het milieu worden datacenters steeds kritischer bekeken. Overheden over de hele wereld implementeren regelgeving om hun energieverbruik en ecologische voetafdruk onder controle te houden. De Chinese ‘Green Data Center’-richtlijnen en soortgelijke initiatieven in Duitsland, Singapore en Japan zijn voorbeelden van deze trend. Experts uit de sector, zoals Schneider Electric, benadrukken de noodzaak van uitgebreide milieumetingen om de duurzaamheid van datacenters te beoordelen, inclusief factoren die verder gaan dan energieverbruik, zoals watervoorraden en afvalproductie.

 

De Amerikaanse overheid zet grote technologiebedrijven onder druk om te investeren in schone energie en de aanzienlijke impact te erkennen die de groeiende vraag naar stroom van kunstmatige intelligentie heeft op het milieu.

 

 

VI Geschikte stroombronnen vinden: uitdagingen op het gebied van datacenters en energie

 

Datacenters hebben een gediversifieerde energiemix nodig om betrouwbaarheid en duurzaamheid in evenwicht te brengen en tegelijkertijd aan de groeiende vraag te voldoen. Hernieuwbare energiebronnen zoals zonne- en windenergie zijn aantrekkelijk vanwege hun lage CO2-voetafdruk. Hun afhankelijkheid van weersomstandigheden kan echter leiden tot onstabiele output, waardoor ze ongeschikt worden als enige energiebron voor datacenters. Het bouwen van overtollige faciliteiten om deze inconsistentie te compenseren kan noodzakelijk maar kostbaar zijn.

 

Kernenergie is naar voren gekomen als een mogelijke oplossing. Traditionele kerncentrales leveren betrouwbare basislastenergie en genereren stabiele elektriciteit die cruciaal is voor datacenteractiviteiten. Bovendien wordt verwacht dat de mondiale kernenergiemarkt de komende tien jaar een gestage groei zal realiseren.

 

Innovaties in de nucleaire sector bieden veelbelovende mogelijkheden. Kleine modulaire reactoren (SMR) worden ontwikkeld als kleinere, veiligere en beter schaalbare alternatieven voor traditionele kerncentrales. Hoewel ze zich nog in de onderzoeks- en ontwikkelingsfase bevinden, hebben SMR's het potentieel om rechtstreeks in datacenters te worden ingezet en specifieke schone energie te leveren.

 

▲ Wereldwijde markt voor vloeistofkoeling (US$b)

 

 

De wijdverbreide adoptie van RBE’s stuit echter op aanzienlijke obstakels. Uitdagingen op het gebied van regelgeving en productie kunnen de commerciële implementatie ervan met meerdere jaren vertragen. De Amerikaanse overheid onderzoekt actief oplossingen, waaronder partnerschappen met technologiegiganten om de kosten te verlagen en processen te stroomlijnen.

 

Een andere manier om de energiebehoefte van datacenters te verminderen is het optimaliseren van de werklast op het gebied van kunstmatige intelligentie. Door sommige AI-taken van de cloud te verschuiven naar lokale apparaten met kleinere, minder hulpbronnenintensieve AI-modellen, kan het totale energieverbruik worden verminderd.

 

De toekomstige ontwikkeling van datacenters vereist een veelzijdige aanpak. Het aannemen van een gediversifieerde energiemix, inclusief betrouwbare energiebronnen zoals kernenergie, en tegelijkertijd actief zoeken naar hernieuwbare en innovatieve oplossingen zoals RBE's, is essentieel. Bovendien kan het optimaliseren van AI-workloads op lokale apparaten de duurzaamheid van datacenters verder bevorderen.