Revolutie van volledig vloeistofgekoelde servers Efficiënte koeloplossingen voor CPU, geheugen en PCIe
Sep 12, 2024
Laat een bericht achter
Tegen de achtergrond van China's 14e Vijfjarenplan, dat de nadruk legt op de ontwikkeling van de digitale economie, dienen datacenters als de kerninfrastructuur die digitale transformatie ondersteunt, maar ze worden ook geconfronteerd met aanzienlijke druk op de koolstofuitstoot. Met de toename van het chip- en serverstroomverbruik stijgt de vermogensdichtheid per rack en wordt traditionele luchtkoeling geleidelijk beperkt in termen van warmteafvoer en energie-optimalisatie.

▲ Datacenters
Vloeistofkoeling, als opkomende koeltechnologie, gebruikt vloeibaar koelmiddel om de warmte af te voeren die door componenten wordt gegenereerd. Vergeleken met luchtkoeling biedt vloeistofkoeling verschillende voordelen, waaronder ondersteuning voor high-power chips, langere levensduur van de chip, verminderde PUE (Power Usage Effectiveness) van datacenters, verbeterde warmteoverdrachtsefficiëntie, geminimaliseerde warmteplekken, ondersteuning voor hogere rackdichtheden, minder geluid en verbeterde aanpassing aan het milieu. Daarom zal vloeistofkoeling een belangrijk onderdeel worden van de bouw van toekomstige datacenters, cruciaal voor het bereiken van groene computing- en koolstofneutraliteitsdoelen.
De knooppunten van volledig vloeistofgekoelde servers bestaan uit een knooppuntbehuizing, moederbord, CPU-chips, geheugenmodules, geheugenkoelplaten, CPU-koelplaten, I/O-koelplaten, voedingen en warmtewisselaars voor de voeding.
Ik CPU-koelplaatontwerp
De CPU-koudeplaatmodule is ontworpen op basis van de vereisten voor de Intel 5e generatie Xeon-platform schaalbare processorkoudeplaat. Het houdt rekening met factoren zoals warmteafvoer, structurele prestaties, opbrengst, kosten en compatibiliteit met verschillende materialen in het ontwerp van de koudeplaat, wat resulteert in een geoptimaliseerd referentieontwerp. De CPU-koudeplaat bestaat voornamelijk uit een aluminium beugel, koudeplaat en koudeplaatconnectoren.

▲ CPU-koelplaat
II Geheugenvloeistofkoelingontwerp
Het ontwerp van de vloeistofkoeling van het geheugen maakt gebruik van een innovatieve "rail tie" vloeistofkoelingskoelplaat, genoemd naar zijn gelijkenis met de dwarsliggers op spoorrails wanneer geheugenslots volledig bezet zijn. Dit ontwerp combineert traditionele luchtkoeling met koude plaatkoeling. De koelplaat, met heatpipes (of gemaakt van puur aluminium/koper, VaporChamber, etc.), brengt de warmte van het geheugen over naar beide uiteinden, die vervolgens contact maken met de koude plaat via geselecteerde thermische pads, waardoor de vloeibare koelvloeistof in de koude plaat de warmte kan afvoeren.
Het geheugen en de koelplaat kunnen worden gemonteerd in een minimale onderhoudseenheid (aangeduid als de geheugenmodule) buiten het systeem met behulp van bevestigingen. De geheugenkoude plaat is ontworpen met een structuur om goed contact te garanderen tussen de koelplaat en de geheugenkoude plaat. Deze structuur kan worden vastgezet met schroeven of indien nodig worden onderhouden zonder gereedschap. De bovenkant van de geheugenkoude plaat koelt het geheugen, terwijl de onderkant andere warmtegenererende componenten op het moederbord kan koelen, zoals VR, waardoor het gebruik van de geheugenkoude plaat wordt gemaximaliseerd. Om het ontwerp van de koude plaat te vereenvoudigen, kan een adapterbeugel tussen het geheugen en het moederbord worden geïntroduceerd om te voldoen aan de hoogtespeling van verschillende moederborden.

▲ Geheugen Koude Plaat
Vergeleken met bestaande op buizen gebaseerde vloeistofkoelingsoplossingen op de markt, heeft het vloeistofkoelingsontwerp met "rail tie" de volgende voordelen:
Gemakkelijk onderhoud:Tijdens geheugenonderhoud wordt de geheugenmodule net als een luchtgekoelde geheugenmodule onderhouden, zonder dat de heatsink en bevestigingsmiddelen verwijderd hoeven te worden. Dit verbetert de montage-efficiëntie en betrouwbaarheid aanzienlijk, terwijl de potentiële schade aan geheugenchips en thermische pads tijdens installatie en verwijdering wordt verminderd.
Goede compatibiliteit: TDe koelprestaties worden niet beïnvloed door verschillende diktes of afstanden van geheugenchips. De oplossing ondersteunt een minimale geheugenafstand van 7,5 mm en is opwaarts compatibel. Het ontkoppelde ontwerp van de heatsink en de cold plate maakt hergebruik en standaardisatie van vloeistofgekoeld geheugen mogelijk.
Hogere kosteneffectiviteit:De heatsink kan worden geselecteerd op basis van het geheugenstroomverbruik en het aantal heatsinks kan worden geconfigureerd op basis van de geheugenvereisten. Voor een geheugenafstand van 7,5 mm kan deze oplossing voldoen aan de koelbehoeften van geheugenmodules met een stroomverbruik van meer dan 30 W.
Eenvoudig te produceren en te monteren:Er zijn geen vloeistofkoelbuizen tussen geheugenslots, waardoor de noodzaak voor complexe buislassen en procescontrole vervalt. De heatsink kan worden vervaardigd met behulp van traditionele luchtkoeling en standaard CPU-koudeplaatproductietechnieken. De thermische prestaties zijn niet gevoelig voor de toleranties tussen de heatsink en het moederbord in de richting loodrecht op het geheugenchipvlak, waardoor de montage eenvoudiger wordt.
Hoge betrouwbaarheid:Het "rail tie" vloeistofkoelingsontwerp voorkomt mogelijke schade aan geheugenchips en thermische pads tijdens de montage en voldoet aan de vereisten voor meerdere invoegingen/verwijderingen. Bovendien elimineert het het risico op signaalcontactproblemen tussen geheugen en sockets vanwege verkeerde uitlijning, wat de betrouwbaarheid van het systeem aanzienlijk verbetert.
III SSD-vloeistofkoelingontwerp
De innovatieve SSD-vloeistofkoeloplossing brengt warmte over van het SSD-gebied via een koellichaam met ingebouwde heatpipes. De warmte wordt vervolgens naar de koude plaat buiten het SSD-gebied geleid via direct contact met thermische pads.
Deze SSD-vloeistofkoeloplossing bestaat voornamelijk uit een SSD-module met een koellichaam, SSD-koelplaat, SSD-modulevergrendelingsmechanisme en SSD-beugel. Het vergrendelingsmechanisme op de SSD-beugel zorgt voor een goede voorbelasting om een betrouwbaar langdurig contact tussen de SSD-module en de koelplaat te behouden. Om installatie in beperkte ruimtes te vergemakkelijken, neemt de SSD-beugel een lade-achtig ontwerp aan in de diepterichting van de server.

▲ SSD-vloeistofkoelingontwerp
Vergeleken met bestaande SSD-vloeistofkoelingspogingen zijn de verbeteringen in deze oplossing onder meer:
- Ondersteunt meer dan 30 hot-swappable plaatsingen/verwijderingen zonder uitschakeling.
- Er is geen risico op schade door afschuiving aan thermische interfacematerialen tijdens de installatie van de SSD. Het vergrendelingsmechanisme zorgt voor een langdurig betrouwbaar contact.
- Lage productiecomplexiteit, waarbij alleen traditionele luchtkoeling en CPU-koelplaatproductieprocessen nodig zijn.
- Er zijn geen waterpaden tussen SSD's, waardoor meerdere SSD's één koelplaat kunnen delen. Hierdoor is het aantal aansluitingen kleiner en is de kans op lekkage kleiner.
- Flexibele aanpassing aan verschillende SSD-diktes en systeemconfiguraties.
IV NPCIe/OCP-kaart vloeistofkoelingsontwerp
1. PCIe-vloeistofkoeloplossing
De vloeistofkoeloplossing voor de PCIe-kaart is gebaseerd op de bestaande luchtgekoelde PCIe-kaart. Het bereikt koeling voor de optische module en hoofdchips op de PCIe-kaart door een koelmodule te ontwikkelen die contact maakt met de koude plaat van het systeem. De warmte van de optische module wordt via heatpipes overgebracht naar de hoofdkoellichaammodule op de PCIe-kaart, die vervolgens warmte afvoert door contact met de IO-koude plaat met behulp van geschikte thermische interfacematerialen.
De vloeistofgekoelde PCIe-kaart bestaat voornamelijk uit een QSFP-koellichaamklem, PCIe-chipkoellichaammodule en PCIe-kaart. De QSFP-klem moet voldoende elasticiteit hebben om een goed zwevend contact te garanderen tijdens de installatie, waardoor schade aan de optische module wordt voorkomen en tegelijkertijd een goed contact wordt gegarandeerd voor optimale koelprestaties.

▲ PCIe-vloeistofkoeling
2. OCP 3.0 Vloeistofkoeloplossing
De OCP 3.0 kaart vloeistofkoeloplossing is vergelijkbaar met de PCIe kaart. Het past een vloeistofkoeler aan voor de OCP 3.0 kaart, waarbij warmte van de hoofdchips van de kaart wordt overgebracht naar de vloeistofkoeler. Warmte wordt vervolgens verwijderd door contact tussen de koeler en de IO-koude plaat van het systeem.
De OCP 3.0 vloeistofkoelmodule bestaat voornamelijk uit een koellichaammodule, OCP 3.0 kaart en de bijbehorende beugel. Vanwege ruimtebeperkingen gebruikt het vergrendelingsmechanisme veerschroeven om de betrouwbaarheid van het contact op de lange termijn tussen de koellichaammodule en de IO-koude plaat te garanderen.

▲ OCP 3.0 Vloeistofkoeling
Gezien de behoefte aan eenvoudig onderhoud en het meerdere keren hot-swappable invoegen/verwijderen van de OCP 3.0-kaart, zijn het vergrendelingsmechanisme en de thermische interfacematerialen geoptimaliseerd om de algehele betrouwbaarheid en het onderhoudsgemak te verbeteren.
3. IO-koudeplaatoplossing
De IO-koude plaat is een multifunctionele koude plaat die niet alleen de warmtegenererende componenten in het IO-gedeelte van het moederbord koelt, maar ook de vloeistofgekoelde PCIe- en OCP 3.0-kaarten.

▲ IO Koude Plaat
De IO-koude plaat bestaat voornamelijk uit een aluminiumlegering en koperen buizen voor koelmiddelstroom en verbeterde warmteafvoer. Het ontwerp moet worden geoptimaliseerd volgens de lay-out van het moederbord en de warmteafvoervereisten. De vloeistofgekoelde PCIe- en OCP 3.0-kaartmodules maken contact met de IO-koude plaat langs aangewezen paden. De koelmiddelmaterialen moeten compatibel zijn met de pijpleidingkoelmiddel- en bevochtigingsmiddelen van het systeem.

▲ IO Koude Plaat
Deze vloeistofkoeloplossing voor de IO-koude plaat voldoet aan de multidimensionale assemblagebehoeften van verschillende componenten, met behulp van een combinatie van koper- en aluminiummaterialen om compatibiliteitsproblemen op te lossen. Het zorgt voor effectieve warmteafvoer, vermindert het gewicht van de koude plaat met 60% en verlaagt de kosten.
V-voedingskoelplaatontwerp
De vloeistofkoelingsoplossing voor de voeding integreert een externe lucht-vloeistofwarmtewisselaar met de bestaande luchtgekoelde voeding (PSU). Hierdoor wordt de lucht die door de PSU-ventilator wordt uitgestoten, gekoeld en wordt het voorverwarmingseffect op de externe datacenteromgeving verminderd.
De PSU-achterwarmtewisselaar heeft een meerlaagse structuur met overlappende stromingskanalen en vinnen. De afmetingen van de warmtewisselaar zijn geoptimaliseerd voor ruimte- en functionele behoeften zonder de PSU-kabelverbindingen te beïnvloeden. De warmtewisselaar is onafhankelijk gemonteerd op het knooppuntchassis.

▲ Voeding Vloeistofkoeling
Deze innovatieve vloeistofkoelingsoplossing voor voedingen elimineert de noodzaak om nieuwe vloeistofgekoelde PSU's te ontwikkelen, verkort de ontwikkelingstijd en verlaagt de kosten. De hoge aanpasbaarheid maakt het mogelijk om het flexibel toe te passen op verschillende PSU-ontwerpen, wat meer dan 60% bespaart in vergelijking met aangepaste vloeistofgekoelde PSU's.
Voor full-rack-toepassingen kan een gecentraliseerde lucht-naar-vloeistof-warmtewisselaar worden gebruikt in plaats van gedistribueerde achterste warmtewisselaars voor elke PSU. Deze gecentraliseerde structuur vervangt individuele PSU-warmtewisselaars en biedt koeling via een systeem dat integreert met de luchtstroompaden van het rack, waardoor er geen impact is op de serverruimteomgeving.
Eén enkele gecentraliseerde warmtewisselaar kan een koelcapaciteit van 8 kW aan en ondersteunt daarmee minimaal 150PSU's. De hoofdcomponenten van de gecentraliseerde lucht-naar-vloeistof warmtewisselaar omvatten een warmtewisselaarkern, waterinlaat- en uitlaatpoorten, koperen koelbuizen, een aluminium behuizing en stromingsgeleidingsvinnen. Deze opstelling zorgt voor efficiënte en schaalbare PSU-koeling in datacenters met hoge dichtheid.
Conclusie

▲ Volledig vloeistofgekoelde server
Vloeistofkoelingstechnologie, zoals geïllustreerd door deze geoptimaliseerde ontwerpen, is essentieel voor het beheren van de toenemende warmteafgifte van moderne datacenters en het nastreven van efficiëntie- en duurzaamheidsdoelen. Met innovaties in cold plate-oplossingen voor CPU's, geheugen, SSD's, PCIe/OCP-kaarten en voedingen, banen deze vloeistofgekoelde servers de weg naar een toekomst van groenere, beter presterende datacenters.
