Volledig vloeistofgekoelde koude plaat server

 

Om de ontwikkeling van vloeistofkoeltechnologie verder te bevorderen en het ecosysteem te laten rijpen, richt Inspur Information zich, in samenwerking met Intel, op het optimaliseren van vloeistofkoelontwerpen voor algemene servers met een hoge dichtheid.

 

Naast de brede acceptatie van vloeistofkoeling voor CPU's en GPU's in de industrie, is er ook diepgaand onderzoek gedaan naar vloeistofkoeling voor krachtige geheugens, solid-state drives (SSD's), OCP-netwerkkaarten, voedingen, PCIe-kaarten en optische modules.

 

Dankzij deze inspanning hebben we de hoogste dekking voor vloeistofkoeling in de sector bereikt. Hiermee voldoen we aan verschillende implementatievereisten voor verschillende niveaus van dekking voor vloeistofkoeling. Ook bieden we algemene infrastructuurmogelijkheden en uiteenlopende technische ondersteuning voor klanten in sectoren zoals internet en telecommunicatie.

 

Deze ontwikkeling van een volledig vloeistofgekoeld cold plate-systeem is gebaseerd op de 2U vier-knooppunt high-density computing server i24 van Inspur Information. Elk vloeistofgekoeld knooppunt ondersteunt twee Intel 5th Generation Xeon Scalable Processors, gepaard met 16 DDR5-geheugenmodules, één PCIe-uitbreidingskaart en één OCP 3.0 netwerkkaart. Het hele systeem kan maximaal acht SSD's ondersteunen, wat voldoet aan de opslagbehoeften van klanten en tegelijkertijd high-density computing-kracht bereikt.De belangrijkste warmtegenererende onderdelen van de server zijn de CPU, het geheugen, I/O-kaarten, lokale harde schijven en de voeding van de behuizing.

 

De vloeistofkoeloplossing zorgt ervoor dat ongeveer 95% van de warmte van het systeem direct door vloeistof wordt verwijderd via koud plaatcontact met de warmtebron. De resterende 5% van de warmte wordt afgevoerd door het koelwater in de lucht-vloeistof warmtewisselaar achter de PSU, waardoor bijna 100% vloeistofwarmte wordt opgevangen op systeemniveau.

 

 

I Systeemsamenstelling en pijplijnindeling

 

1. Overzicht van het volledig vloeistofgekoelde serversysteem

Het 2U vier-knooppunt volledig vloeistofgekoelde serversysteem bestaat uit knooppunten, chassis, mid-plane en SSD-modules. De verbinding tussen knooppunten en chassiscomponenten wordt gerealiseerd via blind-mate-verbindingen voor water, stroom en signalen via snelkoppelingen, stroom- en signaalconnectoren.

 

▲ Afbeelding 1. 2U vier-knooppunt full-wave gekoelde server

 

2. Overzicht van de volledig vloeistofgekoelde server met één knooppunt

De volledig vloeistofgekoelde servernode bestaat uit een nodeshell, moederbord, CPU-chips, geheugenmodules, geheugenkoelplaat, CPU-koelplaat, I/O-koelplaat, voeding en de achterste warmtewisselaar voor de voeding.

 

▲ Afbeelding 2. Volledige vloeistofgekoelde servernode

 

 

II Selectie van stromingspatroon en stroomsnelheidsberekening

 

Om de complexiteit van het ontwerp van het stromingspad te vereenvoudigen, gebruikt deze volledig vloeistofgekoelde server een serieel stromingspadontwerp voor het koelmiddel. Het koelmiddel stroomt van componenten met een laag vermogen naar componenten met een hoog vermogen voor warmteafvoer. De gedetailleerde stromingsrichting wordt weergegeven in het diagram en de onderstaande tabel.

 

▲ Serie stroompad van een 2U vier-knooppunt volledig vloeistofgekoelde server

 

▲ Tabel 3. Koelmediumstroomvolgorde

 

De stroomsnelheid van de volledig vloeistofgekoeldegeleidserver mVoldoen aan de koelvereisten van het systeem:

• Om de betrouwbaarheid van het leidingmateriaal aan de secundaire zijde op lange termijn te garanderen, mag de retourwatertemperatuur aan de secundaire zijde niet hoger zijn dan 65 graden.
• Om ervoor te zorgen dat alle componenten van de volledig vloeistofgekoelde server voldoen aan de koelvereisten binnen de gedefinieerde randvoorwaarden, worden een koperen koelplaat en PG25 geselecteerd voor de analyse van het stroomsnelheidsontwerp.

 

Om te voldoen aan de eis dat de retourwatertemperatuur aan de secundaire zijde niet hoger mag zijn dan 65 graden, wordt het minimale debiet van PG25 per knooppunt, Qmin, berekend met behulp van de volgende formule:

 

Qmin=Psys / (ρ * C * ∆T) ≈ 1,3 LPM

 

 

III Belangrijkste componentontwerp van de volledig vloeistofgekoelde serverkoelplaat

 

1. CPU-koelplaatontwerp

De CPU-koudeplaatmodule is een referentieontwerp dat is geoptimaliseerd op basis van Intel's 5e generatie Xeon Scalable Processor-koudeplaatontwerpvereisten. Het houdt rekening met factoren zoals koeling, structurele prestaties, opbrengstpercentage, kosten en compatibiliteit met verschillende materialen. De CPU-koudeplaat bestaat voornamelijk uit een CPU-koudeplaat aluminiumbeugel, CPU-koudeplaat en koudeplaatconnectoren.

 

▲ Afbeelding 4. CPU-koelplaatmodule

 

2. Geheugenvloeistofkoelingontwerp

Het ontwerp van de vloeistofkoeling van het geheugen maakt gebruik van een innovatieve sleeper heatsink vloeistofkoelingsoplossing, genoemd naar de geheugenmodules die als dwarsliggers op een spoor zijn gerangschikt. Deze oplossing combineert traditionele luchtkoeling en koude plaatkoeling. De heatsink, die ingebouwde heatpipes heeft (of pure aluminium/koperplaten, Vapor Chamber, etc.), brengt warmte van de geheugenmodules over naar beide uiteinden. De warmte wordt vervolgens via geselecteerde thermische pads overgebracht naar de koude plaat en ten slotte voert het koelmiddel in de koude plaat de warmte af, waardoor geheugenkoeling wordt bereikt.

 

Het geheugen en de koelplaat kunnen worden gemonteerd in de kleinste onderhoudseenheid buiten het systeem (hierna de geheugenmodule genoemd). De geheugenkoude plaat heeft een bevestigingsstructuur voor de geheugenmodule om goed contact tussen de koelplaat en de geheugenkoude plaat te garanderen. Deze bevestigingsstructuur kan indien nodig met schroeven worden vastgezet of zonder gereedschap worden onderhouden. De bovenkant van de geheugenkoude plaat koelt het geheugen, terwijl de onderkant andere warmtegenererende componenten op het moederbord kan koelen, zoals VR's. Om het ontwerp van de geheugenkoude plaat te vereenvoudigen, kan een adapterbeugel worden ontworpen tussen het geheugen en het moederbord om te voldoen aan de hoogtebeperkingen van verschillende moederborden.

 

▲ Afbeelding 5. Vloeistofkoelingsoplossing voor slapende koellichamen

 

Vergeleken met de bestaande vloeistofkoeloplossingen voor buisgeheugen op de markt, heeft de vloeistofkoeloplossing voor dwarsliggers de volgende belangrijke voordelen:

 

Eenvoudig onderhoud:Geheugenonderhoud is net zo eenvoudig als het onderhouden van een luchtgekoelde geheugenmodule, zonder dat de heatsink en bevestigingsmiddelen verwijderd hoeven te worden. Dit verbetert de montage-efficiëntie en betrouwbaarheid van vloeistofgekoeld geheugen aanzienlijk, waardoor mogelijke schade aan geheugenchips en thermische pads tijdens demontage en hermontage in het systeem wordt verminderd.

 

Goede compatibiliteit:De warmteafvoerprestaties van deze oplossing worden niet beïnvloed door verschillende diktes van geheugenchips en geheugenruimte. Het is compatibel met een minimale geheugenruimte van 7,5 mm en hoger. Het ontkoppelde ontwerp van de heatsink en de cold plate maakt hergebruik en standaardisatie van geheugenvloeistofkoeling mogelijk.

 

Hogere kosteneffectiviteit:De geheugenkoeler kan worden geselecteerd op basis van het geheugenstroomverbruik, met verschillende processen en koeltechnologieën, en de hoeveelheid kan worden geconfigureerd zoals nodig is op basis van het geheugen. In een geheugenruimtescenario van 7,5 mm kan het voldoen aan de koelbehoeften van geheugenmodules die 30 W overschrijden.

 

Gemakkelijk te produceren en te monteren:Er zijn geen vloeistofkoelbuizen tussen geheugenslots, waardoor er geen behoefte is aan complexe buislassen en procescontrole. De traditionele luchtgekoelde heatsink en algemene CPU-koudeplaatproductieprocessen kunnen worden gebruikt. Bij het monteren van de heatsink is de warmteafvoer niet gevoelig voor toleranties tussen de heatsink en het moederbord in de richting loodrecht op het geheugenchipvlak, waardoor slecht thermisch contact wordt vermeden en de montage eenvoudiger wordt.

 

Goede betrouwbaarheid:De sleeper vloeistofkoelingsoplossing voorkomt mogelijke schade aan geheugenchips en thermische pads tijdens de montage en is bestand tegen meerdere invoegingen en verwijderingen. Bovendien voorkomt het het risico op signaalcontactstoringen veroorzaakt door kantelen tussen geheugen en slots na installatie van de geheugen- en buisvloeistofkoelingsoplossingen, wat de betrouwbaarheid van het systeem aanzienlijk verbetert.

 

3. Ontwerp met vloeistofkoeling voor harde schijven

De innovatieve vloeistofkoelingsoplossing voor solid-state drives (SSD's) maakt gebruik van een koellichaam met ingebouwde heatpipes om warmte van het harde-schijfgebied over te brengen naar de koude plaat buiten het harde-schijfgebied via direct contact met thermische pads, waardoor warmte-uitwisseling ontstaat.

 

Deze SSD-vloeistofkoeloplossing bestaat voornamelijk uit een SSD-module die is uitgerust met een koellichaam, een SSD-koude plaat, een vergrendelingsmechanisme voor de harde schijfmodule en een harde schijfbeugel. Het vergrendelingsmechanisme voor de harde schijfmodule is bevestigd op de harde schijfbeugel om de juiste voorbelastingskracht te bieden, wat zorgt voor een langdurige contactbetrouwbaarheid tussen de SSD-module en de SSD-koude plaat. Om de installatie van de harde schijf-koude plaatlus in een beperkte ruimte te vergemakkelijken, is de harde schijfbeugel ontworpen met een lade-type installatiemethode in de diepterichting van de server.

 

▲ Afbeelding 6. Innovatieve vloeistofkoeloplossing voor solid-state drives

 

De geavanceerde functies van deze oplossing vergeleken met bestaande pogingen voor vloeistofkoeling van harde schijven in de industrie zijn onder andere:

 

• Ondersteunt meer dan 30 hot-swaps zonder dat het systeem hoeft te worden uitgeschakeld.
• Er is geen risico op schade door afschuiving aan thermische interfacematerialen tijdens de installatie van de harde schijf. Het ontwerp van het vergrendelingsmechanisme zorgt voor een betrouwbaar contact op de lange termijn.
• Lage verwerkingsvereisten voor de vloeistofkoeloplossing; alleen traditionele luchtkoeling en CPU-koudeplaatverwerkingstechnieken zijn nodig.
• Geen water tussen de harde schijven; meerdere harde schijven kunnen dezelfde koelplaat delen, waardoor het aantal verbindingen wordt verminderd en de kans op lekkages afneemt.
• Past zich flexibel aan systemen met verschillende diktes en aantallen solid-state drives (SSD's) aan.

 

4. PCIe/OCP-kaart vloeistofkoelingontwerp

 

PCIe-vloeistofkoeloplossing

De vloeistofkoeloplossing voor de PCIe-kaart is gebaseerd op de bestaande luchtgekoelde PCIe-kaart. Het bereikt koeling voor de optische module en de hoofdchips op de PCIe-kaart door een PCIe-kaartkoelmodule te ontwikkelen die contact kan maken met de koude plaat van het systeem. De warmte van de optische module wordt via heatpipes overgebracht naar de hoofdkoelmodule op de PCIe-kaartchip, en de koelmodule wisselt vervolgens warmte uit met de IO-koude plaat via een geschikt thermisch interfacemateriaal.

 

De vloeistofgekoelde PCIe-kaart bestaat voornamelijk uit een QSFP-koellichaamclip, PCIe-chipkoelmodule en de PCIe-kaart zelf. De QSFP-koellichaamclip is ontworpen met de juiste elasticiteit om te zorgen voor een goede zweeffunctie wanneer de QSFP-koellichaam en de kooi op de PCIe-koelmodule worden gekoppeld, wat zorgt voor een goede gebruikerservaring, schade aan de optische module voorkomt en stabiel contact garandeert voor effectieve koeling.

 

▲ Afbeelding 7. PCle-kaart vloeistofkoelmodule

 

OCP3.0 Vloeistofkoeloplossing

De vloeistofkoeloplossing van de OCP3.0-kaart is vergelijkbaar met de PCIe-kaart, waarbij een aangepaste vloeistofgekoelde heatsink wordt gebruikt voor de OCP3.0-kaart. De warmte die door de chips op de kaart wordt gegenereerd, wordt overgebracht naar de vloeistofgekoelde heatsink en de warmte wordt uiteindelijk afgevoerd via contact tussen de heatsink en de IO-koude plaat van het systeem.

 

De OCP3.0 vloeistofkoelmodule bestaat voornamelijk uit de koellichaammodule, de OCP3.0 kaart en de bijbehorende beugel. Vanwege ruimtebeperkingen wordt een veerschroef gebruikt als vergrendelingsmechanisme om de betrouwbaarheid van het contact op de lange termijn tussen de koellichaammodule en de IO-koude plaat te garanderen nadat de vloeistofgekoelde OCP3.0 kaart is gemonteerd.

 

▲ Afbeelding 8. OCp3.0 Vloeistofkoelmodule

 

Gezien het gemak van toekomstig onderhoud en de noodzaak van meerdere hot-swaps van de OCP3.0-kaart, zijn het ontwerp van het vergrendelingsmechanisme en de selectie van thermische interfacematerialen geoptimaliseerd om de algehele betrouwbaarheid en het gebruiksgemak en onderhoud te verbeteren.

 

IO-koelplaatoplossing

De IO-koude plaat is een multifunctionele koude plaat die niet alleen warmte afvoert van de verwarmingscomponenten in het IO-gebied van het moederbord, maar ook de vloeistofgekoelde PCIe-kaart en de vloeistofgekoelde OCP3.0-kaart koelt.

 

▲ Afbeelding 9. lO Koude Plaat

 

▲ Afbeelding 10. Positie van vloeistofgekoelde PCle-kaart, vloeistofgekoelde OCP3.0 en IO-koelplaat

 

De IO-koude plaat bestaat voornamelijk uit de IO-koude plaatbehuizing en koperen buiskanalen. De IO-koude plaatbehuizing is gemaakt van aluminiumlegering, terwijl de koperen buizen verantwoordelijk zijn voor de koelvloeistofkanalen en het verbeteren van de warmteafvoer. Het specifieke ontwerp moet worden geoptimaliseerd op basis van de lay-out van het moederbord en de vereisten voor componentkoeling. De koellichaammodules op de vloeistofgekoelde PCIe-kaart en de vloeistofgekoelde OCP3.0-kaart maken contact met de IO-koude plaat langs de pijlrichting. De materiaalkeuze voor de koelvloeistofkanalen moet rekening houden met de compatibiliteit met de koelvloeistof en bevochtigingsmaterialen van de pijpleiding van het systeem.

 

Deze IO-koelplaatvloeistofkoeloplossing voldoet aan de multidimensionale assemblagevereisten van meerdere componenten. Het gemengde gebruik van koper- en aluminiummaterialen pakt problemen met materiaalcompatibiliteit aan, zorgt voor koeleffectiviteit, helpt het gewicht van de koelplaat met 60% te verminderen en verlaagt de kosten.

 

5. Ontwerp van de koude plaat van de voeding

Bij de vloeistofkoelingsoplossing voor de voeding wordt de uitlaatlucht van de PSU-ventilator gekoeld door een externe lucht-vloeistofwarmtewisselaar aan te sluiten op de bestaande luchtgekoelde voeding. Hierdoor wordt de voorverwarming van de externe datacenteromgeving door het systeem verminderd.

 

De PSU-achterwarmtewisselaar heeft een meerlaagse structuur, met kanalen en vinnen op elkaar gestapeld. De grootte van de PSU-achterwarmtewisselaar moet de koelvereisten, het gewicht en de kosten in evenwicht brengen, terwijl het er tegelijkertijd voor zorgt dat het de functie voor het inbrengen/verwijderen van het netsnoer niet verstoort en voldoet aan de ruimtebeperkingen van de systeemkast. De PSU-achterwarmtewisselaar is onafhankelijk gemonteerd op de knooppuntbeugel.

 

▲ Figuur 11. PSU-warmtewisselaar aan de achterkant

 

Deze innovatieve vloeistofkoelingsoplossing voor voedingen elimineert de noodzaak om nieuwe vloeistofgekoelde voedingen te ontwikkelen, verkort de ontwikkelingscyclus en verlaagt de ontwikkelingskosten. De uitstekende veelzijdigheid zorgt ervoor dat het zich flexibel kan aanpassen aan voedingsoplossingen van meerdere leveranciers, wat meer dan 60% bespaart in vergelijking met aangepaste vloeistofgekoelde voedingen.

 

Voor toepassingen met hele kasten kan de vloeistofkoeling van de voeding ook gebruikmaken van een gecentraliseerde lucht-vloeistof warmtewisselaaroplossing. Dit houdt in dat de voor- en achterdeuren van de kast worden afgedicht en een gecentraliseerde lucht-vloeistof warmtewisselaar onderin de kast wordt geplaatst, waarbij de gedistribueerde lucht-vloeistof warmtewisselaarstructuur achter de PSU wordt vervangen door een gecentraliseerde.

 

De gecentraliseerde lucht-vloeistof warmtewisselaar bestaat uit aluminium gegolfde vinnen die zijn gecoat met een hydrofiele laag om de warmtewisseling te verbeteren, gecombineerd met koperen buizen met een hoge warmteoverdrachtscoëfficiënt. Het kan ten minste 8 kW koelvermogen leveren met een temperatuurverschil van 10 graden. Het stromingspad van de warmtewisselaar is geoptimaliseerd door middel van simulatie om meer stroming bij lage weerstand aan te kunnen. Het beschikt over een anticondensontwerp en uitgebreide lekdetectie om veiligheidsrisico's te elimineren. Een speciaal scharnierontwerp voldoet aan hoge belastingsvereisten en een kaartsleufverbindingsontwerp vergemakkelijkt installatie en onderhoud.

 

Met meer dan 95% van de warmte van een enkele vloeistofgekoelde server die wordt beheerd door de koude plaat, hoeft minder dan 5% van de warmte te worden verwerkt door de lucht-vloeistof warmtewisselaar. Elk knooppunt vereist slechts 40-50W aan lucht-vloeistof warmtewisseling, en een enkele gecentraliseerde lucht-vloeistof warmtewisselaar ondersteunt 8kW aan warmtewisselingscapaciteit, wat koeling mogelijk maakt voor niet minder dan 150 knooppunten, tegen een kostprijs die veel lager is dan 150 gedistribueerde lucht-vloeistof warmtewisselaars.

 

Deze oplossing zorgt ervoor dat de servervoedingen ongewijzigd blijven, waarbij de gegenereerde warmte wordt verzameld en gelijkmatig wordt uitgewisseld door de gecentraliseerde lucht-vloeistofwarmtewisselaar aan de achterkant van de kast. De warmte vormt een zelfstandige circulatie binnen de kast, zonder impact op de datacenteromgeving, wat echt "Rack as a computer" oplevert.