+31 74 2555 713 info@sintecs.nl

info@sintecs.nl

+31 74 2555 713

Case
dReDBox – Een ontwerp ‘first time right’

Bij Sintecs werken engineers uit verschillende teams, zoals PCB layout en Signal / Power Integrity, nauw met elkaar samen. We realiseren een optimaal ontwerp door vanuit verschillende expertises telkens in de gaten te houden of we op de goede weg zitten. Door de continue feedback die onze engineers aan elkaar geven, wordt het ontwerp waar nodig aangepast. Deze werkwijze zorgt ervoor dat problemen worden opgelost, of zelfs voorkomen. 

Het project – dReDBox

dReDBox is een Horizon 2020 EU project met als doel efficiënter gebruik van datacenter resources, wat ruimte en energie besparing oplevert. Het is gebaseerd op een nieuw hardware concept waarbij een pool van gedisaggregeerde rekenkracht, geheugen en acceleratie resources wordt gebruikt in plaats van een vaste server configuratie.

 

Het ontwerp

dReDBox bevat hardware bouwblokken, ook wel ‘’dBRICK’’ genoemd. Zestien van deze dBRICKs zijn op de dTRAY geplaatst, een moederboard met een high speed netwerk waarover dBRICKs met extreem low latency met elkaar kunnen communiceren. De dTRAY heeft drie uitgaande netwerken: een optisch netwerk, PCIe en ethernet.

 

 

Om de dReDBox gebruiksvriendelijk voor programmeurs te maken, ondersteunt het platform Virtual Machines (VM) waaraan on-the-fly precies de juiste hoeveelheid resources worden toegewezen.

 

Uitdagingen voor Sintecs

Een gedisaggregeerd high-performance rekenplatform is een complex high-end systeem. Onze engineers hebben het vanaf scratch ontworpen: een volledig nieuwe architectuur, een nieuwe fysische verdeling van processoren en high speed geheugen, en high speed board-to-board verbindingen. Tijdens de ontwerpfase van de dReDBox hardware liepen we tegen 3 uitdagingen aan.

1. De snelheid van het DDR4-geheugen

Voor een goede werking hebben de dBRICKs een stabiel DDR4-geheugen nodig. Voor een ontwerp zoals de dReDBox zijn de timing marges zo smal, dat de precieze fysieke configuratie al significant invloed heeft op de maximale geheugen snelheid. Door een timing analyse werd duidelijk dat, als we ons aan de PCB layout richtlijnen van de Zynq UltraScale+ MPSoC zouden houden, het onmogelijk zou zijn om de maximale snelheid (2400 MT/s) van het geheugen te gebruiken. Om de maximale snelheid toch te kunnen gebruiken, hebben we Xilinx om meer informatie gevraagd. Zij gaven ons timing details waardoor het mogelijk werd om de PCB layout te optimaliseren.

Door hardware verificatie werd bevestigd dat we inderdaad het DDR4-geheugen op de maximale snelheid konden gebruiken, in een brede temperatuur range, zonder timing en EMI problemen.

2. Thermische analyse

 

 

Om problemen op thermisch gebied te voorkomen hebben we, vroeg in de ontwerpfase, een thermische analyse en verificatie uitgevoerd. De individuele dBRICKs zijn geanalyseerd, evenals het hele dReDBox systeem, wat in totaal ongeveer 750 Watt verbruikt. We hebben hot spots geïdentificeerd, zones ontdekt waar de luchtstroom stagneerde, en componenten gevonden die te heet werden. Het resultaat van deze thermische analyse diende als input voor het mechanische en elektrische ontwerp, en voor voorspellingen van de betrouwbaarheid in stress testen.

Als gevolg van de thermische analyse konden we een aantal zaken, zoals de luchtstromen, temperatuurverdeling en de grootte en het aantal ventilatoren optimaliseren. Het gaf ons inzicht in de impact van configuratie wijzigingen, en van het effect van uitvallende ventilatoren.

3. Houd vermogensdips en storing buiten

Om continu storingsvrij vermogen te garanderen, hebben we een Signal en Power Integrity analyse uitgevoerd. Daarbij hebben we de optimale ontkoppeling bepaald, geëxperimenteerd met PCB stack-up en verschillende aspecten van PCB technologie onderzocht, zoals gebruikte materialen, dimensies, tracks en via’s. Uiteindelijk kwamen we tot een oplossing die voldoet aan de energiebehoeften, en tegelijkertijd vermijdt dat we dure materialen moeten gebruiken.

Om de invloed van snel schakelende high speed interfaces op the dBRICKs te minimaliseren en om problemen in de vijftien power rails te voorkomen, hebben we de layout van de power planes en de ontkoppel condensatoren zo aangepast, dat ze de grote stromen die worden veroorzaakt door snel schakelende signalen snel kunnen verdelen.

Geen budget en tijd voor een herontwerp

Bij een PCB ontwerp is een iteratie erg kostbaar, met name bij high-end systemen, zoals de dReDBox. Per ronde kan de doorlooptijd oplopen tot 6 maanden en de kosten tot wel €50.000. De enige manier waarop wij dit project binnen de tijd en binnen het budget zouden kunnen afronden, was wanneer het ontwerp de eerste keer goed zou zijn. Dit leek een moeilijke opdracht, maar de engineers kregen het toch voor elkaar.

 

 

Onze eerder genoemde manier van werken is de reden dat ons ontwerp ‘right first time’ was. Telkens wanneer er een ontwerpkeuze werd gemaakt, werd dit direct geanalyseerd en werd er naar deze resultaten gehandeld. Dit proces werd tijdens de gehele ontwerpfase herhaald. We itereerden, analyseerden en optimaliseerden de hardware en PCB layout in meer dan 50 rondes. Door een succesvolle afronding van dit project kunnen we dan ook concluderen dat onze manier van werken zijn vruchten af heeft geworpen.