Waarom ‘clocks en cores’ niet meer volstaan voor moderne datacenter workloads

Langer dan medeoprichter van Intel Gordon Moore kon vermoeden, bepaalde de Wet van Moore het ontwikkelingsritme in de wereld van halfgeleiders, en daarmee van pc’s tot datacenters. Anno 2020 is echter niet meer alleen het aantal transistors en daarmee rekenkernen dat er past op een paar vierkante centimeter silicium van belang, noch de kloksnelheid daarvan. Er is meer dan ‘cores & clocks’: hoe sneller processors worden, hoe belangrijker snelle beschikbaarheid van data wordt. Data, in grote hoeveelheden, is immers waar het tegenwoordig om draait.

Slimmere én snellere storage

Intel heeft een lange geschiedenis van innovatie op dit vlak, van steeds grotere on-die caches tot slimme acceleratietechnieken op basis van NAND flash en 3D XPoint. In de wereld van big data en machine learning volstond het toevoegen van een extra snelheid bij processor of storage alleen niet meer, ontwikkelde het bedrijf geheel nieuwe vormen van storage. Of het nu gaat om een enterprise-applicatie als SAP of een dataset voor visuele analyse, er moet meer data dan ooit, sneller dan ooit beschikbaar zijn voor het systeem.

Intel

Daartoe ontwikkelde Intel de supersnelle Optane SSD-opslag, zowel in een PCI-Express variant als in een versie in dezelfde form factor als DRAM: Persistent Memory. Recent aangekondigd in een vernieuwde versie, biedt Persistent Memory 200 tot 4,5 TB aan capaciteit per socket, 25% meer bandbreedte dan de vorige generatie en meer dan 225x snellere toegang tot data dan een standaard SSD.

Intel

Interessant is dat de enorme snelheidstoename van storage bestaande systeembeheer dogma’s op zijn kop zet: met Optane is swappen opeens een valide strategie, in plaats van een teken van falend design. Ook is het met geheugen dat zijn data niet verliest bij een power cycle mogelijk een enterprise systeem te voorzien van een update of patch, zonder een dag downtime voor lief te moeten nemen – de data blijven bewaard in het geheugen en binnen no time kan je weer up & running zijn.

Snellere AI compute

Intel

Persistent Memory 200 werkt naadloos samen met de tegelijk aangekondigde derde generatie Xeon Scalable (Cooper Lake), die overweg kan met de nieuwe bfloat16 instructie. Dit is een van een groot aantal innovaties die Intel sinds 2017 onder de naam DL (Deep Learning) Boost heeft toegevoegd aan de Xeon-lijn, voor zeer hoge prestaties in AI-toepassingen als recommendation engines, natural language processing en visual analytics. Met bfloat16 is een snelheidstoename van bijna 2x te realiseren ten opzichte van processors die beperkt zijn tot fp16 en fp32, voor inference én training. Ten opzichte van Xeon E7 v4 biedt de 3rd Gen Intel Xeon Scalable met bf16 3,66x hogere prestaties en met int8 zelfs 6,25x.

Intel

Intel

De nieuwe Xeon Scalable CPU’s zijn onderdeel van een breed aanbod aan compute-oplossingen van Intel, waaronder series voor offloading van specifieke workloads: van GPU’s (X^e), VPU’s (Movidius) en ASICs (Habana) tot FPGA’s. Die laatste klasse werd onlangs fors vernieuwd in de vorm van de Stratix 10 NX, voorzien van een AI Tensor Block met 15x meer int8 compute power dan de voorganger.

Snellere verbindingen

Ook voor het onderling verbinden van systemen heeft Intel tal van oplossingen, van Barefoot tot performance based, programmable ethernet tot Silicon Photonics. Niet voor niets luidt het motto bij Intel tegenwoordig Move faster, store more, process everything.

Begin met het hele systeem

Voor systeemarchitecten betekenen de vele opties qua processing, storage en networking twee dingen. Ten eerste: puur kiezen voor de meeste cores en hoogste kloks binnen het budget volstaat niet meer om de beste prestaties te realiseren. Daarvoor is het IT-landschap te complex geworden. Ongeacht de workload, de keuze voor de beste oplossing begint met kijken naar het gehele systeem.

Ten tweede: daarmee is het realiseren van de beste oplossing veel interessanter, creatiever en uitdagender geworden. Het vereist een dialoog tussen de gebruiker, de architect, de applicatie-vendor en de OEM-leverancier van het systeem – en waar nodig biedt ook Intel ondersteuning (zie kader) op het vlak van optimalisatie en development.