Wat is Ultra Ethernet en hoe werkt het?

De eerste officiële specificatie van Ultra Ethernet is afgerond. Deze netwerktechnologie is van meet af aan ontworpen met het oog op de eisen van grootschalige AI-clusters en high-performance computing (HPC)-toepassingen.

Het Ultra Ethernet Consortium (UEC) heeft versie 1.0 van zijn netwerkspecificatie gepubliceerd. Daarmee is een eerste formele stap gezet naar een ethernet-variant die expliciet is afgestemd op de eisen van AI- en HPC-omgevingen. Ultra Ethernet breidt het klassieke ethernet-protocol uit met een schaalbare, gelaagde communicatiestack die ontworpen is voor lage latentie, minimale jitter en robuuste congestiebeheersing.

De specificatie voorziet in interoperabiliteit over heterogene hardwareplatforms en legt de nadruk op end-to-end-performance, met het oog op toepassingen waar hoge bandbreedte en voorspelbare doorvoer essentieel zijn – zoals in grootschalige gpu-clusters en wetenschappelijke simulaties.

Blijf op de hoogte van de nieuwste ontwikkelingen in high-performance netwerken en AI-infrastructuur

Schrijf je in voor onze gratis nieuwsbrief:

Hoewel ethernet al geruime tijd wordt toegepast in AI- en HPC-clusters, vonden de leden van het Ultra Ethernet Consortium (UEC) aanleiding tot een fundamentele herziening van het protocol. Klassiek ethernet vertoont structurele tekortkomingen voor dit type toepassingen, met name op het gebied van congestiebeheersing en betrouwbaar, verliesvrij transport.

Ultra Ethernet moet deze knelpunten wegnemen via een diepgaand aangepaste architectuur die geschikt is voor deterministische prestaties bij hoge netwerkbelasting. Aan versie 1.0 van de specificatie is gewerkt door meer dan honderd bedrijven en ruim duizend betrokken experts. Het resultaat is een document van maar liefst 562 pagina’s dat alle netwerklagen omvat – van fysieke transmissie tot de transportstack. De volledige specificatie is onder de Creative Commons-licentie CC BY-ND 4.0 vrij beschikbaar via de website van het consortium.

Volgens Hugh Holbrook (UEC, Arista Networks) lag de keuze voor ethernet als basis onder Ultra Ethernet voor de hand vanwege de brede ondersteuning door hardwareleveranciers en de alomtegenwoordigheid van het protocol in bestaande netwerkinfrastructuren. In plaats van een volledig nieuw netwerkparadigma te introduceren, kiest UEC voor een evolutionaire aanpak: Ultra Ethernet bouwt voort op het bestaande ethernet-ecosysteem, zonder ingrepen in de kern van het protocol.

De vernieuwing zit in de aanvullende netwerkarchitectuur en ondersteunende protocollen, die het geheel beter moeten laten aansluiten op de eisen van grootschalige, latency-gevoelige workloads zoals AI-training en HPC-simulaties.

De kern van Ultra Ethernet 1.0 is het nieuwe transportprotocol Ultra Ethernet Transport (UET), gericht op directe dataoverdracht tussen netwerk en applicatiegeheugen met minimale software-interventie. Dit verlaagt latency en cpu-belasting bij grootschalige datastromen.

UET bouwt voort op het RDMA-principe, maar kiest voor een gestandaardiseerde, schaalbare aanpak binnen het ethernet-ecosysteem. In tegenstelling tot RoCE of InfiniBand vereist het geen gespecialiseerde hardware, wat het geschikter maakt voor heterogene AI- en HPC-omgevingen met hoge doorvoer en strikte timingeisen.

Een opvallend kenmerk van Ultra Ethernet Transport is de ondersteuning voor Multipath-RDMA met Relaxed Delivery Ordering. Daarmee kunnen datastromen flexibel over meerdere paden worden verdeeld, zonder strikte volgordegarantie. Dit verhoogt de netwerkbenutting in topologieën met redundante routes, zoals in AI-fabrics en HPC-interconnects.

Verder past het protocol geavanceerde congestiebeheersing en snelle verliesdetectie toe. In tegenstelling tot TCP bereikt Ultra Ethernet binnen één RTT de maximale snelheid, en past het zich direct aan bij verzadiging. Dit resulteert in stabiele prestaties onder hoge belasting — cruciaal voor deterministische AI- en HPC-workloads.

Blijf op de hoogte van de nieuwste ontwikkelingen in high-performance netwerken en AI-infrastructuur

Schrijf je in voor onze gratis nieuwsbrief:

Ultra Ethernet Transport maakt gebruik van packet spraying: datapakketten worden dynamisch over meerdere netwerkpaden verdeeld om de linkbenutting te maximaliseren en congestie te vermijden. Via gecontroleerde variatie in padselectie – zogeheten hotspot avoidance – worden netwerkhotspots effectief ontweken zonder extra vertraging.

In tegenstelling tot statische of hashgebaseerde load-balancing biedt deze fijnmazige spreiding duidelijke voordelen bij asymmetrische belasting en burstverkeer, zoals bij grootschalige gpu-gpu-communicatie in AI- en HPC-clusters.

Een onderscheidende innovatie in Ultra Ethernet Transport is packet trimming: bij overbelasting kan een switch of NIC pakketten opsplitsen in kleinere fragmenten met verhoogde verzendprioriteit. De ontvanger detecteert ontbrekende fragmenten vrijwel direct en vraagt alleen die gericht opnieuw op.

Dit voorkomt volledige hertransmissies, verlaagt de reactietijd bij verlies en beperkt netwerkbelasting. In tegenstelling tot TCP’s time-out-gebaseerde herstel biedt deze aanpak snellere en efficiëntere foutcorrectie – essentieel voor latencygevoelige toepassingen zoals AI-training en real-time simulaties.

Ultra Ethernet Transport detecteert congestie aan de zenderzijde via signalen als vertraagde acknowledgements, ECN-markeringen en packet trimming. Hiervoor is geen apart feedbackkanaal nodig. Aanvullend ondersteunt het een credit-gebaseerd mechanisme aan de ontvangerzijde, waarmee de zendsnelheid wordt afgestemd op bufferstatus of verwerkingscapaciteit.

De zender mag alvast starten met verzenden — zogeheten optimistische transmissie — en past de snelheid aan op basis van terugkoppeling. Deze hybride aanpak combineert snelle reactie met voorspelbare flow control, en zorgt voor efficiënte bandbreedtebenutting bij wisselende belasting. Vooral in latency-gevoelige AI-training biedt dit voordelen boven conservatieve of agressieve verstuurmodellen.

Ultra Ethernet Transport ondersteunt een Zero-RTT connection setup, vergelijkbaar met het mechanisme dat bekend is van QUIC. Hierdoor kunnen verbindingen tot stand komen zonder voorafgaande TCP-achtige handshake, wat de initiële vertraging aanzienlijk verlaagt. Relevante sessieparameters worden vooraf gedeeld of uit de context afgeleid , waardoor het eerste verzonden pakket direct nuttige payload kan bevatten.

Dit is met name voordelig in omgevingen waar verbindingen frequent worden opgebouwd en verbroken – zoals bij fine-grained compute- of storageworkloads in AI-clusters – en waar minimale setup-latency gewenst is zonder in te boeten op betrouwbaarheid of transportcontrole.

Blijf op de hoogte van de nieuwste ontwikkelingen in high-performance netwerken en AI-infrastructuur

Schrijf je in voor onze gratis nieuwsbrief:

Elke Ultra Ethernet Transport-verbinding is standaard voorzien van end-to-end-encryptie op basis van AES-GCM (Galois/Counter Mode), waarmee zowel vertrouwelijkheid als integriteit van de datastroom gewaarborgd is. De benodigde sessiesleutels worden gegenereerd via een Key Derivation Function (KDF), doorgaans op basis van vooraf gedeelde of onderling afgesproken cryptografische context. Naast encryptie biedt Ultra Ethernet Transport ook anti-replaybescherming, waarmee hergebruik van eerder verzonden pakketten effectief wordt tegengegaan – cruciaal voor de betrouwbaarheid en veiligheid van datagedreven clusterinfrastructuren.

Het beveiligingsmodel is groepsgebaseerd: binnen een zogeheten security domain vertrouwen deelnemende nodes op een gemeenschappelijke set sleutels. Dit vereenvoudigt sleutelbeheer in dynamische omgevingen met grote aantallen compute- of storageknooppunten, terwijl het toch een robuust kader biedt voor datapadbeveiliging. De groepssleutels vormen daarmee de basis voor versleutelde communicatie binnen gedistribueerde AI- of HPC-workloads, zonder de overhead van per-verbinding key exchange zoals bij TLS.

Ultra Ethernet is ontworpen voor soepele integratie in bestaande netwerkinfrastructuren en sluit aan bij gangbare softwarestacks voor high-performance networking. Concreet functioneert het als provider binnen de libfabric-2.0-API van de OpenFabrics Alliance – een abstractielaag die uniforme toegang biedt tot uiteenlopende netwerktransporten, zoals InfiniBand, RoCE, TCP en nu ook Ultra Ethernet Transport. Door gebruik te maken van libfabric kunnen applicaties profiteren van Ultra Ethernets prestaties zonder directe afhankelijkheid van de onderliggende netwerkarchitectuur, wat de adoptiedrempel in HPC- en AI-omgevingen verlaagt.

De ondersteuning via libfabric positioneert Ultra Ethernet Transport als een volwaardige participant in het bestaande ecosysteem van RDMA-achtige communicatie, en maakt het mogelijk om met minimale aanpassingen bestaande toepassingen te laten profiteren van de voordelen van de nieuwe transportstack. Dit past in het bredere streven van het Ultra Ethernet Consortium om niet alleen een nieuwe standaard te definiëren, maar ook de implementatie ervan in praktische omgevingen te faciliteren.

Op de lagere netwerklagen introduceert Ultra Ethernet Link-Layer Reliability (LLR) en credit-based flow control. LLR biedt snelle, hardwarematige foutcorrectie op link-niveau – cruciaal in omgevingen waar tijdelijke bitfouten, veroorzaakt door thermische of elektromagnetische verstoringen, de prestaties kunnen ondermijnen. Dit voorkomt dat hogere lagen met trage of zware herstelmechanismen moeten ingrijpen.

Daarnaast stemt credit-based flow control op link-niveau de verzendsnelheid dynamisch af op de bufferstatus van de ontvanger. Dit voorkomt overbelasting bij burstverkeer in AI-training. Samen zorgen deze mechanismen voor een robuust en responsief datapad, ook bij fluctuaties in belasting of signaalkwaliteit.

Rond Ultra Ethernet zijn al diverse uitbreidingen in ontwikkeling die de functionaliteit verder moeten uitdiepen. Zo wordt gewerkt aan uitgebreide telemetrievoorzieningen voor realtime inzicht in netwerkgedrag, geavanceerde congestion control-algoritmen die adaptiever reageren op dynamische belasting, en ondersteuning voor specifieke opslagprotocollen om ook high-throughput storage workloads optimaal te kunnen bedienen.

Daarnaast wordt geëxperimenteerd met in-network compute, waarbij bepaalde reken- of aggregatietaken direct in switches of netwerkprocessors worden uitgevoerd om latency en datavolume te reduceren.

Ultra Ethernet bouwt voort op vertrouwde principes, maar introduceert fundamentele verbeteringen voor de eisen van AI- en HPC-omgevingen. De combinatie van open specificaties, doordachte architectuur en pragmatische integratie maakt het tot een veelbelovende evolutie binnen het ethernet-domein.

Een actueel overzicht van de specificaties, documentatie en implementatiestatus is beschikbaar op de officiële website van het Ultra Ethernet Consortium.

Blijf op de hoogte van de nieuwste ontwikkelingen in high-performance netwerken en AI-infrastructuur

Schrijf je in voor onze gratis nieuwsbrief: