In het kort:
De overname van Groq toont aan dat de AI-markt verschuift van het trainen van modellen naar het daadwerkelijk gebruiken ervan in de praktijk, ook wel 'inference' genoemd.
- Groq's Language Processing Units (LPU's) zijn specifiek ontworpen voor inference en presteren veel sneller dan traditionele GPU's bij het beantwoorden van vragen in real-time.
- RBC Capital-analisten voorspellen dat inference de trainingsmarkt zal overtreffen en de dominante AI-taak wordt.
- NVIDIA's GPU's blijven superieur voor training, maar zijn door hun flexibiliteit minder efficiënt voor snelle inference-taken.
Het grote plaatje:
De deal bevestigt dat AI-datacenters evolueert naar hybride omgevingen waar verschillende chips verschillende taken uitvoeren. Tony Fadell, bedenker van de iPod, noemt dit een "tektonische verschuiving" in de semiconductor-industrie.
- Groq's chips werken als precisie-assemblagelijnen: elke operatie wordt vooraf gepland en perfect herhaald, wat resulteert in lagere latency en energieverbruik.
- NVIDIA's strategie is niet om één winnaar te kiezen, maar om het verbindende weefsel te bezitten: de software, netwerken en ontwikkelaarsecosysteem die alle componenten laat samenwerken.
Vooruitkijkend:
Deze overname is een preventieve zet van CEO Jensen Huang om concurrenten zoals Cerebras, Google's TPU's en Amazon's Inferentia voor te blijven. Door Groq's technologie te licenseren en het team binnen te halen, zorgt NVIDIA ervoor dat het klanten zowel de "scheppen als de assemblagelijnen" van AI kan bieden.
