Il mercato dell’intelligenza artificiale si gioca sempre più sull’infrastruttura. Se negli ultimi anni l’attenzione si è concentrata sui modelli linguistici e sulle loro capacità, oggi la vera competizione si sta spostando su un altro terreno, quello dell’inferenza. È la fase in cui un modello già addestrato genera risposte agli utenti, un’attività che rappresenta ormai una delle principali voci di costo per aziende e fornitori di servizi AI.
In questo scenario si inserisce la francese ZML, startup sostenuta anche dal premio Turing Yann LeCun, che ha annunciato il rilascio di LLMD, un server di inferenza open source e gratuito progettato per eseguire modelli linguistici su piattaforme hardware differenti. L’obiettivo dichiarato è semplice quanto ambizioso. Ridurre la dipendenza da un singolo produttore di chip e consentire alle imprese di sfruttare qualsiasi acceleratore disponibile senza dover riscrivere il software.
Hardware compatibile
LLMD è compatibile con GPU Nvidia e AMD, con le TPU di Google, con Apple Metal e con Intel Arc. Non si tratta quindi di un nuovo modello AI, bensì di un’infrastruttura software che gestisce l’esecuzione dei modelli esistenti, ottimizzando l’utilizzo delle risorse di calcolo e cercando di ottenere le migliori prestazioni indipendentemente dall’hardware utilizzato.
Il monopolio di Nvidia
La novità arriva in un momento in cui il mercato continua a essere dominato da Nvidia. La maggior parte dei framework AI è infatti costruita intorno a CUDA, la piattaforma software dell’azienda statunitense, creando un forte fenomeno di cosiddetto “vendor lock-in”. In pratica, molte organizzazioni finiscono per acquistare esclusivamente GPU Nvidia perché l’intero ecosistema software è ottimizzato per quelle architetture.
Obiettivi e vantaggi
Secondo Steeve Morin, fondatore di ZML, è proprio questo il problema che la startup vuole affrontare. «L’inferenza è frenata da barriere architetturali e software che creano silos tra i diversi produttori di chip», spiega Morin. L’obiettivo di LLMD è quindi massimizzare le prestazioni disponibili su qualunque acceleratore, eliminando la necessità di scegliere un unico ecosistema hardware.
Il tema non riguarda soltanto la libertà di scelta. Per molte aziende significa anche ridurre sensibilmente i costi operativi. L’inferenza rappresenta infatti la fase che viene eseguita milioni di volte al giorno dai chatbot, dagli assistenti virtuali e dalle applicazioni AI. Anche piccoli miglioramenti nell’efficienza possono tradursi in risparmi economici molto rilevanti.
La scommessa di ZML
Negli ultimi mesi il settore ha iniziato a considerare l’ottimizzazione dell’inferenza come una delle principali aree di innovazione. Diverse startup stanno sviluppando strumenti dedicati proprio a questa fase, cercando di aumentare il numero di token elaborati al secondo e di ridurre il consumo energetico dei data center. Non è un caso che progetti open source come vLLM e SGLang abbiano attirato un crescente interesse da parte dell’industria e degli investitori.
Per ZML, tuttavia, la differenza consiste nell’offrire un’unica piattaforma capace di funzionare in maniera nativa su architetture molto diverse tra loro. Sul repository ufficiale GitHub l’azienda descrive il progetto con uno slogan che sintetizza la filosofia del prodotto. “Any model. Any hardware. Zero compromise”, ovvero qualsiasi modello, qualsiasi hardware, senza compromessi.
Un ecosistema europeo più autonomo
L’annuncio rappresenta anche un segnale della crescente vitalità dell’ecosistema europeo dell’AI. Negli ultimi anni il continente ha cercato di ritagliarsi uno spazio non tanto nella corsa ai modelli di frontiera, quanto nello sviluppo di strumenti, software e infrastrutture in grado di rendere più efficiente l’intera filiera dell’intelligenza artificiale.
Resta naturalmente da verificare se LLMD riuscirà a mantenere le promesse anche nei carichi di lavoro reali. Le aziende valuteranno soprattutto le prestazioni rispetto alle soluzioni già consolidate e la semplicità di integrazione nei sistemi esistenti. Se i risultati saranno all’altezza delle aspettative, la sfida lanciata da ZML potrebbe contribuire a ridurre uno dei principali colli di bottiglia dell’AI moderna, aprendo la strada a un mercato meno dipendente da un solo produttore di chip e più aperto alla concorrenza.