Ogni volta che la tua azienda usa GPT-4, Claude o Gemini tramite API, i dati che invii vengono processati su server di proprietà di OpenAI, Anthropic o Google — aziende americane, soggette alla legislazione statunitense, con data center che possono trovarsi fuori dall'Unione Europea. Per molte aziende italiane questo non è un problema. Per altre, invece, è un ostacolo reale.
Contratti con clienti che vietano la condivisione di dati con terzi. Dati sanitari, legali o finanziari coperti da normative specifiche. Segreti industriali o processi proprietari che non si vuole far uscire dall'azienda. In questi contesti, usare un LLM via cloud esterno crea un rischio di compliance che il board non può ignorare.
La domanda non è se i modelli cloud siano sicuri. La domanda è se la tua compliance te li permette.
Cosa significa LLM open source
Un modello open source è un LLM i cui pesi — cioè i parametri appresi durante il training — sono pubblicamente disponibili e scaricabili. Questo significa che puoi installarlo su un server di tua proprietà, in un cloud privato o in un data center europeo, ed eseguirlo completamente sotto il tuo controllo. I dati non escono mai dalla tua infrastruttura.
I principali modelli open source disponibili oggi sono Llama 3 di Meta, Mistral e Mixtral (azienda francese, quindi europea), DeepSeek R1 e V3, Qwen di Alibaba, Phi-3 di Microsoft e Gemma di Google. Le prestazioni dei migliori modelli open source nel 2025 sono competitive con GPT-3.5 e si avvicinano a GPT-4 su task specifici — specialmente se si usano versioni fine-tuned per il dominio aziendale.
I vantaggi reali di un LLM in-house
Il controllo dei dati è il vantaggio più citato, ma non è l'unico. Ci sono almeno altri tre motivi per cui un LLM self-hosted può essere la scelta giusta per una PMI italiana.
- Costo prevedibile: con un modello cloud paghi per token — ogni chiamata API ha un costo variabile che scala con l'uso. Con un modello self-hosted paghi per l'infrastruttura (server o GPU cloud), un costo fisso indipendente dal volume di richieste. Per aziende con alto volume di task ripetitivi, il break-even arriva spesso entro 3-6 mesi.
- Zero latenza di rete: il modello risponde dalla tua infrastruttura, senza round-trip verso server americani. Per applicazioni real-time o voice bot, questo si traduce in risposte più veloci.
- Fine-tuning sul dominio: puoi addestrare il modello sui tuoi dati aziendali — procedure interne, terminologia di settore, documenti proprietari — senza condividere nulla con nessuno. Il risultato è un modello che conosce il tuo business come nessun modello generico può fare.
- Indipendenza dal vendor: nessun rischio di cambio prezzi, interruzione del servizio o modifica delle policy di utilizzo da parte del fornitore.
I limiti che nessuno ti dice
Un LLM self-hosted non è gratis. Richiede hardware adeguato — tipicamente GPU NVIDIA con almeno 24GB di VRAM per modelli medi, o cluster di GPU per modelli grandi. Richiede competenza tecnica per l'installazione, la manutenzione e gli aggiornamenti. E richiede un team che sappia integrarlo nelle applicazioni aziendali.
Per una PMI senza un team IT strutturato, gestire un LLM in-house può essere più complesso del beneficio che porta. La soluzione intermedia più sensata in questi casi è un cloud privato europeo: il modello gira su infrastruttura cloud (AWS Frankfurt, Azure Olanda, Google Belgio) senza mai uscire dall'UE, con gestione semplificata e conformità GDPR.
Il quadro GDPR: cosa dice davvero la normativa
Il GDPR non vieta di usare LLM americani. Vieta di trasferire dati personali fuori dall'UE senza adeguate garanzie. OpenAI, Google e Anthropic offrono tutti opzioni con data residency europea e DPA (Data Processing Agreement) conformi al GDPR. La domanda concreta non è 'posso usare GPT?' ma 'ho verificato che il contratto includa le clausole contrattuali standard per il trasferimento dati, che i dati vengano processati in UE e che non vengano usati per il training?'
Per dati particolarmente sensibili — dati sanitari, dati giudiziari, segreti industriali classificati — la soluzione più sicura dal punto di vista legale rimane il self-hosting o il cloud privato europeo, indipendentemente dalle garanzie contrattuali offerte dai vendor americani.
Quale modello open source scegliere
La scelta dipende dalla dimensione del modello (e quindi dell'hardware necessario), dalla lingua e dal dominio di applicazione.
- Llama 3 70B (Meta): il punto di riferimento per qualità generale. Richiede hardware significativo ma offre prestazioni vicine a GPT-3.5 su task in italiano. Licenza commerciale permissiva.
- Mistral 7B e Mixtral 8x7B (Francia): ottimo rapporto qualità/dimensione, buon italiano, licenza Apache 2.0 completamente libera. La scelta ideale per aziende europee attente alla provenienza.
- DeepSeek R1 distillato: versioni compatte (7B, 14B) con capacità di ragionamento superiori alla dimensione. Costo hardware contenuto.
- Phi-3 Mini (Microsoft): modello molto compatto (3.8B parametri) che gira anche su hardware modesto. Ideale per task semplici su macchine con GPU consumer.
- Gemma 2 (Google): open source, buone prestazioni su task italiani, ottima documentazione.
L'approccio ibrido: il meglio dei due mondi
La maggior parte delle aziende italiane che implementa AI in modo maturo non sceglie tra cloud e self-hosting — usa entrambi. L'architettura ibrida funziona così: i dati sensibili e i task critici vengono processati dal modello in-house, mentre i task generici e a bassa sensibilità vengono inviati al modello cloud più adatto.
Questo richiede un layer di orchestrazione che sappia classificare ogni richiesta e smistarla al modello corretto in modo automatico. Non è un concetto teorico — è esattamente come funzionano le implementazioni aziendali più avanzate nel 2025.
- Dati di clienti e contratti → modello self-hosted in cloud europeo
- Analisi di testi pubblici e ricerca → GPT-4o o Claude via API
- Classificazioni ad alto volume → modello open source locale, costo quasi zero
- Ragionamento complesso e decisionale → modello premium con contesto lungo
Come iniziare: il percorso pratico
Il punto di partenza non è scegliere il modello — è mappare i tuoi dati. Quali informazioni stai pensando di inviare al LLM? Sono dati personali di clienti? Dati finanziari? Segreti industriali? O sono testi generici, FAQ pubbliche, documentazione non sensibile?
Da questa mappatura emerge naturalmente quale percentuale dei tuoi use case può andare su cloud esterno e quale richiede un approccio in-house. Per la maggior parte delle PMI italiane la risposta è che il 70-80% dei task può andare su cloud con le dovute garanzie contrattuali, e il 20-30% richiede più attenzione.
TeraBrain supporta entrambe le architetture: modelli cloud (OpenAI, Claude, Gemini) e modelli open source self-hosted, con routing automatico basato su policy di sicurezza configurabili per ogni agente e ogni tipo di dato. Se vuoi capire quale architettura è giusta per la tua azienda, il primo passo è una call di assessment — senza impegno, senza presentazioni commerciali.