Home / Glossario / Self-hosting

What is Self-hosting?

Self-hosting significa eseguire un LLM su infrastruttura che Lei controlla: il Suo laptop, il Suo data center o una GPU dedicata che provisiona. Il runtime self-host di osFoundry supporta qualsiasi modello tra i 76.000 modelli open-weight con un clic.

Detail

Self-hostare un LLM Le dà pieno controllo su pesi, runtime, routing e flusso dati. Il trade-off è che Lei (o la Sua piattaforma) possiede le ops dell'infrastruttura. Ragioni comuni per il self-host: privacy, residenza dei dati, prevedibilità dei costi su scala o esecuzione di modelli non disponibili via API.

Il self-hosting funziona solo con modelli open-weight. I modelli proprietari (GPT-4, Claude) sono solo API.

How osFoundry approaches Self-hosting

osFoundry comprime la tassa di integrazione del self-host: server di inferenza integrato, installazione di modelli con un clic, routing workspace-wide, nessun setup di llama.cpp. Hardware locale, il nostro cloud o il Suo server GPU: scelga per modello.