osFoundry / Platform
Server locali
Esegui inferenza locale sulla tua macchina o workstation. I percorsi sono automatici — Maestro sceglie il locale quando può.
Che cos’è
I server locali ti permettono di eseguire l'inferenza AI sulla tua macchina invece di inviare ogni richiesta a un'API ospitata. osFoundry integra un server di inferenza locale che carica file di modello in formato GGUF da una cartella sul tuo Mac o sulla tua workstation e li mette a disposizione del resto dell'app. Poiché il modello gira su hardware che già possiedi, un'esecuzione locale non costa nulla per token, non richiede alcuna chiave API e tiene il prompt e i suoi dati sul dispositivo, cosa che conta quando il contenuto è privato, regolamentato o semplicemente qualcosa che non vuoi far uscire dall'azienda.\n\nDentro osFoundry, Maestro è il livello di instradamento che decide dove va ogni richiesta. L'instradamento è automatico: Maestro sceglie il server locale ogni volta che una richiesta rientra in ciò che la tua macchina può gestire, e ricorre a un modello cloud (con la tua chiave) solo quando un compito richiede capacità che il modello locale non copre. Non devi cablare tutto questo messaggio per messaggio; è una policy permanente che vale per chat, agenti e ruoli della pipeline. Mantieni il controllo del runtime locale dal pannello delle impostazioni: quanti layer del transformer scaricare sulla GPU, la dimensione della finestra di contesto, la quantizzazione della cache KV (f16, bf16, q8_0, q4_0 e altre), il numero di slot di richieste in parallelo e, sulle macchine multi-GPU, come suddividere il modello tra i dispositivi.\n\nQuesto conta perché la maggior parte dei prodotti di \"AI nel tuo workspace\" ti offre esattamente un unico posto dove i dati possono andare: i loro server. osFoundry è BYOK e local-first per scelta progettuale. I server locali sono le fondamenta di questo disegno: l'opzione che non costa nulla, non espone nulla e funziona offline per i modelli che il tuo hardware riesce a eseguire, mentre le tue chiavi cloud BYOK stanno lì accanto per i lavori più pesanti. Un solo workspace, entrambe le strade, senza canone per postazione e senza ricarico di rivendita su nessuna delle due.
Funzionalità principali
- Esegue modelli GGUF direttamente sul tuo Mac o sulla tua workstation tramite un server di inferenza llama.cpp integrato, senza andata e ritorno verso il cloud né chiave API per le esecuzioni locali
- Maestro instrada ogni turno automaticamente e sceglie il server locale ogni volta che la richiesta è adatta, ripiegando su un modello cloud solo quando il compito lo richiede
- Regola il runtime locale dall'interfaccia: layer di offload su GPU, dimensione del contesto, tipo di cache KV (f16/q8_0/q4_0 e altri), slot paralleli e suddivisione multi-GPU
- Tiene prompt e dati sul tuo dispositivo nelle esecuzioni locali, così che contenuti privati o regolamentati non lascino mai la macchina
- Sta nello stesso workspace delle tue chiavi cloud BYOK: chat, agenti, app, codice e conoscenza attingono al locale o al cloud senza cambiare strumento
Casi d’uso
- Ingegnere attento alla privacy: esegue un modello GGUF locale così che i prompt con contratti e codice non lascino mai la workstation, e lascia che Maestro passi a una chiave cloud solo per la query più difficile che capita di tanto in tanto
- Builder solitario con budget ridotto: si appoggia all'inferenza locale per chat e lavoro con gli agenti di tutti i giorni per tenere la spesa cloud per token vicina a zero, regolando offload GPU e dimensione del contesto per un singolo portatile
- Power user da workstation: suddivide un modello grande su più GPU e alza gli slot paralleli per servire più agenti insieme, interamente sul dispositivo
Domande frequenti
Serve una chiave API per eseguire un modello in locale?
No. Le esecuzioni locali usano un file di modello sulla tua macchina e un server di inferenza integrato, quindi non viene fatturato nulla per token e non serve alcuna chiave. Una chiave ti serve solo quando Maestro instrada una richiesta a un modello cloud, e quella chiave è la tua: osFoundry non rivende l'accesso né aggiunge ricarichi.
Come decide osFoundry tra locale e cloud?
Maestro gestisce l'instradamento in automatico. Preferisce il server locale ogni volta che la richiesta rientra in ciò che la tua macchina può eseguire, e ripiega su un modello cloud solo quando il compito lo richiede. Il runtime locale (layer GPU, dimensione del contesto, tipo di cache) lo configuri tu, ma non devi instradare ogni messaggio a mano.
Che tipo di modelli e hardware supporta il server locale?
Carica modelli in formato GGUF da una cartella sulla tua macchina e li serve tramite un runtime in stile llama.cpp. Puoi scaricare layer su una GPU, adattare la finestra di contesto e la quantizzazione della cache KV alla tua memoria, eseguire più slot di richieste in parallelo e suddividere su più GPU. Quali modelli girano bene dipende da RAM, VRAM e CPU.