Mistral Small 3
Mistral Small 3 (Mistral AI, 2025) è un modello da 24 miliardi di parametri chat. Compact 24B open-weights model. Tuned for low-latency chat and tool use with a permissive licence for commercial deployment.
by Mistral AI · 24B parametri · finestra di contesto da 32K token
Ideale per
- chat e routing a bassa latenza
- chiamata di tool e uso di funzioni
- deployment edge su GPU consumer
Modi per utilizzare Mistral Small 3 in osFoundry
Si colleghi con la sua chiave (BYOK)
Apra la finestra delle chiavi e incolli la sua API key Mistral AI. osFoundry scopre Mistral Small 3 automaticamente — lo assegni a un ruolo Maestro (router, direct, orchestrator o fallback) nella scheda Pipeline e sarà attivo in ogni chat. La sua chiave, il suo account provider — nessun ricarico sui token.
Distribuisca un endpoint dedicato
Mistral Small 3 è open-weights — lo esegua localmente in modo gratuito, oppure distribuisca un endpoint GPU dedicato nel suo workspace per ottenere capacità riservata senza limiti di rate.
Lo utilizzi in una Room App
Le Room App dichiarano le funzionalità AI nel loro manifest e le richiamano con invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Lo richiami dalle sue applicazioni
Una volta integrato un modello nel suo workspace, può esporlo come API e raggiungerlo dai suoi servizi, script o pipeline CI — al di fuori di osFoundry.
Quale hardware può eseguire Mistral Small 3
Mistral Small 3 gira su una singola GPU consumer da 16GB (~15 GB di VRAM con margine per la KV-cache). L'inferenza a piena precisione entra in una singola H100 80GB con precisione FP16 (~58 GB).
Mistral Small 3 a confronto con modelli simili
Licenza
Apache 2.0 — commercial use allowed — Consente uso commerciale, modifica, distribuzione e concessione di brevetti senza royalty.
Attribuzione richiesta (mantenere copyright + note di licenza).
Domande frequenti su Mistral Small 3
Mistral Small 3 è gratuito?
Mistral Small 3 è gratuito da eseguire localmente sul suo hardware. L'accesso in hosting tramite osFoundry è a consumo (input Free (local) / $ 0.10 /1M, output Free (local) / $ 0.30 /1M). Può passare tra esecuzione locale e in hosting in qualsiasi momento.
Posso usare Mistral Small 3 a scopo commerciale?
Sì — l'uso commerciale è consentito. Consente uso commerciale, modifica, distribuzione e concessione di brevetti senza royalty. Attribuzione richiesta (mantenere copyright + note di licenza).
Qual è la finestra di contesto di Mistral Small 3?
Mistral Small 3 supporta una finestra di contesto da 32K token.
Quanta VRAM richiede Mistral Small 3?
Circa 15 GB con quantizzazione Q4, o 58 GB in piena precisione FP16. Entra in una singola GPU consumer da 24GB.
Posso eseguire Mistral Small 3 localmente?
Sì. Mistral Small 3 è open-weights e si esegue localmente su una GPU da workstation. Il runtime locale di osFoundry gestisce il caricamento del modello, la quantizzazione e il routing.
In che cosa eccelle Mistral Small 3?
Mistral Small 3 è particolarmente adatto a chat e routing a bassa latenza, chiamata di tool e uso di funzioni, deployment edge su GPU consumer.
Come utilizzo Mistral Small 3 in osFoundry?
Incolli la sua API key Mistral AI nella finestra delle chiavi (oppure distribuisca i pesi aperti per i modelli auto-ospitabili), assegni Mistral Small 3 a un ruolo Maestro nella scheda Pipeline, quindi lo utilizzi in chat, nelle Room App tramite invokeAI o nelle sue applicazioni.
Pubblicato da Mistral AI il 30 gennaio 2025.