Mistral Small 3
Mistral Small 3 (Mistral AI, 2025) ist ein 24 Milliarden Parameter umfassendes Chat-Modell. Compact 24B open-weights model. Tuned for low-latency chat and tool use with a permissive licence for commercial deployment.
by Mistral AI · 24 Mrd. Parameter · Kontextfenster von 32K Token
Am besten geeignet für
- Chat und Routing mit geringer Latenz
- Tool-Aufrufe und Funktionsnutzung
- Edge-Deployment auf Consumer-GPUs
Möglichkeiten, Mistral Small 3 in osFoundry zu nutzen
Mit eigenem Schlüssel verbinden (BYOK)
Öffnen Sie den Schlüssel-Dialog und fügen Sie Ihren Mistral AI-API-Key ein. osFoundry erkennt Mistral Small 3 automatisch — weisen Sie es im Pipeline-Tab einer Maestro-Rolle (Router, Direct, Orchestrator oder Fallback) zu, und es ist in jedem Chat verfügbar. Ihr Key, Ihr Provider-Konto — kein Token-Aufschlag.
Dedizierten Endpunkt bereitstellen
Mistral Small 3 ist Open-Weights — betreiben Sie es lokal kostenlos oder stellen Sie in Ihrem Workspace einen dedizierten GPU-Endpunkt für reservierte Kapazität ohne Rate Limits bereit.
In einer Room App verwenden
Room Apps deklarieren KI-Funktionen in ihrem Manifest und rufen sie anschließend mit invokeAI auf:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Aus eigenen Anwendungen aufrufen
Sobald ein Modell in Ihrem Workspace eingerichtet ist, können Sie es als API hosten und aus Ihren eigenen Diensten, Skripten oder CI — außerhalb von osFoundry — erreichen.
Welche Hardware kann Mistral Small 3 ausführen
Mistral Small 3 läuft auf eine einzelne 16GB-Consumer-GPU (~15 GB VRAM mit Reserve für den KV-Cache). Inferenz in voller Präzision passt auf eine einzelne H100 80GB bei FP16-Präzision (~58 GB).
Mistral Small 3 im Vergleich zu ähnlichen Modellen
Lizenz
Apache 2.0 — commercial use allowed — Erlaubt kommerzielle Nutzung, Modifikation, Verbreitung und Patentgewährungen ohne Lizenzgebühren.
Attribution erforderlich (Copyright- und Lizenzhinweise erhalten).
Häufige Fragen zu Mistral Small 3
Ist Mistral Small 3 kostenlos nutzbar?
Mistral Small 3 kann auf Ihrer eigenen Hardware kostenlos lokal betrieben werden. Der gehostete Zugriff über osFoundry wird abgerechnet (Input Free (local) / $ 0.10 /1M, Output Free (local) / $ 0.30 /1M). Sie können jederzeit zwischen lokal und gehostet wechseln.
Kann ich Mistral Small 3 kommerziell nutzen?
Ja — kommerzielle Nutzung ist erlaubt. Erlaubt kommerzielle Nutzung, Modifikation, Verbreitung und Patentgewährungen ohne Lizenzgebühren. Attribution erforderlich (Copyright- und Lizenzhinweise erhalten).
Wie groß ist das Kontextfenster von Mistral Small 3?
Mistral Small 3 unterstützt ein Kontextfenster von 32K Token.
Wie viel VRAM benötigt Mistral Small 3?
Etwa 15 GB bei Q4-Quantization oder 58 GB bei voller FP16-Präzision. Passt auf eine einzelne 24GB-Consumer-GPU.
Kann ich Mistral Small 3 lokal betreiben?
Ja. Mistral Small 3 ist Open-Weights und läuft lokal auf einer Workstation-GPU. Die lokale Runtime von osFoundry übernimmt Modellladen, Quantization und Routing.
Worin ist Mistral Small 3 besonders gut?
Mistral Small 3 eignet sich besonders für Chat und Routing mit geringer Latenz, Tool-Aufrufe und Funktionsnutzung, Edge-Deployment auf Consumer-GPUs.
Wie verwende ich Mistral Small 3 in osFoundry?
Fügen Sie Ihren Mistral AI-API-Key im Schlüssel-Dialog ein (oder stellen Sie bei selbst hostbaren Modellen die Open Weights bereit), weisen Sie Mistral Small 3 im Pipeline-Tab einer Maestro-Rolle zu und nutzen Sie es anschließend im Chat, in Room Apps über invokeAI oder in Ihren eigenen Anwendungen.
Veröffentlicht von Mistral AI am 30. Januar 2025.