osFoundry / Platform
Lokale Server
Führen Sie lokale Inferenz auf Ihrer Maschine oder Workstation aus. Routen sind automatisch – Maestro wählt lokal, wann immer möglich.
Was es ist
Mit lokalen Servern führst du die KI-Inferenz auf deinem eigenen Rechner aus, statt jede Anfrage an eine gehostete API zu schicken. osFoundry bringt einen lokalen Inferenzserver mit, der Modelldateien im GGUF-Format aus einem Ordner auf deinem Mac oder deiner Workstation lädt und sie dem Rest der App bereitstellt. Weil das Modell auf Hardware läuft, die dir bereits gehört, kostet ein lokaler Lauf pro Token nichts, braucht keinen API-Key und hält den Prompt samt Daten auf dem Gerät. Das zählt, wenn der Inhalt vertraulich ist, unter Auflagen steht oder schlicht nichts ist, das das Haus verlassen soll.\n\nInnerhalb von osFoundry ist Maestro die Routing-Schicht, die über den Weg jeder Anfrage entscheidet. Das Routing läuft automatisch: Maestro wählt den lokalen Server, wann immer eine Anfrage in das passt, was dein Rechner bewältigen kann, und greift nur dann zu einem Cloud-Modell (mit deinem eigenen Key), wenn eine Aufgabe Fähigkeiten braucht, die das lokale Modell nicht abdeckt. Das musst du nicht pro Nachricht verdrahten; es ist eine dauerhafte Regel über Chat, Agenten und Pipeline-Rollen hinweg. Die Kontrolle über die lokale Laufzeit behältst du im Einstellungsbereich: wie viele Transformer-Schichten auf die GPU ausgelagert werden, die Größe des Kontextfensters, die Quantisierung des KV-Caches (f16, bf16, q8_0, q4_0 und weitere), die Zahl paralleler Anfrage-Slots und, auf Multi-GPU-Rechnern, wie das Modell über die Geräte verteilt wird.\n\nDas zählt, weil die meisten \"KI im Workspace\"-Produkte dir genau einen Ort für deine Daten geben: ihre Server. osFoundry ist von Grund auf BYOK und local-first. Lokale Server sind das Fundament dieses Entwurfs: die Option, die nichts kostet, nichts preisgibt und für die Modelle, die deine Hardware ausführen kann, auch offline funktioniert, während deine BYOK-Cloud-Keys für die schwereren Aufgaben direkt daneben liegen. Ein Workspace, beide Wege, keine Gebühr pro Sitzplatz und auf keinem der beiden ein Wiederverkaufsaufschlag.
Wichtige Funktionen
- Führt GGUF-Modelle direkt auf deinem Mac oder deiner Workstation über einen integrierten llama.cpp-Inferenzserver aus, ohne Umweg in die Cloud und ohne API-Key für lokale Läufe
- Maestro routet jeden Zug automatisch und wählt den lokalen Server, sobald eine Anfrage passt; auf ein Cloud-Modell greift es nur zurück, wenn die Aufgabe es verlangt
- Justiert die lokale Laufzeit über die Oberfläche: GPU-Offload-Schichten, Kontextgröße, KV-Cache-Typ (f16/q8_0/q4_0 und mehr), parallele Slots und Multi-GPU-Verteilung
- Hält bei lokalen Läufen Prompts und Daten auf deinem Gerät, sodass private oder regulierte Inhalte den Rechner nie verlassen
- Sitzt im selben Workspace wie deine BYOK-Cloud-Keys: Chat, Agenten, Apps, Code und Wissen greifen ohne Werkzeugwechsel auf Lokal oder Cloud zu
Anwendungsfälle
- Datenschutzbewusste Entwicklerin: führt ein lokales GGUF-Modell aus, damit Prompts mit Verträgen und Codebasis nie die Workstation verlassen, und lässt Maestro nur für die gelegentlich schwierigere Anfrage auf einen Cloud-Key eskalieren
- Solo-Bauer mit knappem Budget: stützt sich für alltäglichen Chat und Agentenarbeit auf lokale Inferenz, um die Token-Kosten in der Cloud nahe null zu halten, und stimmt GPU-Offload und Kontextgröße auf ein einzelnes Notebook ab
- Workstation-Poweruser: verteilt ein großes Modell über mehrere GPUs und erhöht die parallelen Slots, um mehrere Agenten gleichzeitig zu bedienen, vollständig auf dem Gerät
Häufig gestellte Fragen
Brauche ich einen API-Key, um ein Modell lokal auszuführen?
Nein. Lokale Läufe nutzen eine Modelldatei auf deinem eigenen Rechner und einen integrierten Inferenzserver, also wird nichts pro Token abgerechnet und kein Key verlangt. Einen Key brauchst du erst, wenn Maestro eine Anfrage an ein Cloud-Modell routet, und dieser Key gehört dir: osFoundry verkauft keinen Zugang weiter und schlägt keine Marge auf.
Wie entscheidet osFoundry zwischen lokal und Cloud?
Das Routing übernimmt Maestro automatisch. Es bevorzugt den lokalen Server, sobald die Anfrage in das passt, was dein Rechner ausführen kann, und weicht nur auf ein Cloud-Modell aus, wenn die Aufgabe es erfordert. Die lokale Laufzeit (GPU-Schichten, Kontextgröße, Cache-Typ) konfigurierst du, aber du musst nicht jede Nachricht von Hand routen.
Welche Modelle und welche Hardware unterstützt der lokale Server?
Er lädt Modelle im GGUF-Format aus einem Ordner auf deinem Rechner und stellt sie über eine Laufzeit im llama.cpp-Stil bereit. Du kannst Schichten auf eine GPU auslagern, Kontextfenster und KV-Cache-Quantisierung an deinen Speicher anpassen, mehrere parallele Anfrage-Slots betreiben und über mehrere GPUs verteilen. Welche Modelle gut laufen, hängt von RAM, VRAM und CPU ab.