Startseite / Glossar / Self-Hosting

What is Self-hosting?

Self-Hosting bedeutet, ein LLM auf einer von Ihnen kontrollierten Infrastruktur zu betreiben — Ihrem Laptop, Ihrem Rechenzentrum oder einer dedizierten GPU, die Sie bereitstellen. Die Self-Host-Runtime von osFoundry unterstützt jedes der 76.000 Open-Weight-Modelle per Klick.

Detail

Self-Hosting eines LLM gibt Ihnen volle Kontrolle über Gewichte, Runtime, Routing und Datenfluss. Der Tradeoff: Sie (oder Ihre Plattform) tragen die Infrastruktur-Ops. Häufige Gründe für Self-Hosting: Datenschutz, Datenresidenz, Kostenvorhersagbarkeit im großen Maßstab oder das Betreiben von Modellen, die per API nicht verfügbar sind.

Self-Hosting funktioniert nur mit Open-Weight-Modellen. Proprietäre Modelle (GPT-4, Claude) sind ausschließlich per API verfügbar.

How osFoundry approaches Self-hosting

osFoundry reduziert die Self-Host-Integrationssteuer: eingebauter Inferenz-Server, Modellinstallation per Klick, Workspace-weites Routing, kein llama.cpp-Setup. Lokale Hardware, unsere Cloud oder Ihr eigener GPU-Server — wählen Sie pro Modell.