Startseite / Glossar / LLM
What is Large Language Model?
Abbreviation: LLM
Ein Large Language Model (LLM, großes Sprachmodell) ist ein neuronales Netz, das auf riesigen Textkorpora trainiert wurde, um das nächste Token vorherzusagen, und natürliche Sprachausgabe in flüssiger Qualität erzeugt. osFoundry routet Anfragen über mehr als 100 LLMs von beliebigen Anbietern — lokal, in der Cloud oder selbst gehostet.
Detail
LLMs sind transformerbasierte neuronale Netze mit einer Größe von ca. 1 Mrd. bis über 1 Bio. Parametern. Sie treiben heute Chat, Codegenerierung, Zusammenfassung, Übersetzung und den Großteil agentenbasierter KI an. Die Qualität variiert je nach Trainingsdaten, Architektur und Post-Training (RLHF, DPO).
LLMs gibt es in zwei Vertriebsformen: Closed-Source (nur per API zugänglich — z. B. GPT-4, Claude) und Open-Weight (zum Self-Hosting herunterladbar — z. B. Llama, Mistral, Qwen). Der Katalog von osFoundry indexiert 76.000 Open-Weight-Modelle plus 364 gehostete API-Modelle.
How osFoundry approaches Large Language Model
osFoundry behandelt jedes LLM als austauschbares Backend. Bringen Sie Ihren eigenen API-Schlüssel (BYOK) für gehostete Modelle mit; installieren Sie Open-Weight-Modelle für lokale Inferenz; stellen Sie dedizierte GPU-Endpunkte für reservierte Kapazität bereit. Maestro routet pro Anfrage anhand von Regeln, die Sie in osStudio festlegen.
FAQ
Wie steht osFoundry zu LLMs?
osFoundry ist die Orchestrierungsschicht über den LLMs. Es stellt keine LLMs her — es ermöglicht Ihnen, Anfragen über lokale, Cloud- und selbst gehostete LLMs aus einem einzigen Workspace zu routen.
Welches LLM ist das beste?
Kein einzelnes LLM ist in allem das beste. osFoundry erlaubt Ihnen, verschiedene LLMs pro Workload im A/B-Test zu vergleichen und entsprechend zu routen.
Kann ich mehrere LLMs in einem Chat verwenden?
Ja. Maestro kann Modelle mitten im Gespräch wechseln, basierend auf osStudio-Routing-Regeln.
Related terms
Related features