Startseite / Funktionen / Trainieren und fine-tunen / Quantisierung

Modelle für günstige Inferenz auf osFoundry quantisieren

osFoundry quantisiert jedes Open-Weight-Modell per Klick auf Q4_K_M, Q5_K_M, Q6_K oder FP16. Ein 70B-Modell auf Q4 quantisiert passt auf eine einzelne A100 80 GB oder zwei Consumer-24-GB-Karten — läuft zu 5–10× geringeren Kosten als FP16 bei minimalem Qualitätsverlust für Chat-Workloads.

Kurzantwort

Quantisierung per Klick: Q4_K_M, Q5_K_M, Q6_K, FP16.
Quantisierte Modelle behalten denselben Routing-Handle — Drop-in-Ersatz.
5–10× Kostenreduktion bei Q4 für typische Chat-Aufgaben.
Führen Sie Qualitäts-Benchmarks gegen Ihr eigenes Eval-Set durch, bevor Sie wechseln.

Häufig gestellte Fragen

Wie viel Qualität geht bei Q4 verloren?

Für Chat-Modelle auf Chat-Aufgaben ~1–3 Prozentpunkte auf Standard-Benchmarks. Codegenerierungsmodelle verlieren mehr — versuchen Sie Q5_K_M für Code.

Kann ich rückgängig machen, wenn die Qualität sinkt?

Ja. Quantisierte Modelle werden neben dem Original hinzugefügt — sie ersetzen es nie.

Verwandte Funktionen