osFoundry / Platform
Modellquantisierung
Quantisieren Sie jedes Modell in wenigen Klicks auf Q4 / Q3 herunter. Führen Sie ein 70B-Modell auf einer Laptop-GPU aus.
Was es ist
Die Modellquantisierung in osFoundry verkleinert ein Modell mit offenen Gewichten, indem sie die numerische Präzision seiner Gewichte senkt. So passt ein Modell, das bei voller Präzision nicht in den Speicher deiner GPU passt, nach der Quantisierung hinein. Du zeigst osFoundry ein Modell, wählst eine Zielstufe wie q4 oder q3, und es erzeugt eine quantisierte Kopie, die du lokal ausführen kannst. Der praktische Nutzen ist genau der, nach dem gesucht wird: Ein Modell mit 70 Milliarden Parametern, das normalerweise einen Server mit mehreren GPUs braucht, lässt sich so weit zusammenschrumpfen, dass es sich auf einer einzigen Laptop-GPU laden und ausführen lässt, auf Kosten etwas Genauigkeit.
Weil osFoundry ein Local-First-Desktop-Workspace nach dem BYOK-Prinzip ist, läuft die Quantisierung auf deinem Rechner, und das quantisierte Modell bleibt auf deinem Gerät, solange du es nicht selbst verschiebst. Es ist kein Umweg über die Cloud nötig, und zwischen dir und dem Modell sitzt kein Wiederverkäufer. Derselbe Workspace, der das quantisierte Modell ausführt, betreibt auch deinen Chat, deine Agenten, deine Apps, deinen Code und dein Wissen. Ein Modell, das du quantisierst, ist damit sofort als lokales Backend für diese Arbeit nutzbar und nicht bloß eine Datei, die du woanders erst verkabeln müsstest.
Quantisierung ist ein Kompromiss, und osFoundry behandelt sie als einen, den du steuerst. Ein q4-Build behält den Großteil der Qualität eines Modells und verringert dabei den Speicherbedarf gegenüber 16-Bit-Gewichten auf etwa ein Viertel; der Schritt zu q3 spart mehr Speicher, gibt aber mehr Genauigkeit auf. Du wählst die Stufe pro Modell, behältst sowohl das Original als auch die quantisierte Kopie und wechselst über dieselbe Oberfläche zwischen lokalen quantisierten Modellen und Cloud- oder selbst gehosteten Modellen. Das ist praktisch, wenn du ein kleines quantisiertes Modell für schnelle lokale Entwürfe und ein größeres Cloud-Modell für die finalen Durchläufe willst.
Wichtige Funktionen
- Quantisiere jedes Modell mit offenen Gewichten mit wenigen Klicks auf q4 oder q3, ohne eine Kommandozeilen-Pipeline zusammenzubauen
- Lass ein Modell der 70B-Klasse auf einer einzigen Laptop-GPU laufen, indem die Quantisierung seinen Speicherbedarf senkt
- Die Quantisierung läuft lokal auf deinem Gerät, und das quantisierte Modell bleibt lokal: Nichts wird hochgeladen
- Behalte Original und quantisierte Kopie nebeneinander und wähle die Präzisionsstufe pro Modell
- Betreibe quantisierte lokale Modelle neben Cloud- und selbst gehosteten Modellen aus einem BYOK-Workspace, ohne Wiederverkäufer-Aufschlag
Anwendungsfälle
- Einzelentwickler: quantisiert ein 70B-Modell auf q4, damit es auf einer Laptop-GPU läuft und im Flugzeug oder in einem abgeschotteten Netz offline beim Coden hilft
- Datenschutzbewusster Analyst: hält ein quantisiertes Modell vollständig auf dem Gerät, damit sensible Dokumente während der Analyse den Rechner nie verlassen
- Kostenbewusster Entwickler: nutzt ein schnelles lokales q3-Modell fürs iterative Entwerfen und wechselt nur für die finale Ausgabe im selben Workspace zu einem Cloud-Modell
Häufig gestellte Fragen
Wie viel kleiner wird ein Modell bei q4 oder q3?
Quantisierung senkt die Präzision der Gewichte eines Modells, sodass der Speicherbedarf stark sinkt. Ein q4-Build ist etwa ein Viertel so groß wie dasselbe Modell mit 16-Bit-Gewichten. Deshalb passt ein 70B-Modell, das bei voller Präzision einen Server mit mehreren GPUs braucht, auf eine einzige Laptop-GPU. q3 spart noch mehr Speicher, gibt aber mehr Genauigkeit auf, also wählst du die Stufe pro Modell je nach gewünschtem Kompromiss.
Verringert das Quantisieren die Qualität eines Modells?
Etwas, ja. Quantisierung ist ein Kompromiss: q4 behält den Großteil der Qualität eines Modells und spart dabei deutlich Speicher, während q3 mehr Speicher spart und mehr Genauigkeit verliert. Mit osFoundry wählst du die Stufe pro Modell und behältst das Original neben der quantisierten Kopie, sodass du vergleichen und entscheiden kannst, was für deine Aufgabe akzeptabel ist, statt dich blind festzulegen.
Wo läuft die Quantisierung, und verlässt mein Modell meinen Rechner?
Sie läuft lokal. osFoundry ist ein Local-First-Desktop-Workspace nach dem BYOK-Prinzip, also findet die Quantisierung auf deinem Gerät statt, und das quantisierte Modell bleibt dort, solange du es nicht selbst verschiebst. Es gibt keinen erzwungenen Cloud-Upload und keinen Wiederverkäufer zwischen dir und dem Modell, und genau das macht es für private oder Offline-Arbeit geeignet.