Startseite / Funktionen / Trainieren und fine-tunen / LoRA-Fine-Tuning

Llama, Mistral oder Qwen mit LoRA auf osFoundry fine-tunen

osFoundry fine-tunt jedes Open-Weight-Basismodell mit LoRA oder QLoRA auf Ihren Daten — kein Notebook, keine Befehlszeile. Wählen Sie eine Basis, zeigen Sie auf einen Datensatz (Ihre KB, einen Upload oder einen öffentlichen Datensatz), setzen Sie den LoRA-Rang und trainieren Sie. Der Adapter wird in Ihrem Modellkatalog registriert und ist aus Maestro und Room Apps heraus routebar, sobald das Training abgeschlossen ist.

Quick answer

LoRA + QLoRA auf über 60 Open-Weight-Basismodellen.
Trainieren Sie auf Ihrer KB, JSONL/CSV-Uploads oder 250K öffentlichen Datensätzen.
UI-gesteuert — kein Notebook.
Adapter ist workspace-routebar, sobald das Training abgeschlossen ist.

Key capabilities

Über 60 unterstützte Basismodelle (Llama 3, Mistral, Qwen, Phi, Gemma…).
LoRA- + QLoRA-Flows; Rang 8/16/32/64 wählbar.
Trainieren Sie auf KBs (auto-formatiert), JSONL/CSV/parquet oder 250K öffentlichen Datensätzen.
Drei Runtimes: lokale GPU, osFoundry Cloud, Ihre eigene Infrastruktur.
Checkpoints alle N Schritte — Wiederaufnahme eines unterbrochenen Jobs vom letzten Checkpoint.
Adapter-Export: .safetensors mit vollständiger Trainings-Konfiguration.

How to do it in osFoundry

Basis + LoRA-Ziel wählen — Wählen Sie das Basismodell. Konfigurieren Sie LoRA-Rang, Lernrate, Epochen und Zielmodule. Die Voreinstellungen funktionieren in den meisten Fällen.
Auf Ihren Datensatz zeigen — Wählen Sie eine KB (Auto-Instruction-Pair-Format), laden Sie JSONL hoch oder wählen Sie einen öffentlichen Datensatz.
Training ausführen — Wählen Sie die Runtime (lokal/Cloud/BYO). Beobachten Sie die Loss-Kurve live, während es trainiert.
Adapter per Hot-Swap aufschalten — Wenn das Training abgeschlossen ist, schalten Sie den Adapter per Hot-Swap auf einen deployten Basismodell-Endpunkt auf. Gleicher Handle, neues Verhalten.

Use cases

Kundensupport: LoRA-tunen Sie Mistral 7B auf vergangenen Tickets. Der Agent antwortet jetzt in Ihrem Ton mit Produktwissen.
Legal-Team: Trainieren Sie Llama 3.1 8B auf gelabelten Verträgen. Redlinen Sie neue Dokumente im Stil Ihrer Kanzlei On-Prem.
Spielestudio: Per-Charakter-LoRAs per Hot-Swap auf einem Basismodell. Eine GPU, viele unterschiedliche NPC-Stimmen.

Frequently asked questions

Wie lange dauert ein LoRA-Fine-Tune?

7B-Modell auf 50K Zeilen: ~30 Min. auf A100. 70B: ~3 Stunden. Consumer M2/M3 Mac: ~2 Stunden für 7B.

Welchen Rang sollte ich verwenden?

Beginnen Sie mit Rang 16. Erhöhen Sie auf 32 oder 64 für stärkere Domänen-Verschiebungen; verringern Sie auf 8 für stilistisches Tuning.

Kann ich auf meiner Wissensdatenbank trainieren?

Ja — KBs werden automatisch als Instruction-Paare formatiert.

Kann ich den Adapter exportieren?

Ja — .safetensors-Download mit vollständiger Trainings-Konfiguration. Auch außerhalb von osFoundry deploybar.

Wird QLoRA unterstützt?

Ja — QLoRA reduziert VRAM durch Quantisierung der Basis auf 4 Bit. Wählen Sie QLoRA in der Trainings-Konfiguration, wenn Ihre GPU knapp an Speicher ist.

Wie evaluiere ich das Ergebnis?

Vergleichen Sie den Adapter mit der Basis auf Ihrem Eval-Set mit der Side-by-Side-Vergleichsansicht. Befördern Sie, wenn die Qualität Ihre Messlatte überschreitet.

Pricing

Lokal: kostenlos. Cloud: pro Sekunde GPU-Zeit. Ein 7B-LoRA auf A100 kostet etwa 2–3 USD pro Lauf; 70B kostet 20–30 USD.