Accueil / Glossaire / Modèle de base

What is Modèle de base?

Un modèle de base est un LLM pré-entraîné avant tout fine-tuning spécifique à une tâche ou RLHF. osFoundry traite les modèles de base comme point de départ pour le fine-tuning (LoRA / QLoRA) et comme backends de chat directs lorsqu’aucun comportement spécialisé n’est requis.

Detail

Les modèles de base sont produits par une phase d’entraînement initiale sur un grand corpus de texte. Ils prédisent les prochains tokens mais ne suivent généralement pas bien les instructions — c’est ce qu’ajoute le fine-tuning. Les exemples incluent Llama 3.1 (base) avant sa variante instruction-tuned.

Pour la plupart des applications de chat, vous voulez la version instruction-tuned. Les modèles de base sont utiles comme point de départ pour votre propre fine-tuning LoRA — ils acceptent plus facilement de nouveaux comportements que les modèles déjà tunés.

How osFoundry approaches Modèle de base

Le pipeline d’entraînement d’osFoundry vous permet de fine-tuner plus de 60 modèles de base pris en charge. Choisissez une base, pointez vers votre jeu de données, entraînez, routez. L’adaptateur est auto-enregistré et routable depuis Maestro dès la fin de l’entraînement.