Text Generation WebUI

Text Generation WebUI est un(e) app du catalogue communautaire osFoundry. Le text-generation-webui d'oobabooga — le couteau suisse pour exécuter et expérimenter avec des modèles de langage locaux. Prend en charge llama.cpp (GGUF), transformers, ExLlamaV2, les quantifications AWQ + GPTQ, ainsi qu'un serveur d'API compatible OpenAI intégré. L'interface LLM locale la plus extensible : préréglages de paramètres, cartes de personnages, chat persona, modes notebook + chat + instruct, onglet d'entraînement pour le fine-tuning LoRA. Mode CPU intégré (pas de GPU sur cet hôte).

Détails

Espace de travail: osfoundry
Catégorie: AI
Tarif: Free
Accès: Community

Fonctionnalités

Load + chat with GGUF (llama.cpp) / HuggingFace Transformers / ExLlamaV2 / AWQ / GPTQ models
Three modes: Chat (assistant) / Instruct (single-turn) / Notebook (free-form completion)
OpenAI-compatible API server bundled — drop-in for any OpenAI SDK client
Parameter presets + samplers (mirostat, dynamic temperature, DRY, smoothing factor, ...) — the deepest sampler knobs in the OSS LLM world
Character cards + persona system shared with SillyTavern format
LoRA training tab for fine-tuning (CPU mode is feasible but slow)

Documentation

La documentation est maintenue en anglais par le projet d'origine.

# Text Generation WebUI

## Drop in a model

The container ships with no models. Get a GGUF or HuggingFace model into `/data/models/`:

```
curl -L -o /data/models/llama-3.1-8b-instruct.gguf \
  https://huggingface.co/.../resolve/main/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
```

Or in the web UI → **Model** tab → **Download model or LoRA** → paste the HF repo path (e.g. `unsloth/Llama-3.2-1B-Instruct-GGUF`).

## Load + chat

1. **Model** tab → pick a downloaded model from the dropdown → **Load**
2. **Chat** tab → start chatting

## Three modes

- **Chat** — turn-based assistant
- **Instruct** — single-turn instruction following
- **Notebook** — free-form completion / story writing

## OpenAI-compatible API

With `--api` flag (default), an OpenAI-compatible endpoint is at port 7860/v1. Use as drop-in OpenAI for any client:

```python
from openai import OpenAI
client = OpenAI(base_url='https://<your-public-url>/v1', api_key='none')
```

## Character cards

Drop SillyTavern-format PNG cards into `/data/characters/`. They show up under Chat → Character.

## CPU mode caveat

This container is CPU-only. 7B Q4 models run at 2-6 tokens/sec on 2 vCPU. Use small quantized models for usable speed; 30B+ models will be too slow for interactive use.

Comment utiliser Text Generation WebUI dans osFoundry

Installez Text Generation WebUI dans votre workspace en un clic, puis forkez-le dans osStudio pour personnaliser les prompts, les outils ou la configuration selon votre stack. Toute personne de votre workspace peut reprendre là où vous vous êtes arrêté.

Autres apps de la communauté

CRM — Gestion de la relation client avec contacts, opportunités et suivi de pipeline.
Kanban Board — Un tableau Kanban et de projet de type Trello avec cartes, tableaux, vues calendrier et tableau, et propriétés par tableau. Propulsé par Focalboard (serveur personnel autonome). SQLite intégré sur un volume persistant.
Helpdesk — Tri de tickets et boîte de réception du support client avec suivi des SLA.
Page Builder — Constructeur de pages visuel glisser-déposer avec sections, thèmes, SEO et publication
Website Builder — Constructeur de site web multi-page avec collections CMS, navigation globale, footer, thèmes et publication
Boutique en ligne — Boutique e-commerce avec catalogue produits, panier et paiement.