Text Generation WebUI

Text Generation WebUI es un(a) aplicación en el catálogo de la comunidad de osFoundry. El text-generation-webui de oobabooga: la navaja suiza para ejecutar y experimentar con modelos de lenguaje locales. Soporta llama.cpp (GGUF), Transformers, ExLlamaV2, cuantizaciones AWQ y GPTQ, además de un servidor API compatible con OpenAI integrado. La interfaz de LLM local más extensible: ajustes preestablecidos de parámetros, tarjetas de personaje, chat dirigido por personalidad, modos notebook, chat e instrucción, y una pestaña de entrenamiento para fine-tuning con LoRA. Modo CPU incluido (este host no tiene GPU).

Detalles

Espacio de trabajo: osfoundry
Categoría: AI
Precio: Free
Acceso: Community

Características

Load + chat with GGUF (llama.cpp) / HuggingFace Transformers / ExLlamaV2 / AWQ / GPTQ models
Three modes: Chat (assistant) / Instruct (single-turn) / Notebook (free-form completion)
OpenAI-compatible API server bundled — drop-in for any OpenAI SDK client
Parameter presets + samplers (mirostat, dynamic temperature, DRY, smoothing factor, ...) — the deepest sampler knobs in the OSS LLM world
Character cards + persona system shared with SillyTavern format
LoRA training tab for fine-tuning (CPU mode is feasible but slow)

Documentación

La documentación es mantenida en inglés por el proyecto original.

# Text Generation WebUI

## Drop in a model

The container ships with no models. Get a GGUF or HuggingFace model into `/data/models/`:

```
curl -L -o /data/models/llama-3.1-8b-instruct.gguf \
  https://huggingface.co/.../resolve/main/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
```

Or in the web UI → **Model** tab → **Download model or LoRA** → paste the HF repo path (e.g. `unsloth/Llama-3.2-1B-Instruct-GGUF`).

## Load + chat

1. **Model** tab → pick a downloaded model from the dropdown → **Load**
2. **Chat** tab → start chatting

## Three modes

- **Chat** — turn-based assistant
- **Instruct** — single-turn instruction following
- **Notebook** — free-form completion / story writing

## OpenAI-compatible API

With `--api` flag (default), an OpenAI-compatible endpoint is at port 7860/v1. Use as drop-in OpenAI for any client:

```python
from openai import OpenAI
client = OpenAI(base_url='https://<your-public-url>/v1', api_key='none')
```

## Character cards

Drop SillyTavern-format PNG cards into `/data/characters/`. They show up under Chat → Character.

## CPU mode caveat

This container is CPU-only. 7B Q4 models run at 2-6 tokens/sec on 2 vCPU. Use small quantized models for usable speed; 30B+ models will be too slow for interactive use.

Cómo usar Text Generation WebUI en osFoundry

Instalen Text Generation WebUI en su espacio de trabajo con un solo clic y luego bifúrquenlo en osStudio para personalizar los prompts, las herramientas o la configuración según su stack. Cualquier persona de su espacio de trabajo podrá continuar desde donde lo dejaron.

Otros aplicaciones de la comunidad

CRM — Gestión de relaciones con clientes con contactos, oportunidades y seguimiento del pipeline de ventas.
Kanban Board — Un tablero kanban y de proyectos estilo Trello con tarjetas, tableros, vistas de calendario y tabla, y propiedades por tablero. Funciona con Focalboard (servidor personal independiente). SQLite embebido en un volumen persistente.
Mesa de Ayuda — Triaje de tickets y bandeja de atención al cliente con seguimiento de SLA.
Page Builder — Constructor visual de páginas con arrastrar y soltar, con secciones, temas, SEO y publicación
Website Builder — Constructor de sitios web de varias páginas con colecciones CMS, navegación global, pie de página, temas y publicación
Tienda Online — Escaparate de e-commerce con catálogo de productos, carrito y proceso de pago.