Text Generation WebUI

Text Generation WebUI é um(a) app no catálogo da comunidade osFoundry. text-generation-webui do oobabooga — o canivete suíço para rodar e experimentar com modelos de linguagem locais. Suporta llama.cpp (GGUF), transformers, ExLlamaV2, quantizações AWQ e GPTQ, além de um servidor de API compatível com OpenAI embutido. A UI local de LLM mais extensível: presets de parâmetros, character cards, chat com personas, modos notebook + chat + instruct e aba de treinamento para fine-tuning LoRA. Modo CPU incluso (sem GPU neste host).

Detalhes

Workspace: osfoundry
Categoria: AI
Preço: Free
Acesso: Community

Recursos

Load + chat with GGUF (llama.cpp) / HuggingFace Transformers / ExLlamaV2 / AWQ / GPTQ models
Three modes: Chat (assistant) / Instruct (single-turn) / Notebook (free-form completion)
OpenAI-compatible API server bundled — drop-in for any OpenAI SDK client
Parameter presets + samplers (mirostat, dynamic temperature, DRY, smoothing factor, ...) — the deepest sampler knobs in the OSS LLM world
Character cards + persona system shared with SillyTavern format
LoRA training tab for fine-tuning (CPU mode is feasible but slow)

Documentação

A documentação é mantida em inglês pelo projeto original.

# Text Generation WebUI

## Drop in a model

The container ships with no models. Get a GGUF or HuggingFace model into `/data/models/`:

```
curl -L -o /data/models/llama-3.1-8b-instruct.gguf \
  https://huggingface.co/.../resolve/main/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
```

Or in the web UI → **Model** tab → **Download model or LoRA** → paste the HF repo path (e.g. `unsloth/Llama-3.2-1B-Instruct-GGUF`).

## Load + chat

1. **Model** tab → pick a downloaded model from the dropdown → **Load**
2. **Chat** tab → start chatting

## Three modes

- **Chat** — turn-based assistant
- **Instruct** — single-turn instruction following
- **Notebook** — free-form completion / story writing

## OpenAI-compatible API

With `--api` flag (default), an OpenAI-compatible endpoint is at port 7860/v1. Use as drop-in OpenAI for any client:

```python
from openai import OpenAI
client = OpenAI(base_url='https://<your-public-url>/v1', api_key='none')
```

## Character cards

Drop SillyTavern-format PNG cards into `/data/characters/`. They show up under Chat → Character.

## CPU mode caveat

This container is CPU-only. 7B Q4 models run at 2-6 tokens/sec on 2 vCPU. Use small quantized models for usable speed; 30B+ models will be too slow for interactive use.

Como usar Text Generation WebUI no osFoundry

Instale Text Generation WebUI no seu workspace com um clique e, em seguida, faça um fork no osStudio para personalizar prompts, ferramentas ou configurações para a sua stack. Qualquer pessoa do seu workspace pode continuar de onde você parou.

Outros itens da categoria apps da comunidade

CRM — Gestão de relacionamento com clientes com contatos, negócios e acompanhamento de pipeline.
Kanban Board — Um quadro kanban e de projeto estilo Trello com cartões, quadros, visualizações de calendário e tabela e propriedades por quadro. Movido pelo Focalboard (servidor pessoal standalone). SQLite embutido em um volume persistente.
Helpdesk — Triagem de tickets e caixa de entrada de suporte ao cliente com acompanhamento de SLA.
Page Builder — Construtor visual de páginas arrastar-e-soltar com seções, temas, SEO e publicação
Website Builder — Construtor de site de múltiplas páginas com coleções de CMS, navegação global, rodapé, temas e publicação
Loja Virtual — Loja de e-commerce com catálogo de produtos, carrinho e checkout.