Text Generation WebUI

Text Generation WebUI adalah aplikasi di katalog komunitas osFoundry. text-generation-webui dari oobabooga — pisau Swiss Army untuk menjalankan dan bereksperimen dengan model bahasa lokal. Mendukung llama.cpp (GGUF), transformers, ExLlamaV2, kuantisasi AWQ + GPTQ, ditambah server API kompatibel OpenAI bawaan. UI LLM lokal paling dapat diperluas: preset parameter, kartu karakter, chat berbasis persona, mode notebook + chat + instruct, serta tab pelatihan untuk fine-tuning LoRA. Mode CPU disertakan (host ini tanpa GPU).

Detail

Workspace: osfoundry
Kategori: AI
Harga: Free
Akses: Community

Fitur

Load + chat with GGUF (llama.cpp) / HuggingFace Transformers / ExLlamaV2 / AWQ / GPTQ models
Three modes: Chat (assistant) / Instruct (single-turn) / Notebook (free-form completion)
OpenAI-compatible API server bundled — drop-in for any OpenAI SDK client
Parameter presets + samplers (mirostat, dynamic temperature, DRY, smoothing factor, ...) — the deepest sampler knobs in the OSS LLM world
Character cards + persona system shared with SillyTavern format
LoRA training tab for fine-tuning (CPU mode is feasible but slow)

Dokumentasi

Dokumentasi dipelihara dalam bahasa Inggris oleh proyek upstream.

# Text Generation WebUI

## Drop in a model

The container ships with no models. Get a GGUF or HuggingFace model into `/data/models/`:

```
curl -L -o /data/models/llama-3.1-8b-instruct.gguf \
  https://huggingface.co/.../resolve/main/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
```

Or in the web UI → **Model** tab → **Download model or LoRA** → paste the HF repo path (e.g. `unsloth/Llama-3.2-1B-Instruct-GGUF`).

## Load + chat

1. **Model** tab → pick a downloaded model from the dropdown → **Load**
2. **Chat** tab → start chatting

## Three modes

- **Chat** — turn-based assistant
- **Instruct** — single-turn instruction following
- **Notebook** — free-form completion / story writing

## OpenAI-compatible API

With `--api` flag (default), an OpenAI-compatible endpoint is at port 7860/v1. Use as drop-in OpenAI for any client:

```python
from openai import OpenAI
client = OpenAI(base_url='https://<your-public-url>/v1', api_key='none')
```

## Character cards

Drop SillyTavern-format PNG cards into `/data/characters/`. They show up under Chat → Character.

## CPU mode caveat

This container is CPU-only. 7B Q4 models run at 2-6 tokens/sec on 2 vCPU. Use small quantized models for usable speed; 30B+ models will be too slow for interactive use.

Cara menggunakan Text Generation WebUI di osFoundry

Instal Text Generation WebUI ke workspace Anda dalam satu klik, lalu fork di osStudio untuk menyesuaikan prompt, tool, atau konfigurasi sesuai stack Anda. Siapa pun di workspace Anda dapat melanjutkan dari titik Anda berhenti.

aplikasi lainnya dari komunitas

CRM — Manajemen hubungan pelanggan dengan kontak, deal, dan pelacakan pipeline.
Kanban Board — Papan kanban dan proyek gaya Trello dengan kartu, papan, tampilan kalender dan tabel, dan properti per papan. Didukung oleh Focalboard (server pribadi standalone). SQLite tertanam pada volume persisten.
Helpdesk — Triase tiket dan inbox dukungan pelanggan dengan pelacakan SLA.
Page Builder — Page builder drag-and-drop visual dengan section, tema, SEO, dan publishing
Website Builder — Builder situs multi-halaman dengan koleksi CMS, navigasi global, footer, tema, dan publikasi
Storefront — Etalase e-commerce dengan katalog produk, keranjang, dan checkout.