Text Generation WebUI

Text Generation WebUI — это приложение в каталоге сообщества osFoundry. text-generation-webui от oobabooga — швейцарский нож для запуска и экспериментов с локальными языковыми моделями. Поддерживает llama.cpp (GGUF), transformers, ExLlamaV2, квантизации AWQ + GPTQ, плюс встроенный OpenAI-совместимый API-сервер. Самый расширяемый локальный LLM-UI: пресеты параметров, карточки персонажей, чат на основе персон, режимы notebook / chat / instruct, вкладка обучения для дообучения LoRA. Режим CPU в комплекте (на этом хосте нет GPU).

Подробности

Рабочая область: osfoundry
Категория: AI
Цена: Free
Доступ: Community

Возможности

Load + chat with GGUF (llama.cpp) / HuggingFace Transformers / ExLlamaV2 / AWQ / GPTQ models
Three modes: Chat (assistant) / Instruct (single-turn) / Notebook (free-form completion)
OpenAI-compatible API server bundled — drop-in for any OpenAI SDK client
Parameter presets + samplers (mirostat, dynamic temperature, DRY, smoothing factor, ...) — the deepest sampler knobs in the OSS LLM world
Character cards + persona system shared with SillyTavern format
LoRA training tab for fine-tuning (CPU mode is feasible but slow)

Документация

Документация поддерживается на английском языке основным проектом.

# Text Generation WebUI

## Drop in a model

The container ships with no models. Get a GGUF or HuggingFace model into `/data/models/`:

```
curl -L -o /data/models/llama-3.1-8b-instruct.gguf \
  https://huggingface.co/.../resolve/main/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
```

Or in the web UI → **Model** tab → **Download model or LoRA** → paste the HF repo path (e.g. `unsloth/Llama-3.2-1B-Instruct-GGUF`).

## Load + chat

1. **Model** tab → pick a downloaded model from the dropdown → **Load**
2. **Chat** tab → start chatting

## Three modes

- **Chat** — turn-based assistant
- **Instruct** — single-turn instruction following
- **Notebook** — free-form completion / story writing

## OpenAI-compatible API

With `--api` flag (default), an OpenAI-compatible endpoint is at port 7860/v1. Use as drop-in OpenAI for any client:

```python
from openai import OpenAI
client = OpenAI(base_url='https://<your-public-url>/v1', api_key='none')
```

## Character cards

Drop SillyTavern-format PNG cards into `/data/characters/`. They show up under Chat → Character.

## CPU mode caveat

This container is CPU-only. 7B Q4 models run at 2-6 tokens/sec on 2 vCPU. Use small quantized models for usable speed; 30B+ models will be too slow for interactive use.

Как использовать Text Generation WebUI в osFoundry

Установите Text Generation WebUI в свою рабочую область одним кликом, затем сделайте форк в osStudio, чтобы настроить промпты, инструменты или конфигурацию под ваш стек. Любой участник вашей рабочей области сможет продолжить с того места, где вы остановились.

Другие приложения от сообщества

CRM — Управление взаимоотношениями с клиентами: контакты, сделки и отслеживание воронки продаж.
Kanban Board — Проектная kanban-доска в стиле Trello с карточками, досками, видами календаря и таблицы и свойствами на доску. На базе Focalboard (отдельный персональный сервер). Встроенный SQLite на постоянном томе.
Служба поддержки — Сортировка тикетов и входящие сообщения службы поддержки с отслеживанием SLA.
Page Builder — Визуальный drag-and-drop конструктор страниц с секциями, темами, SEO и публикацией
Website Builder — Многостраничный конструктор сайтов с CMS-коллекциями, глобальной навигацией, футером, темами и публикацией
Витрина магазина — Витрина интернет-магазина с каталогом товаров, корзиной и оформлением заказа.