Text Generation WebUI

Text Generation WebUI 是 osFoundry 社区目录中的应用。oobabooga 出品的 text-generation-webui——运行和实验本地大模型的瑞士军刀。支持 llama.cpp（GGUF）、Transformers、ExLlamaV2、AWQ 与 GPTQ 量化，并自带 OpenAI 兼容 API 服务器。是扩展性最强的本地 LLM UI：参数预设、角色卡、人设驱动聊天，提供 notebook、chat、instruct 三种模式，并内置 LoRA 微调训练页签。镜像内置 CPU 模式（本机无 GPU）。

详情

工作区: osfoundry
分类: AI
价格: Free
访问权限: Community

功能

Load + chat with GGUF (llama.cpp) / HuggingFace Transformers / ExLlamaV2 / AWQ / GPTQ models
Three modes: Chat (assistant) / Instruct (single-turn) / Notebook (free-form completion)
OpenAI-compatible API server bundled — drop-in for any OpenAI SDK client
Parameter presets + samplers (mirostat, dynamic temperature, DRY, smoothing factor, ...) — the deepest sampler knobs in the OSS LLM world
Character cards + persona system shared with SillyTavern format
LoRA training tab for fine-tuning (CPU mode is feasible but slow)

文档

文档由上游项目以英文维护。

# Text Generation WebUI

## Drop in a model

The container ships with no models. Get a GGUF or HuggingFace model into `/data/models/`:

```
curl -L -o /data/models/llama-3.1-8b-instruct.gguf \
  https://huggingface.co/.../resolve/main/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
```

Or in the web UI → **Model** tab → **Download model or LoRA** → paste the HF repo path (e.g. `unsloth/Llama-3.2-1B-Instruct-GGUF`).

## Load + chat

1. **Model** tab → pick a downloaded model from the dropdown → **Load**
2. **Chat** tab → start chatting

## Three modes

- **Chat** — turn-based assistant
- **Instruct** — single-turn instruction following
- **Notebook** — free-form completion / story writing

## OpenAI-compatible API

With `--api` flag (default), an OpenAI-compatible endpoint is at port 7860/v1. Use as drop-in OpenAI for any client:

```python
from openai import OpenAI
client = OpenAI(base_url='https://<your-public-url>/v1', api_key='none')
```

## Character cards

Drop SillyTavern-format PNG cards into `/data/characters/`. They show up under Chat → Character.

## CPU mode caveat

This container is CPU-only. 7B Q4 models run at 2-6 tokens/sec on 2 vCPU. Use small quantized models for usable speed; 30B+ models will be too slow for interactive use.

如何在 osFoundry 中使用 Text Generation WebUI

一键将 Text Generation WebUI 安装到您的工作区，然后在 osStudio 中将其分支，针对您的技术栈自定义提示词、工具或配置。工作区中的任何人都可以接续您的工作继续推进。

社区中的其他应用

客户关系管理 — 客户关系管理工具，支持联系人、交易和销售管道跟踪。
Kanban Board — Trello 风格的看板与项目板，含卡片、面板、日历与表格视图以及每面板属性。基于 Focalboard（独立个人服务器）构建。在持久卷上内嵌 SQLite。
服务台 — 工单分流与客户支持收件箱，附带 SLA 跟踪。
Page Builder — 可视化拖放页面生成器，支持区块、主题、SEO 与发布
Website Builder — 带 CMS 合集、全局导航、页脚、主题与发布的多页面网站生成器
店面 — 电商店面，包含商品目录、购物车和结账流程。