Text Generation WebUI

Text Generation WebUI は osFoundry コミュニティカタログのアプリです。oobabooga 製の text-generation-webui は、ローカル言語モデルの実行と実験のためのスイスアーミーナイフです。llama.cpp（GGUF）、transformers、ExLlamaV2、AWQ + GPTQ 量子化に対応し、OpenAI 互換 API サーバーを内蔵しています。もっとも拡張性の高いローカル LLM UI で、パラメータプリセット、キャラクターカード、ペルソナ駆動チャット、notebook / chat / instruct モード、LoRA ファインチューニング用のトレーニングタブを備えています。CPU モードを同梱しています（本ホストには GPU はありません）。

詳細

ワークスペース: osfoundry
カテゴリ: AI
料金: Free
アクセス: Community

機能

Load + chat with GGUF (llama.cpp) / HuggingFace Transformers / ExLlamaV2 / AWQ / GPTQ models
Three modes: Chat (assistant) / Instruct (single-turn) / Notebook (free-form completion)
OpenAI-compatible API server bundled — drop-in for any OpenAI SDK client
Parameter presets + samplers (mirostat, dynamic temperature, DRY, smoothing factor, ...) — the deepest sampler knobs in the OSS LLM world
Character cards + persona system shared with SillyTavern format
LoRA training tab for fine-tuning (CPU mode is feasible but slow)

ドキュメント

ドキュメントは上流プロジェクトにより英語で管理されています。

# Text Generation WebUI

## Drop in a model

The container ships with no models. Get a GGUF or HuggingFace model into `/data/models/`:

```
curl -L -o /data/models/llama-3.1-8b-instruct.gguf \
  https://huggingface.co/.../resolve/main/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
```

Or in the web UI → **Model** tab → **Download model or LoRA** → paste the HF repo path (e.g. `unsloth/Llama-3.2-1B-Instruct-GGUF`).

## Load + chat

1. **Model** tab → pick a downloaded model from the dropdown → **Load**
2. **Chat** tab → start chatting

## Three modes

- **Chat** — turn-based assistant
- **Instruct** — single-turn instruction following
- **Notebook** — free-form completion / story writing

## OpenAI-compatible API

With `--api` flag (default), an OpenAI-compatible endpoint is at port 7860/v1. Use as drop-in OpenAI for any client:

```python
from openai import OpenAI
client = OpenAI(base_url='https://<your-public-url>/v1', api_key='none')
```

## Character cards

Drop SillyTavern-format PNG cards into `/data/characters/`. They show up under Chat → Character.

## CPU mode caveat

This container is CPU-only. 7B Q4 models run at 2-6 tokens/sec on 2 vCPU. Use small quantized models for usable speed; 30B+ models will be too slow for interactive use.

osFoundry での Text Generation WebUI の使い方

Text Generation WebUI をワンクリックでワークスペースにインストールし、osStudio でフォークしてプロンプト、ツール、または構成をご自身のスタックに合わせてカスタマイズできます。ワークスペース内のメンバーは誰でも、続きの作業を引き継げます。

コミュニティの他のアプリ

CRM — 連絡先、商談、パイプライン管理を備えた顧客関係管理ツールです。
Kanban Board — カード、ボード、カレンダー・テーブルビュー、ボードごとのプロパティを備えた、Trello風のカンバン・プロジェクトボードです。Focalboard(スタンドアロン個人サーバー)を基盤としています。永続ボリューム上に組み込みSQLiteを持ちます。
ヘルプデスク — SLA トラッキング付きのチケットトリアージとカスタマーサポート受信箱です。
Page Builder — セクション、テーマ、SEO、公開機能を備えた、ビジュアルなドラッグ&ドロップのページビルダーです
Website Builder — CMS コレクション、グローバルナビゲーション、フッター、テーマ、公開機能を備えたマルチページの Web サイトビルダーです
ストアフロント — 商品カタログ、カート、チェックアウトを備えた EC ストアフロントです。