LiteLLM Proxy

LiteLLM Proxy adalah aplikasi di katalog komunitas osFoundry. Gateway LLM yang berfokus pada developer. Endpoint /chat/completions tunggal yang kompatibel dengan OpenAI yang menerjemahkan ke 100+ API provider (OpenAI, Anthropic, Azure, Bedrock, Vertex, Cohere, Together, Replicate, Ollama, vLLM, ...) dengan retry otomatis, fallback, penanganan rate-limit, rotasi kunci, pelacakan pengeluaran per virtual key, dan dukungan OpenAI Realtime API. Proxy LLM dengan bintang terbanyak di GitHub; pendekatan SDK-first dibanding pendekatan UI-first dari one-api.

Detail

Workspace: osfoundry
Kategori: AI
Harga: Free
Akses: Community

Fitur

Single OpenAI-compatible endpoint that calls 100+ providers (Anthropic, Bedrock, Vertex, Azure, Ollama, ...)
Virtual keys with per-key budgets + rate limits + model restrictions + expiry
Automatic fallbacks — 'use claude-3-5 if gpt-4o is down or over quota' as one-line config
Spend tracking per-key, per-model, per-team — export to CSV + Prometheus
OpenAI Realtime API support — voice/audio mode passthrough
SQLite default — zero infrastructure for solo + small-team use; Postgres optional

Dokumentasi

Dokumentasi dipelihara dalam bahasa Inggris oleh proyek upstream.

# LiteLLM Proxy

## First-boot

Set `LITELLM_MASTER_KEY` + `LITELLM_SALT_KEY` + `UI_PASSWORD` env. Restart — admin UI lives at `/ui`.

## Add models

Log into `/ui` → **Models** → **+ Add** — each model maps a 'public model name' (what clients see, e.g. `gpt-4o`) to an upstream:

- OpenAI: pick OpenAI, paste key, pick model id
- Anthropic: pick Anthropic, paste key, pick claude-3-5-sonnet-20241022
- Bedrock / Vertex / Azure: paste the provider-specific creds
- Ollama: pick ollama, set api_base to your Ollama URL

## Generate virtual keys

**Keys** tab → **+ Create** — issue per-team or per-app keys with:

- Spend budget (per day / month / total)
- Model restrictions (only certain models accessible)
- Rate limits (RPM, TPM)
- Expiry date

Give the `sk-...` key to your downstream app:

```python
from openai import OpenAI
client = OpenAI(base_url='https://<your-public-url>', api_key='sk-...')
client.chat.completions.create(model='gpt-4o', messages=[...])
```

LiteLLM looks up the model, calls the upstream, tracks spend, enforces budgets.

## Fallbacks + retries

In Model config: set `fallbacks: [{ model: 'gpt-4o', fallbacks: ['claude-3-5-sonnet', 'gemini-1.5-pro'] }]` — if gpt-4o is down or over quota, requests auto-route to Claude, then Gemini.

## Spend tracking

Usage tab shows per-key, per-model, per-team spend in $. Export to CSV / Prometheus. Tags on each request let you slice by user/app/feature.

## Storage

SQLite at `/data/litellm.db` for keys + spend log. For multi-instance scale, switch to Postgres via `DATABASE_URL` env.

Cara menggunakan LiteLLM Proxy di osFoundry

Instal LiteLLM Proxy ke workspace Anda dalam satu klik, lalu fork di osStudio untuk menyesuaikan prompt, tool, atau konfigurasi sesuai stack Anda. Siapa pun di workspace Anda dapat melanjutkan dari titik Anda berhenti.

aplikasi lainnya dari komunitas

CRM — Manajemen hubungan pelanggan dengan kontak, deal, dan pelacakan pipeline.
Kanban Board — Papan kanban dan proyek gaya Trello dengan kartu, papan, tampilan kalender dan tabel, dan properti per papan. Didukung oleh Focalboard (server pribadi standalone). SQLite tertanam pada volume persisten.
Helpdesk — Triase tiket dan inbox dukungan pelanggan dengan pelacakan SLA.
Page Builder — Page builder drag-and-drop visual dengan section, tema, SEO, dan publishing
Website Builder — Builder situs multi-halaman dengan koleksi CMS, navigasi global, footer, tema, dan publikasi
Storefront — Etalase e-commerce dengan katalog produk, keranjang, dan checkout.