LiteLLM Proxy

LiteLLM Proxy — это приложение в каталоге сообщества osFoundry. LLM-шлюз для разработчиков. Единый OpenAI-совместимый endpoint /chat/completions, транслирующий запросы к API более 100 провайдеров (OpenAI, Anthropic, Azure, Bedrock, Vertex, Cohere, Together, Replicate, Ollama, vLLM и др.) с автоматическими повторами, fallback'ами, обработкой rate-limit, ротацией ключей, учётом расходов на виртуальный ключ и поддержкой OpenAI Realtime API. Самый звёздный LLM-прокси на GitHub; SDK-first в противовес UI-first подходу one-api.

Подробности

Рабочая область: osfoundry
Категория: AI
Цена: Free
Доступ: Community

Возможности

Single OpenAI-compatible endpoint that calls 100+ providers (Anthropic, Bedrock, Vertex, Azure, Ollama, ...)
Virtual keys with per-key budgets + rate limits + model restrictions + expiry
Automatic fallbacks — 'use claude-3-5 if gpt-4o is down or over quota' as one-line config
Spend tracking per-key, per-model, per-team — export to CSV + Prometheus
OpenAI Realtime API support — voice/audio mode passthrough
SQLite default — zero infrastructure for solo + small-team use; Postgres optional

Документация

Документация поддерживается на английском языке основным проектом.

# LiteLLM Proxy

## First-boot

Set `LITELLM_MASTER_KEY` + `LITELLM_SALT_KEY` + `UI_PASSWORD` env. Restart — admin UI lives at `/ui`.

## Add models

Log into `/ui` → **Models** → **+ Add** — each model maps a 'public model name' (what clients see, e.g. `gpt-4o`) to an upstream:

- OpenAI: pick OpenAI, paste key, pick model id
- Anthropic: pick Anthropic, paste key, pick claude-3-5-sonnet-20241022
- Bedrock / Vertex / Azure: paste the provider-specific creds
- Ollama: pick ollama, set api_base to your Ollama URL

## Generate virtual keys

**Keys** tab → **+ Create** — issue per-team or per-app keys with:

- Spend budget (per day / month / total)
- Model restrictions (only certain models accessible)
- Rate limits (RPM, TPM)
- Expiry date

Give the `sk-...` key to your downstream app:

```python
from openai import OpenAI
client = OpenAI(base_url='https://<your-public-url>', api_key='sk-...')
client.chat.completions.create(model='gpt-4o', messages=[...])
```

LiteLLM looks up the model, calls the upstream, tracks spend, enforces budgets.

## Fallbacks + retries

In Model config: set `fallbacks: [{ model: 'gpt-4o', fallbacks: ['claude-3-5-sonnet', 'gemini-1.5-pro'] }]` — if gpt-4o is down or over quota, requests auto-route to Claude, then Gemini.

## Spend tracking

Usage tab shows per-key, per-model, per-team spend in $. Export to CSV / Prometheus. Tags on each request let you slice by user/app/feature.

## Storage

SQLite at `/data/litellm.db` for keys + spend log. For multi-instance scale, switch to Postgres via `DATABASE_URL` env.

Как использовать LiteLLM Proxy в osFoundry

Установите LiteLLM Proxy в свою рабочую область одним кликом, затем сделайте форк в osStudio, чтобы настроить промпты, инструменты или конфигурацию под ваш стек. Любой участник вашей рабочей области сможет продолжить с того места, где вы остановились.

Другие приложения от сообщества

CRM — Управление взаимоотношениями с клиентами: контакты, сделки и отслеживание воронки продаж.
Kanban Board — Проектная kanban-доска в стиле Trello с карточками, досками, видами календаря и таблицы и свойствами на доску. На базе Focalboard (отдельный персональный сервер). Встроенный SQLite на постоянном томе.
Служба поддержки — Сортировка тикетов и входящие сообщения службы поддержки с отслеживанием SLA.
Page Builder — Визуальный drag-and-drop конструктор страниц с секциями, темами, SEO и публикацией
Website Builder — Многостраничный конструктор сайтов с CMS-коллекциями, глобальной навигацией, футером, темами и публикацией
Витрина магазина — Витрина интернет-магазина с каталогом товаров, корзиной и оформлением заказа.