Главная / Глоссарий / LLM
What is Большая языковая модель (LLM)?
Abbreviation: LLM
Большая языковая модель (LLM) — это нейронная сеть, обученная на огромных текстовых корпусах для предсказания следующего токена, выдающая беглый текст на естественном языке. osFoundry маршрутизирует запросы между более чем 100 LLM от любого провайдера — локально, в облаке или self-hosted.
Detail
LLM — это нейронные сети на основе трансформеров с диапазоном от ~1 млрд до более 1 трлн параметров. Они обеспечивают чаты, генерацию кода, суммаризацию, перевод и большую часть агентного ИИ сегодня. Качество варьируется в зависимости от обучающих данных, архитектуры и пост-обучения (RLHF, DPO).
LLM поставляются в двух режимах распространения: с закрытым исходным кодом (доступ только через API — например, GPT-4, Claude) и с открытыми весами (для скачивания и self-hosting — например, Llama, Mistral, Qwen). Каталог osFoundry индексирует 76 000 моделей с открытыми весами плюс 364 хостинговые API-модели.
How osFoundry approaches Большая языковая модель (LLM)
osFoundry рассматривает каждую LLM как взаимозаменяемый бэкенд. Используйте свой API-ключ (BYOK) для хостинговых моделей; устанавливайте модели с открытыми весами для локального инференса; разворачивайте выделенные GPU-эндпоинты для зарезервированной мощности. Maestro маршрутизирует каждый запрос на основе правил, которые вы определяете в osStudio.
FAQ
Как osFoundry связан с LLM?
osFoundry — это слой оркестрации над LLM. Он не создаёт LLM — он позволяет маршрутизировать запросы между локальными, облачными и self-hosted LLM из одной рабочей области.
Какая LLM лучшая?
Ни одна LLM не является лучшей во всём. osFoundry позволяет проводить A/B-тестирование разных LLM по рабочим нагрузкам и маршрутизировать соответствующим образом.
Могу ли я использовать несколько LLM в одном чате?
Да. Maestro может переключать модели посреди беседы на основе правил маршрутизации osStudio.
Related terms
Related features