Mistral Small 3
Mistral Small 3 (Mistral AI, 2025) — это 24-миллиардная параметрическая чат модель. Compact 24B open-weights model. Tuned for low-latency chat and tool use with a permissive licence for commercial deployment.
by Mistral AI · 24B параметров · контекстное окно 32K токенов
Лучше всего подходит для
- чат и маршрутизация с низкой задержкой
- вызов инструментов и функций
- edge-развёртывание на потребительских GPU
Способы использования Mistral Small 3 в osFoundry
Подключите со своим ключом (BYOK)
Откройте диалог ключей и вставьте ваш API-ключ Mistral AI. osFoundry автоматически обнаружит Mistral Small 3 — назначьте её на роль Maestro (router, direct, orchestrator или fallback) во вкладке Pipeline, и она будет доступна в каждом чате. Ваш ключ, ваш аккаунт у провайдера — без наценки на токены.
Разверните выделенный эндпоинт
Mistral Small 3 распространяется с открытыми весами — запускайте её локально бесплатно или разверните выделенный GPU-эндпоинт в вашем рабочем пространстве для зарезервированных мощностей без ограничений по частоте запросов.
Используйте в Room App
Room App объявляют функции ИИ в своём манифесте, а затем вызывают их через invokeAI:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
Вызывайте из своих приложений
После подключения модели к вашему рабочему пространству вы можете разместить её как API и обращаться к ней из своих сервисов, скриптов или CI — за пределами osFoundry.
На каком оборудовании можно запустить Mistral Small 3
Mistral Small 3 работает на одном потребительском GPU объёмом 16 ГБ (~15 ГБ VRAM с запасом для KV-кэша). Инференс с полной точностью помещается на одной H100 80GB при точности FP16 (~58 ГБ).
Mistral Small 3 в сравнении с похожими моделями
Лицензия
Apache 2.0 — commercial use allowed — Разрешает коммерческое использование, модификацию, распространение и предоставление патентных прав без отчислений.
Требуется указание авторства (сохраняйте уведомления об авторских правах и лицензии).
Частые вопросы о Mistral Small 3
Бесплатна ли Mistral Small 3 в использовании?
Mistral Small 3 можно бесплатно запускать локально на собственном оборудовании. Хостинговый доступ через osFoundry тарифицируется (ввод Free (local) / $ 0.10 /1M, вывод Free (local) / $ 0.30 /1M). Вы можете переключаться между локальным и хостинговым режимами в любой момент.
Можно ли использовать Mistral Small 3 в коммерческих целях?
Да — коммерческое использование разрешено. Разрешает коммерческое использование, модификацию, распространение и предоставление патентных прав без отчислений. Требуется указание авторства (сохраняйте уведомления об авторских правах и лицензии).
Каково контекстное окно у Mistral Small 3?
Mistral Small 3 поддерживает контекстное окно в 32K токенов.
Сколько VRAM требуется для Mistral Small 3?
Приблизительно 15 ГБ при квантизации Q4 или 58 ГБ при полной точности FP16. Помещается на одном потребительском GPU объёмом 24 ГБ.
Можно ли запустить Mistral Small 3 локально?
Да. Mistral Small 3 имеет открытые веса и работает локально на GPU рабочей станции. Локальная среда выполнения osFoundry берёт на себя загрузку модели, квантизацию и маршрутизацию.
В чём Mistral Small 3 лучше всего?
Mistral Small 3 хорошо подходит для чат и маршрутизация с низкой задержкой, вызов инструментов и функций, edge-развёртывание на потребительских GPU.
Как использовать Mistral Small 3 в osFoundry?
Вставьте свой API-ключ Mistral AI в диалог ключей (или разверните открытые веса для моделей с возможностью самостоятельного хостинга), назначьте Mistral Small 3 на роль Maestro во вкладке Pipeline, а затем используйте её в чате, в Room App через invokeAI или в собственных приложениях.
Опубликовано Mistral AI 30 января 2025 г..