Mistral Small 3
Mistral Small 3 (Mistral AI, 2025)은(는) 24억 파라미터 채팅 모델입니다. Compact 24B open-weights model. Tuned for low-latency chat and tool use with a permissive licence for commercial deployment.
by Mistral AI · 24B 파라미터 · 32K 토큰 컨텍스트 창
적합한 용도
- 저지연 채팅 및 라우팅
- 도구 호출 및 함수 사용
- 컨슈머 GPU 기반 엣지 배포
osFoundry에서 Mistral Small 3을(를) 활용하는 방법
자체 키로 연결 (BYOK)
키 대화상자를 열어 Mistral AI API 키를 붙여넣으십시오. osFoundry가 Mistral Small 3을(를) 자동으로 인식하며, Pipeline 탭에서 Maestro 역할(라우터, 직접, 오케스트레이터, 폴백)에 할당하면 모든 채팅에서 즉시 사용할 수 있습니다. 사용자의 키와 사용자의 제공업체 계정 — 토큰 마크업이 없습니다.
전용 엔드포인트 배포
Mistral Small 3은(는) 오픈 가중치 모델입니다 — 무료로 로컬에서 실행하거나, 워크스페이스에 전용 GPU 엔드포인트를 배포하여 속도 제한 없이 예약된 용량을 확보할 수 있습니다.
Room App에서 사용하기
Room App은 매니페스트에서 AI 기능을 선언하고 invokeAI로 호출합니다:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
자체 앱에서 호출하기
모델이 워크스페이스에 연결되면 API로 호스팅하여 osFoundry 외부의 자체 서비스, 스크립트, CI에서 접근할 수 있습니다.
Mistral Small 3을(를) 실행할 수 있는 하드웨어
Mistral Small 3은(는) 단일 16GB 컨슈머 GPU에서 실행됩니다 (KV 캐시 여유 공간 포함 ~15 GB VRAM). 전체 정밀도 추론은 FP16 정밀도에서 단일 H100 80GB에 적재됩니다 (~58 GB).
Mistral Small 3과(와) 유사 모델 비교
라이선스
Apache 2.0 — commercial use allowed — 로열티 없이 상업적 사용, 수정, 배포 및 특허 권리를 허용합니다.
출처 표기 필수 (저작권 및 라이선스 고지 보존).
Mistral Small 3에 대해 자주 묻는 질문
Mistral Small 3은(는) 무료로 사용할 수 있습니까?
Mistral Small 3은(는) 사용자의 하드웨어에서 로컬로 무료 실행이 가능합니다. osFoundry를 통한 호스팅 액세스는 사용량 기반으로 과금됩니다 (입력 Free (local) / $ 0.10 /1M, 출력 Free (local) / $ 0.30 /1M). 로컬과 호스팅을 언제든 전환할 수 있습니다.
Mistral Small 3을(를) 상업적으로 사용할 수 있습니까?
예 — 상업적 사용이 허용됩니다. 로열티 없이 상업적 사용, 수정, 배포 및 특허 권리를 허용합니다. 출처 표기 필수 (저작권 및 라이선스 고지 보존).
Mistral Small 3의 컨텍스트 창은 얼마입니까?
Mistral Small 3은(는) 32K 토큰 컨텍스트 창을 지원합니다.
Mistral Small 3은(는) 얼마나 많은 VRAM을 필요로 합니까?
Q4 양자화에서 약 15 GB, 전체 FP16 정밀도에서 약 58 GB입니다. 단일 24GB 컨슈머 GPU에 적재할 수 있습니다.
Mistral Small 3을(를) 로컬에서 실행할 수 있습니까?
예. Mistral Small 3은(는) 오픈 가중치 모델로 워크스테이션 GPU에서 로컬 실행이 가능합니다. osFoundry의 로컬 런타임이 모델 로딩, 양자화, 라우팅을 처리합니다.
Mistral Small 3이(가) 가장 잘하는 것은 무엇입니까?
Mistral Small 3은(는) 저지연 채팅 및 라우팅, 도구 호출 및 함수 사용, 컨슈머 GPU 기반 엣지 배포에 적합합니다.
osFoundry에서 Mistral Small 3을(를) 어떻게 사용합니까?
키 대화상자에 Mistral AI API 키를 붙여넣고(또는 자체 호스팅 가능한 모델의 경우 오픈 가중치를 배포), Pipeline 탭에서 Mistral Small 3을(를) Maestro 역할에 할당한 뒤 채팅, invokeAI를 통한 Room App, 또는 자체 앱에서 사용하십시오.
Mistral AI에서 게시함, 2025년 1월 30일에.