홈 / 용어집 / LLM
What is 대규모 언어 모델 (Large Language Model)?
Abbreviation: LLM
대규모 언어 모델(LLM)은 방대한 텍스트 말뭉치로 학습되어 다음 토큰을 예측하고 유창한 자연어를 생성하는 신경망입니다. osFoundry는 로컬, 클라우드, 셀프 호스팅 등 모든 제공업체의 100개 이상의 LLM에 요청을 라우팅합니다.
Detail
LLM은 약 10억에서 1조 개 이상의 파라미터를 가지는 트랜스포머 기반 신경망입니다. 채팅, 코드 생성, 요약, 번역, 그리고 오늘날의 대부분의 에이전트형 AI를 구동합니다. 품질은 학습 데이터, 아키텍처, 사후 학습(RLHF, DPO)에 따라 달라집니다.
LLM은 두 가지 배포 방식으로 제공됩니다: 비공개 소스(API를 통해서만 접근 — 예: GPT-4, Claude)와 오픈 웨이트(다운로드하여 셀프 호스팅 가능 — 예: Llama, Mistral, Qwen)입니다. osFoundry의 카탈로그는 76,000개의 오픈 웨이트 모델과 364개의 호스팅 API 모델을 색인합니다.
How osFoundry approaches 대규모 언어 모델 (Large Language Model)
osFoundry는 모든 LLM을 상호 교체 가능한 백엔드로 취급합니다. 호스팅된 모델에는 자체 API 키(BYOK)를 사용하고, 로컬 추론을 위해 오픈 웨이트 모델을 설치하며, 예약된 용량을 위해 전용 GPU 엔드포인트를 배포합니다. Maestro는 osStudio에서 정의한 규칙에 따라 요청별로 라우팅합니다.
FAQ
osFoundry는 LLM과 어떤 관계가 있습니까?
osFoundry는 LLM 위에 있는 오케스트레이션 계층입니다. LLM을 직접 만들지는 않으며, 하나의 워크스페이스에서 로컬, 클라우드, 셀프 호스팅 LLM 전반에 요청을 라우팅할 수 있게 해줍니다.
어떤 LLM이 가장 좋습니까?
모든 작업에서 가장 우수한 단일 LLM은 없습니다. osFoundry를 사용하면 워크로드별로 다양한 LLM을 A/B 테스트하고 그에 따라 라우팅할 수 있습니다.
하나의 채팅에서 여러 LLM을 사용할 수 있습니까?
가능합니다. Maestro는 osStudio 라우팅 규칙에 따라 대화 중간에 모델을 전환할 수 있습니다.
Related terms
Related features