Qwen 2.5 72B
Qwen 2.5 72B은(는) Alibaba의 72억 파라미터 채팅 모델입니다, 2024년 9월 19일에 출시되었습니다. Multilingual 72B open-weights model with strong code and math performance. Native 128K context.
by Alibaba · 72B 파라미터 · 131K 토큰 컨텍스트 창
적합한 용도
- 일반 채팅 및 Q&A
- 코드 생성 및 리뷰
- 수학적 추론
- 다국어 대화
osFoundry에서 Qwen 2.5 72B을(를) 활용하는 방법
자체 키로 연결 (BYOK)
키 대화상자를 열어 Alibaba API 키를 붙여넣으십시오. osFoundry가 Qwen 2.5 72B을(를) 자동으로 인식하며, Pipeline 탭에서 Maestro 역할(라우터, 직접, 오케스트레이터, 폴백)에 할당하면 모든 채팅에서 즉시 사용할 수 있습니다. 사용자의 키와 사용자의 제공업체 계정 — 토큰 마크업이 없습니다.
전용 엔드포인트 배포
Qwen 2.5 72B은(는) 오픈 가중치 모델입니다 — 무료로 로컬에서 실행하거나, 워크스페이스에 전용 GPU 엔드포인트를 배포하여 속도 제한 없이 예약된 용량을 확보할 수 있습니다.
Room App에서 사용하기
Room App은 매니페스트에서 AI 기능을 선언하고 invokeAI로 호출합니다:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
자체 앱에서 호출하기
모델이 워크스페이스에 연결되면 API로 호스팅하여 osFoundry 외부의 자체 서비스, 스크립트, CI에서 접근할 수 있습니다.
Qwen 2.5 72B을(를) 실행할 수 있는 하드웨어
Qwen 2.5 72B은(는) Q4 양자화에서 단일 A100 80GB 또는 H100 80GB에서 실행됩니다 (KV 캐시 여유 공간 포함 ~44 GB VRAM). 전체 정밀도 추론은 FP16에서 다수의 H100/H200 GPU가 필요합니다 (~173 GB).
Qwen 2.5 72B과(와) 유사 모델 비교
라이선스
Qwen Licence — commercial use with attribution — 출처 표기를 조건으로 상업적 사용을 허용합니다; 일부 오용 제한이 있습니다.
파생물에 "Built with Qwen" 출처 표기가 필요합니다.
Qwen 2.5 72B에 대해 자주 묻는 질문
Qwen 2.5 72B은(는) 무료로 사용할 수 있습니까?
Qwen 2.5 72B은(는) 사용자의 하드웨어에서 로컬로 무료 실행이 가능합니다. osFoundry를 통한 호스팅 액세스는 사용량 기반으로 과금됩니다 (입력 Free (local) / $ 0.50 /1M, 출력 Free (local) / $ 0.70 /1M). 로컬과 호스팅을 언제든 전환할 수 있습니다.
Qwen 2.5 72B을(를) 상업적으로 사용할 수 있습니까?
예 — 상업적 사용이 허용됩니다. 출처 표기를 조건으로 상업적 사용을 허용합니다; 일부 오용 제한이 있습니다. 파생물에 "Built with Qwen" 출처 표기가 필요합니다.
Qwen 2.5 72B의 컨텍스트 창은 얼마입니까?
Qwen 2.5 72B은(는) 131K 토큰 컨텍스트 창을 지원합니다.
Qwen 2.5 72B은(는) 얼마나 많은 VRAM을 필요로 합니까?
Q4 양자화에서 약 44 GB, 전체 FP16 정밀도에서 약 173 GB입니다. 단일 A100/H100 80GB에 적재할 수 있습니다.
Qwen 2.5 72B을(를) 로컬에서 실행할 수 있습니까?
예. Qwen 2.5 72B은(는) 오픈 가중치 모델로 워크스테이션 GPU에서 로컬 실행이 가능합니다. osFoundry의 로컬 런타임이 모델 로딩, 양자화, 라우팅을 처리합니다.
Qwen 2.5 72B이(가) 가장 잘하는 것은 무엇입니까?
Qwen 2.5 72B은(는) 일반 채팅 및 Q&A, 코드 생성 및 리뷰, 수학적 추론에 적합합니다.
osFoundry에서 Qwen 2.5 72B을(를) 어떻게 사용합니까?
키 대화상자에 Alibaba API 키를 붙여넣고(또는 자체 호스팅 가능한 모델의 경우 오픈 가중치를 배포), Pipeline 탭에서 Qwen 2.5 72B을(를) Maestro 역할에 할당한 뒤 채팅, invokeAI를 통한 Room App, 또는 자체 앱에서 사용하십시오.
Alibaba에서 게시함, 2024년 9월 19일에.