LLM_Collection
knifeayumu का LLM_Collection एक चैट model। LLM_Collection is an open-weights chat model.
by knifeayumu
किसके लिए सर्वोत्तम
- कम-latency चैट और routing
- request routing और triage
- text classification
osFoundry में LLM_Collection का उपयोग करने के तरीके
अपनी key से जोड़ें (BYOK)
key dialog खोलें और अपनी knifeayumu API key पेस्ट करें। osFoundry LLM_Collection को स्वचालित रूप से खोज लेता है — इसे Pipeline tab में किसी Maestro role (router, direct, orchestrator, या fallback) को असाइन करें और यह हर चैट में live हो जाता है। आपकी key, आपका provider account — कोई token markup नहीं।
एक dedicated endpoint deploy करें
LLM_Collection open-weights है — इसे locally मुफ्त में चलाएँ, या rate limits के बिना reserved capacity के लिए अपने workspace में एक dedicated GPU endpoint deploy करें।
Room App में उपयोग करें
Room Apps अपने manifest में AI features घोषित करते हैं, फिर उन्हें invokeAI के साथ कॉल करते हैं:
import { invokeAI } from '@osfoundry/app-sdk'
// 'summarize' is an AI feature declared in your app manifest.
const result = await invokeAI('summarize', userText)
अपने ऐप्स से इसे कॉल करें
एक बार जब model आपके workspace में wired हो जाता है, तो आप इसे API के रूप में host कर सकते हैं और इसे अपनी services, scripts, या CI से — osFoundry के बाहर — एक्सेस कर सकते हैं।
LLM_Collection बनाम समान models
लाइसेंस
अनिर्दिष्ट — लाइसेंस की शर्तें निर्दिष्ट नहीं — commercial उपयोग से पहले upstream model card सत्यापित करें।
Upstream documentation देखें।
LLM_Collection के बारे में अक्सर पूछे जाने वाले प्रश्न
क्या LLM_Collection उपयोग करने के लिए मुफ्त है?
LLM_Collection आपके अपने hardware पर locally चलाने के लिए मुफ्त है। osFoundry के माध्यम से hosted access metered है (input Free (local), output Free (local))। आप किसी भी समय local और hosted के बीच switch कर सकते हैं।
क्या मैं LLM_Collection का commercial उपयोग कर सकता हूँ?
Commercial उपयोग शर्तों के साथ अनुमत है। लाइसेंस की शर्तें निर्दिष्ट नहीं — commercial उपयोग से पहले upstream model card सत्यापित करें। Upstream documentation देखें।
क्या मैं LLM_Collection को locally चला सकता हूँ?
हाँ। LLM_Collection open-weights है और workstation GPU पर locally चलता है। osFoundry का local runtime model loading, quantisation, और routing संभालता है।
LLM_Collection किसमें सर्वश्रेष्ठ है?
LLM_Collection कम-latency चैट और routing, request routing और triage, text classification के लिए उपयुक्त है।
मैं osFoundry में LLM_Collection का उपयोग कैसे करूँ?
key dialog में अपनी knifeayumu API key पेस्ट करें (या self-hostable models के लिए open weights deploy करें), Pipeline tab में LLM_Collection को एक Maestro role को असाइन करें, फिर इसे चैट में, invokeAI के माध्यम से Room Apps में, या अपने ऐप्स में उपयोग करें।
knifeayumu द्वारा प्रकाशित 24 मई 2024 को। स्रोत: https://huggingface.co/knifeayumu/LLM_Collection