Home / Glossary / Top-p sampling
What is Top-p (Nucleus) Sampling?
Top-p sampling model को tokens के सबसे छोटे set तक restrict करता है जिनकी cumulative probability p से अधिक है। osFoundry की pipeline configs आपको top-p को प्रति agent या प्रति chat path tune करने देती हैं।
Detail
Top-p (जिसे nucleus sampling भी कहा जाता है) output randomness को नियंत्रित करने के लिए temperature का एक alternative है। top-p = 0.9 पर, model केवल उन tokens पर विचार करता है जो probability mass के top 90% बनाते हैं, long tail को ignore करते हुए।
व्यवहार में, balanced output के लिए top-p को लगभग 0.9-0.95 पर set करें। निम्न (0.5) अधिक focused है; उच्च (0.99) अधिक diverse है। कई providers top-p को temperature के साथ combine करते हैं।
Related terms