Home / Glossario / Top-p sampling
What is Top-p (Nucleus) Sampling?
Il top-p sampling restringe il modello al più piccolo insieme di token la cui probabilità cumulata supera p. Le configurazioni di pipeline di osFoundry Le permettono di tunare top-p per agente o per chat path.
Detail
Top-p (chiamato anche nucleus sampling) è un'alternativa alla temperature per controllare la casualità dell'output. A top-p = 0.9, il modello considera solo i token che compongono il primo 90% della massa di probabilità, ignorando la coda lunga.
In pratica, imposti top-p attorno a 0.9-0.95 per un output bilanciato. Più basso (0.5) è più focalizzato; più alto (0.99) è più diversificato. Molti provider combinano top-p con temperature.
Related terms