osFoundry / Platform
250 mil+ conjuntos de dados públicos
Navegue e importe de mais de duzentos e cinquenta mil conjuntos de dados públicos — pré-indexados, prontos para fine-tuning.
O que é
O catálogo de datasets públicos do osFoundry dá a você acesso por busca a mais de 250 mil datasets abertos espelhados do hub público do Hugging Face Datasets, cobrindo dados de texto, imagem, áudio, vídeo, tabulares e multimodais. Em vez de escrever scripts de carregamento ou caçar entre cartões de dataset um a um, você navega e filtra direto dentro do seu workspace: por categoria de tarefa (geração de texto, classificação, resposta a perguntas, reconhecimento de fala, detecção de objetos e mais), por idioma, por faixa de tamanho e por licença. Depois importa o que precisa em alguns cliques. Cada item traz os metadados que de fato importam antes de você se comprometer: número de linhas, termos de licença, tags de tarefa, URL de origem e uma citação BibTeX gerada automaticamente.
O catálogo é pré-indexado, e é isso que torna a busca rápida: o osFoundry mantém em cache os metadados de cada dataset, então filtrar entre um quarto de milhão de itens é instantâneo, e os dados em si são carregados da fonte original no primeiro uso, em vez de ficarem parados num armazém que você paga para manter. Depois que você escolhe um dataset, ele é encaminhado para a parte do osFoundry em que você está trabalhando. Envie-o para a página Train para fazer fine-tuning de um modelo base: o osFoundry provisiona um servidor GPU, executa o job e deixa o adaptador LoRA resultante pronto para hot-swap na sua frota de inferência. Importe-o para uma base de conhecimento para que cada linha fique pesquisável, citável e recuperável pelos seus agentes. Ou aponte uma avaliação para ele e compare modelos lado a lado.
Como o osFoundry é bring-your-own-key e local-first, tudo permanece honesto sobre seus dados e seus custos: é o seu workspace, as suas chaves e sem sobretaxa de revenda nos modelos que você treina ou executa contra esses datasets. Os termos de licença aparecem por dataset (permissiva, share-alike, não comercial, domínio público ou personalizada), então você sabe se um corpus é seguro para fine-tuning comercial antes de construir sobre ele, em vez de descobrir depois.
Principais recursos
- Pesquise e filtre mais de 250 mil datasets públicos por tarefa, idioma, tamanho e licença sem sair do seu workspace
- Metadados pré-indexados tornam instantâneo filtrar entre um quarto de milhão de itens; os dados carregam da fonte no primeiro uso
- Um clique encaminha para o fine-tuning: o osFoundry provisiona um servidor GPU e deixa um adaptador LoRA pronto para hot-swap
- Importe qualquer dataset para uma base de conhecimento e deixe as linhas pesquisáveis, citáveis e recuperáveis por agentes
- Licença, número de linhas, tags de tarefa, URL de origem e BibTeX autogerado, exibidos por dataset antes de você se comprometer
Casos de uso
- Engenheiro de ML: filtre até um dataset de geração de texto com licença CC-BY, envie para o Train e faça fine-tuning de um modelo base em um adaptador LoRA no seu próprio servidor GPU
- Construtor de agentes: importe um dataset de perguntas e respostas para uma base de conhecimento para que os agentes recuperem e citem exemplos reais em tempo de execução
- Pesquisador: aponte uma avaliação para um dataset de benchmark para pontuar vários modelos lado a lado e cole o BibTeX autogerado em um artigo
Perguntas frequentes
De onde vêm os mais de 250 mil datasets?
Eles são espelhados do catálogo público do Hugging Face Datasets. O osFoundry pré-indexa e mantém em cache os metadados para que a busca e a filtragem sejam rápidas; os dados em si são carregados da fonte original no primeiro uso, não copiados para um armazém que você paga para manter.
Posso usar esses datasets para fine-tuning comercial?
Depende da licença de cada dataset, que o osFoundry exibe em cada item: permissiva (CC-BY, Apache-2, MIT), share-alike, não comercial, domínio público ou personalizada. Datasets permissivos e de domínio público geralmente são seguros para uso comercial com atribuição; os não comerciais e os sem especificação, não. Verifique o selo de licença antes de construir sobre um corpus.
O que posso de fato fazer com um dataset depois de importá-lo?
Três caminhos principais: fazer fine-tuning de um modelo base na página Train (o osFoundry sobe um servidor GPU e deixa um adaptador LoRA pronto), semear uma base de conhecimento para que os agentes busquem e citem as linhas, ou rodar uma avaliação para comparar modelos contra ele. Como o osFoundry é BYOK e local-first, você usa suas próprias chaves sem sobretaxa de revenda.