osFoundry / Platform
250 тыс.+ публичных датасетов
Просматривайте и импортируйте из четверти миллиона публичных датасетов — предварительно проиндексированных, готовых к fine-tuning.
Что это
Каталог публичных датасетов osFoundry даёт вам доступ через поиск к более чем 250 000 открытых датасетов, зеркалированных из публичного хаба Hugging Face Datasets, охватывая текст, изображения, аудио, видео, табличные и мультимодальные данные. Вместо того чтобы писать скрипты-загрузчики или перебирать карточки датасетов по одной, вы просматриваете и фильтруете прямо внутри своего workspace: по категории задачи (генерация текста, классификация, ответы на вопросы, распознавание речи, детекция объектов и другое), по языку, по диапазону размера и по лицензии. Затем импортируете нужный в пару кликов. Каждая карточка несёт метаданные, которые действительно важны до того, как вы возьмётесь за неё: число строк, условия лицензии, теги задач, URL источника и автоматически сгенерированную ссылку BibTeX.
Каталог предварительно проиндексирован, и именно это делает поиск быстрым: osFoundry кэширует метаданные каждого датасета, поэтому фильтрация по четверти миллиона записей мгновенна, а сами данные загружаются из исходного источника при первом использовании, а не лежат в хранилище, за содержание которого вы платите. Как только вы выбираете датасет, он направляется в ту часть osFoundry, где вы работаете. Отправьте его на страницу Train, чтобы дообучить базовую модель: osFoundry поднимает GPU-сервер, выполняет задачу и готовит полученный LoRA-адаптер к горячей замене на вашем инференс-флоте. Импортируйте его в базу знаний, чтобы каждая строка стала доступной для поиска, цитирования и извлечения вашими агентами. Или направьте на него оценку, чтобы сравнить модели бок о бок.
Поскольку osFoundry работает по принципу bring-your-own-key и local-first, всё остаётся честным в отношении ваших данных и ваших затрат: это ваш workspace, ваши ключи и никакой реселлерской наценки на модели, которые вы обучаете или запускаете на этих датасетах. Условия лицензии показываются по каждому датасету (пермиссивная, share-alike, некоммерческая, общественное достояние или кастомная), так что вы узнаёте, безопасен ли корпус для коммерческого файнтюнинга, ещё до того как строить на нём, а не после.
Ключевые возможности
- Ищите и фильтруйте 250K+ публичных датасетов по задаче, языку, размеру и лицензии, не покидая своего workspace
- Предварительно проиндексированные метаданные делают фильтрацию по четверти миллиона записей мгновенной; данные грузятся из источника при первом использовании
- Один клик направляет в файнтюнинг: osFoundry поднимает GPU-сервер и готовит LoRA-адаптер к горячей замене
- Импортируйте любой датасет в базу знаний, чтобы строки стали доступны для поиска, цитирования и извлечения агентами
- Лицензия, число строк, теги задач, URL источника и автоматический BibTeX показываются по каждому датасету до того, как вы возьмётесь за него
Сценарии использования
- ML-инженер: отфильтровать до датасета генерации текста с лицензией CC-BY, отправить его в Train и дообучить базовую модель в LoRA-адаптер на своём GPU-сервере
- Разработчик агентов: импортировать датасет вопросов-ответов в базу знаний, чтобы агенты извлекали и цитировали реальные примеры во время выполнения
- Исследователь: направить оценку на бенчмарк-датасет, чтобы оценить несколько моделей бок о бок, а затем вставить автоматический BibTeX в статью
Часто задаваемые вопросы
Откуда берутся эти 250K+ датасетов?
Они зеркалированы из публичного каталога Hugging Face Datasets. osFoundry предварительно индексирует и кэширует метаданные, чтобы поиск и фильтрация были быстрыми; сами данные загружаются из исходного источника при первом использовании, а не копируются в хранилище, за содержание которого вы платите.
Можно ли использовать эти датасеты для коммерческого файнтюнинга?
Это зависит от лицензии каждого датасета, которую osFoundry показывает в каждой карточке: пермиссивная (CC-BY, Apache-2, MIT), share-alike, некоммерческая, общественное достояние или кастомная. Пермиссивные датасеты и датасеты из общественного достояния обычно безопасны для коммерческого использования с указанием авторства; некоммерческие и без указанной лицензии — нет. Проверьте бейдж лицензии, прежде чем строить на корпусе.
Что я на самом деле могу сделать с датасетом после импорта?
Три основных пути: дообучить базовую модель на странице Train (osFoundry поднимает GPU-сервер и готовит LoRA-адаптер), наполнить базу знаний, чтобы агенты искали и цитировали строки, или запустить оценку, чтобы сравнить модели на нём. Поскольку osFoundry работает по принципу BYOK и local-first, вы используете свои ключи без реселлерской наценки.