osFoundry / Platform
250K+ 공개 데이터셋
25만 개의 공개 데이터셋에서 탐색하고 가져오세요. 사전 인덱싱되어 있어 파인튜닝에 바로 사용할 수 있습니다.
개요
osFoundry의 공개 데이터셋 카탈로그는 공개 Hugging Face Datasets 허브에서 미러링한 25만 개 이상의 오픈 데이터셋에 검색 기반으로 접근할 수 있게 해 주며, 텍스트, 이미지, 오디오, 비디오, 테이블, 멀티모달 데이터를 모두 아우릅니다. 로더 스크립트를 작성하거나 데이터셋 카드를 하나씩 뒤질 필요 없이, 워크스페이스 안에서 바로 탐색하고 필터링합니다. 태스크 범주(텍스트 생성, 분류, 질의응답, 음성 인식, 객체 탐지 등), 언어, 크기 구간, 라이선스로 좁힌 뒤 필요한 하나를 몇 번의 클릭으로 임포트합니다. 각 항목에는 채택 전에 실제로 중요한 메타데이터가 함께 담깁니다. 행 수, 라이선스 조건, 태스크 태그, 소스 URL, 그리고 자동 생성된 BibTeX 인용입니다.
카탈로그는 미리 색인되어 있으며, 이것이 검색을 빠르게 만드는 핵심입니다. osFoundry는 각 데이터셋의 메타데이터를 캐시하므로 25만 개 항목을 가로지르는 필터링이 즉시 이뤄지고, 실제 데이터는 비용을 내며 유지하는 창고에 쌓아 두는 대신 최초 사용 시 상위 소스에서 로드됩니다. 데이터셋을 고르면 지금 작업 중인 osFoundry의 해당 영역으로 흘러 들어갑니다. Train 페이지로 보내 베이스 모델을 파인튜닝하면, osFoundry가 GPU 서버를 프로비저닝하고 작업을 실행한 뒤 생성된 LoRA 어댑터를 추론 플릿에 핫스왑할 수 있도록 준비합니다. 지식 베이스로 임포트하면 모든 행을 에이전트가 검색, 인용, 검색해 올 수 있게 됩니다. 또는 평가를 겨냥해 여러 모델을 나란히 벤치마크할 수 있습니다.
osFoundry는 bring-your-own-key이자 local-first이므로, 데이터와 비용에 대해 정직함을 유지합니다. 당신의 워크스페이스, 당신의 키이며, 이 데이터셋으로 학습하거나 실행하는 모델에 리셀러 마크업이 붙지 않습니다. 라이선스 조건은 데이터셋마다 표시됩니다(퍼미시브, 셰어얼라이크, 비상업용, 퍼블릭 도메인, 커스텀). 그래서 어떤 코퍼스가 상업적 파인튜닝에 안전한지 그 위에 쌓아 올리기 전에 알 수 있고, 나중에야 알게 되는 일이 없습니다.
주요 기능
- 워크스페이스를 벗어나지 않고 25만+ 공개 데이터셋을 태스크, 언어, 크기, 라이선스로 검색하고 필터링
- 미리 색인된 메타데이터로 25만 개 항목 필터링이 즉시 이뤄지며, 데이터는 최초 사용 시 소스에서 로드
- 한 번의 클릭으로 파인튜닝에 연결: osFoundry가 GPU 서버를 프로비저닝하고 LoRA 어댑터를 핫스왑용으로 준비
- 어떤 데이터셋이든 지식 베이스로 임포트해 행을 에이전트가 검색, 인용, 검색해 올 수 있게 만듦
- 데이터셋별 라이선스, 행 수, 태스크 태그, 소스 URL, 자동 생성 BibTeX를 채택 전에 확인
활용 사례
- ML 엔지니어: CC-BY 텍스트 생성 데이터셋으로 좁힌 뒤 Train으로 보내, 자신의 GPU 서버에서 베이스 모델을 LoRA 어댑터로 파인튜닝
- 에이전트 개발자: 질의응답 데이터셋을 지식 베이스로 임포트해, 에이전트가 런타임에 실제 예시를 검색해 인용하도록 함
- 연구자: 벤치마크 데이터셋에 평가를 겨냥해 여러 모델을 나란히 채점한 뒤, 자동 생성된 BibTeX를 논문에 붙여넣음
자주 묻는 질문
25만+ 데이터셋은 어디에서 오나요?
공개 Hugging Face Datasets 카탈로그에서 미러링됩니다. osFoundry는 메타데이터를 미리 색인하고 캐시해 검색과 필터링을 빠르게 합니다. 실제 데이터는 유지 비용을 내는 저장소에 복사되는 것이 아니라, 최초 사용 시 상위 소스에서 로드됩니다.
이 데이터셋을 상업적 파인튜닝에 쓸 수 있나요?
각 데이터셋의 라이선스에 따라 다르며, osFoundry가 모든 항목에 표시합니다. 퍼미시브(CC-BY, Apache-2, MIT), 셰어얼라이크, 비상업용, 퍼블릭 도메인, 커스텀입니다. 퍼미시브와 퍼블릭 도메인 데이터셋은 대개 출처 표시와 함께 상업적 이용이 안전하지만, 비상업용과 미지정 데이터셋은 그렇지 않습니다. 코퍼스 위에 쌓기 전에 라이선스 배지를 확인하세요.
데이터셋을 임포트하면 실제로 무엇을 할 수 있나요?
주요 경로는 세 가지입니다. Train 페이지에서 베이스 모델을 파인튜닝하거나(osFoundry가 GPU 서버를 띄우고 LoRA 어댑터를 준비합니다), 지식 베이스를 채워 에이전트가 행을 검색하고 인용하게 하거나, 평가를 실행해 여러 모델을 벤치마크합니다. osFoundry는 BYOK이자 local-first이므로 리셀러 마크업 없이 자신의 키를 사용합니다.