osFoundry / Platform
25万件以上の公開データセット
25万件超の公開データセットを閲覧してインポート ― インデックス化済み、ファインチューニングにそのまま使えます。
概要
osFoundryの公開データセットカタログでは、公開版Hugging Face Datasetsハブからミラーした25万件を超えるオープンデータセットを検索できます。対象はテキスト、画像、音声、動画、表形式、マルチモーダルまで幅広く揃っています。ローダースクリプトを書いたり、データセットカードを一つずつ探し回ったりする必要はありません。ワークスペースの中で直接、タスク種別（テキスト生成、分類、質問応答、音声認識、物体検出など）や言語、サイズ帯、ライセンスで絞り込み、必要な一件を数クリックで取り込めます。各エントリには、採用前に本当に確認したいメタデータが揃っています。行数、ライセンス条件、タスクタグ、ソースURL、そして自動生成されたBibTeX引用です。
カタログはあらかじめインデックス化されており、これが検索の速さを支えています。osFoundryは各データセットのメタデータをキャッシュしているため、25万件を横断する絞り込みでも待たされません。実データはウェアハウスに常時置いて課金対象にするのではなく、初回利用時に上流のソースから読み込みます。データセットを選ぶと、いま作業している場所へそのまま流れ込みます。Trainページへ送ればベースモデルのファインチューニングが始まり、osFoundryがGPUサーバーをプロビジョニングしてジョブを実行し、生成されたLoRAアダプターを推論フリートへホットスワップできる状態まで整えます。知識ベースへ取り込めば、各行がエージェントから検索、引用、取得できるようになります。評価を向ければ、複数のモデルを並べてベンチマークできます。
osFoundryはBYOKかつローカルファーストなので、データとコストについて隠しごとはありません。あなたのワークスペース、あなたのキーであり、これらのデータセットで学習させたり実行させたりするモデルにリセラーのマークアップは乗りません。ライセンス条件はデータセットごとに表示されます。パーミッシブ、シェアアライク、非商用、パブリックドメイン、カスタムのいずれかがひと目で分かるので、あるコーパスが商用ファインチューニングに使えるかどうかを、着手した後ではなく着手する前に判断できます。
主な機能
- 25万件超の公開データセットを、ワークスペースを離れずにタスク、言語、サイズ、ライセンスで検索、絞り込みできる
- メタデータがインデックス済みなので25万件横断の絞り込みも待たされず、実データは初回利用時にソースから読み込む
- ファインチューニングへワンクリックで送り、osFoundryがGPUサーバーを用意してLoRAアダプターをホットスワップ用に整える
- 任意のデータセットを知識ベースへ取り込み、各行をエージェントから検索、引用、取得できるようにする
- 行数、ライセンス、タスクタグ、ソースURL、自動生成BibTeXを採用前にデータセットごとに確認できる
活用例
- MLエンジニア：CC-BYのテキスト生成データセットに絞り込み、Trainへ送って、自前のGPUサーバー上でベースモデルをLoRAアダプターにファインチューニングする
- エージェント開発者：Q&Aデータセットを知識ベースへ取り込み、エージェントが実行時に実例を取得して引用できるようにする
- 研究者：ベンチマークデータセットに評価を向けて複数モデルを並べて採点し、自動生成されたBibTeXを論文に貼り付ける
よくある質問
25万件超のデータセットはどこから来ているのですか。
公開版のHugging Face Datasetsカタログからミラーしています。osFoundryはメタデータを事前にインデックス化してキャッシュするため、検索と絞り込みが速く動きます。実データは保管に課金するストアへコピーするのではなく、初回利用時に上流のソースから読み込みます。
これらのデータセットを商用のファインチューニングに使えますか。
各データセットのライセンス次第です。osFoundryはすべてのエントリにライセンスを表示します。パーミッシブ（CC-BY、Apache-2、MIT）、シェアアライク、非商用、パブリックドメイン、カスタムのいずれかです。パーミッシブとパブリックドメインのデータセットは、通常は表示を付ければ商用利用しても差し支えありませんが、非商用や未指定のものはそうではありません。コーパスに着手する前にライセンスバッジを確認してください。
取り込んだデータセットで実際に何ができますか。
主に三つの道があります。Trainページでベースモデルをファインチューニングする（osFoundryがGPUサーバーを立ち上げてLoRAアダプターを整えます）、知識ベースの初期データにしてエージェントが各行を検索、引用できるようにする、評価を実行してモデルをベンチマークする、です。osFoundryはBYOKかつローカルファーストなので、リセラーのマークアップなしに自分のキーを使えます。