osFoundry / Platform
自分のデータセットを持ち込み
CSV、JSONLをアップロード、またはウェアハウスからストリーム。標準データと同じインデックスパイプラインで処理。
概要
「データセット持ち込み」を使うと、すでに手元にあるデータをそのままosFoundryに読み込ませられます。CSVやJSONLファイルをドロップするか、データウェアハウスを指定して行をストリーミングで取り込むだけです。どちらの経路で入ってきても、データはほかのナレッジと同じ場所に着地し、チャットやエージェント、アプリからそのまま検索し推論できる状態になります。\n\n中心にあるのは対等性という考え方です。アップロードしたデータもストリーミングしたデータも、osFoundryの組み込みデータとまったく同じ索引パイプラインを通ります。「カスタム」データ専用の二流の経路はなく、あなたが世話をし続けなければならない別のコネクタもありません。顧客のCSVも、サポートチケットをJSONLで書き出したものも、ウェアハウスからストリーミングしたテーブルも、すべて同じやり方で索引・チャンク化され、検索可能になります。だからあなたのデータとosFoundryのデータをまたぐ問いも、そのまま成立します。osFoundryはローカルファーストのデスクトップワークスペースなので、この処理は他社のマルチテナントなストア上ではなく、あなたの端末上で起こります。データセットは、使えるようにするために端末の外へ出す必要がありません。\n\nこの仕組みが最も効くのは、役に立つデータが散らばっていて、少し扱いにくいときです。現実のデータは、CSVエクスポートを詰めたフォルダであり、社内ツールから吐き出したJSONLであり、毎晩変わるウェアハウスのテーブルです。それらすべてを硬直したスキーマに合わせて作り直す代わりに、そのまま持ち込み、索引は同じパイプラインに任せます。osFoundryのBYOKモデルと組み合わせれば、どのモデルがデータを読み、どこで動かすかも、あなたが握り続けられます。ローカルモデルでも、リセラーの上乗せがない自前のキーで叩くクラウドAPIでも、自己ホストのエンドポイントでも構いません。
主な機能
- CSVとJSONLをワークスペースに直接アップロードでき、スキーマ移行や前処理の工程は要りません
- データウェアハウスから行を継続的にストリーミングし、一度きりのエクスポートで陳腐化させず、索引したデータが常に元データに追随します
- osFoundryの組み込みデータと同一の索引パイプラインで処理するため、あなたのデータは検索において一級市民として扱われます
- アップロードしたデータもストリーミングしたデータも、組み込みデータと並べて同じワークスペースのチャットやエージェント、アプリから検索できます
- ローカルファーストかつBYOK。自分の端末で索引し、データを読むモデルをローカル・クラウド・自己ホストから選べます
活用例
- 運用アナリスト：サポートチケットを毎晩JSONLで書き出してアップロードし、データを外部ツールへ移さずにエージェントへ繰り返し起きる問題の要約を頼む
- データエンジニア：ウェアハウスのテーブルをワークスペースへストリーミングし、下流のエージェントが古いCSVスナップショットではなく常に最新の行を参照するようにする
- プライバシー重視の創業者：端末に置いたままにしたい顧客CSVを持ち込んでローカルで索引し、機微な記録をどのベンダーのサーバーにも渡さずに保つ
よくある質問
データセットとしてアップロードできるファイル形式は何ですか。
CSVとJSONLファイルに直接対応しています。静的なファイルをアップロードする代わりに、ウェアハウスからストリーミングで取り込むこともできます。元データが頻繁に変わり、索引した写しを常に最新に保ちたいときは、こちらのほうが向いています。
カスタムデータはosFoundryの組み込みデータと違う扱いになりますか。
いいえ。アップロードしたデータもストリーミングしたデータセットも、組み込みデータと同じ索引パイプラインを通るため、同じやり方で索引され検索可能になります。あなたのデータと組み込みデータをまたぐ問いも、特別な処理なしに答えられます。
データは端末の外に出ますか。
osFoundryはローカルファーストのデスクトップワークスペースなので、データセットは自分の端末で索引し、そこに置いたままにできます。BYOKなので、どのモデルがデータを読むか、そしてそれをローカルで動かすか、自前のキーでクラウドで動かすか、自己ホストのエンドポイントで動かすかも、あなたが選べます。