osFoundry / Platform
Мульти-чат
Запускайте один промпт в двух и более моделях параллельно. Сравнивайте ответы, стоимость, латентность — выбирайте победителя.
Что это
Multi Chat отправляет один промпт двум или более моделям одновременно и раскладывает их ответы бок о бок в едином окне. Вместо того чтобы вставлять один и тот же вопрос в разные вкладки и держать различия в голове, вы отправляете один раз и читаете ответы в параллельных колонках. Функция живёт в разделе AI & Orchestration в osFoundry, поэтому сравнивать можно любые настроенные вами модели: локальную модель на своей машине, облачную модель за вашим собственным API-ключом или self-hosted эндпоинт. Поскольку osFoundry работает по принципу собственного ключа (BYOK), стоимость, которую вы видите по каждой модели, это реальный тариф вашего провайдера без какой-либо наценки реселлера сверху.
В каждой колонке ответ модели стоит рядом с цифрами, которые на деле и решают, какую вы оставите: во сколько обошёлся вызов и сколько заняло время до ответа. Так расплывчатое ощущение "вот эта показалась лучше" превращается в прямое сравнение качества, цены и задержки именно для вашего промпта. Для рутинной работы часто достаточно дешёвой и быстрой модели, а более медленная или дорогая оправдывает своё место только на трудных промптах. Multi Chat позволяет нащупать эту грань, проверяя на своих реальных входных данных, а не на бенчмарке.
Суть в том, чтобы выбрать победителя для стоящей перед вами задачи и дальше работать с ним. Запустите сравнение, посмотрите, какая модель даёт нужный ответ по приемлемым для вас цене и скорости, и стандартизируйтесь на ней: без догадок и без издержек переключения, чтобы попробовать следующего кандидата. Поскольку всё работает внутри десктопного рабочего пространства с принципом local-first, ваши промпты и ответы могут оставаться на вашем устройстве, а не проходить через сторонний промежуточный слой.
Ключевые возможности
- Отправляйте один промпт сразу двум или более моделям и читайте каждый ответ в параллельных колонках
- Сравнивайте стоимость ответа по реальным тарифам вашего собственного API-ключа, без наценки реселлера
- Смотрите задержку по каждой модели, чтобы знать, какая достаточно быстра для задачи
- Смешивайте локальные, облачные и self-hosted модели в одном сравнении из единого рабочего пространства
- Выбирайте модель-победителя по своим реальным входным данным, а не по общим баллам бенчмарков
Сценарии использования
- Разработчик: прогнать один и тот же промпт с кодом на локальной модели и двух облачных, чтобы найти самую дешёвую, которая всё ещё справляется
- Промпт-инженер: дорабатывать формулировку и сразу видеть, какая модель лучше держит новую фразу по качеству, стоимости и скорости
- Тимлид, оценивающий провайдеров: запустить типовые промпты бок о бок, чтобы решить, на какой модели стандартизировать команду, прежде чем брать обязательства
Часто задаваемые вопросы
Сколько моделей можно сравнивать за раз?
Multi Chat прогоняет один и тот же промпт на двух или более моделях бок о бок. Какие модели доступны, зависит от того, что вы настроили в osFoundry (локальные, облачные или self-hosted), ведь ключи вы приносите свои.
Откуда берутся цифры стоимости и задержки?
Стоимость считается по реальному потокенному тарифу вашего провайдера под вашим собственным API-ключом, ведь osFoundry работает по принципу BYOK и не добавляет наценку реселлера. Задержка измеряется по фактическому времени ответа каждой модели на ваш промпт.
Отправляются ли мои промпты на серверы osFoundry?
osFoundry это десктопное рабочее пространство с принципом local-first, поэтому ваши промпты и ответы могут оставаться на вашем устройстве. Вызовы идут напрямую к выбранной модели с вашими ключами; локальная модель вообще не покидает вашу машину.