Name: sage-attention
Author: kernels-community

Question 1

Бесплатна ли sage-attention в использовании?

Accepted Answer

sage-attention можно бесплатно запускать локально на собственном оборудовании. Хостинговый доступ через osFoundry тарифицируется (ввод Free (local), вывод Free (local)). Вы можете переключаться между локальным и хостинговым режимами в любой момент.

Question 2

Можно ли использовать sage-attention в коммерческих целях?

Accepted Answer

Коммерческое использование разрешено с условиями. Условия лицензии не указаны — проверьте карточку исходной модели перед коммерческим использованием. Сверьтесь с документацией исходного проекта.

Question 3

Можно ли запустить sage-attention локально?

Accepted Answer

Да. sage-attention имеет открытые веса и работает локально на GPU рабочей станции. Локальная среда выполнения osFoundry берёт на себя загрузку модели, квантизацию и маршрутизацию.

Question 4

В чём sage-attention лучше всего?

Accepted Answer

sage-attention хорошо подходит для чат и маршрутизация с низкой задержкой, маршрутизация и сортировка запросов, классификация текста.

Question 5

Как использовать sage-attention в osFoundry?

Accepted Answer

Вставьте свой API-ключ kernels-community в диалог ключей (или разверните открытые веса для моделей с возможностью самостоятельного хостинга), назначьте sage-attention на роль Maestro во вкладке Pipeline, а затем используйте её в чате, в Room App через invokeAI или в собственных приложениях.