Name: paged-attention
Author: kernels-community

Question 1

Бесплатна ли paged-attention в использовании?

Accepted Answer

paged-attention можно бесплатно запускать локально на собственном оборудовании. Хостинговый доступ через osFoundry тарифицируется (ввод Free (local), вывод Free (local)). Вы можете переключаться между локальным и хостинговым режимами в любой момент.

Question 2

Можно ли использовать paged-attention в коммерческих целях?

Accepted Answer

Коммерческое использование разрешено с условиями. Условия лицензии не указаны — проверьте карточку исходной модели перед коммерческим использованием. Сверьтесь с документацией исходного проекта.

Question 3

Можно ли запустить paged-attention локально?

Accepted Answer

Да. paged-attention имеет открытые веса и работает локально на GPU рабочей станции. Локальная среда выполнения osFoundry берёт на себя загрузку модели, квантизацию и маршрутизацию.

Question 4

В чём paged-attention лучше всего?

Accepted Answer

paged-attention хорошо подходит для чат и маршрутизация с низкой задержкой, маршрутизация и сортировка запросов, классификация текста.

Question 5

Как использовать paged-attention в osFoundry?

Accepted Answer

Вставьте свой API-ключ kernels-community в диалог ключей (или разверните открытые веса для моделей с возможностью самостоятельного хостинга), назначьте paged-attention на роль Maestro во вкладке Pipeline, а затем используйте её в чате, в Room App через invokeAI или в собственных приложениях.