Расширение Pi для управления десктопными приложениями через ИИ-агентов

Расширение для Pi даёт ИИ-агентам возможность управлять десктопными приложениями на macOS и Windows. Агент может видеть окно программы, понимать кнопки и текст внутри, а затем кликать, печатать, прокручивать и ждать изменений.

После установки агенты Pi получают инструменты для поиска открытых приложений и окон, наблюдения за содержимым, поиска текста и элементов управления, детального изучения интерфейса, а также взаимодействия с ним и ожидания изменений.

Это не замена API приложений или MCP-серверов. Если у программы есть надёжная прямая интеграция, используйте сначала её.

Компьютерное управление наиболее полезно, когда единственный доступный интерфейс — это приложение на экране. Для macOS требуется версия 14 или новее и включённые разрешения Accessibility и Screen Recording.

На Windows используется интерактивная сессия рабочего стола через системные API доступности, без вспомогательного приложения и потока разрешений TCC, характерных для macOS.

Архитектура построена вокруг неизменяемых наблюдений, привязанных к состоянию. Независимые корни могут выполняться параллельно, а результат возвращается как компактный diff при достаточной уверенности в идентичности.

GitHub ★ 1,312