GitHub Copilot навчився працювати з програмами на комп’ютері

1 жовтня GitHub додав у Copilot керування настільними застосунками. Функція розрахована на старе ПЗ та програми лише з графічним інтерфейсом, у яких немає API, командного рядка чи інтеграції MCP.

Що нового

Copilot читає вміст застосунку й бачить екран, а також натискає кнопки, вводить і редагує текст, гортає, перетягує елементи й проходить робочі сценарії в кількох програмах. У прикладі GitHub він заповнює звіт про витрати в Safari.

Як спробувати

Функція працює в Copilot CLI та застосунку GitHub Copilot на macOS і Windows.

• У CLI: /computer on, статус показує /computer show, вимикає /computer off.
• У застосунку: Settings, Computer Use, Enable Computer Use.

Найкраще описувати результат, потрібні застосунки й обмеження, а не окремі кліки.

Обмеження

Це публічне прев’ю. Перед керуванням будь-яким застосунком Copilot просить дозвіл, а список програм із постійним дозволом можна переглянути й скинути. На macOS потрібні дозволи Accessibility і Screen Recording. Адміністратори можуть вимкнути функцію для організації. Плани й ціни в анонсі не вказані.