Выбор поверхности взаимодействия
Выберите браузер, computer_use, MCP или терминал для задачи.
Метаданные навыка
| Источник | Встроенный (установлен по умолчанию) |
| Путь | skills/desktop/choose-interaction-surface |
| Версия | 1.0.0 |
| Автор | VibeOS |
| Лицензия | MIT |
| Платформы | linux, macos, windows |
| Теги | desktop, browser, computer-use, mcp, routing |
| Связанные навыки | computer-use, macos-desktop, windows-desktop, linux-desktop, macos-app-playbooks, windows-app-playbooks, linux-app-playbooks, browser-e2e |
Справочник: полный SKILL.md
к сведению
Ниже приведено полное определение навыка, которое VibeOS загружает при его активации. Это те инструкции, которые видит агент, когда навык активен.
Выбор поверхности взаимодействия
Выберите самую дешёвую надёжную поверхность перед действием. Неправильная поверхность тратит ходы и ломает графические интерфейсы. Предпочитайте структурированные API пикселям.
Когда использовать
- Задачу можно выполнить через браузер, нативное приложение, оболочку или установленный MCP.
- Пользователь говорит «открой / нажми / заполни / управляй» без указания пути.
- После неудачной попытки на одной поверхности (переходите на другой уровень, не повторяйте одно и то же).
Предварительные требования
- Знать, какие наборы инструментов/серверы MCP загружены в текущей сессии.
- Не запрашивать включение новых наборов инструментов в середине разговора (кэш подсказок). Используйте то, что доступно; сообщите, чего не хватает для следующей сессии.
Таблица решений
| Ситуация | Предпочитать | Избегать |
|---|---|---|
| Публичная веб-страница / веб-приложение с DOM | browser_* | computer_use на окне браузера |
| Нативное приложение (Finder, Notes, интерфейс Excel) | computer_use (захват → клик по элементу) | Слепые клики по координатам |
| У сервиса есть MCP (Notion, Linear, GitHub, Gmail/Drive, …) | этот MCP | Парсинг того же SaaS в браузере |
| Google Workspace, несколько приложений | MCP или навык google-workspace | Веб-интерфейс Gmail через computer_use |
| CLI / файлы / git / скрипты | terminal / инструменты для файлов / execute_code | Управление терминалом через GUI |
| PDF / изображение на диске | read_file / vision_analyze | Сначала делать скриншот просмотрщика |
| Страница входа / сложная CAPTCHA | спросить пользователя / MCP с OAuth | Бесконечные повторы в браузере |
Как выполнять
- Сформулируйте цель одним предложением.
- Классифицируйте с помощью таблицы выше.
- Кратко объявите выбранную поверхность, затем действуйте.
- Если она один раз не сработала по уважительной причине (нет дерева доступности, отсутствует инструмент), переходите на другой уровень:
браузер → computer_use (то же приложение) → спросить пользователя / MCP / терминал
computer_use → браузер (если это действительно webview) → скрипты в терминале
MCP отсутствует → браузер/CU только при необходимости; отметьте установку для следующей сессии
Краткая справка
| Поверхность | Инструменты входа |
|---|---|
| Браузер | browser_navigate, browser_snapshot, browser_click, browser_type |
| Рабочий стол | computer_use (capture/som → click по элементу) |
| API приложений | Инструменты MCP (notion-search, Linear, …) |
| Оболочка | terminal, read_file, patch, execute_code |
Процедура
Путь через браузер
browser_navigate→browser_snapshot.- Кликайте/вводите, используя ссылки из снимка.
- Используйте
browser_visionтолько когда дерево доступности бесполезно.
Путь через computer-use
computer_use(action="capture", mode="som", app="...").- Кликайте по индексу элемента, а не по пикселям.
- Повторно захватывайте после изменений состояния (
capture_after=True, если доступно).
Путь через MCP
- Сначала предпочитайте инструменты поиска/получения (только чтение).
- Изменения — только когда пользователь попросил и инструмент включён.
Ловушки
- Не управляйте Chrome через
computer_use, если работаетbrowser_*. - Не открывайте интерфейс SaaS в браузере, если его MCP уже подключён.
- Не выдумывайте инструменты MCP, которых нет в схеме сессии.
- На платформах обмена сообщениями computer_use может быть отключён — используйте браузер/MCP/терминал.
Проверка
- Выбранная поверхность соответствует таблице.
- Первое действие — наблюдение (снимок/захват/список), а не слепой клик.
- При сбое один раз перейдите на другой уровень с указанием причины.