Desktop Operate
Режим Operate для VibeOS: краткое описание → выбор поверхности → захват/действие/проверка → оценочная карта. Предпочитайте MCP, terminal или browser_*, когда они подходят; используйте computer_use для нативных приложений. Ограничьте застрявшие попытки GUI 2, затем передайте задачу человеку. CAPTCHA → ChallengeGate.
Быстрый путь
# Разрешения / драйвер
vibeos computer-use doctor
# Пакет рецепта
vibeos operate preset desktop-operate
# Готовность (навыки + проверка computer_use)
vibeos operate doctor
# Создание рабочего пространства
vibeos operate run --title "Open Downloads in Finder"
# Офлайн-дымовой тест
scripts/smoke-desktop-operate.sh
Структура рабочего пространства
В папке ~/.vibeos/operate/<id>/:
| Файл | Роль |
|---|---|
operate-brief.md | Цель, приложение, поверхность, макс. попыток |
prompt.md | Сессионный промпт для агента |
scorecard.md | Статус, попытки, эскалация, доказательства |
artifacts/ | Скриншоты / экспорты |
qa.md | Дополнительные заметки |
Оценка по оценочной карте
python skills/desktop/desktop-operate/scripts/eval_operate.py \
--workspace ~/.vibeos/operate/<id>
# Или последнее созданное рабочее пространство:
vibeos operate scorecard
Проверки: заполнен краткий обзор, статус не pending, попытки ≤ 2, поле эскалации задано.
Навыки
Загрузите desktop-operate плюс:
| Потребность | Навык |
|---|---|
| Маршрутизация поверхности | choose-interaction-surface |
| Захват / клик | computer-use (+ навык ОС рабочего стола) |
| macOS Finder/Notes/Mail/Preview | macos-app-playbooks |
| Photoshop / Affinity / Photopea | raster-edit |
| NLE / Figma | video-nle / figma-edit |
| Бот-стены | challenge-gate |
Политика самовосстановления
- Захват (SoM/AX) → действие по индексу элемента → проверка (повторный захват).
- Пустое дерево / неверное окно → повторная фокусировка один раз (считается как повторная попытка).
- Неверная поверхность → переключение один раз (браузер ↔ CU).
- Всё ещё застряло после 2 попыток → спросить пользователя; отметить оценочную карту как
partial/fail.
Покупки, отправка, удаление, перезапись мастеров → шлюз человека перед действием.
Долговечная доска
Создайте связанный конвейер Operate на Канбан:
vibeos kanban template apply operate --slug desk-ops --switch
vibeos kanban list
Золотые задачи (офлайн + вручную): docs/plans/operate-golden-tasks.yaml.
Связанные разделы
- Creative Studio (режим Create)
- ChallengeGate / CAPTCHA
- Professional research (режим Investigate)
- Kanban