OpenAI 공식 문서 — Computer use 기능

37. Computer use로 앱 조작하기

명령줄로는 닿지 않는 일 — 데스크톱 앱 테스트, 설정 변경, UI에서만 재현되는 버그 확인 — 을 ChatGPT가 화면을 보며 직접 처리합니다. 시스템 권한과 앱별 승인을 모두 통과해야 동작합니다.

한 줄 요약

Plugins > Computer Use 설치 → 서버·스킬 토글 → 시스템 권한 세 단계를 통과해야 켜집니다. 터미널과 ChatGPT 자신은 조작하지 않고, 관리자 인증과 시스템 보안 프롬프트는 사람 몫입니다.

Computer use가 하는 일

ChatGPT가 macOS와 Windows의 화면을 보고 직접 조작합니다. 명령줄 도구나 API 연동으로는 닿지 않는 일, 그러니까 데스크톱 앱을 테스트하거나 브라우저를 다루거나 설정을 바꾸거나 UI에서만 재현되는 버그를 확인하는 작업이 대상입니다.

  • macOS — 화면 기록과 손쉬운 사용 권한을 주면 전체 기능을 씁니다.
  • Windows — 활성 데스크톱에서만 동작합니다. 대상 앱이 앞에 떠 있어야 합니다.
  • ChatGPT Work 또는 Codex가 지원되는 지역에서 쓸 수 있습니다.

켜는 순서

1
앱에서 모드 전환
ChatGPT 데스크톱 앱을 열고 Work 또는 Codex로 전환합니다.
2
플러그인 설치
Plugins > Computer Use에서 Install을 누릅니다.
3
서버·스킬 토글
Computer Use 서버와 스킬 토글을 모두 켭니다.
4
시스템 권한 부여
macOS에서 요구하는 권한을 허용합니다.
5
대상 앱 배치
Windows에서는 조작할 앱을 활성 데스크톱에 띄워 둡니다.

권한은 두 층으로 나뉩니다

운영체제가 주는 권한과 앱 안에서 받는 승인은 별개입니다. 둘 다 통과해야 동작합니다.

구분내용
시스템 권한 (macOS)화면 기록 — 대상 앱을 보기 위해 필요합니다.
손쉬운 사용 — 클릭·입력·이동을 하기 위해 필요합니다.
앱 승인앱마다 사용 전에 확인을 받습니다. Always allow를 고르면 다음부터 다시 묻지 않습니다.

Locked use — 화면이 잠긴 뒤에도 이어서 (macOS)

Mac이 잠긴 상태에서도 승인된 작업을 계속하게 하는 옵션입니다. Apple 인증 플러그인을 통해 짧은 잠금 해제 구간을 만들고, 백그라운드에서 몰래 접근하지 못하도록 안전장치를 둡니다. 오래 걸리는 작업을 걸어 두고 자리를 뜰 때 쓰는 기능입니다.

⚠️ 제한사항

  • 터미널 앱과 ChatGPT 자신은 조작하지 않습니다.
  • 관리자 인증을 대신할 수 없습니다. 권한 상승이 필요한 작업은 사람이 처리해야 합니다.
  • 시스템 보안 프롬프트는 승인하지 못합니다.
  • Windows는 포그라운드를 점유합니다. 작업 중에는 그 데스크톱을 함께 쓰기 어렵습니다.

안전하게 쓰는 방법

  • 작업 범위를 좁히세요. "이 앱에서 이 화면까지"처럼 끝을 정해 주는 편이 안전합니다.
  • 민감한 작업은 옆에 있으세요. 결제·계정 설정처럼 되돌리기 어려운 동작은 지켜보는 게 좋습니다.
  • 비밀 값이 필요한 작업은 맡기지 마세요. 비밀번호·토큰을 입력해야 하는 흐름은 직접 처리합니다.
  • 권한 프롬프트를 읽고 승인하세요. Always allow는 되돌리기 전까지 계속 유효합니다.
  • Windows 작업은 보조 기기를 고려하세요. 포그라운드를 쓰기 때문에 주 작업 기기와 겹치면 불편합니다.

함께 보면 좋은 문서

  • 36. Browser — Computer use를 켜면 내장 브라우저도 직접 조작합니다.
  • 39. Record & Replay — 시연으로 스킬을 만들려면 Computer use가 켜져 있어야 합니다.
  • 32. Appshots — 조작 없이 화면만 넘길 때 씁니다.

공식 출처