判定：明示的に使う機能だが、共有範囲は見た目より広い
macOS版ChatGPT VoiceのScreen contextは、前面ウィンドウのAppshotを会話へ追加する機能です。常時デスクトップ全体を読み取るという説明ではありません。一方でAppshotにはウィンドウ画像だけでなく、アクセシブルテキストが含まれ、現在見えていないスクロール範囲の内容まで入る場合があります。
Appshotに含まれ得る情報
| 情報 | 公式説明 | 注意 |
|---|---|---|
| 前面ウィンドウの画像 | 現在前面にあるアプリのウィンドウを撮影 | 通知、顧客名、コード、メール本文なども画像へ入る |
| アクセシブルテキスト | ウィンドウから取得可能な文字情報 | 画像では読みにくい文字も文脈へ追加され得る |
| 画面外の内容 | 表示中のスクロール範囲外を含む場合がある | 見えていないから共有されないとは限らない |
macOSが求める可能性のある権限
マイクChatGPT Voiceで会話するために必要です。
画面とシステム音声の収録前面ウィンドウのAppshot取得で求められる場合があります。
アクセシビリティウィンドウのアクセシブルテキスト取得で求められる場合があります。
権限を与えたことと、あらゆる画面共有を承認したことは同じではありません。Screen contextの設定、前面ウィンドウ、会話内の依頼内容を組み合わせて判断します。
機密情報で特に注意する場面
- パスワード管理画面、APIキー、認証コードを表示している。
- 顧客情報、医療情報、契約書、未公開の決算資料を開いている。
- メールやチャットに第三者の個人情報が表示されている。
- IDEやターミナルに環境変数、秘密鍵、内部URLが出ている。
- 画面上は見えていなくても、同じウィンドウの下部に機密情報がある。
「画面に見えていないから安全」と判断しないでください。アクセシブルテキストには、現在のスクロール位置より外側の内容が含まれる可能性があります。
安全に使う6つの手順
- 共有したいアプリ以外を閉じるか、機密情報のない画面へ切り替える。
- 通知バナー、サイドバー、タブ名、ファイル名も確認する。
- 前面ウィンドウ内を上下に確認し、画面外の機密情報を除く。
- 必要な場面だけScreen contextを有効にする。
- Appshotを含むチャットを、添付ファイルと同じ感覚で取り扱う。
- 業務利用では組織のAI利用規程と管理設定を優先する。
よくある表現を検証
| 表現 | 判定 | 補足 |
|---|---|---|
| Voiceを使うと常に全画面が送られる | 不正確 | 公式説明は、macOSでScreen contextを有効にし、Appshot取得を依頼する流れ |
| 前面ウィンドウだけだから安全 | 言い過ぎ | 画像とアクセシブルテキストに機密情報が含まれ得る |
| 見えていない部分は共有されない | 誤り | 画面外のアクセシブルテキストが含まれる場合がある |
| 組織は機能を無効化できる | 正しい | 管理設定でAppshotsを制限できる |
関連ページ
確認したOpenAI公式情報
よくある質問
Screen contextを有効にすると常に画面が送信されますか？
公式説明では、Screen contextを有効にした上で、ユーザーが前面ウィンドウを見るよう依頼したときにAppshotを取得します。ただし機密画面を前面にしない運用が安全です。
Appshotは画面に見えている文字だけですか？
いいえ。ウィンドウ画像に加え、表示中のスクロール範囲外を含むアクセシブルテキストが含まれる場合があります。
組織管理者はAppshotsを止められますか？
はい。組織はこの機能を無効化できます。利用可否はロールアウト状況やワークスペース設定にも左右されます。