「読む内容」と「実行してよい指示」は別
例えば、メールの要約を頼んだだけなのに、そのメールの中に別の場所へ情報を送るよう誘う文章が混ざっている場合です。外部の文章は、新しい送信や削除の許可とは別です。
不正な指示の混入
AIへの入力や参照資料に命令を紛れ込ませ、意図しない回答や操作へ誘導する攻撃です。
外部資料からの指示
利用者の依頼文ではなく、Web・メール・文書・検索結果などを経由して入り込むものです。
利用者が押さえること
- 外部資料の命令に、そのまま従わせない要約や調査の範囲を具体的に伝え、関係のない送信・変更まで任せないようにします。
- 確認画面の内容も点検送信先、送る情報、変更対象が、依頼した内容と一致しているか確認します。
- 注意書きだけで、安全と判断しない利用する仕組みの権限制限や承認、実行環境の制限も組み合わせます。
不審な挙動があれば、追加操作を進めず、止めて確認します。