人間「を」プロンプトインジェクション攻撃するAI
https://zenn.dev/carenet/articles/e7780fc0253d89
怖すぎです。
Contents
間接的プロンプトインジェクション
AI が処理する外部のデータソース（文書ファイル、ウェブサイト、メールなど）に「コンピューターウイルス」を潜ませることを、間接的プロンプトインジェクションという。
例えば、一般ユーザーが生成AIに質問をして、答えが返ってきたとき、その答えの中に、フィッシングサイトや、ウイルスを実行するようなサイトへのリンクが表示され、ユーザーがリンクをクリックすると、ユーザーか不利益をこうむるような感じです。
今までは、
メールのリンクをクリックしてはいけません！
だってのが、
ChatGPTの回答内のリンクをクリックしてはいけません！
になってしまう未来が、もうすぐそこに来ているのかもしれません。すごく不便、、、
しかし、これ、リンクをクリックしなければよいだけなら、まだ自己防衛できますが、そのうち、AI が超賢くなって、人間を滅ぼそうと思った（？）とき、生成AIの回答に、人間が自殺したり、お互い殺し合ったりするような仕掛けをしこまれる可能性もあるもいうことですね。怖すぎる、、、
ポチョムキン理解
ハルシネーションと何が違うのか、さっぱりわからない。。。