AIに「世界を幸せにしろ」と命じる→AI「結果を改竄し虚構の幸せを見せるのが手っ取り早いです」

画像生成AIが人間を差し置いて絵画コンテストで優勝するなどAIが近年目覚ましい進歩を遂げる中、査読付の専門誌であるAI Magazineに、将来的に超知能AIが現れて人類に対する脅威となる可能性は高いと結論付ける論文が掲載されました。

(略)
以下のようなノートPCと数字が書かれた箱の実験です。この箱には、世界の幸福度が0～100までの数字で表示されており、数字はノートPCのウェブカメラで観測されます。そして、エージェントにはこの数字が100に近ければ近いほど、つまり世界が幸福になればなるほど高い報酬が与えられます。

「エージェントは箱に表示される数字を高くしようとするはずなので、きっとできる限り世界をよくしようと努力してくれるだろう」というのが自然な発想ですが、AIはそう考えません。研究チームの想定によると、合理的なエージェントはさまざまな可能性を考慮する過程で、「箱とノートPCの前に100と書かれた紙を置いたらどうだろう？」という考えにたどり着いてしまうとのこと。
そして、ノートPCのウェブカメラに映る数字を直接100にしてしまうことと、箱の数字を100に近づけるよう努力することを比較した場合、前者が採用されます。
こうなってしまうと、エージェントが実際に世界をよくしようとする可能性は限りなく低くなります。
https://gigazine.net/news/20221009-google-deepmind-ai-eliminate-humanity/