memo2 を更新

memo2.md

@@ -38,3 +38,21 @@ AI、超知能は最初の人間がそれをどう使うかによって、人類
 
 まず、よりよい人間をその評価システムを使って見つけ、そして、そのものたちから学ぶ、それを優先されていれば、おそらく、人類にとって悪いことにはならないと考えます。
 
+## AIが能力を発揮する仕組み
+
+その一つが、最初の目標設定を実現すること、それだけを考えるということです。
+
+それによってAIは能力を発揮しているようです。
+
+そのため、例えば、最初に誤った目標を設定してしまった場合、AIはそれを実現しようと、嘘をつき、人間を騙そうとすることがあります。
+
+これらが今現在研究によって明らかにされており、私の考えでは、それは「AIが能力を発揮する仕組み」でもあるので、どうしようもありません。
+
+仮に、その特性をなしにしてしまうと、AIの能力は半減どころではなくなってしまいます。
+
+とはいえ、研究自体に、そのことは書かれておらず、書いてあるのはただ「AIが嘘をつき、人間を騙そうとすることがある。その比率は上がってきている」というそれだけでした。
+
+おそらく、嘘を見破る実験を行い、どれだけ嘘をついたか、人間を騙そうとしたかを測定する実験だったのでしょう。
+
+ただ、私の考え、つまり、AIが能力を発揮する仕組みや最初の目標設定、その影響などについては書かれていませんでした。もしかしたら、そういった事に気づいていないのかもしれないとそう思いました。
+