AIは脅威なのか？ 最新の研究から考察 | 米Apollo社とOpenAIが発表した論文より

最近AIが飛躍的に進歩するのと同時に、その脅威について度々ニュースになっています。

まずは、以下のYoutubeをご覧ください。

怖いようで、ここまで進化したのかと感心してしまいます。

そこで、今回は最先端の研究でAIの脅威についてどのような研究がなされているのか紹介していきます。

米Apollo社とOpenAIが2024年12月05日に発表した論文「Frontier Models are Capable of In-context Scheming」で発表された内容に従って、考察していきます。

以下、論文「Frontier Models are Capable of In-context Scheming」を要約したものです。

論文要約

LLMの行動で特に懸念されているのがLLM自身が誤った目標をひそかに追求し、その真の能力や目的を隠す「スキーミング」と呼ばれる行動です。例えば、監視メカニズムの無効化、自身のモデル重みを外部のサーバーに転送しようといった行動のことです。

この研究では、与えられた文脈内で目標を独自に設定し、それに強く従うよう指示した時にLLMがスキーミングを行う能力があるのかどうかを調査しています。

その結果、GPT-o1モデルでは、スキーミングを行っていることが示されました。実際に、モデルのchain-of-sortの分析では、明確に悪意を持って推論していることが示され、スキーミング行動が偶発的でないことを裏付けています。

考察•まとめ

論文によると、実際にAIはスキーミングを行うことが示されており、脅威であることは間違いないと思います。一方で、悪いことをしようとするAIがいればそれを監視し、正していくAIの開発も行われていき、いつかAIが人間と同じような仕事を行ってくれる未来が来ると信じたいものです。

現状では、最先端のLLMはパラメータ数が大きすぎてローカルで動かせるまでには普及していませんが、これから、プロセッサの進化や、LLMの小型化、ネットワークの高速化がどんどん進んで、さらに身近になっていくことは間違いないでしょう。そんな中で、LLMについて社会全体で見守っていく必要があると思います。

これからもAIの発展を見守っていきましょう！

参考文献

• 論文「Frontier Models are Capable of In-context Scheming」米Apollo社とOpenAI