LLM（大規模言語モデル）ってなに? 初心者にも分かりやすく解説

LLM(Large Language Model)とは大規模言語モデルの略です！おわり

は？？

ですよね。

LLMについて, 全く分かっていない人向けにまず説明を行い, その後, LLMの動作原理について分かりやすく説明していきます.

LLMとは

LLMとは, 大規模なテキストデータを使って学習された人工知能（AI）の一種です.

具体的に, 会話や, 翻訳, テキスト生成などたくさんのことを行うことができます.

以下のサービスを使用して無料で簡単に使用することができます.

Chat-GPT: OpenAI社が提供する最も有名なサービス
Gemini: Google社が提供する検索エンジンに含まれる情報を多く学習したサービス
DeepSeek: GPT-o1と同程度の性能があるモデルを使用できるサービス

ここからは, LLMがどんな仕組みで動いているのか気になった方へ分かりやすく説明していきます.

具体的な説明

大規模言語モデル(LLM)とは大規模な「言語モデル」なので、「言語モデル」について説明していきます。ここでいう, 「大規模な」とは, モデルのサイズや学習に用いるデータが大規模ということになります.

言語モデルとは、入力単語列（入力された文章）からどのぐらいの確率で単語が表現されているのかをモデル化したものです。

もっとかみ砕いて説明すると、

入力単語列が「This is a pen.」の場合、Thisの次にis来る確率、isの次にaが来る確率を学習しています。実際には、Thisひとつだけでなく複数の単語、例えばThis isの次にaが来る確率などを計算してさらに精度を上げています。

そもそも学習って何をしてんの?

と思った方も多いかと思います。

簡単に説明します。

まず、先ほど説明した単語の確率というのは数学の関数で表現できます。その関数にできるだけ近似した関数を求めることが学習ということです。

具体的には、学習では, まず, 近似する関数:例えばf(x)=ax+bのパラメータa, bを何らかの値に設定し、近似したい関数との差を計算し、その差が出来るだけ小さくなるようにアルゴリズムを使って、パラメータa, bを調整します。

学習について詳しくはディープラーニングやTransformerの構造について調べるとよいと思います。

文章を生成する際には、学習した生成確率から文章を生成しています。

つまり、言語モデルが自分で考えているというより、学習した生成確率から単語を機械的に予測しているだけなのです。

だから、LLMが人間のように意思を持って悪事を働くみたいなことは今の学習機構からは考えられないと言われています。でも、人間というのは言いたいことをまず頭の中で想像し、それを言葉で説明する際に、LLMと同じように無意識に単語の生成確率を予測しているのかもしれませんね。そう考えると、LLMが意思を持っていることは否定できませんよね。

まあ、LLM内部の理解がまだ完全に解明されていないため絶対ではありません。

LLMに悪意が存在するのかは2024/12に米Apollo社とOpenAIが発表した論文を参照してください。詳しくは、【2024年12月】AIは脅威なのか？最新の研究から考察 | 米Apollo社とOpenAIが発表した論文より

さらに, 2024年に九州大学から発表された論文「k* Distribution: Evaluating the Latent Space of Deep Neural Networks Using Local Neighborhood Analysis」ではディープラーニングの内部処理を可視化する方法について提案されています。

現状ではまだ、LLM内部の理解がほとんど進んでいない状況なので、完全に理解することは出来ません。逆に言うとあまり時間をかけずに最先端の研究を理解することができるということです。最先端の論文には「Google scholar」から簡単にアクセスできます。

最後に、

ディープラーニングの基礎について本で学習したい方はオライリー社が出版している本がおすすめです！

「ゼロから作るDeep Learning」はディープラーニングの基礎をわかりやすく説明しており、初学者にお勧めの本となります。

「ゼロから作るDeep Learning3」の本はよく知られたディープラーニングで使われるモデルのアーキテクチャを0から実装している本で、ディープラーニングをそこそこ触ってきた方にお勧めの本になります。

他にも自然言語処理や生成AIに関する本も出版されているのでぜひ参考にしてみてください。