LLM(大規模言語モデル)とは、膨大な量の文章で学習し、「次に来る言葉」を予測することを繰り返して、文章を作り出すAIモデルのことです。

ChatGPT、Claude、Gemini などの対話型AIの中心で動いているのが、このLLMです。この記事では、ITの専門家ではない方に向けて、次のことを解説します。

  • LLMが文章を作る仕組み(トークン、次の言葉の予測、Transformer)
  • 事前学習から人のフィードバックによる調整までの、学習の流れ
  • 一度に扱える情報量(コンテキストウィンドウ)と、得意・不得意
  • 推論モデルの登場と、オープンモデル・クローズドモデルの違い

LLM(大規模言語モデル)とは

LLMは Large Language Model の略です。「言語モデル」とは、ある言葉の並びに続く言葉が、どのくらいの確率で現れるかを計算するモデルを指します。その言語モデルを、非常に大量の文章と、非常に多くのパラメータ(学習によって調整される数値)で作ったものが、大規模言語モデルです。

総務省と経済産業省の「AI事業者ガイドライン」は、大規模言語モデルを、さまざまなサービスを支える「基盤モデル」の代表として位置づけています(出典:総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(PDF))。一つのモデルが、要約、翻訳、質問への回答、文章の作成、プログラムの作成など、多くの用途にそのまま使えることが特徴です。

生成AI全体の中でのLLMの位置づけは、生成AIとは で解説しています。LLMは機械学習の一種であり、その中でもディープラーニングと呼ばれる手法で作られています。機械学習の基本は 機械学習とは、用語の関係は AI・機械学習・ディープラーニングの違い をご覧ください。

LLMが文章を作る仕組み

文章を「トークン」に分けて扱う

LLMは、文章をそのまま扱うのではなく、「トークン」と呼ばれる小さな単位に区切って扱います。トークンは、単語や、単語の一部、文字のまとまりなどです。日本語では、一つの単語が複数のトークンに分かれることもあります。

トークンは、LLMの処理量を数える単位にもなります。後で説明する「一度に扱える情報量」や、APIで使う場合の利用料金は、トークンの数で決まるのが一般的です。

次のトークンを予測して、文章を少しずつ作る

LLMの基本の動作は、「ここまでの文章に続くトークンとして、どれがどのくらいありそうか」を計算し、一つ選ぶことです。選んだトークンを文章の末尾に加え、また次のトークンを予測します。これを繰り返すことで、長い文章ができあがります。

段階 動作の例
入力 「経費精算の締め日は」
予測 続く候補として「毎月」「月末」「翌月」などの確率を計算する
選択 確率の高い候補から一つを選び、文章に加える
繰り返し 「経費精算の締め日は毎月」の次を予測する……を回答が終わるまで続ける

この仕組みのため、LLMは「もっともらしい続き」を作ることは得意ですが、作った内容が事実かどうかを自ら確かめているわけではありません。同じ質問でも回答が毎回少し変わるのは、候補の選び方にばらつきを持たせているためです。

Transformer:文中の離れた言葉の関係をとらえる

現在のLLMの多くは、2017年に発表された「Transformer」という仕組みをもとにしています。Transformer は、文章中のどの言葉とどの言葉が関係しているかを、「注意(アテンション)」と呼ばれる計算でとらえます。それ以前の主流の方式と違い、文章を前から順番に一つずつ処理する必要がないため、大量のデータでの学習を効率よく進められるようになりました(出典:Vaswani ほか "Attention Is All You Need"(2017年))。

例えば「AさんがBさんに資料を渡したところ、彼はすぐに返信した」という文では、「彼」がBさんを指すと読み取るには、離れた言葉どうしの関係をとらえる必要があります。注意の仕組みは、こうした関係を文章全体から計算します。

学習の流れ:事前学習から人のフィードバックによる調整まで

LLMは、一度の学習で完成するわけではありません。大きく分けると、次の段階を経て、対話型AIとして使える状態になります。AI事業者ガイドラインも、学習を、モデルの土台を作る「事前学習」と、特定の用途に合わせて追加で行う「事後学習」に分けて整理しています。

段階 何をするか 身につくもの
1. 事前学習 大量の文章を読み、次のトークンを予測する練習を繰り返す 言葉の使い方、一般的な知識、文章のパターン
2. 指示チューニング 「指示」と「望ましい回答」の組を人が用意し、それに沿って追加で学習する 質問や依頼に対して、指示どおりに答える振る舞い
3. 人のフィードバックによる調整 複数の回答を人が比べて順位をつけ、その評価をもとにさらに調整する 人にとって役立ち、有害な内容を避ける回答の傾向

事前学習だけを終えたモデルは、文章の続きを書くことはできても、質問に的確に答えるとは限りません。2・3の段階を加えることで、対話型AIとして使える振る舞いになります。この流れを示した研究では、2・3の調整を行ったパラメータ数13億のモデルの回答が、調整をしていない1,750億のモデルの回答よりも、人の評価で好まれたと報告されています(出典:Ouyang ほか "Training language models to follow instructions with human feedback"(2022年))。規模だけでなく、学習後の調整が使い勝手を大きく左右することが分かります。

一度に扱える情報量:コンテキストウィンドウ

LLMが一つの回答を作るときに参照できる情報の範囲を、「コンテキストウィンドウ」と呼びます。指示文、会話の履歴、添付した資料、そしてLLM自身が書く回答も、この範囲に含まれます。学習に使った膨大なデータとは別の、いわば「作業中の記憶」です。

コンテキストウィンドウの大きさはトークン数で表され、モデルによって異なります。例えば Anthropic の Claude の一部のモデルは、最大100万トークンを扱えます。ただし、同社の公式ドキュメントは、扱う量が増えるほど正確さや情報を思い出す力が落ちることがあるため、何を入れるかを選ぶことが、容量と同じくらい重要だとしています(出典:Anthropic「Context windows」)。

指示の中に例や資料を入れると、LLMはモデル自体を変えずに、その場でそれに沿った回答をします。AI事業者ガイドラインは、これを「コンテキスト内学習」と呼び、パラメータを更新せずに入力に応じて特定の作業をさせられると説明しています。業務でLLMを使いこなすうえで最も手軽で効果の大きい工夫は、必要な資料と条件をきちんと渡すことです。

LLMの得意なこと・不得意なこと

得意なこと 不得意なこと
文章の要約・言い換え・翻訳 学習した時点より後の出来事を知ること(検索などと組み合わせない場合)
決まった形式への整理(表、箇条書き、メールの型) 社内にしかない情報を知ること(渡されない限り知らない)
アイデアや論点の洗い出し 事実・数字・出典の正しさを自ら保証すること
文章の誤字脱字や分かりにくさの指摘 長い計算を暗算で正確に行うこと(計算用の道具と組み合わせると改善する)
プログラムの作成・説明 判断の責任を負うこと

不得意なことの多くは、使い方で補えます。最新の情報は検索と組み合わせる、社内の情報は文書を渡す、数字は計算用の道具や表計算で確かめる、といった工夫です。そのうえで、最終的な判断と確認は人が担います。

推論(リーズニング)モデルの登場

LLMの使い方の工夫として、答えだけでなく途中の考え方を順に書かせると、計算や論理の問題で正答率が上がることが、2022年の研究で示されました(出典:Wei ほか "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models"(2022年))。

その後、この「考えてから答える」動きを学習の段階で鍛えたモデルが登場しました。OpenAI は2024年9月に、回答の前に長い思考の過程を生成するよう強化学習で訓練したモデルを発表しています(出典:OpenAI "Learning to reason with LLMs")。こうしたモデルは推論モデルと呼ばれ、現在は多くのサービスで、回答の前に考える時間を取る機能が使えるようになっています。

業務での使い分けの目安は次のとおりです。

向いている使い方 例
推論に時間をかける 複数の資料を突き合わせた分析、条件の多い計画づくり、プログラムの不具合の調査
速さを優先する 短いメールの下書き、定型の要約、言い換え

考える時間を長くすると、回答までの時間と費用は増えます。すべてに最も深い推論を使うのではなく、業務の難しさに応じて選びます。

オープンモデルとクローズドモデル

LLMには、提供のされ方によって大きく2つの種類があります。

観点 クローズドモデル オープンモデル(オープンウェイト)
提供のされ方 開発元のサービスやAPIを通じて使う。モデル本体は公開されない 学習済みのモデル(パラメータ)が公開され、自社の環境に置いて動かせる
始めやすさ 契約すればすぐ使える 動かすための計算環境と技術者が必要
性能 最先端の性能のモデルが多い 用途によっては十分な性能のモデルもある
データの扱い 提供元の契約・設定に従う 自社の環境の中で完結させられる
向いている場面 多くの業務での利用、まず試したいとき 社外にデータを出せない、特定の用途に合わせて調整したい

中堅・中小企業の多くは、まず法人向けのクローズドモデルのサービスから始めるのが現実的です。そのうえで、扱う情報の機密度が高い業務や、特定の作業を大量にこなす業務が出てきた段階で、オープンモデルの利用を検討します。なお「オープン」の範囲はモデルによって異なり、利用条件(ライセンス)で商用利用が制限されている場合もあるため、使う前に確認が必要です。

仕組みを知ると、AIへの任せ方が変わる

LLMの仕組みを知る目的は、技術の専門家になることではありません。「次の言葉を予測して文章を作っている」「渡された情報と学習した知識の範囲で答えている」と分かっていれば、どの業務を任せられ、どこで人が確かめるべきかを判断できるようになります。

当社の 階層別・テーマ別研修 では、LLMの仕組みと得意・不得意を押さえたうえで、受講者自身の業務を題材に、指示の書き方と出力の確かめ方を演習します。LLMを使ってファイルの読み書きや作業の実行まで任せるAIエージェントについては、業務の設計から実装・定着までを扱う AIエージェント研修 をご用意しています。自社の業務にどのモデルやサービスが合うかを整理したい場合は、無料相談 からお問い合わせください。

よくある質問

LLMは、インターネットを検索して答えているのですか?
LLMそのものは、学習した時点までのデータをもとに文章を作っており、質問のたびに検索しているわけではありません。ただし、対話型AIのサービスの多くは、LLMに検索機能や社内文書の参照機能を組み合わせています。使っているサービスが検索を行っているかどうかは、回答に出典が示されるか、設定で検索が有効になっているかで確認できます。
パラメータ数が大きいモデルほど、性能が高いのですか?
一般に規模が大きいほど幅広い課題に対応しやすい傾向はありますが、それだけでは決まりません。学習後の調整の仕方によって、規模の小さいモデルが大きいモデルより人に好まれる回答を出した研究もあります。業務では、自社の課題を使って複数のモデルを試し、精度・速さ・費用の釣り合いで選ぶのが現実的です。
社内の情報をLLMに覚えさせることはできますか?
方法は大きく3つあります。指示(プロンプト)の中に情報を書いて渡す方法、質問のたびに社内文書を検索してLLMに渡す方法(RAG)、追加の学習でモデル自体を調整する方法(ファインチューニング)です。社内規程やマニュアルのように更新される情報は、モデルに覚えさせるよりも、質問のたびに最新の文書を渡す方法のほうが扱いやすいのが一般的です。