やさしい解説
大規模言語モデルとは何か
次の単語の予測から便利なアシスタントまで。名前の印象よりも、考え方はずっとシンプルです。
大規模言語モデルは、今の高性能なAIアシスタントを支える技術です。このページでは、大規模言語モデルとは何か、数式を使わずにどう動くのか、そして基本を知っておくとなぜ使いこなしが上手になるのかを説明します。
大規模言語モデル(LLM)は、膨大なテキストで学習し、与えられたプロンプトに対して最も役に立つ次の単語、フレーズ、文を予測するAIの一種です。学習の過程で、モデルは数十億にのぼる内部パラメータを調整し、文法、事実、推論の進め方、さらにはコードまで、言語に現れるパターンを捉えていきます。推論時には、文脈をもとに一語ずつ、正確にはトークンごとに応答を生成します。その結果、文章作成、推論、翻訳、質問への回答といった個別の機能を明示的にプログラムしなくても、それらをこなせるシステムになります。
公開日
無料レッスン · アカウント不要Claudeと出会うなぜClaudeなのか?6 分無料レッスンを始める基本の考え方
大規模言語モデルの仕組み
LLMの働きの大部分と、人が驚きやすい点の大部分は、4つの考え方で説明できます。
次のトークンの予測
LLMは根本的に、それまでの内容すべてを踏まえて、最ももっともらしい次の単語(トークン)を予測できるよう学習します。この単純な課題を桁外れの規模で行うと、驚くほど高い言語能力が生まれます。
テキストによる学習
私たちが話しかける前に、LLMはすでに膨大な量の文章を処理しています。書籍、記事、コード、会話などです。そのデータのパターンに合うように、内部の重みを調整しています。
ルールではなくパラメータ
手作業で書いたルールに基づく従来のAIと違い、LLMは知識を数十億の数値の重みとして保持します。「空は青い」と書いたエンジニアはいません。モデルが数百万の例に共通するパターンから導き出したのです。
創発的な能力
翻訳、要約、複数ステップの推論といった能力は、個別にプログラムされたわけではありません。大規模にテキストを予測する力を磨いた結果、副次的に現れたものです。
内部の仕組み
学習と推論:まったく性質の異なる2つの段階
学習は、モデルを作るための高コストで基本的に一度きりの工程です。大量のテキストデータをニューラルネットワークに何度も通します。モデルが次の単語を外すたびに、重みが少しずつ修正されます。数えきれないほどの繰り返しの末に、重みは安定し、言語についての幅広い理解を捉えた状態になります。
推論は、私たちがメッセージを入力したときに起こることです。モデルはプロンプトを受け取り、固定された重みに通して、応答を一語ずつ生成します。この段階では学習は行われておらず、すでに持っている知識を適用しているだけです。そのため、モデルは会話の内容からその場で知識を更新することはできません。
生の学習を終えた段階から洗練されたアシスタントになるまでには、多くのモデルが人間のフィードバックを使った追加のファインチューニングを受けます。人が応答の有用性と正確さを評価し、モデルは評価の高い出力を好むように調整されます。これによって、検索エンジンのオートコンプリートのようなテキスト予測器が、思慮深いアシスタントのように感じられるものへと変わります。
限界を知る
LLMが間違えることがある理由
失敗の仕方を理解しておくと、使い手として上達し、問題になる前にミスに気づけるようになります。
ハルシネーション
確かな知識がないとき、LLMはそれでももっともらしい答えを生成することがあります。流暢で自信に満ちた文章が評価されると学習しているため、黙ることや「わかりません」と言うことは、モデルにとって不自然に感じられやすいのです。
知識のカットオフ
学習データには期限があります。その時点より後に起きた出来事や発表された論文、事実は、調べるためのツールを与えられない限り、モデルの重みの中には存在しません。
コンテキストの限界
LLMにはコンテキストウィンドウがあります。作業記憶として一度に保持できるテキストの量のことです。そのウィンドウの外にある情報は、応答を生成するときのモデルには見えません。
推論ではなくパターンの照合
LLMはパターンを見つけて延長することに非常に長けています。一方で、本当に新しい推論が必要な未知の問題では苦戦したり、注意深い読み手ならすぐ気づくような間違いを自信満々に犯したりすることがあります。
実践のスキル
プロンプトが思われている以上に重要な理由
話しかける相手のモデルは固定されています。会話の合間に重みが変わることはありません。変えられるのはプロンプト、つまり与える文脈、指示、例です。曖昧なプロンプトでは、モデルはあなたの意図を推測するしかありません。具体的なプロンプトなら、本当に必要な内容へと、もっともらしい応答の幅を絞り込めます。
だからこそ、プロンプトエンジニアリングは流行語ではなく本物のスキルです。役割(「あなたはこの条項を確認する税務の弁護士です」)、形式(「3つの箇条書きで答えてください」)、具体例(「似た質問への良い回答はこちらです」)を与えると、出力の質が着実に上がります。モデルをだましているのではありません。良い応答がどういうものかについて、モデルの迷いを減らしているのです。
モデルが役に立つ次のトークンを予測しているのだと理解すると、言い回しに敏感な理由も見えてきます。あなたにとって同じ意味の2つのプロンプトが、モデルの中ではまったく違うパターンを呼び起こすことがあります。実践的な教訓は、期待どおりの応答が返らないときは、同じ言葉を繰り返すのではなく、言い方を変えてみることです。
LLMを理解するのは土台。上手に使えることがスキルです。
次のトークンの予測について読むことは、役に立つ背景知識になります。ただ、理解が実際の力に変わるのは、プロンプトの技法を実際に試し、具体的な例に取り組み、何がうまくいくかの感覚を育てるときです。Nightschool AIのカリキュラムは、最初のレッスンから手を動かして学ぶ形式です。
よくある質問
LLMは何の略ですか?
LLMは large language model、つまり大規模言語モデルの略です。「大規模」は、学習データの量と、モデルが持つ内部パラメータの数の両方の規模を指します。「言語モデル」はその働きを表し、テキストの並びが現れる確率をモデル化することを意味します。実際には、プロンプトに対して役に立つ次の単語を予測することです。
LLMは検索エンジンとどう違いますか?
検索エンジンは既存の文書を索引化し、質問に最も関連するものを取り出します。LLMは、学習時に重みへ織り込まれたパターンをもとに、役に立つ応答がどんな形かを予測して、新しいテキストを生成します。検索は見つけ、LLMは組み立てます。現在の多くのAIアシスタントは両方を組み合わせており、モデルが文章を生成し、検索の層が最新の情報へのアクセスを与えます。
LLMはなぜハルシネーションを起こすのですか?
LLMは、事実を確認してから出力するようにではなく、流暢でもっともらしいテキストを生成するように最適化されているため、ハルシネーションが起こります。学習データの中に確かな手がかりがないときでも、最もそれらしく見えるパターンを延長して、自信ありげな答えを作ってしまうことがあります。正確さが重要な場面では、LLMの出力を信頼できる情報源と照らし合わせて確認するのが良い習慣です。
LLMは私たちの会話から学習できますか?
いいえ、リアルタイムでは学習しません。推論時にはモデルの重みは固定されています。提供元の方針によっては、会話が保存されて将来の学習に使われる場合もありますが、今話しているモデルが入力に合わせて更新されることはありません。一部のシステムは、過去の会話の要約をコンテキストウィンドウに入れることで記憶を再現していますが、これは本当の意味での学習とは別物です。
トークンとは何ですか?
トークンは、LLMが処理し、予測する単位です。英語では通常、1つの単語か、よく使われる単語の断片が1トークンになり、長い単語は複数のトークンに分かれることもあります。LLMは蓄積された文脈をもとに、1トークンずつ選びながらテキストを生成します。コンテキストウィンドウや利用料金は、単語数や文字数ではなくトークン数で表されるのが一般的です。
LLMとClaudeのようなAIアシスタントはどう違いますか?
LLMは基盤となるモデル、つまり学習済みのニューラルネットワークそのものです。Claudeのようなaiアシスタントは、LLMにファインチューニングや安全性のための学習の層を加え、多くの場合はウェブ検索やコード実行といった追加のツールも組み合わせたものです。LLMをエンジン、アシスタントを完成した車に例えるとわかりやすいでしょう。中核の技術は同じで、それを日常で安全に役立つ形に仕上げたものです。
大きなLLMほど常に性能が高いのですか?
必ずしもそうではありません。規模は役に立ちますが、学習データの質、ファインチューニングの手法、取り組むタスクの内容も同じくらい重要です。絞り込まれたタスクでは、うまく調整された小さなモデルが大きなモデルを上回ることもよくあります。この分野は「大きければ大きいほど良い」という考え方から、アーキテクチャ、データ、アライメント、推論の効率を含めた全体の最適化へと移ってきました。
プロンプトは身につける価値のあるスキルですか?
はい。LLMは文脈をもとに役に立つテキストを予測するため、あなたが与える枠組みがモデルの生成内容を直接左右します。明確な役割、具体的な形式、実際の例、はっきりした制約は、いずれも出力の質を安定して高めます。プロンプトは、限られたツールを使うための回避策ではありません。あなたの心を読めないシステムに意図を伝えるための方法です。