第1回：チャットボットを超えて - LLMの解剖学

1. AIはどう「考える」のか？

(LLMの解剖学)

私たちが毎日使っているChatGPTやClaudeのようなサービスの裏側には、大規模言語モデル(LLM, Large Language Model)という巨大な確率地図が入っています。

次トークン予測 (Next Token Prediction)

AIの動作原理は驚くほど単純です。

「与えられた文脈の次に続く最も確率の高い 単語（トークン） を探すこと」

例えば、「海に遊びに……」という文章が与えられると、AIは次に続く単語として 「行こう」 、 「行きたい」 、 「行った」 などの確率を計算します。数兆個のパラメータを持つモデルは、この確率を非常に精巧に計算し、人間のように自然な文章を作り出します。

2. トークン(Token)：AIの言語単位

AIはテキストを文字単位や単語単位で読まず、 トークン(Token) という単位に分割して理解します。

• 英語の場合、平均的に1単語＝1.3トークン程度です。
• 言語やアーキテクチャによってトークンの効率は異なります。

3. プロンプト工学が重要な理由

AIは文脈（Context）に非常に依存します。

• 曖昧な質問: AIにあまりに多くの確率的選択肢を与えてしまいます。結果が毎回変わったり、曖昧になったりします。
• 構造化された質問: AIの確率地図を狭めることで、私たちが望む正確な回答経路を辿らせることができます。