応答が組み立てられる過程を見る

あなたの入力もシステムプロンプトも、役割（system / user / assistant）を示す特殊トークンで包まれてからモデルに渡されます。これが chat template。色が付いているのが特殊トークンです。

末尾の <|im_start|>assistant までが入力で、モデルはこの続きを書きます。だから「会話」のように見えます。

テンプレートを展開すると、これは1本の長い文字列です。モデルがしているのは「この文字列に続く次の部分を予測する」、それだけです。

モデルは文字単位では読みません。文字列はまずトークン（語や部分文字列の単位）に分割され、各トークンはID（整数）になります。下のチップにカーソルを乗せるとIDが出ます。日本語は1文字が複数トークンに分かれたり、複数文字が1トークンになったりします。

合計 … トークン。モデルが実際に見ているのは、この整数の列だけです。

モデルは入力トークン列から、次に来る全トークンの確率を計算します。下がその上位15個。通常はここから1個を選んで末尾に足し、また計算…を繰り返します。ここではあなたがサンプラーです。バーをクリックして1トークンずつ応答を作ってみてください。