トークン

LLMが処理する最小単位のテキスト要素。単語、サブワード、文字などに分割される。日本語の場合、1トークンは約2～3文字に相当することが多い。LLMの処理速度やコストは、トークン数に比例するため、トークン数の管理が重要。GPT系のモデルでは、入力と出力を合わせたトークン数に上限があり、コンテキストウィンドウと呼ばれる。量子化や最適化の効果も、トークンあたりの処理時間で評価される。