コンテキストウィンドウ

LLMが一度に処理できる入力トークンと出力トークンの合計数。GPT-3.5では4096トークン、GPT-4では8192～32768トークン、最新のモデルでは100K以上のコンテキストウィンドウを持つものもある。長いコンテキストを扱えるほど、長文の理解や複雑なタスクに対応できるが、計算量とメモリ使用量が増加する。ローカルLLMホスティングでは、ハードウェアリソースに応じて適切なコンテキストウィンドウのモデルを選択する必要がある。