トークン

テキストを処理する際の最小単位。LLMでは、単語や文字をトークンに分割して処理する。日本語の場合、1トークンは約2～3文字に相当する。APIの利用料金はトークン数に基づいて計算されることが多く、コスト管理において重要な概念。入力トークンと出力トークンで料金が異なる場合もある。