トークン

とーくん

文章をAIが処理する際の最小単位のこと。日本語は1文字が複数トークンになることもあり、これがAIの利用料金や一度に読める文章量の目安になります。