OpenAIのトークナイザー「tiktoken」の使い方をまとめました。 「tiktoken」は、OpenAI のモデルで使用する高速 BPE トークナイザーです。同等のオープンソースのトークナイザーよりも3～6倍高速です。OpenAI APIで利用するトークン数をカウントするのにも使えます。
Customer stories Events & webinars Ebooks & reports Business insights GitHub Skills ...
File: 0_small.txt (2000 - 68) - Avg Time: 0.04ms, StdDev: 29.47% File: 1_medium.txt (200 - 1068) - Avg Time: 0.54ms, StdDev: 3.07% File: 2_large.txt (20 - 923942 ...
一部の結果でアクセス不可の可能性があるため、非表示になっています。
アクセス不可の結果を表示する