OpenAIのトークナイザー「tiktoken」の使い方をまとめました。 「tiktoken」は、OpenAI のモデルで使用する高速 BPE トークナイザーです。同等のオープンソースのトークナイザーよりも3～6倍高速です。OpenAI APIで利用するトークン数をカウントするのにも使えます。

The tokeniser API is documented in tiktoken/core.py. Example code using tiktoken can be found in the OpenAI Cookbook. Language models don't see text like you and I, instead they see a sequence of ...

The problem is that the supplied example code for computing token counts for chat messages appears to be off by 1 (low) for each message. The numbers returned by num_tokens_from_messages() did not ...

はじめに：AI開発の「燃料費」を理解する - トークンとコスト管理の重要性 皆さん、こんにちは！AI開発の旅、第14回です。前回まで（第12回、第13回）で、高度なプロンプトエンジニアリングやAPIキーの鉄壁のセキュリティ対策について学び、より洗練されたAI ...