Skip to content

Latest commit

 

History

History
9 lines (5 loc) · 786 Bytes

updates.md

File metadata and controls

9 lines (5 loc) · 786 Bytes

書籍刊行後のアップデート

OpenAI の Tokenizer の GPT-4o と GPT-4o mini のサポート

p.15 にて以下の説明を記載していました。

OpenAI が Web サイトで提供している Tokenizer (https://platform.openai.com/tokenizer) を使うと、入力したテキストがトークンとしてどのように分割され、トークン数はいくつなのかを確認できます。ただし、本書執筆時点でこの Tokenizer が対応しているのは GPT-4 などのレガシーなモデルのみであり、GPT-4o や GPT-4o mini の場合のトークン数を確認することはできません。

現在は Tokenizer がアップデートされ、GPT-4o や GPT-4o mini の場合のトークン数も確認することができます。