模型吃的是 token，不是你以为的那个字

同一句中文，按字数估的长度和接口返回的 token 数对不上，max_tokens 一卡就把后半句截掉，根源是模型吃进去的是整数 id，不是你数的那个字。这篇用纯 Python 训练一份教学用 BPE，能编码也能解码回原文，但它不是 GPT-2 的词表，不能拿去对官方账单。