Token
在人工智能领域，Token 是文本被 AI 模型处理时的基本单位，可以是一个单词、一个标点符号，甚至是单词的一部分。
它的工作方式
当 AI 模型（如 ChatGPT）读取或生成文本时，它会先将文本分割成一个个 Token 进行处理。模型处理文本的能力（如上下文长度）和 API 的计费通常都与消耗的 Token 数量直接相关。
示例
- 1.在 ChatGPT 中，你输入的问题和 AI 生成的回答都会被计算为一定数量的 Token。
- 2.使用 OpenAI 的 API 时，费用是根据输入和输出总共消耗的 Token 数来计算的。
- 3.一个长文档在输入给 AI 模型前，需要先被切分成多个 Token。