Token（令牌，词元）

       Token（令牌）是一个计算机行业多领域通用术语‌，在不同技术场景中具有不同含义和中文译名。 在身份验证和授权、语言模型、区块链以及计算机科学等领域中， ^[63]词元都扮演着重要的角色。

       在信息技术中，它作为随机字符串或加密数据块用于身份验证、安全访问控制，代表用户、设备或会话的授权信息。 。在加密货币领域，指的是基于某个区块链平台发行的代币。 在语言模型中，token是文本经过切分或字节级编码后得到的最小离散单元，词元是大模型处理信息的最小基础单元，单个汉字、词语、标点均可视为一个词元。 。2026年，国家数据局明确将AI领域的Token定名为“词元”。

       词元是大语言模型处理文本时的最小计量单位。它并非严格对应一个单词或一个汉字，而是根据模型的分词规则，将一个句子切分成若干个有意义的片段。例如，“我喜欢编程”可能被切分为“我”、“喜欢”、“编程”三个Token。在模型内部，所有文本都先转换为Token序列，再进行数学运算。Token的数量直接影响模型的上下文长度和计算成本——输入越长的文本，消耗的Token越多，响应时间也越长。OpenAI等主流AI服务通常按Token用量计费，因此理解Token机制对于评估AI使用成本、优化提示词长度、合理设计上下文窗口都具有实际意义。“词元”是Token在中文语境下的常用译法，强调其作为语义基本单元的属性。对于AI学习者而言，掌握Token概念是理解大模型工作原理、控制推理效率的基础门槛。