词元池(Token Pool)是自然语言处理与大模型推理中用于管理、缓存和复用词元(token)资源的核心抽象结构,常见于高效推理框架、提示工程优化及上下文重用场景。
什么是词元池?
词元池本质上是一个动态维护的词元集合容器,用于暂存已编码的输入序列片段(如用户提问、系统指令或历史对话),支持快速检索、拼接与复用。它不存储原始文本,而是保存经过分词器处理后的整数 ID 序列及其元信息(如位置索引、注意力掩码等)。
核心功能
- 缓存复用:避免对重复或相似输入反复执行分词与嵌入计算
- 上下文组装:按需从多个来源提取词元片段,组合成完整推理输入
- 内存优化:通过共享底层张量或引用计数机制降低显存占用
- 动态裁剪:根据长度限制自动截断或压缩低优先级词元段
典型应用场景
- 多轮对话系统:将历史会话以词元形式保留在池中,提升响应连贯性
- RAG(检索增强生成):将检索到的知识片段预编码并注入词元池,供模型直接融合
- 批量推理服务:统一管理不同请求的词元前缀,实现更高效的批处理调度
- 提示模板引擎:预编译常用指令模板为词元序列,运行时快速实例化
与相关概念的区别
- 不同于词表(Vocabulary):词表是静态映射字典,定义所有可能词元;词元池是运行时动态数据结构
- 不同于 KV 缓存:KV 缓存存储的是模型中间层的键值对;词元池关注输入侧的原始序列组织
- 不同于 Prompt Cache:Prompt Cache 通常指字符串级缓存;词元池工作在更底层的数值序列层面







湘公网安备43019002001288号 