Glossary 术语表 Glossary

模型在依据不足时明确表示无法回答。两类错误代价不对称——过度自信悄无声息，过度保守立刻被发现，因此默认应偏保守。

每次生成一个 token 并把它拼回输入再生成下一个的方式。它决定了解码必然是串行的。

PagedAttention 中固定大小的 KV cache 分配单元（如 16 个 token 一块）。

记录「逻辑块 N 存放在哪个物理块」的映射表，使显存分配无需连续。

基于词频与文档长度归一的经典词法检索算法。因为不需要泛化，它在跨领域场景下依然是稳健基线。

Byte Pair Encoding。从字节开始反复合并高频相邻符号对，得到固定大小词表的分词方法。高频内容压成一个 token，低频内容退化为碎片，且永不 OOV。

在新任务上训练导致旧能力退化。它在目标任务指标上完全不可见，必须用无关的能力回归测试来检测。

文档被切分后的检索单元。「检索要小、理解要大」的两难可通过「小块检索、大块生成」解耦。

把长 prefill 切成小块摊到多次迭代，避免它阻塞正在进行的解码。用少量 TTFT 换取平稳的 TPOT。

连续失败达阈值后快速失败、定期试探恢复。既避免拖死自己，也给上游留出恢复空间。

候选输出经过完整性、结构、语义、权限与幂等校验后，获准产生业务副作用的唯一边界。

模型单次能处理的最大 token 数。它是能力上限而非使用建议——填满它的代价随长度超线性增长。

以一次 forward 迭代为调度单位，完成的序列立即离场、新请求立即补位。消除的是时间维度的浪费。

多方共享同一份数据、直到有人要写入时才复制的机制。使多条序列可以共享公共前缀的 KV。

推理的第二阶段，逐个生成输出 token。每步只算一个 token 但要读取全部权重，因此受显存带宽限制。

基于向量相似度的检索。擅长语义改写，但在精确标识符、罕见词、否定与领域外场景上有系统性盲区。

用强模型的输出训练小模型，使其在窄任务上接近强模型。教师的错误率会被学生继承，因此数据过滤是关键。

把文本映射为高维向量，使语义相近的文本距离相近。本质是有损压缩，优先保留大意、丢弃细节。

模型输出结构化的工具调用请求。模型本身从不执行任何工具——执行的是你的代码，安全边界也在那里。

单位时间内满足 SLA 的请求数。容量规划应以它而非裸吞吐为准，两者的峰值通常不在同一点。

Grouped-Query Attention。多个 query head 共享一组 KV head，按比例直接降低 KV cache 占用。它省的不是算力，是显存。

回答中的事实性陈述能否在检索到的材料中找到依据。它比「正确率」更适合作为 RAG 生成层的核心指标，因为可自动化、可归因。

模型生成看似合理但与事实不符的内容。它是生成机制的固有产物，工程目标是让它可检测、可控，而非消灭它。

标识同一业务意图的稳定键。重试可以发生多次，但相同幂等键最终只能产生一次可见业务效果。

把恶意指令藏在模型会读到的外部内容里，借受害者的权限执行。凡是接入检索或工具的系统都要按它来建模。

连续批处理在论文中的名称，强调调度粒度从「请求」下降到「迭代」。

attention 机制中用于与 Query 做匹配的向量，逐 token 计算后可缓存复用。

缓存已计算的 Key/Value 向量以避免重复计算。占用显存随并发数与序列长度线性增长，常常是并发上限的真正瓶颈。

稳态系统中「平均在途请求数 = 到达率 × 平均停留时间」。用于把 QPS 换算成并发数，进而推导 KV cache 需求。

用模型给模型的输出打分。必须先用人工标注校准一致率——未校准的评委比没有评委更危险。

Low-Rank Adaptation。冻结原权重，用两个低秩矩阵表示改动量。推理时可合并回原权重，零额外延迟。

相关信息位于长上下文中部时模型利用率明显下降的现象，呈 U 形曲线。说明「塞进去不等于用得上」。

agent 语境下由应用层构造的上下文管理机制。模型本身无记忆，它「记得」只是因为你又发了一遍。

数据在显存与计算单元之间的传输速率。解码阶段的真正瓶颈通常是它而非算力。

性能由数据搬运速度而非计算速度决定的状态。它解释了为什么批处理能几乎免费地提升吞吐。

按请求难度把流量分配到不同能力/价格档位的模型。收益上限由简单请求的占比决定。

多个 agent 分工协作的架构。收益来自并行探索与突破单一上下文容量，代价是每条通信边都是有损压缩。

存在外部可检索索引里的知识。可秒级更新、可溯源、可按权限过滤。

out-of-vocabulary，输入中出现词表里没有的词。BPE 等子词方法通过回退到字节级编码消除了这一问题。

少数维度上比其余值大几个数量级的激活值。它会撑大量化范围、毁掉其余值的精度，是大模型量化的核心难点。

模型候选输出在产生业务效果前必须满足的完整性、结构、语义、权限与幂等条件。

借鉴操作系统虚拟内存的 KV cache 管理方式：切成固定大小的 block 按需分配，物理上不必连续。消除了预留浪费与外部碎片。

SQL 中从语法层分离语句与数据的机制，它根治了 SQL 注入。LLM 缺少对应的结构，这正是 prompt injection 难以根治的原因。

存在模型权重里的知识。稳定但无法快速更新、无法溯源、无法做权限区分。

同一任务连续 k 次执行全部成功的概率，衡量一致性。它比单次成功率更能预测 agent 在生产中的可用性。

parameter-efficient fine-tuning，只训练极少量参数即可完成任务适配的一类方法。

利用「比较比生成容易」的不对称性来调整模型行为，适用于「什么算好」难以写成标准答案的场景。

推理的第一阶段，一次性处理全部输入 token 并写入 KV cache。其 attention 计算量约为输入长度的二次方，是 TTFT 的主要来源。

prompt caching 的底层实现名称。匹配是从第 0 个 token 开始的逐 token 精确前缀匹配。

复用相同前缀已算好的 KV，跳过其 prefill。降低 TTFT 与输入成本，但不影响 TPOT。

post-training quantization，对训练好的模型直接量化，成本低，是应用层的默认选择。

quantization-aware training，训练中模拟量化误差，质量更好但需重新训练。

把冻结的基座量化到 4-bit 再训练 LoRA adapter，大幅降低显存门槛，使单卡微调大模型成为常规操作。

用更少的比特表示模型参数。它省的主要是显存与带宽；能否加速取决于量化对象与 batch 大小。

用基数树自动组织并复用跨请求的公共前缀 KV，无需应用显式声明。

Retrieval-Augmented Generation。先检索外部知识再生成答案，把事实从权重里解耦出来。

把推理轨迹与行动交错生成的 agent 循环模式。推理帮助规划与纠错，行动带来外部信息。

先拟合奖励模型、再用强化学习优化策略的两阶段对齐路径。

Reciprocal Rank Fusion。只按排名而非分数融合多路检索结果，无需归一化与调权重。

从模型给出的下一个 token 概率分布中选择输出。它使生成天然允许多种结果，工程上应验证可接受集合而非逐字快照。

只对与序列长度无关的算子做批处理，attention 部分按序列单独处理。它让批内序列长度可以自由不同。

supervised fine-tuning，用「输入-期望输出」样本对继续训练。适用于有明确对错标准的任务。

用便宜模型生成草稿、由目标模型一次性并行验证。输出分布与原模型严格相同，本质是用富余算力换延迟。

CPU 中先赌一个分支往下算、赌错则回滚的技术。投机解码借用了同一思想。

攒够一批请求一起执行、等整批完成才换下一批。已完成的请求会占着槽位空转，长度方差越大浪费越严重。

把模型输出限制在指定 schema 的语法空间内。它保证形状，不保证字段值符合现实、权限或业务规则。

后续每个输出 token 的平均间隔，决定流畅度。快过用户阅读速度后再优化收益趋近于零。

从发出请求到收到第一个 token 的时间，包含排队与 prefill。它是用户等待感的全部来源。

模型处理文本的基本单位，也是计费、上下文长度与延迟的计量单位。模型看到的不是字符，而是 token ID 序列。

把文本切成 token 并映射为整数 ID 的组件。不同模型的 tokenizer 互不通用，token 数必须用实际调用的模型来测。

一次请求横跨检索、模型调用、工具调用等多个 span 的完整记录。每个 span 须带 token 数、成本与模型版本，否则无法归因。

attention 机制中被加权求和的内容向量，与 Key 一同构成 KV cache。

操作系统让进程看到连续地址空间、而物理内存可以是碎片的机制。PagedAttention 把这套思想搬进了显存。

只压缩权重、计算时仍解压回高精度。在低并发场景提速明显，高并发下收益可能有限。