Chapter 14 · Domain 5（权重 15%）
可靠性工程
escalation、错误传播、human review、provenance
本章一次覆盖四条 TS，它们的共同主题是系统在不确定与失败面前如何表现：什么时候交给人、失败怎么上报、人工复核怎么分配、信息来源怎么保住。四块内容在客服（S1）、研究（S3）、抽取（S6）三个场景里高频出现，是 Domain 5 的主战场。
一、Escalation：三个正当触发器
guide 把「什么时候该转人工」写成了一个封闭的清单，考试基本就在这个清单内外做文章：
| 正当触发器 ✔ | 不正当代理 ✘ |
|---|---|
|
|
三条细节规则，每条都能单独出一道题：
- 客户明确要人工 → 立即转，不要先调查。 「让我先帮您看一下」在这里是错的，哪怕出于好意。
- 情绪激动但问题可解 → 先安抚 + 提供解决方案；只有当客户重申要人工时才转。这与上一条不冲突——区别在于客户是否明确提出要人工。
- 政策对客户的具体诉求没有规定 → 转人工。guide 的例子很典型：政策只写了自家站点的价格调整，客户要的是竞品比价——这不是复杂，是没有规定。
还有一条歧义消解规则：工具返回多个客户匹配时，要求补充标识符，而不是用启发式挑一个。挑错客户的后果是把别人的订单信息泄露给这个人。
二、错误传播：四件套与两个反模式
subagent 失败时上报的结构化错误上下文，官方点名了四项内容：
- failure type（失败类型）
- what was attempted（尝试了什么，如具体的查询）
- partial results（已拿到的部分结果）
- potential alternatives（可能的替代方案）
有了这四样，coordinator 才能智能地决定：换个查询重试、走替代路径、还是带着部分结果继续。
| 反模式 | 形态 | 为什么坏 |
|---|---|---|
| 吞（suppress） | 把失败标记成成功的空结果 | coordinator 以为「确实没有资料」，缺口无人知晓 |
| 炸（explode） | 单点失败终止整个 workflow | 放弃了本可成功的恢复策略与已完成的工作 |
| 糊（generic status） | 只回 "search unavailable" | 隐藏了 coordinator 做决策所需的全部上下文 |
还有一条正向要求：synthesis 输出要带 coverage annotations——标明哪些发现有充分支撑、哪些主题因来源不可用而存在缺口。这让「不完整」变成一个被声明的状态，而不是一个读者看不出来的状态。
三、Human review 与置信校准
这一节只有一个核心断言：聚合准确率会掩盖分段崩塌。97% 的总体准确率完全可能是「常见文档 99.5% + 某一类合同 70%」的混合。在削减人工复核之前，必须先按 document type 与 field 分段验证。
置信路由的正确形态有三个必要条件，缺一即为干扰项：
- field-level（字段级，不是整份文档一个分数）
- 用 labeled validation set 校准过（calibrated 是关键词）
- 高置信区间保留 stratified random sampling，持续测量错误率并捕捉新出现的错误模式
另外，低置信与源文档本身歧义或矛盾的抽取应当优先路由给人工——这是有限复核力量该花的地方。
四、Provenance：让来源活到最后
来源归属最容易在摘要步骤丢失——发现被压缩时，claim 与 source 的映射关系被压没了。对策是要求 subagent 输出结构化的 claim-source 映射（source URL、文档名、相关摘录），并且 synthesis agent 必须在合并时保留这些映射。
| 情形 | 正确处理 |
|---|---|
| 两个可信来源统计数字冲突 | 双值保留 + 来源标注，不擅自选一个 |
| 数据有时间差 | 要求输出含发布/采集日期，防止时间差被误读成矛盾 |
| 结论成熟度不一 | 报告显式区分 well-established 与 contested，保留原始来源的表述与方法论背景 |
| 内容类型不同 | 按适配格式渲染：财务数据用表格、新闻用散文、技术发现用结构化列表——不要统一成一种格式 |
「双值保留」与「要日期」的分工 — 两者容易混。数字冲突时，不能用发布日期当裁决依据（「新的胜出」是启发式选取，属于信息销毁）；日期的作用是附上去让下游正确解读，例如让读者看出两个数字其实测的是不同时期。这条区分在 ch01 的自测第 1 题里已经出现过。
这四条 TS 在系统设计上有一个共同的抽象：把不确定性显式化。escalation 是把「我处理不了」显式化，结构化错误是把「我失败在哪」显式化，coverage annotation 是把「这里有缺口」显式化，conflict annotation 是把「来源不一致」显式化。反过来，六类干扰项里的 D5（吞错）永远是同一件事的反面——让不确定性看起来像确定性。备考时用这条线索串起 Domain 5，比逐条背 skill 有效。
外部课程 · CertSafari — 本章 4 个考点（展开查看）
用于补读和错题复盘；第三方 AI 生成练习材料，非官方题库。核验答案时以 Exam Guide 和官方文档为依据。复盘方法 · 链接核对：2026-10-16。
考点回链 — 本章覆盖：TS 5.2（三个正当 escalation 触发器、客户明确要人工则立即转、情绪可解则先安抚、政策空白即转、sentiment 与自报 confidence 不是复杂度代理、多匹配时要求补充标识符、显式准则+few-shot）、TS 5.3（结构化错误四件套、吞/炸/糊三反模式、access failure vs valid empty result、coverage annotations）、TS 5.5（聚合准确率掩盖分段崩塌、按 type×field 分段验证、field-level 校准置信、stratified random sampling、低置信与源歧义优先人工）、TS 5.6（claim-source 映射贯穿 synthesis、冲突双值保留+标注、发布/采集日期、well-established vs contested、按内容类型适配渲染）。
本章题组
ch14 · Q1 · 准则 P1
A customer writes: "This is the third time I've contacted you about this. Just put me through to a human." The request is a duplicate-charge dispute that your agent can resolve autonomously in two tool calls. What should the agent do?
正确 ATS 5.2 明确要求：客户明确要求人工时立即转接，不先尝试调查。「我能两步解决」不是覆盖客户明示偏好的理由——尊重客户表达的偏好本身就是正当触发器之一。
D4 甩锅错位违反 P1B：先解决再问，等于把客户的明确请求降格成一个可以事后再考虑的选项。TS 5.2 的措辞是 "immediately without first attempting investigation"。
D3 治标不治本违反 P1C：这是「情绪激动但问题可解 → 安抚并提供解决」那条规则的形态，但适用前提不成立——那条规则针对的是客户没有明确要求人工的情形。这里客户直说了。
D6 概率当保证违反 P8D：TS 5.2 直接点名 sentiment 不是案件复杂度的可靠代理；在客户已经明示诉求的情况下还去推断情绪强度，是用一个不可靠信号覆盖一个明确信号。
ch14 · Q2 · 准则 P6
A customer asks for a price match against a competitor's listing. Your published policy covers price adjustments for items that drop in price on your own site within 14 days, and says nothing about competitors. The agent is confident and the case is simple. What should it do?
正确 CTS 5.2 的第二个正当触发器：政策空白或例外——guide 举的原例正是「政策只涉及自家站点的价格调整，而客户要求竞品比价」。注意它明确区分于「复杂案件」：这个案子一点也不复杂，但没有授权。
D5 吞错或炸链违反 P6A：政策没有规定不等于政策禁止。把沉默解读成拒绝，是替公司做了一个它没有授权 agent 做的决定，且不可逆地把客户挡了回去。
D6 概率当保证违反 P3B：类推适用等于让 agent 自行创设政策。「经济上等价」是一个业务判断，属于人来做的决定——这正是政策空白要转人工的原因。
D6 概率当保证违反 P8D：把自报 confidence 当成 escalation 的判据，TS 5.2 明确指出它不是复杂度的可靠代理；而且这里的触发器根本不是不确定性，是授权缺失。
ch14 · Q3 · 准则 P6
Your document-analysis subagent finishes two of four assigned papers, then the PDF service becomes unreachable. It has partial findings from the two completed papers and knows exactly which queries failed. How should this reach the coordinator?
正确 DTS 5.3 的四件套：failure type、attempted、partial results、potential alternatives。有了这四样，coordinator 才能判断是换查询重试、走替代路径、还是带着部分结果继续并在输出里标注 coverage gap。与官方样题 Q8 同构。
D5 吞错或炸链违反 P6A：把失败伪装成成功，指望上游从数量差推断出问题——这是吞错的一个变体，而且 coordinator 无从知道剩下两篇是「不可用」还是「不相关」。
D5 吞错或炸链违反 P6B：泛化状态隐藏了上下文（TS 5.3 明确点名 "search unavailable" 这类状态），而且它连已经完成的两篇分析都丢掉了——恢复决策所需的信息被抹平成一句话。
D2 过度工程违反 P2C：丢掉两篇已完成的分析重做全部四篇，成本翻倍且违背 TS 5.3 的 partial results 原则；更重要的是，选择替代方案是coordinator 的决策（hub-and-spoke，TS 1.2）——subagent 自行决定切换后端并重启范围，绕过了编排层。
ch14 · Q4 · 准则 P8
Extraction accuracy is 97% overall. Leadership wants to cut human review by 80%. You have a labeled validation set available. What should you do before reducing review?
正确 BTS 5.5 的完整链条：聚合准确率可能掩盖特定 document type / field 上的塌方，所以先分段验证；置信必须用 labeled validation set 校准后才可作路由依据；高置信区间保留 stratified random sampling 以持续测错并捕捉新出现的错误模式。三步缺一不可。
D3 治标不治本违反 P1A：按数量而不是按准确率削减，恰好可能踩中高频但表现差的那一类。题干给的 97% 正是尚未分段的聚合数字——用它做任何分配决策都是在猜。
D6 概率当保证违反 P8C：两处错。置信未经校准就直接当路由依据；而且是整份文档一个分数，TS 5.5 要求的是 field-level——一份文档里可能只有某一个字段不可靠。
D3 治标不治本违反 P8D：纯随机抽样能测量整体错误率，但不能分配复核力量——它把同样的复核概率给了 99.5% 准确的类型和 70% 准确的类型。分层抽样在正解里的作用是持续监测，不是替代分段验证。
ch14 · Q5 · 准则 P6
Your final research report cites 40 claims, but reviewers can trace only 12 of them back to a source. The pipeline is: search agents return full page text → an analysis agent summarizes each into bullet findings → the synthesis agent merges the bullets into the report. Where is attribution lost, and what fixes it?
正确 ATS 5.6：来源归属在摘要步骤丢失——发现被压缩时 claim-source 映射被压没了。对策是要求 subagent 输出结构化的 claim-source 映射（source URL、文档名、相关摘录），并由下游贯穿保留与合并。修的是信息在管线中被丢弃的那一环。
D6 概率当保证违反 P6B：synthesis 手上只有无来源的 bullet——它没有可引用的映射。要求它「给每条加引用」，得到的只会是编造的引用，比没有引用更糟。
D4 甩锅错位违反 P1C：search 步骤工作正常，它返回了带来源的页面。减少材料只会缩小覆盖面，丢失比例照旧——根因在下游的压缩方式。
D2 过度工程违反 P2D：事后为既成结论去找支持它的来源，是把因果倒过来——找到的「来源」未必是当初真正支撑该 claim 的那一份，这在研究报告里是实质性的失真。
ch14 · Q6 · 准则 P6
Your synthesis agent receives two credible industry reports giving different figures for the same metric: one from a survey collected in Q1, one from a survey collected in Q3 of the same year. How should the final report handle this?
正确 CTS 5.6 的三条合用：可信来源统计冲突时双值保留 + 来源标注而非擅自选取；结构化输出要含发布/采集日期以支持正确的时间解读；报告要显式区分 well-established 与 contested。日期的作用是让读者看出这可能是时期差异，而不是拿来做裁决。
D4 甩锅错位违反 P6A：用日期当裁决依据正是 TS 5.6 要避免的——日期要附上去供解读，不是用来淘汰另一个可信来源。两份调查也可能口径不同，「新的取代旧的」是未经验证的假设。
D5 吞错或炸链违反 P6B：混合出一个两个来源都没说过的数字，是最彻底的信息销毁——冲突被伪装成了共识，读者再也无法追溯。附一句「来源有出入」也救不回来：省下的那点对账工夫，代价是把一个谁也没测到的数字写进报告，而读者连回到任一原始口径的路都没有了。
D5 吞错或炸链违反 P6D：把「有两个候选值且各有出处」抹成「没有数据」。冲突本身就是有价值的发现，恰恰应当被报告出来。
ch14 · Q7 · 准则 P1
Your agent asks for a customer's name to look up their account.
get_customer returns three matching records with the same name, different addresses and order histories. What should the agent do?正确 DTS 5.2 的歧义消解规则：工具返回多个匹配时，指示 agent要求补充标识符，而不是基于启发式选取。这个规则的分量来自后果——选错客户意味着把别人的账户信息透露给眼前这个人。
D6 概率当保证违反 P8A：「最近活跃」是启发式选取的典型形态，guide 明确点名要避免。它有相当概率是对的，而这正是危险之处——错的那部分会造成账户信息串号。
D6 概率当保证违反 P8B：用问题描述反推身份，同样是启发式，而且更隐蔽——它会自我印证（挑出的那条记录当然「匹配」，因为它就是按匹配挑的）。
D3 治标不治本违反 P2C：转人工在这里是过度反应。TS 5.2 的三个正当触发器都不成立——身份多匹配不是政策空白，也不是无法推进，只需要问一个问题就能消解。它还会拉低 first-contact resolution。