From 26c3b13dbd6143dcfbb0c47d0fc82d041df0064e Mon Sep 17 00:00:00 2001 From: stewart hu Date: Tue, 1 Sep 2026 21:06:55 -0400 Subject: [PATCH] Add risk assessment and failure-mode analysis (doc 13) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Blast-radius-organized FMEA: ranked top-5 risks (approval complacency, correlated extreme days, stale-profile overcommitment, rule drift, external dependency slips), per-domain failure tables with detection and mitigation, new mechanisms (loss circuit-breaker, commitment buffer, lineage-propagated data-quality flags, drill samples), and a five-level kill-switch hierarchy with quarterly drills. Co-Authored-By: Claude Fable 5 Claude-Session: https://claude.ai/code/session_019u5SLNweVio6ozJX7yfxQr 🔮 View transcript: https://logs.lojong.info/s/e8u90k3t33w590r7b5y7yzqh --- docs/00-overview.md | 1 + docs/13-risks-failure-modes.md | 107 +++++++++++++++++++++++++++++++++ 2 files changed, 108 insertions(+) create mode 100644 docs/13-risks-failure-modes.md diff --git a/docs/00-overview.md b/docs/00-overview.md index e5464e0..e0aeb01 100644 --- a/docs/00-overview.md +++ b/docs/00-overview.md @@ -122,3 +122,4 @@ flowchart TB | 10-federation | 省间协同联邦边界 | 3.3 二期推广 | | 11-contracts | 接口清单、业务对象总表、TS↔Python 契约策略 | 2.3 建设内容 02/05 | | 12-evaluation | 四层评测体系、数据集、变更门禁、KPI 口径 | 3.1 目标成果核心指标 | +| 13-risks-failure-modes | 失效模式分析、五大风险、熔断层级 | 2.1 安全控制 / 3.3 实施 | diff --git a/docs/13-risks-failure-modes.md b/docs/13-risks-failure-modes.md new file mode 100644 index 0000000..bab3e5e --- /dev/null +++ b/docs/13-risks-failure-modes.md @@ -0,0 +1,107 @@ +# 13 · 风险评估与失效模式 + +> 按「爆炸半径」组织：资金损失 → 合规 → 物理执行 → 信任。每条失效模式给出 +> 检测手段与处置，最后是全系统的熔断层级。08 篇 §5 的项目级风险在 §7 扩展。 + +## 0. 风险排序（最可能造成重大损失的五件事） + +| # | 风险 | 为什么排在这 | +|---|---|---| +| 1 | **审批麻痹**（automation complacency）：AI 连续数月正确后，人工审批退化为橡皮图章 | 概率随系统变好而**上升**；一次坏决策抹掉数月收益；纯技术手段无法根治 | +| 2 | **相关性极端日**：高温日负荷预测失准 + 用户拒绝响应 + 价格尖峰**同时**发生 | 各模型按正常日校准，独立性假设在极端日集体失效；损失与考核叠加 | +| 3 | **资源画像陈旧 → 系统性超承诺**：画像滞后于现场，申报容量兑现不了 | 偏差考核 + 调度侧信誉损失双重打击；31→80 MW 快速扩容期最危险 | +| 4 | **规则漂移**：市场规则修订后政策包未同步 | 轻则废单，重则违规；规则修订频繁是现货市场常态 | +| 5 | **依赖项滑期**：光明大模型接入、外部接口联调不受本项目控制 | 二期指标全部悬空；见 §7 | + +## 1. 决策质量失效（资金损失域） + +| 失效模式 | 后果 | 检测 | 处置 | +|---|---|---|---| +| 预测系统性偏移（天气模式突变、新增大用户改变负荷形态） | 持续亏损的申报 | L2 在线指标：MAPE 滚动 + **区间覆盖率**告警（12 篇） | 预测降级协议：区间覆盖率失准 → 优化器自动改用更宽区间 + 收窄申报敞口 | +| 价格机制突变（负电价、新的价格上限、稀缺定价） | 优化器在没见过的机制下自信地给错解 | 政策包版本 vs 市场公告比对；价格分布漂移检测 | **异常日协议**：极端预测/新机制自动降级全人工审批（包络临时挂起） | +| 超承诺（画像高估 + 用户不履约叠加） | 偏差考核罚款、调度信誉受损 | 履约率滚动统计；申报容量 / 核定容量比值监控 | 承诺缓冲系数（申报 < 核定 × k，k 由履约率数据定）；现势复核拦截已知失效资源（03 篇） | +| 相关性极端日（风险 #2） | 多重损失叠加 | 气象极端预警联动；影子系统压力日复盘 | 极端日预案：包络自动收缩至保守档 + 提前 D-2 人工推演 + 极端日情景库纳入 L4 回归 | +| **单日亏损失控** | 一天亏掉数月利润 | 日内盯市（mark-to-market）估值 | **亏损熔断**：日累计预期损失超预算 → 自动冻结自动批准、只允许减仓类 Proposal | + +## 2. LLM 特有失效 + +| 失效模式 | 后果 | 防线 | +|---|---|---| +| 幻觉数字进入申报 | （被架构阻断） | P2 + 血缘强制：数字只能是工具输出引用，架构层免疫；L3 不变式测试持续验证该免疫有效 | +| **约束组装错误**：LLM 给优化器喂了合法但错误的约束/目标（比幻觉更隐蔽——求解器会认真解错题） | 数学上最优的错误申报 | 规则校核加约束一致性检查（约束 vs 账本 vs 画像互验）；审批界面展示**约束回显**（AI 用的边界条件原样陈列，不只给结论叙事） | +| 提示注入（用户提问、RAG 文档、外部报文夹带指令） | 诱导错误路由/越权 | 工具白名单 + 路由输出枚举约束（09 篇）；红队库回归（12 篇 L3）；外部内容进上下文前打标为数据非指令 | +| 解释误导审批人（叙事流畅但与数字矛盾） | 加剧风险 #1 | 数字一致性自动比对（12 篇 L1）；审批界面数字区与叙事区分离，数字区来自血缘不经 LLM | +| LLM 服务不可用 | 认知平面降级 | I6：周期流程模板直跑（不需意图解析）、人工直接创建 Proposal 的通道、校核/审批/申报全链路无 LLM 依赖；**每季度演练一次无 LLM 运行日** | + +## 3. 可信执行链失效 + +| 失效模式 | 后果 | 检测/处置 | +|---|---|---| +| 政策包滞后市场规则（风险 #4） | 废单/违规 | 规则公告监控纳入知识运营职责 + 申报驳回强制回流（05 篇）；驳回率突增告警 | +| 包络配置过宽 | 坏动作被自动放行 | 包络内动作的执行偏差流水监控 → 连续超阈自动挂起（03 篇 escalation）；包络季度复审制 | +| **审批麻痹**（风险 #1） | 人工防线失效 | ① 审批耗时分析：过快批准（<30 秒读完一份申报说明？）打标抽查；② 定期**掺入演习样本**（故意构造的坏 Proposal 进审批流，考核是否被识别——事先告知制度存在、不告知具体时间）；③ 审批人轮换与双人抽复核；④ 包络放宽让常规单出人工队列，人工只看真正的异常单——**减少审批量比要求审批人更专注更有效** | +| 旁路通道（平台外人工申报/控制） | 账本失真、审计盲区 | 通道收敛治理（06 篇）+ 对账：交易平台/计量回流数据与账本比对，发现平台外效果即告警 | +| 状态机实现缺陷（悬挂丢失、重复放行） | 重复申报/漏批 | 幂等 + 乐观并发（I5）；混沌测试（09 篇 §8）；Permit 唯一性数据库约束兜底 | + +## 4. 执行与控制失效（物理域） + +| 失效模式 | 后果 | 处置 | +|---|---|---| +| 边缘终端执行中故障 / 设备部分接受指令 | 削减量缺口 | 聚合层包络内再平衡（04 篇快速路径）；缺口超包络 → 事件升级慢路径重排 | +| 省级↔边缘通信中断 | 失控风险 | 边缘断连策略（04 篇 §3）：续行批准计划 → 到期转安全曲线；恢复后留痕补传 | +| 指令重放/重复 | 重复动作 | 指令签名 + 幂等键 + Permit 时效 | +| 控制振荡（纠偏回路互相打架） | 设备损耗、曲线抖动 | 纠偏冷却时间 + 死区 + 速率限制进入指令分解约束；振荡模式检测告警 | +| 错误削减敏感负荷 | 安全/民生事件 | **源头治理**：资源准入审查排除保安负荷（合同层面）；设备级保护约束在边缘本地强制（不信任上游指令）；此域残余风险低但永不为零，准入清单年审 | + +> 物理域总注：平台只在**合同约定的可调范围**内生成建议，且指令必经许可与边缘保护双重 +> 校验，物理爆炸半径被设计约束在「可中断合同容量」内——这是与传统调度系统的本质区别， +> 也是向评审说明安全性的核心论点。 + +## 5. 数据失效 + +| 失效模式 | 后果 | 处置 | +|---|---|---| +| 遥测缺失/迟到/坏值 | 预测与画像失真 | 质量门禁（05 篇）+ **数据质量随血缘传播**：用了降质数据的 Proposal 打标，包络检查对降质决策收紧 | +| 静默漂移（表计更换、传感器重校准未通知） | 缓慢累积的系统性偏差 | 漂移检测（分布对比）+ 主数据变更流程要求换表报备 | +| 计量迟到 | 复盘/结算延迟 | 账本「暂估/确认」两态记账，确认后差异重算 | +| 快照存储损坏 | I7 重放能力受损 | 快照校验和 + 异地备份；重放能力纳入季度演练 | + +## 6. 安全威胁（简表，详细威胁建模另行专项） + +| 威胁 | 关键防线 | +|---|---| +| 审批凭证被盗 → 伪造批准 | 强认证 + I2 职责分离（单一凭证不足以走完链路）+ 异常审批模式检测 | +| 内部人员滥用 | 最小权限 + 全留痕 + 双人制关键操作 | +| 控制通道入侵 | 04 篇 §5 旁路监测 + 通道熔断（熔断即边缘安全态，故障安全设计） | +| RAG 知识库投毒 | 知识条目变更走评审工作流（05 篇），来源可溯 | + +## 7. 项目级风险（08 篇 §5 扩展） + +| 风险 | 处置补充 | +|---|---| +| 光明大模型接入滑期/能力不符 | 抽象层 + 评测验收门槛（12 篇）已备；**追加**：一期验收明确不依赖光明接入（M5 影子运行用商用/本地模型即达标），把依赖从关键路径摘除 | +| 外部接口联调滑期 | 06 篇降级通道已备；接口协议对接列为一期即启动的并行工作流 | +| 80 MW 资源目标 | 本质是业务拓展风险非技术风险：交互服务 Agent 的邀约能力二期才上线，一期资源拓展仍靠人工——**向管理层明示这一时序**，避免把资源缺口归因于平台 | +| 四方协作漂移 | 契约即组织边界（11 篇 §4）+ 黄金样例仲裁（接口争议以样例为准，不开会扯皮） | +| KPI 口径博弈（基线漂移把 15% 做成数字游戏） | 12 篇 §4：验收前冻结基线口径并双方签认 | + +## 8. 熔断层级（kill-switch hierarchy，从精准到彻底） + +``` +L0 单笔：Permit 吊销 → 网关拒收该指令，边缘回退（秒级） +L1 单包络：包络挂起 → 该类动作回归全人工（分钟级） +L2 资金：亏损熔断 → 冻结全部自动批准，只允许减仓（分钟级） +L3 通道：控制/申报通道熔断 → 边缘进入断连策略，申报转人工通道 +L4 全平台：AI 建议停用 → 回到纯人工运营（周期流程模板照跑出数据， + 但不产生 Proposal）；业务连续性 = 上线前水平 +``` + +- 每级熔断：谁有权触发（岗位）、触发条件（量化）、恢复条件（量化 + 复盘完成）—— + 三要素在运行手册中逐级明确，**每季度演练至少一级**； +- 设计保证：任何一级熔断后系统状态可解释（账本 + 事件日志一致），恢复不需要「猜现场」。 + +## 9. 【待补充：需业务侧确认的风险参数】 + +> **TODO(业务)**：单日亏损预算（L2 熔断阈值）；承诺缓冲系数 k 的初值； +> 极端日协议的触发气象条件；演习样本制度的频率与考核挂钩方式； +> 各级熔断的授权岗位。这些与 03/07/12 篇的 TODO 合并为「业务参数清单」统一跟踪。