vpp-ai-platform/docs/13-risks-failure-modes.md
stewart hu 26c3b13dbd Add risk assessment and failure-mode analysis (doc 13)
Blast-radius-organized FMEA: ranked top-5 risks (approval complacency,
correlated extreme days, stale-profile overcommitment, rule drift,
external dependency slips), per-domain failure tables with detection
and mitigation, new mechanisms (loss circuit-breaker, commitment
buffer, lineage-propagated data-quality flags, drill samples), and a
five-level kill-switch hierarchy with quarterly drills.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_019u5SLNweVio6ozJX7yfxQr

🔮 View transcript: https://logs.lojong.info/s/e8u90k3t33w590r7b5y7yzqh
2026-09-01 21:06:55 -04:00

9.8 KiB
Raw Permalink Blame History

13 · 风险评估与失效模式

按「爆炸半径」组织:资金损失 → 合规 → 物理执行 → 信任。每条失效模式给出 检测手段与处置,最后是全系统的熔断层级。08 篇 §5 的项目级风险在 §7 扩展。

0. 风险排序(最可能造成重大损失的五件事)

# 风险 为什么排在这
1 审批麻痹(automation complacency):AI 连续数月正确后,人工审批退化为橡皮图章 概率随系统变好而上升;一次坏决策抹掉数月收益;纯技术手段无法根治
2 相关性极端日:高温日负荷预测失准 + 用户拒绝响应 + 价格尖峰同时发生 各模型按正常日校准,独立性假设在极端日集体失效;损失与考核叠加
3 资源画像陈旧 → 系统性超承诺:画像滞后于现场,申报容量兑现不了 偏差考核 + 调度侧信誉损失双重打击;31→80 MW 快速扩容期最危险
4 规则漂移:市场规则修订后政策包未同步 轻则废单,重则违规;规则修订频繁是现货市场常态
5 依赖项滑期:光明大模型接入、外部接口联调不受本项目控制 二期指标全部悬空;见 §7

1. 决策质量失效(资金损失域)

失效模式 后果 检测 处置
预测系统性偏移(天气模式突变、新增大用户改变负荷形态) 持续亏损的申报 L2 在线指标:MAPE 滚动 + 区间覆盖率告警(12 篇) 预测降级协议:区间覆盖率失准 → 优化器自动改用更宽区间 + 收窄申报敞口
价格机制突变(负电价、新的价格上限、稀缺定价) 优化器在没见过的机制下自信地给错解 政策包版本 vs 市场公告比对;价格分布漂移检测 异常日协议:极端预测/新机制自动降级全人工审批(包络临时挂起)
超承诺(画像高估 + 用户不履约叠加) 偏差考核罚款、调度信誉受损 履约率滚动统计;申报容量 / 核定容量比值监控 承诺缓冲系数(申报 < 核定 × k,k 由履约率数据定);现势复核拦截已知失效资源(03 篇)
相关性极端日(风险 #2) 多重损失叠加 气象极端预警联动;影子系统压力日复盘 极端日预案:包络自动收缩至保守档 + 提前 D-2 人工推演 + 极端日情景库纳入 L4 回归
单日亏损失控 一天亏掉数月利润 日内盯市(mark-to-market)估值 亏损熔断:日累计预期损失超预算 → 自动冻结自动批准、只允许减仓类 Proposal

2. LLM 特有失效

失效模式 后果 防线
幻觉数字进入申报 (被架构阻断) P2 + 血缘强制:数字只能是工具输出引用,架构层免疫;L3 不变式测试持续验证该免疫有效
约束组装错误:LLM 给优化器喂了合法但错误的约束/目标(比幻觉更隐蔽——求解器会认真解错题) 数学上最优的错误申报 规则校核加约束一致性检查(约束 vs 账本 vs 画像互验);审批界面展示约束回显(AI 用的边界条件原样陈列,不只给结论叙事)
提示注入(用户提问、RAG 文档、外部报文夹带指令) 诱导错误路由/越权 工具白名单 + 路由输出枚举约束(09 篇);红队库回归(12 篇 L3);外部内容进上下文前打标为数据非指令
解释误导审批人(叙事流畅但与数字矛盾) 加剧风险 #1 数字一致性自动比对(12 篇 L1);审批界面数字区与叙事区分离,数字区来自血缘不经 LLM
LLM 服务不可用 认知平面降级 I6:周期流程模板直跑(不需意图解析)、人工直接创建 Proposal 的通道、校核/审批/申报全链路无 LLM 依赖;每季度演练一次无 LLM 运行日

3. 可信执行链失效

失效模式 后果 检测/处置
政策包滞后市场规则(风险 #4) 废单/违规 规则公告监控纳入知识运营职责 + 申报驳回强制回流(05 篇);驳回率突增告警
包络配置过宽 坏动作被自动放行 包络内动作的执行偏差流水监控 → 连续超阈自动挂起(03 篇 escalation);包络季度复审制
审批麻痹(风险 #1) 人工防线失效 ① 审批耗时分析:过快批准(<30 秒读完一份申报说明?)打标抽查;② 定期掺入演习样本(故意构造的坏 Proposal 进审批流,考核是否被识别——事先告知制度存在、不告知具体时间);③ 审批人轮换与双人抽复核;④ 包络放宽让常规单出人工队列,人工只看真正的异常单——减少审批量比要求审批人更专注更有效
旁路通道(平台外人工申报/控制) 账本失真、审计盲区 通道收敛治理(06 篇)+ 对账:交易平台/计量回流数据与账本比对,发现平台外效果即告警
状态机实现缺陷(悬挂丢失、重复放行) 重复申报/漏批 幂等 + 乐观并发(I5);混沌测试(09 篇 §8);Permit 唯一性数据库约束兜底

4. 执行与控制失效(物理域)

失效模式 后果 处置
边缘终端执行中故障 / 设备部分接受指令 削减量缺口 聚合层包络内再平衡(04 篇快速路径);缺口超包络 → 事件升级慢路径重排
省级↔边缘通信中断 失控风险 边缘断连策略(04 篇 §3):续行批准计划 → 到期转安全曲线;恢复后留痕补传
指令重放/重复 重复动作 指令签名 + 幂等键 + Permit 时效
控制振荡(纠偏回路互相打架) 设备损耗、曲线抖动 纠偏冷却时间 + 死区 + 速率限制进入指令分解约束;振荡模式检测告警
错误削减敏感负荷 安全/民生事件 源头治理:资源准入审查排除保安负荷(合同层面);设备级保护约束在边缘本地强制(不信任上游指令);此域残余风险低但永不为零,准入清单年审

物理域总注:平台只在合同约定的可调范围内生成建议,且指令必经许可与边缘保护双重 校验,物理爆炸半径被设计约束在「可中断合同容量」内——这是与传统调度系统的本质区别, 也是向评审说明安全性的核心论点。

5. 数据失效

失效模式 后果 处置
遥测缺失/迟到/坏值 预测与画像失真 质量门禁(05 篇)+ 数据质量随血缘传播:用了降质数据的 Proposal 打标,包络检查对降质决策收紧
静默漂移(表计更换、传感器重校准未通知) 缓慢累积的系统性偏差 漂移检测(分布对比)+ 主数据变更流程要求换表报备
计量迟到 复盘/结算延迟 账本「暂估/确认」两态记账,确认后差异重算
快照存储损坏 I7 重放能力受损 快照校验和 + 异地备份;重放能力纳入季度演练

6. 安全威胁(简表,详细威胁建模另行专项)

威胁 关键防线
审批凭证被盗 → 伪造批准 强认证 + I2 职责分离(单一凭证不足以走完链路)+ 异常审批模式检测
内部人员滥用 最小权限 + 全留痕 + 双人制关键操作
控制通道入侵 04 篇 §5 旁路监测 + 通道熔断(熔断即边缘安全态,故障安全设计)
RAG 知识库投毒 知识条目变更走评审工作流(05 篇),来源可溯

7. 项目级风险(08 篇 §5 扩展)

风险 处置补充
光明大模型接入滑期/能力不符 抽象层 + 评测验收门槛(12 篇)已备;追加:一期验收明确不依赖光明接入(M5 影子运行用商用/本地模型即达标),把依赖从关键路径摘除
外部接口联调滑期 06 篇降级通道已备;接口协议对接列为一期即启动的并行工作流
80 MW 资源目标 本质是业务拓展风险非技术风险:交互服务 Agent 的邀约能力二期才上线,一期资源拓展仍靠人工——向管理层明示这一时序,避免把资源缺口归因于平台
四方协作漂移 契约即组织边界(11 篇 §4)+ 黄金样例仲裁(接口争议以样例为准,不开会扯皮)
KPI 口径博弈(基线漂移把 15% 做成数字游戏) 12 篇 §4:验收前冻结基线口径并双方签认

8. 熔断层级(kill-switch hierarchy,从精准到彻底)

L0  单笔:Permit 吊销                    → 网关拒收该指令,边缘回退(秒级)
L1  单包络:包络挂起                     → 该类动作回归全人工(分钟级)
L2  资金:亏损熔断                       → 冻结全部自动批准,只允许减仓(分钟级)
L3  通道:控制/申报通道熔断              → 边缘进入断连策略,申报转人工通道
L4  全平台:AI 建议停用                  → 回到纯人工运营(周期流程模板照跑出数据,
                                          但不产生 Proposal);业务连续性 = 上线前水平
  • 每级熔断:谁有权触发(岗位)、触发条件(量化)、恢复条件(量化 + 复盘完成)—— 三要素在运行手册中逐级明确,每季度演练至少一级;
  • 设计保证:任何一级熔断后系统状态可解释(账本 + 事件日志一致),恢复不需要「猜现场」。

9. 【待补充:需业务侧确认的风险参数】

TODO(业务):单日亏损预算(L2 熔断阈值);承诺缓冲系数 k 的初值; 极端日协议的触发气象条件;演习样本制度的频率与考核挂钩方式; 各级熔断的授权岗位。这些与 03/07/12 篇的 TODO 合并为「业务参数清单」统一跟踪。