13 · 风险评估与失效模式
按「爆炸半径」组织:资金损失 → 合规 → 物理执行 → 信任。每条失效模式给出
检测手段与处置,最后是全系统的熔断层级。08 篇 §5 的项目级风险在 §7 扩展。
0. 风险排序(最可能造成重大损失的五件事)
| # |
风险 |
为什么排在这 |
| 1 |
审批麻痹(automation complacency):AI 连续数月正确后,人工审批退化为橡皮图章 |
概率随系统变好而上升;一次坏决策抹掉数月收益;纯技术手段无法根治 |
| 2 |
相关性极端日:高温日负荷预测失准 + 用户拒绝响应 + 价格尖峰同时发生 |
各模型按正常日校准,独立性假设在极端日集体失效;损失与考核叠加 |
| 3 |
资源画像陈旧 → 系统性超承诺:画像滞后于现场,申报容量兑现不了 |
偏差考核 + 调度侧信誉损失双重打击;31→80 MW 快速扩容期最危险 |
| 4 |
规则漂移:市场规则修订后政策包未同步 |
轻则废单,重则违规;规则修订频繁是现货市场常态 |
| 5 |
依赖项滑期:光明大模型接入、外部接口联调不受本项目控制 |
二期指标全部悬空;见 §7 |
1. 决策质量失效(资金损失域)
| 失效模式 |
后果 |
检测 |
处置 |
| 预测系统性偏移(天气模式突变、新增大用户改变负荷形态) |
持续亏损的申报 |
L2 在线指标:MAPE 滚动 + 区间覆盖率告警(12 篇) |
预测降级协议:区间覆盖率失准 → 优化器自动改用更宽区间 + 收窄申报敞口 |
| 价格机制突变(负电价、新的价格上限、稀缺定价) |
优化器在没见过的机制下自信地给错解 |
政策包版本 vs 市场公告比对;价格分布漂移检测 |
异常日协议:极端预测/新机制自动降级全人工审批(包络临时挂起) |
| 超承诺(画像高估 + 用户不履约叠加) |
偏差考核罚款、调度信誉受损 |
履约率滚动统计;申报容量 / 核定容量比值监控 |
承诺缓冲系数(申报 < 核定 × k,k 由履约率数据定);现势复核拦截已知失效资源(03 篇) |
| 相关性极端日(风险 #2) |
多重损失叠加 |
气象极端预警联动;影子系统压力日复盘 |
极端日预案:包络自动收缩至保守档 + 提前 D-2 人工推演 + 极端日情景库纳入 L4 回归 |
| 单日亏损失控 |
一天亏掉数月利润 |
日内盯市(mark-to-market)估值 |
亏损熔断:日累计预期损失超预算 → 自动冻结自动批准、只允许减仓类 Proposal |
2. LLM 特有失效
| 失效模式 |
后果 |
防线 |
| 幻觉数字进入申报 |
(被架构阻断) |
P2 + 血缘强制:数字只能是工具输出引用,架构层免疫;L3 不变式测试持续验证该免疫有效 |
| 约束组装错误:LLM 给优化器喂了合法但错误的约束/目标(比幻觉更隐蔽——求解器会认真解错题) |
数学上最优的错误申报 |
规则校核加约束一致性检查(约束 vs 账本 vs 画像互验);审批界面展示约束回显(AI 用的边界条件原样陈列,不只给结论叙事) |
| 提示注入(用户提问、RAG 文档、外部报文夹带指令) |
诱导错误路由/越权 |
工具白名单 + 路由输出枚举约束(09 篇);红队库回归(12 篇 L3);外部内容进上下文前打标为数据非指令 |
| 解释误导审批人(叙事流畅但与数字矛盾) |
加剧风险 #1 |
数字一致性自动比对(12 篇 L1);审批界面数字区与叙事区分离,数字区来自血缘不经 LLM |
| LLM 服务不可用 |
认知平面降级 |
I6:周期流程模板直跑(不需意图解析)、人工直接创建 Proposal 的通道、校核/审批/申报全链路无 LLM 依赖;每季度演练一次无 LLM 运行日 |
3. 可信执行链失效
| 失效模式 |
后果 |
检测/处置 |
| 政策包滞后市场规则(风险 #4) |
废单/违规 |
规则公告监控纳入知识运营职责 + 申报驳回强制回流(05 篇);驳回率突增告警 |
| 包络配置过宽 |
坏动作被自动放行 |
包络内动作的执行偏差流水监控 → 连续超阈自动挂起(03 篇 escalation);包络季度复审制 |
| 审批麻痹(风险 #1) |
人工防线失效 |
① 审批耗时分析:过快批准(<30 秒读完一份申报说明?)打标抽查;② 定期掺入演习样本(故意构造的坏 Proposal 进审批流,考核是否被识别——事先告知制度存在、不告知具体时间);③ 审批人轮换与双人抽复核;④ 包络放宽让常规单出人工队列,人工只看真正的异常单——减少审批量比要求审批人更专注更有效 |
| 旁路通道(平台外人工申报/控制) |
账本失真、审计盲区 |
通道收敛治理(06 篇)+ 对账:交易平台/计量回流数据与账本比对,发现平台外效果即告警 |
| 状态机实现缺陷(悬挂丢失、重复放行) |
重复申报/漏批 |
幂等 + 乐观并发(I5);混沌测试(09 篇 §8);Permit 唯一性数据库约束兜底 |
4. 执行与控制失效(物理域)
| 失效模式 |
后果 |
处置 |
| 边缘终端执行中故障 / 设备部分接受指令 |
削减量缺口 |
聚合层包络内再平衡(04 篇快速路径);缺口超包络 → 事件升级慢路径重排 |
| 省级↔边缘通信中断 |
失控风险 |
边缘断连策略(04 篇 §3):续行批准计划 → 到期转安全曲线;恢复后留痕补传 |
| 指令重放/重复 |
重复动作 |
指令签名 + 幂等键 + Permit 时效 |
| 控制振荡(纠偏回路互相打架) |
设备损耗、曲线抖动 |
纠偏冷却时间 + 死区 + 速率限制进入指令分解约束;振荡模式检测告警 |
| 错误削减敏感负荷 |
安全/民生事件 |
源头治理:资源准入审查排除保安负荷(合同层面);设备级保护约束在边缘本地强制(不信任上游指令);此域残余风险低但永不为零,准入清单年审 |
物理域总注:平台只在合同约定的可调范围内生成建议,且指令必经许可与边缘保护双重
校验,物理爆炸半径被设计约束在「可中断合同容量」内——这是与传统调度系统的本质区别,
也是向评审说明安全性的核心论点。
5. 数据失效
| 失效模式 |
后果 |
处置 |
| 遥测缺失/迟到/坏值 |
预测与画像失真 |
质量门禁(05 篇)+ 数据质量随血缘传播:用了降质数据的 Proposal 打标,包络检查对降质决策收紧 |
| 静默漂移(表计更换、传感器重校准未通知) |
缓慢累积的系统性偏差 |
漂移检测(分布对比)+ 主数据变更流程要求换表报备 |
| 计量迟到 |
复盘/结算延迟 |
账本「暂估/确认」两态记账,确认后差异重算 |
| 快照存储损坏 |
I7 重放能力受损 |
快照校验和 + 异地备份;重放能力纳入季度演练 |
6. 安全威胁(简表,详细威胁建模另行专项)
| 威胁 |
关键防线 |
| 审批凭证被盗 → 伪造批准 |
强认证 + I2 职责分离(单一凭证不足以走完链路)+ 异常审批模式检测 |
| 内部人员滥用 |
最小权限 + 全留痕 + 双人制关键操作 |
| 控制通道入侵 |
04 篇 §5 旁路监测 + 通道熔断(熔断即边缘安全态,故障安全设计) |
| RAG 知识库投毒 |
知识条目变更走评审工作流(05 篇),来源可溯 |
7. 项目级风险(08 篇 §5 扩展)
| 风险 |
处置补充 |
| 光明大模型接入滑期/能力不符 |
抽象层 + 评测验收门槛(12 篇)已备;追加:一期验收明确不依赖光明接入(M5 影子运行用商用/本地模型即达标),把依赖从关键路径摘除 |
| 外部接口联调滑期 |
06 篇降级通道已备;接口协议对接列为一期即启动的并行工作流 |
| 80 MW 资源目标 |
本质是业务拓展风险非技术风险:交互服务 Agent 的邀约能力二期才上线,一期资源拓展仍靠人工——向管理层明示这一时序,避免把资源缺口归因于平台 |
| 四方协作漂移 |
契约即组织边界(11 篇 §4)+ 黄金样例仲裁(接口争议以样例为准,不开会扯皮) |
| KPI 口径博弈(基线漂移把 15% 做成数字游戏) |
12 篇 §4:验收前冻结基线口径并双方签认 |
8. 熔断层级(kill-switch hierarchy,从精准到彻底)
L0 单笔:Permit 吊销 → 网关拒收该指令,边缘回退(秒级)
L1 单包络:包络挂起 → 该类动作回归全人工(分钟级)
L2 资金:亏损熔断 → 冻结全部自动批准,只允许减仓(分钟级)
L3 通道:控制/申报通道熔断 → 边缘进入断连策略,申报转人工通道
L4 全平台:AI 建议停用 → 回到纯人工运营(周期流程模板照跑出数据,
但不产生 Proposal);业务连续性 = 上线前水平
- 每级熔断:谁有权触发(岗位)、触发条件(量化)、恢复条件(量化 + 复盘完成)——
三要素在运行手册中逐级明确,每季度演练至少一级;
- 设计保证:任何一级熔断后系统状态可解释(账本 + 事件日志一致),恢复不需要「猜现场」。
9. 【待补充:需业务侧确认的风险参数】
TODO(业务):单日亏损预算(L2 熔断阈值);承诺缓冲系数 k 的初值;
极端日协议的触发气象条件;演习样本制度的频率与考核挂钩方式;
各级熔断的授权岗位。这些与 03/07/12 篇的 TODO 合并为「业务参数清单」统一跟踪。