power-market-trading-docs/pjm/design_models_zh.md
Renewable Trading Docs 3953762847 Initial commit: bilingual (EN/ZH) research & design doc set
- pjm/: market primer (new, written for Chinese readers), product design
  (Models A-C, newsvendor, BORD, glossary), US vendor due diligence
- china/: market & vendor DD (Doc 136/394, MLT-spot deep dive, six vendors,
  glossary), product design (Model D MLT position optimizer with math)
- All documents in matched EN/ZH pairs; README with document map and
  conventions (incl. CJK bold-spacing rule)
2026-07-11 00:32:27 +00:00

301 lines
25 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# PJM 新能源日前竞价的预测模型设计
**工作设计文档 —— v0.12026年7月**
背景我们正在建设一项竞价优化业务模式二SaaS并预留向模式三——资产管理/市场主体服务——迁移的路径),帮助可再生能源发电商向 PJM 提交日前DA报价。本文档记录支撑竞价优化器的三个核心预测模型的背景与技术设计供后续讨论与迭代。英文原版`design_models_en.md`。
---
## 〇、三个模型如何协同
产品的核心循环是一个 **报童式电量决策** 可再生电站的最优日前承诺量是其出力预测分布的某个分位数分位数的选取取决于预期的日前实时DART价差与结算结果的不对称性并按电站出力误差与价差之间的协方差进行修正。
```
┌─────────────────────┐
│ 模型 B出力预测 │──── 出力分位数(分电站、分小时)
└─────────────────────┘ │
┌─────────────────────┐ 状态特征 ┌──────────────────┐
│ 模型 A日前价格 │──────────────────────────▶│ 竞价优化器 │──▶ 日前报价曲线
│ (水平,粗颗粒) │ │ (报童模型 + │ (电量腿 + 价格腿)
└─────────────────────┘ │ 协方差修正) │
┌─────────────────────┐ └──────────────────┘
│ 模型 CDART 价差 │──── 价差分位数(分节点、分小时)
└─────────────────────┘
```
精度要求的分工:
| 模型 | 所需精度 | 在竞价中的角色 |
|---|---|---|
| A. 日前价格水平 | **低** (状态/粗颗粒) | 为模型 C 提供状态条件;报价下限附近的负电价尾部概率;收入预期 |
| B. 出力 | **高** (经校准的分位数) | 竞价的电量轴 |
| C. DART 价差 | **高** (条件分布,尤其尾部) | 选取承诺的出力分位数 |
驱动该架构的核心洞察对按电量竞价的可再生电站DART 价差与自身出力分布共同决定最优报价绝对价格水平只在三处相关a作为价差的条件状态b报价下限附近的尾部负电价/经济性弃电c报告与套保。
---
## 一、模型 A——日前价格水平粗颗粒/状态模型)
### 1.1 目的
并非交易台级的价格预测。只承担三项窄范围任务:
1. 对明日的 **状态分类** :如 {宽松 / 正常 / 紧张 / 稀缺} 与 {气电边际 / 煤电边际 / 新能源过剩},作为模型 C 的条件特征。
2. **报价下限尾部概率** :逐小时的 P(节点 LMP < 下限)对日前与实时分别计算——即负电价分类器它决定出力的"中标概率加权"对模型 B 分布的截断与报价曲线的价格腿
3. 用于客户收入报告与套保支持的 **预期价格水平**
### 1.2 为什么我们 **不** 复刻 SCUC
日前价格是 PJM 安全约束机组组合/经济调度SCUC/SCED的输出因此完整的结构化复刻Dayzer/PROMOD 在概念上"正确"但在次日尺度上实践中处于劣势
- **报价在竞价时保密** 4 个月后脱敏发布)。边际机组的成本重构误差恰好落在定价之处
- **日前市场不是纯物理 SCUC** 虚拟交易INC/DEC/UTC把日前价推向市场对实时的预期物理复刻完全错过这一金融层
- **网络模型属 CEII 受限信息** 每日监控的约束与运行限额随调度员判断变化阻塞——节点间的差异来源——是最难复刻的成分
- **SCUC 是组合优化** 微小的输入误差会离散地翻转机组组合决策即便 PJM 自己的解也带容差并不唯一
- **市场外的调度员行为** 事前不可观测
经验共识对明日价格统计/机器学习模型胜过结构化复刻结构化模型的优势在反事实分析阻塞解剖长期尺度与新格局
### 1.3 我们的路线:"复刻 SCUC 的逻辑,而非它的解"(轻量混合)
构建一个 **简化的供给堆栈视图** 生成特征再由统计模型学习残差映射
- **堆栈紧张度** PJM 负荷预测减去可用火电容量按停机数据调整再减去全网新能源预测强非线性——在利用率约 93% 以上才显著
- 由重构堆栈与气价信号得出的 **隐含边际燃料 / 状态标志**
- 按客户区域维护的 **约束观察清单** PJM 历史绑定约束数据与计划检修OASIS重构而非依赖潮流模型
统计层梯度提升模型预测期望水平单独的二分类器识别负电价小时特征低负荷预测高全网风光预测周末/节假日春秋季局部阻塞状态)。
### 1.4 数据
| 数据 | 来源 | 成本 |
|---|---|---|
| 日前/实时 LMP电能/阻塞/损耗分量 | PJM Data Miner`da_hrl_lmps`、`rt_hrl_lmps`、`rt_fivemin_hrl_lmps` | 免费 |
| 负荷预测计量负荷 | PJM Data Miner | 免费 |
| 全网风/光预测与实际 | PJM Data Miner | 免费 |
| 发电停机合计 MW | PJM Data Miner | 免费 |
| 绑定约束 | PJM Data Miner | 免费 |
| 输电计划检修 | PJM OASIS | 免费 |
| 核电机组状态 | NRC 每日反应堆状态报告 | 免费 |
| 天然气Henry Hub 现货NYMEX 结算价 | EIACME | 基本免费 |
| 天然气东部基差TETCO M3Transco Z6Dominion STCO | Platts / NGI / ICE | 付费——价值最高的付费数据 |
| 气象预报温度辐照+ 集合离散度 | NOAAGFS/HRRR/NDFD)、ECMWF 开放数据 | 免费须自行存档 |
| 邻区 ISO 价格/负荷MISONYISO | 各自公开门户 | 免费 |
### 1.5 须编码的结构性断点
- 机组更替退役新投产 2019 年训练的模型会给 2026 年错误定价)。
- 备用/ORDC 市场规则变更标注日期不信任变更前的历史)。
- PTC/ITC 机组构成漂移见第四节随着周边 PTC 电站陆续走完 10 年窗口历史负电价频率对未来是有偏的预测量
---
## 二、模型 B——概率化出力预测分电站
### 2.1 目的与目标
在美东时间每日约 10:00早于 10:30 日前闭市给出明日每小时电站 *可用* 出力的 **经校准的分位数集** P10 / P25 / P50 / P75 / P90竞价优化器承诺该分布的某个分位数——点预测在结构上就不够用
预测时长竞价时点约 1438 小时 数值天气预报NWP承载几乎全部信号该尺度下持续性外推毫无价值
### 2.2 架构:两阶段管线
**第一阶段——气象到功率模型(分场站)。**
用梯度提升树或类似方法学习"NWP 预报 SCADA 出力"的映射它自动吸收电站的真实功率曲线尾流损失逆变器削顶地形效应积灰以及天气模型在该位置的系统偏差
> **关键规则:用预报气象训练,而非实测气象。** 模型必须端到端地学习 NWP 的误差特性;用测风塔实测训练、再用 NWP 输入预测,实盘表现会退化。
**第二阶段——分布层。** 三条可互换的路线
1. **分位数回归** pinball loss每个分位数一个模型)——默认起点现代 GBM 库原生支持
2. **NWP 集合** ECMWF 51 成员把每个成员穿过第一阶段模型 51 条出力情景 读出经验分位数附加好处集合保留了 *跨小时的时间相关性* 低风情景整日皆低对关心多小时形态的竞价优化很有价值
3. **类比/误差修饰法** 以点预测为中心套上相似条件相似预报水平季节天气格局下的历史误差分布
### 2.3 校准——原文所说的"金子"
若声称的概率是诚实的长期看实际出力低于"P10"的频率约为 10%预测即为校准的用可靠性图检验分箱历史统计超越频率对照名义值
为何这是最值得死磕的事整套竞价策略就是"承诺分位数 q"。若分位数失准——比如你的"P50"实际只有 40% 的时间被超越常见的乐观偏差)——那么每一笔报价都系统性偏斜你在结构性地超卖日前在实时回购校准误差一比一转化为结算损失而实践中的馈赠是即便预测购自供应商 **你也可以自行重新校准** ——只需你的 SCADA 存档与供应商预测存档做分位数映射对照其声称分位数与你的实现超越频率并调整)。小项目高回报——这就是"历史 SCADA 对预测误差是金子"的含义保存收到过的每一份预测这份存档会持续升值
两个悄悄毒化校准工作的因素
- **弃电污染。** SCADA 记录的是 *实发* 不是 *可发* 若被 PJM 经济性调减或局部约束限电)、或被你自己的下限逻辑压住记录出力低估了能力用被污染的数据校准模型会"学会"大风/大晴天发得更少必须重构"可用功率"——现代 SCADA 多可由机舱测风或逆变器无约束能力计算潜在功率信号以其为真值并标注弃电时段
- **可用率与气象误差分离。** 某串机组检修停运不是气象预报误差要么把真值折算到可用容量要么把计划可用率作为特征输入把停机误差混入气象误差会以错误的理由撑肥分位数——且注意其不对称性非计划停机只做减法专门加厚分布的下尾
### 2.4 自建还是外购
- **外购** 供应商SolargisMeteomaticsULDNV 等众多 13 千美元/场站/适合起步但务必保留内部的 *重校准与评估* 每季度用 pinball loss 在自己的 SCADA 上给供应商打分并行采购两家一年后留优或加权融合——两家独立供应商的简单平均常常双双胜出)。
- **自建** 适合组合规模化之后管线成本被摊薄可定制目标自有弃电逻辑下的可用功率保证时点存档与优化器直接集成
- **商业模式优势跨客户学习** 管理多个电站的 SCADA 合同条款须允许气象到功率模型可跨场站迁移NWP 偏差可按区域而非按站校准全网预测误差日价差的驱动因素变得可观测客户合同从第一天起就要明确允许汇聚/脱敏的模型训练事后补条款很痛苦
### 2.5 精度预期(日前尺度)
- 光伏点预测约为容量的 510%RMSE 口径随气候而异)。
- 风电 815%功率约与风速三次方成正比速度误差被放大)。
- 但评判要看 **分布** 跨分位数的 pinball loss + 聚焦尾部的可靠性并对照气候学修饰的持续性外推这一朴素基线
---
## 三、模型 C——DART 价差模型(分节点)
### 3.1 目的
赚钱的模型输出分小时分节点的 **S = DA RT 条件分位数** 用于选取承诺的出力分位数报童模型并按客户自身出力误差与价差的协方差进行修正
### 3.2 目标变量的统计性格
- **无条件均值近零由机制决定** 虚拟交易会套走任何持续的可预测缺口残留的是小幅条件风险溢价日前在预期稀缺时段偏贵与瞬时无效率低信噪比预期 R² 平平价值在条件结构与尾部
- **剧烈不对称的尾部** 日前是平滑的预期实时是带刺的实现稀缺加价可打出 850 美元以上新能源过剩带来负实时价)。左尾肥实时飙过日前)、右尾中等实时崩塌)。 S 的高斯假设是失格的
- **日间自相关弱条件结构强** 小时季节紧张度气象不确定性)。
### 3.3 先分解再建模
```
S_node = S_system枢纽/电能分量) + S_congestion节点的日前实时阻塞差
```
- **S_system** 总量供需——负荷预测误差全网新能源预测误差日前闭市后的强迫停机备用稀缺 PJM 共用一次建成服务所有客户
- **S_congestion** 实时绑定而日前未定价的约束或反之)——输电强迫停运意外潮流对新能源聚集区常为主导且 *更可预测* 停运期间实时阻塞有持续性)。逐节点工作 **我们可防御的 IP 层**
两个市场的 LMP 分量在 Data Miner 中均有披露分解可直接由历史计算
### 3.4 有效的架构:状态分类 × 条件分布 × 协方差
**阶段 A——尖峰/状态分类器(主导盈亏的离散事件):**
- P(实时飙过日前)紧张度备用裕度极端温度预报 *及其集合不确定性* 高全网新能源预报欠发风险)、近期强迫停机日型
- P(实时崩塌/负实时价)全网新能源预报低负荷非灵活基荷占比局部约束状态 **与模型 A 的负电价分类器共享基础设施。**
**阶段 B——条件价差分位数** 给定状态概率用连续特征做分位数 GBM或从状态匹配的历史价差分布做类比抽样
**阶段 C——出力价差协方差修正本业务的独有优势** 全网超发的日子恰好压垮实时价也恰好是客户超发的日子——出力误差与 S 负相关使超量申报受罚实现方式把客户自身出力预测误差作为价差模型的条件变量或在状态内估计相关性并对报童分位数做解析修正通用价格商会跳过这一步我们不能
### 3.5 特征集(按经验预期的阿尔法排序)
1. **紧张度** 负荷预测 可用容量 93% 利用率以上呈强非线性
2. **新能源预报水平及其 *修订速度*** 近几轮 NWP 周期间的变化临近的重大修订 日前基于陈旧信息出清 价差机会)。
3. **气象预报不确定性** 集合离散度)——实时波动的燃料
4. **节点近期的实时对日前阻塞差** + 约束绑定频率交叉对照输电计划检修
5. **虚拟交易成交总量** 滞后披露)——套利效率的状态变量
6. **日历交互项** 小时 × 季节+ 结构断点标志规则变更)。
### 3.6 评估协议
- **对残酷基线 S 0"市场有效" pinball loss** 在时点纪律之下持续地在样本外战胜它是真难事回测大胜 先查泄漏再庆祝
- **经济回测** 完整报童循环对照朴素 P50 竞价关键指标是 美元/MWh 提升好的实现约 0.52 美元/MWh)。
- **专门的尾部校准** P5/P95以及 **分状态切片** 评估——平均表现尚可的模型往往在每年驱动盈亏的那约 30 天里一塌糊涂
### 3.7 组合风险(生存级,而非统计级)
客户整体做多新能源 模型误差在 **全账簿相关** 对全网超发导致实时崩塌的那一天判断失误就是对每个风电客户同时失误第一天起的一级风险指标跨客户合计的日前多头倾斜 MWh并对尖峰情景做压力测试
---
## 四、横切议题:报价下限、税收抵免与价格腿
电量腿来自模型 B + C须与 **价格腿** 配对后者由各资产的真实边际成本决定而边际成本取决于其税收抵免选择
| 资产类型 | 边际成本 | 理性报价下限 | 负电价时是否发电 |
|---|---|---|---|
| PTC10 年窗口内 | PTC × 税收放大 | 25 35 美元/MWh | 直至下限 |
| ITC | 0 | 0 美元/MWh | |
| PTC 窗口期满 11 年起 | 0 | 0 美元/MWh | |
- PTC 27.530 美元/MWh随通胀调整满足工资/学徒要求按发电量支付 10 把下限推为负值ITC资本开支的 30% 以上按投资支付不影响边际成本
- IRA 2025 年起使抵免技术中立45Y/48E)——高利用率光伏日益选择 PTC 光伏机组也开始出现负下限结构性变化)。OBBBA2025 7 加速风光退坡一般须 2027 年底前投运含开工安全港)——存量电站保留已锁定的抵免 **逐项目核实最新指引。**
- **与模型 A 尾部任务的交互** 竞价用的预期出力是 *中标概率加权的* E[中标出力] 物理预测 × P(LMP 下限)逐小时对日前与实时分别计算"日前负/实时正""日前正/实时负"两种情形结算迥异)。朴素地使用物理预测恰在弃电风险最高的大发日超量申报最多
- 偏差结算的微妙之处在负实时价期间对日前头寸欠发可能 *有利可图* 以正价卖日前以负价买回)——这正是偏差费用与强制申报规则存在的原因任何逼近该边界的自动竞价逻辑都需要合规审查市场监测机构关注风险)。核实 PJM 现行结算/偏差规则它们会变
### 4.1 BORD 类偏差费用(优化器的一级输入)
"BORD" = PJM **平衡运行备用偏差** 费用——一种成本 *分摊* 机制实际效果是对偏离日前头寸的准罚则
- **机制。** PJM 会产生补偿成本对被组合或调度 LMP 收入不足以覆盖其报价成本的机组做整体补偿)。其中 *平衡* 部分——日前闭市后产生即实时偏离日前计划的成本——按成本因果大量分摊给 **偏差方** 偏离日前计划的发电无论方向)、偏离申报的负荷以及从不实际交割的虚拟交易每偏差 MWh 承担一个按日浮动的 美元/MWh 费率与当日补偿成本及总偏差 MWh 挂钩
- **对竞价的影响。** 给报童目标函数的偏差腿增加第二项每一 MWh |Q_rt Q_da| 都要分摊费用它是对"偏离预期出力下注"的摩擦/交易成本——预期费率越高最优分位数越向 P50 回拢优化器因此需要偏差费率或其预测作为价差预测之外的并列输入
- **漏洞补丁。** 偏差费用加上市场监测机构的审视使系统性制造"负实时价下的有利欠发"变得昂贵——见上文微妙之处一条
- **注意。** PJM 的补偿成本分摊规则经历过反复诉讼与改革成本科目偏差定义间歇性资源豁免轧差规则)。结算模块必须从现行费率表拉取参数绝不能凭记忆。"BORD "是对这一 *类别* 的简称 **事后、基于成本因果、针对日前对实时偏差的费用。**
- **对照服务于中国业务)。** 中国的"两个细则"通过 *行政绩效考核* 实现偏差约束——按监管设定的预测精度/计划执行阈值罚分与当日系统实际平衡成本基本无关PJM 给外部性定价对可预测的随机 *价格* 优化偏差中国给作业打分对固定的 *规则手册* 优化预测)。这也是中国功率预测市场成为合规采购市场 PJM 从未产生同等强制需求渠道的原因
---
## 五、数据与运营基础设施(共享地基)
### 5.1 时点纪律(不可妥协,适用于全部三个模型)
每个特征都必须反映 **美东时间 10:30 日前闭市前** 实践中约 10:00 快照可得的信息集
- 气象当时实际可得的 NWP 周期 00Z 场次不用更晚周期绝不用实测
- PJM 数据以当时快照为准数据会被修订)。
- 供应商预测按到达原样存档供应商会覆盖)。
- 电站可用率以竞价时点已知为准
训练数据混入闭市后信息 回测虚高实盘"莫名"跑输 **"以当时为准"的存档是复利型商业资产** 无法事后重建——竞争对手花钱也买不到
### 5.2 PJM 准入与许可(商业模式的义务项)
- Data Miner 数据 **仅限内部使用;数据或衍生品的再分发须取得 PJM 再分发许可** 至少 Associate Membership)。我们的预测是否算"衍生数据"必须在产品上线 **之前** PJM 及律师厘清
- 速率限制非会员每分钟 6 次连接对会员 600 ——组合规模化后出于运营需要本就该入会同时也顺带打开再分发路径
- 报价提交模式二"软件代理"变体 / 模式三Markets Gateway API独立且需认证)、凭证管理第三方代理的账户安全规则—— PJM 会员服务确认现行要求
- 商业数据气价指数气象供应商内部使用与再分发是两档定价迥异的授权照此签约
### 5.3 结算反馈闭环
客户的 PJM 结算单是验证模型 C 与经济回测的真值每份客户协议都要约定结算数据的获取权验证 + 模型训练用途)。
---
## 六、建设顺序(建议)
| 阶段 | 交付物 | 涉及模型 |
|---|---|---|
| 1 | **经验价差图谱** 按节点簇/小时/季节的价差分布负实时价与尖峰频率零机器学习可直接作为分析产品售卖为阶段 B 的类比库播种 | C |
| 2 | **时点存档管线** PJM 数据NOAA/ECMWF从第一天起自行存档)。 | ABC |
| 3 | 基于免费 PJM + NOAA 数据的 **系统级状态分类器** 尖峰/崩塌负电价分类器A/C 共享)。 | AC |
| 4 | **节点阻塞层** 近期实时对日前阻塞特征 + 客户实际节点的输电检修交叉对照 | C |
| 5 | **出力预测管线** 供应商方案 + 内部重校准组合规模化后迁移为自建的两阶段管线 | B |
| 6 | 分客户的 **出力–价差联合协方差修正** 需其 SCADA)。 | B + C |
| 7 | **报童竞价优化器** + 对照 P50 朴素基线的经济回测框架 | 全部 |
| 8 | 组合相关性风险看板合计日前倾斜尖峰压力测试)。 | C / 风险 |
| 9 | 二阶升级分布式深度学习联合情景生成结构化堆栈精化 | 全部 |
---
## 七、下一步讨论的开放问题
1. 完整的报童数学含协方差修正与偏差费用不对称性的闭式最优分位数——值得推导并做单元测试
2. 目标客户节点/区域西部风电ComEd/AEP与中大西洋光伏的阻塞故事迥异决定阶段 4 约束库的优先级
3. 出力预测供应商比选设计选哪两家打分协议融合规则)。
4. 混合/储能客户价格水平的 *形态* 预测重回一级重要性套利是水平形态问题)——路线图的触发点
5. 日内/改报范围PJM 改报窗口与实时策略不在 v1 范围内但影响架构模型 B 的时间相关性需求)。
6. 逼近偏差结算边界的自动竞价逻辑的合规审查清单 PJM 会员服务厘清代理框架
7. 各客户资产的强制申报/容量资源义务——影响最优分位数并约束报价灵活性须按现行规则核实
---
## 附录:术语表
| 术语 | 释义 |
|---|---|
| LMP | 节点边际电价——分解为电能 + 阻塞 + 损耗三个分量 |
| DA / RT | 日前市场美东约 10:30 闭市出清次日逐小时/ 实时市场5 分钟调度与结算 |
| DART 价差S | S = 日前价 实时价模型 C 的对象套利使均值近零尾部肥且不对称 |
| 报童竞价 | 最优日前电量 = 出力分布的某个分位数,分位数由预期价差与结算不对称性决定 |
| 分位数 / pinball loss | 结果有 X% 概率落于其下的数值 / 训练并评估分位数预测的损失函数 |
| 校准 | 声称概率诚实P10 约有 90% 时间被超越的性质用可靠性图检验 |
| SCUC | 安全约束机组组合——ISO 出清日前市场所解的混合整数优化 |
| 虚拟交易INC/DEC/UTC | 纯金融性的日前头寸从不物理交割将日前价套向实时预期 |
| 补偿成本Uplift | 对市场收入不足以覆盖报价成本启动空载最小运行的机组的整体补偿 |
| BORD | 平衡运行备用偏差费用——PJM 将实时平衡补偿成本分摊给日前实时偏差方 4.1 |
| ORDC / 稀缺加价 | 运行备用需求曲线——备用短缺时的行政性价格加成实时尖峰的推手 |
| FTR | 金融输电权——对两节点间日前阻塞的套保/投机工具 |
| PTC / ITC | 生产税抵免按发电量美元/MWh10 造就负报价下限/ 投资税抵免按资本开支比例下限约 0)——见第四节 |
| 报价下限 | 低于该价格电站宁可弃电的价格腿PTC 资产约为 PTC × 税收放大ITC 资产约为 0 |
| 强制申报 / RPM | 容量资源向日前市场申报的义务 / PJM 容量市场可靠性定价模型 |
| BTM | 表后如从观测负荷中净掉的屋顶光伏 |
| NWP | 数值天气预报GFSHRRRECMWF集合 = 多组扰动初值的场次,预报不确定性特征的来源 |
| SCADA | 电站监控与数据采集——出力可用率弃电记录的真值 |
| 时点纪律 | 所有训练/回测特征只能反映美东 10:30 日前闭市前可得的信息 5.1 |
| Data Miner 2 / Markets Gateway | PJM 的公开数据 API / PJM 的认证报价提交 API |
| QSE / 调度代理 | 持有市场主体基础设施代资产提交报价并处理结算的实体 |