shu/power-market-trading-docs
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Add Chinese translations for the five remaining EN-only docs

Browse Source 
Makes the repo fully bilingual: every _en.md now has a matching _zh.md
sibling with identical section structure.

New translations:
- primers/technical_newsvendor_zh.md
- primers/technical_scuc_sced_zh.md
- primers/technical_stochastic_optimization_zh.md
- markets/us/field_guide_zh.md
- markets/us/forecasting_open_ecosystem_zh.md

README: link the new _zh docs and drop the "EN only" / awaiting-translation
markers. Translations follow house conventions (CJK bold padding, arabic
section-number parity, shared bilingual glossary, _zh cross-doc links).

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
Renewable Trading Docs 2026-07-20 07:39:50 -04:00
parent 18e5d7eee1
commit a5c0a2ccc9
6 changed files with 1008 additions and 10 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

18
README.md
View File

@ -20,11 +20,9 @@ re-verification before external use.
## Document map 文档地图
Documents exist in both languages (`_en` / `_zh`) with matching section
structure so the two versions can be read side by side; docs marked
**EN only** are awaiting translation.
文档以英文与中文两个版本并存（`_en` / `_zh`），章节结构一一对应，可对照阅读；
标注 **EN only** 的文档中文版待补。
Every document exists in both languages (`_en` / `_zh`) with matching section
structure so the two versions can be read side by side.
每一份文档都以英文与中文两个版本并存（`_en` / `_zh`），章节结构一一对应，可对照阅读。
### `primers/` — Background primers 背景入门读物
@ -46,18 +44,18 @@ Market-neutral educational material — no venture-specific analysis.
| Doc 文档 | EN | 中文 | Contents 内容 |
|---|---|---|---|
| Power grid & AC fundamentals 电网与交流电基础 | [technical_power_grid_ac_fundamentals_en.md](primers/technical_power_grid_ac_fundamentals_en.md) | [technical_power_grid_ac_fundamentals_zh.md](primers/technical_power_grid_ac_fundamentals_zh.md) | Grid structure, AC, impedance, inductors, capacitors, and Kirchhoff’s laws. 电网结构、交流电、阻抗、电感、电容与基尔霍夫定律。 |
| SCUC & SCED | [technical_scuc_sced_en.md](primers/technical_scuc_sced_en.md) | EN only | The two optimization problems that clear US wholesale markets; N-1 security, LMP as dual variables. 出清美国批发市场的两大优化问题。 |
| SCUC & SCED | [technical_scuc_sced_en.md](primers/technical_scuc_sced_en.md) | [technical_scuc_sced_zh.md](primers/technical_scuc_sced_zh.md) | The two optimization problems that clear US wholesale markets; N-1 security, LMP as dual variables. 出清美国批发市场的两大优化问题。 |
| PJM market PJM 市场 | [market_pjm_en.md](primers/market_pjm_en.md) | [market_pjm_zh.md](primers/market_pjm_zh.md) | PJM explained for readers familiar with China's market. 面向熟悉中国市场读者的 PJM 入门。 |
| Newsvendor 报童模型 | [technical_newsvendor_en.md](primers/technical_newsvendor_en.md) | EN only | The newsvendor problem applied to electricity bidding — underpins the bid loop in `markets/us/pjm/design_models_*`. 报童模型在电力竞价中的应用。 |
| Stochastic optimization 随机优化 | [technical_stochastic_optimization_en.md](primers/technical_stochastic_optimization_en.md) | EN only | Stochastic optimization in power systems — scenarios, recourse, hydro, offering under uncertainty. 电力系统中的随机优化。 |
| Newsvendor 报童模型 | [technical_newsvendor_en.md](primers/technical_newsvendor_en.md) | [technical_newsvendor_zh.md](primers/technical_newsvendor_zh.md) | The newsvendor problem applied to electricity bidding — underpins the bid loop in `markets/us/pjm/design_models_*`. 报童模型在电力竞价中的应用。 |
| Stochastic optimization 随机优化 | [technical_stochastic_optimization_en.md](primers/technical_stochastic_optimization_en.md) | [technical_stochastic_optimization_zh.md](primers/technical_stochastic_optimization_zh.md) | Stochastic optimization in power systems — scenarios, recourse, hydro, offering under uncertainty. 电力系统中的随机优化。 |
### `markets/us/` — US market reference 美国市场综述
| Doc 文档 | EN | 中文 | Contents 内容 |
|---|---|---|---|
| Field guide 实务指南 | [field_guide_en.md](markets/us/field_guide_en.md) | EN only | Bidding, trading, and the impact of AI — consolidated working discussions, July 2026. 竞价、交易与 AI 影响综合笔记。 |
| Field guide 实务指南 | [field_guide_en.md](markets/us/field_guide_en.md) | [field_guide_zh.md](markets/us/field_guide_zh.md) | Bidding, trading, and the impact of AI — consolidated working discussions, July 2026. 竞价、交易与 AI 影响综合笔记。 |
| Economists survey 经济学家综述 | [economists_survey_en.md](markets/us/economists_survey_en.md) | [economists_survey_zh.md](markets/us/economists_survey_zh.md) | How economists shaped US electricity markets — theory, practice, milestones. 经济学家如何塑造美国电力市场——理论、实践与里程碑。 |
| Forecasting open ecosystem 预测开放生态 | [forecasting_open_ecosystem_en.md](markets/us/forecasting_open_ecosystem_en.md) | EN only | Open US wholesale-market datasets, models, benchmarks, structural tools, and evaluation design for price, load, renewable, and capacity forecasting. 美国批发电力市场预测的开放数据、模型、基准、结构化工具与评估设计。 |
| Forecasting open ecosystem 预测开放生态 | [forecasting_open_ecosystem_en.md](markets/us/forecasting_open_ecosystem_en.md) | [forecasting_open_ecosystem_zh.md](markets/us/forecasting_open_ecosystem_zh.md) | Open US wholesale-market datasets, models, benchmarks, structural tools, and evaluation design for price, load, renewable, and capacity forecasting. 美国批发电力市场预测的开放数据、模型、基准、结构化工具与评估设计。 |
### `markets/us/pjm/` — PJM product research PJM 产品研究

370
markets/us/field_guide_zh.md Normal file
View File

@ -0,0 +1,370 @@
# 美国电力市场：实战指南
*报价、交易，以及 AI 带来的影响 —— 汇编自 2026 年 7 月一系列工作研讨。*
---
## 目录
1. [市场如何出清](#1-市场如何出清)
2. [市场主体如何竞争](#2-市场主体如何竞争)
3. [真正的优势藏在哪里](#3-真正的优势藏在哪里)
4. [AI 如何改变格局](#4-ai-如何改变格局)
5. [搭建一套报价系统](#5-搭建一套报价系统)
6. [中国：市场结构与落地](#6-中国市场结构与落地)
7. [开放问题](#7-开放问题)
8. [参考资料与延伸阅读](#8-参考资料与延伸阅读)
---
## 1. 市场如何出清
整个格局分裂为两个世界： **市场运营机构** （美国七大 ISO/RTO —— PJM、CAISO、ERCOT、MISO、NYISO、SPP、ISO-NE）负责 *出清* 市场，而 **市场主体** （发电商、电池、交易员、对冲基金）向市场 *报价* 。本指南中的一切，都落在这条分界线的某一侧。
### 1.1 出清算法（ISO/RTO 侧）
其核心是大规模的 **混合整数规划** ，而非机器学习：
- **SCUC（安全约束机组组合）** 出清日前市场 —— 一个庞大的 MILP，用商业求解器（Gurobi / CPLEX / Xpress）求解，在网络与可靠性约束下决定机组组合。
- **SCED（安全约束经济调度）** 在实时市场中每 5 分钟运行一次（LP/QP），产出 **节点边际电价（LMP）** ，并将其分解为能量 + 阻塞 + 损耗。
- 能量与辅助服务在同一次出清中联合优化。
**出清侧的活跃前沿：** 针对非凸性的凸包定价 / 扩展 LMP；应对可再生能源不确定性的随机机组组合与鲁棒机组组合；以及机器学习加速的优化 —— 学习式热启动、有效约束预测、输电约束筛选（由 ARPA-E 电网优化竞赛推动）。
### 1.2 两结算体系：日前 vs. 实时
七大 ISO 全部采用两结算（日前 + 实时）设计。 **一句话概括：日前是成交量和资金所在，实时是风险所在。**
**日前市场（DAM）**
- 在多数设计中是主市场；美国 ISO 中约 90–95%+ 的物理电量以日前价格进行财务结算
- 每日通过一次拍卖出清，带完整网络建模
- 是远期曲线的参考价格；多数套保以此为锚
- 是经典学术意义上的电价预测（EPF）问题
**实时（平衡）市场**
- 仅结算相对日前头寸的偏差 —— 成交量小，但波动极大
- 价格可在几分钟内从 $30 冲到 $3,000+/MWh（或深度负值）
- 对以下场景至关重要：风险管理、电池、快速爬坡的调峰机组、需求响应、日前–实时价差交易者
- 电池运营商的能量套利收入往往主要来自实时波动
预期实时价格锚定日前价格（虚拟报价平均而言会套利二者的差异），但实现的实时价格噪声要大得多。对多数市场主体而言，实用的预测优先级是：（1）日前小时价格，（2）日前–实时价差，（3）日内/实时 —— 若你运营储能或快速响应资产，则此顺序 *反转* 。
参与者侧独具美国特色的要素： **虚拟报价** （INC/DEC）、 **FTR/CRR 拍卖** ，以及快速增长的 **电池储能报价** 这一专门领域。
---
## 2. 市场主体如何竞争
### 2.1 电价预测：一切的基础
电力无法大规模存储，因此价格反映的是瞬时供需平衡，既可能飙升也可能转负。预测方法可归为三大类，通常混合使用：
**基本面（结构）模型** 直接模拟市场本身：负荷预测 vs. 供给曲线（经济调度序位）。关键输入：燃料价格（尤其是天然气，它常常决定边际），可再生能源出力预测，计划内/计划外停运，输电约束，进口/出口。工具：PLEXOS、Aurora、内部的生产成本 / 调度仿真。公用事业公司、大型发电商和 ISO 大量使用。
**统计 / 计量经济模型** —— ARIMA/ARIMAX、用于波动率的 GARCH，以及对温度、天然气、负荷的回归。它们利用强烈的季节性（时段、星期、季节），在"正常"条件和短期预测上表现最佳。
**机器学习模型** —— 梯度提升树、神经网络（LSTM、基于 Transformer 的模型），在天气、负荷、可再生能源、价格、燃料和停运数据上训练。成熟的团队会预测 **完整分布** ，而不只是均值 —— 赚钱或亏钱都发生在分布的尾部。
**实践中：混合。** 用基本面模型给出结构性形态 + 机器学习/统计修正 + 人工交易员判断，尤其针对模型难以处理的事件（寒潮、机组跳闸、异常电网状况）。
**通用关键输入：** 天气预报（最大的单一驱动因素）、天然气价格、可再生能源发电预测、停运计划、输电/阻塞状况。
**技术前沿。** 基准的演进路径是 **LEAR（正则化线性/LASSO）→ 深度神经网络 → 时序架构（LSTM、Transformer）** 。Transformer 模型如今已用于在波动剧烈的市场（如 ERCOT）中预测日前–实时价差，利用负荷 / 光伏 / 风电预测及时序特征，并配合逐步向前（walk-forward）的再训练。调优良好的线性模型仍出人意料地有竞争力；带在线学习的线性+非线性混合架构是当前的一个前沿。实用的 SOTA 正日益走向 **概率化** —— 分位数回归、分布式深度网络、保形预测 —— 因为决策需要的是完整分布，而不是点预测。
### 2.2 策略性报价优化
面向价格制定者的两大 SOTA 框架： **双层优化（MPEC 式）** 与 **强化学习** 。深度强化学习（DDPG + 优先经验回放、PPO、SAC）能处理连续的状态/动作空间和非凸的运行特性。但 **随机规划与鲁棒优化仍是主力** ，用于在不确定性下联合优化能量 + 辅助服务报价，并以条件风险价值（CVaR）作为标准的风险叠加。
### 2.3 电池储能套利（最热门的领域）
- 经典方法：随机动态规划、在价格情景上的模型预测控制（MPC）、将退化成本纳入目标函数。
- 现代方法：用深度强化学习学习充放电策略； **决策导向学习** （预测以利润为训练目标，而非以准确度为目标 —— 见 §4.4）。
- 研究前沿：分层 / 多智能体强化学习，在两结算体系下协调日前 + 实时报价，并采用风险调整后的奖励（固定策略在市场机制切换下表现挣扎）。
- 行业实践：优化商（Habitat Energy、Gridmatic、Tyba、Fluence Mosaic）以商业化方式运行机器学习预测 + 优化技术栈。
### 2.4 虚拟报价与金融交易（INC、DEC、FTR）
本质上就是量化交易：用梯度提升树（XGBoost/LightGBM）和深度网络在节点粒度上预测日前–实时价差，特征取自天气、负荷/可再生能源预测误差、停运和阻塞模式。组合构建在风险限额下进行；FTR 拍卖还额外引入了阻塞租金的情景优化。
### 2.5 新兴方向
- **在线 / 无悔学习** —— 报价策略直接从市场结果中更新，并带有次线性的悔值保证。
- **多智能体强化学习** —— 用于市场仿真和市场力分析的纳什均衡近似。
- **LLM 增强的交易框架** —— 非常早期，开始出现在文献中。
- **开源基准** —— Grid2Op、RL2Grid、新的两结算报价环境。
### 2.6 行业现实核查
真金白银大多仍靠 **强概率预测 + 经典优化（随机 MIP/MPC）+ 人工交易员判断** 赚取。强化学习目前主要在少数几家成熟团队的储能调度中进入生产。深度学习显然已在 *预测* 层胜出； *决策* 层仍由带机器学习输入的优化主导。
> **一句话概括前沿：** 深度学习/Transformer 已赢下预测层；强化学习正在争夺优化层，但尚未取代随机优化。
两点微妙之处：这两次变革处于 **不同的成熟阶段** —— 深度学习在预测中的接管已经完成（并日益概率化），而强化学习在决策中仍是挑战者，面对的是已部署的随机优化 / MPC。而且 **两层之间的边界正在消融** ：决策导向学习直接以交易利润为目标训练预测，把"先预测后优化"折叠成单一的学习式管线 —— 这可以说是当前最有意思的研究方向（§4.4）。
### 2.7 速查表
| 层 | 已部署的标准做法 | 研究前沿 |
|---|---|---|
| 市场出清（ISO） | MILP SCUC + LP SCED、LMP | 凸包定价、随机机组组合、机器学习加速的优化 |
| 电价预测 | 概率深度网络、GBT、调优的线性模型 | Transformer、混合+在线学习、保形预测 |
| 报价/调度决策 | 随机规划、MPC、双层 MPEC | 深度强化学习（DDPG/PPO/SAC）、分层与多智能体强化学习、无悔在线学习 |
| 预测↔决策接口 | 两阶段先预测后优化 | 决策导向 / 端到端学习 |
| 储能套利 | MPC + 概率预测 | 决策导向学习（DFL）、风险感知的分层强化学习 |
| 虚拟报价 / FTR | GBT/DNN 价差模型 + 组合风险限额 | Transformer 价差预测、LLM 增强框架 |
---
## 3. 真正的优势藏在哪里
### 3.1 可持续优势的层级结构
任何报价系统都可分解为三个功能层：一个 **数据与预测层** ，将天气、电网和市场数据转化为经过校准的概率分布；一个 **优化层** ，在风险约束下将分布转化为报价曲线和头寸；以及一个 **执行与风险层** ，负责提交报价、监控头寸、结算并强化纪律。
这些层的竞争价值并不相等：
1. **预测质量与校准** 占主导。两个市场主体在不同预测上运行相同的优化器，其盈亏会大幅分化；而两个市场主体在相同预测上运行不同（但都够格）的优化器，其结果会相当接近。
2. **执行与风险纪律** 排第二。在拥挤的策略中，那个每个时段都重新优化、从不错过提交窗口、并按自身规则止损的团队，会跑赢不这么做的团队，即便前者没有任何分析上的优势。
3. **优化器建模** 排第三。底层数学（分位数报价、两阶段随机规划、CVaR 约束、储能 MILP）都已公开、已成为通用品；各团队之间的差异在于工艺，而非理论。
对搭建的启示：把最好的工程力量花在预测和回测上，中间层用无聊但久经验证的数学，并把运行可靠性当作一项功能来对待。
### 3.2 内幕信息的迷思（PJM / SCUC-SCED）
一个自然的担忧：一家掌握 PJM 出清算法内情 —— 或是流入其中的报价内情 —— 的供应商，难道不会碾压所有竞争对手吗？这一担忧在细究之下便烟消云散。
**其实并不真正保密的东西。** *算法* 本身：SCUC/SCED 是标准的 MIP/LP 建模，被详尽记录在案（PJM Manual 11/12、OATT、业务实践手册），用 CPLEX/Gurobi 级别的商业求解器求解。有能力的量化团队会依据公开文档搭建"影子 SCED"模型。
**真正保密 —— 且受法律围栏保护的东西：**
| 项目 | 它是什么 | 为何它具有决定性 |
|---|---|---|
| **其他主体的报价/出价** | 仅以脱敏形式发布，约 4 个月滞后 | 日前价格是这些报价的涌现函数 |
| **网络状态** | 状态估计器的实时视图：潮流、电压、拓扑、约束裕度 | 知道下一个将起约束作用的约束 = 在节点价格分化发生之前就看到它 |
| **出力降额** | 机组能力的实时下调（例如一台 900 MW 机组降到 600 MW） | 供给比市场所认为的更紧张 → 在价格飙升之前布好头寸；FERC 案件中经典的重大非公开信息（MNPI） |
| **调度指令** | 5 分钟 SCED 设定值 + 市场之外的运营动作（可靠性组合、手动调度） | 揭示外部模型看不见的决策；可靠性组合会扭曲局部价格 |
使用这些是 **联邦犯罪** ，而非供应商的优势：FERC 反操纵规则（EPAct 2005 之后）涵盖基于重大非公开信息的交易；PJM 员工和系统供应商受保密和交易禁令约束；独立市场监测机构（Monitoring Analytics —— 独立于 PJM 之外）和 FERC 执法办公室会筛查异常盈利。已有先例 —— 针对个人基于非公开电网信息交易的执法案件，而 Powhatan/UTC 事件也表明，即便是激进地钻规则空子，FERC 也会追究。
**为何完美掌握算法本身也走不了多远。** SCED 在 *给定其输入* 时是确定性的，但这些输入事先无从知晓 —— 连 PJM 也不知道。日前价格取决于尚未提交的报价；实时价格取决于强迫停运、天气误差、联络线交换和起约束作用的约束。价格是成千上万私人决策加上物理随机性所涌现的产物。
**真正的差异化在于别处：** 更好的天气集合预报与负荷/可再生能源模型； **预测哪些输电约束将起约束作用** （这是节点市场中真正困难、高价值的问题）；从滞后的公开数据建模报价行为；重建网络拓扑（CEII 模型访问权、FTR 结果、历史影子价格）。
**诚实的残余部分：** EMS/市场软件供应商和前 ISO 员工带着合法的"软"内幕知识 —— 运营人员行为、求解器怪癖、市场之外的动作。它有价值、普遍存在，且合法。真正的护城河： *那些懂得七月稀缺日傍晚 6 点控制室实际会如何运作的人。*
### 3.3 准确的电价预测真是最有价值的事吗？
**不是 —— 对多数市场主体而言，点预测是一项输入，很少是差异化的关键。**
**发电商：期权性与风险，而非预测。** 分布的右尾比均值重要得多 —— 一台调峰机组一年的收入靠寥寥数个稀缺小时挣得；问题在于是 3 个还是 30 个稀缺小时，而不是均价上下浮动 $2/MWh。 **电量–价格相关性风险** 主导套保：恰好在价格飙升时被迫退出（冬季风暴"乌里"（Uri）：远期卖出的发电商在机组冻结时以 $9,000/MWh 买回）。而经济学运行在 **价差而非价格** 之上：火花价差（天然气）、暗价差（煤）、顶底价差（电池）。
**售电主体 / 大买家：负荷预测胜过电价预测。** 敞口是平方级的 —— 炎热的一天意味着高负荷 *且* 高价格。最有价值的是：你自己的负荷预测、套保比例政策，以及形态风险管理。ERCOT 零售商的破产（Griddy）源于未对冲的结构性敞口，而非糟糕的电价预测。
**金融交易者：相对价值、尾部、速度。** 钱在 **价差与阻塞** 里（日前–实时虚拟、UTC、FTR、枢纽到节点的基差）—— 本事在于预测哪些约束会起约束作用。 **校准胜过准确度** ：校准良好的尾部加上恰当的仓位，会跑赢一个更锐利的点预测，并能在爆仓中幸存。 **速度** 很重要：比市场重新定价更快地对机组跳闸、天气模型运行和联络线交换变化作出反应。
**可以说比任何预测都更重要的东西：**
1. **风险管理与资本纪律** —— 坟场里堆满的是风控失败，而非预测失败（GreenHat 的 FTR 违约，1.8 亿美元+被社会化分摊；"乌里"事件的伤亡者）。 *大致正确且确保有偿付能力* 才是赢家。
2. **结构性期权性** —— 电池需要一套好的响应 *策略* ，而非一个预测；做市商赚取价差；结构化交易台赚取风险转移的利润。
3. **理解底层管道** —— 结算规则、附加费用/补足支付、信用机制、FTR 拍卖的怪癖、紧急情况下运营人员的自由裁量。规则知识是持久的；预测优势会衰减。
4. **天气作为上游输入** —— 许多公司最有价值的单一专有资产就是其天气集合预报的处理能力；电价预测在很大程度上是天气 + 燃料 + 停运的衍生物。
> **综合：电价预测是必要的，但护城河低；风险结构化以及对约束/网络的洞察才是真正的差异化因素。** 稀缺的能力是：（a）校准良好的尾部分布，（b）节点级的阻塞洞察，（c）能在判断错误时幸存下来的仓位控制纪律，以及（d）规则/底层管道的专业知识 —— 因此各公司为前控制室运营人员、网络工程师和风险经理支付溢价，其急切程度不亚于对预测人才。 **预测只是入场底注；其他那些才是这场牌局。**
---
## 4. AI 如何改变格局
§3.1 的三层分解是评估当前这波 AI 浪潮的正确视角，因为近来的进展落在各层上极不均匀 —— 而且，很凑巧地，它们恰恰最猛烈地落在最重要的那一层上。
| 层 | 优势排名 | AI 影响 | 成熟度 | 采纳姿态 |
|---|---|---|---|---|
| 预测 | 第 1 | 阶跃式变化（AI 天气集合预报） | 现已投入运行 | 积极采纳；优势正在衰减 |
| 执行 / 风险运营 | 第 2 | 影响大但不起眼（LLM 运营） | 具备人工复核即可投产 | 悄悄采纳；优势会复利累积 |
| 优化器 | 第 3 | 渐进式（决策导向学习） | 研究 → 早期实践 | 试验；保持可审计的结构 |
### 4.1 第 1 层 —— 预测：真正的阶跃式变化
**AI 天气模型的转变。** 对电力交易而言，最具影响力的 AI 进展不是强化学习或语言模型；而是用学习式大气模型替代（或增强）基于物理的数值天气预报（NWP）。里程碑序列短促而陡峭：华为的 **Pangu-Weather** （Nature，2023 年 7 月）在同行评审测试中展示出比传统集合系统快约 10,000 倍的预报；Google DeepMind 的 **GraphCast** （Science，2023 年 12 月）在约 1,380 个验证目标中的约 90% 上超越了 ECMWF 的旗舰 HRES 确定性模型；ECMWF 于 2024 年将其基于 AI 的 **AIFS** 模型转为运行状态 —— 成为首个将学习式模型投入运行的大型气象机构；微软的 **Aurora** 基础模型（Nature，2025 年 5 月）在超过一百万小时的地球物理数据上预训练，以传统计算成本的一小部分，把这一方法扩展到天气、空气质量和海浪预测；而 DeepMind 的 **GenCast** 则把这一架构族推向了概率集合预报。
**学习式大气模型如何工作。** 神经网络接受训练 —— 大多在 ERA5 再分析（约 45 年的逐小时全球大气状态）之上 —— 直接学习"t 时刻的大气 → t+6h 时刻的大气"这一映射，用单次前向传播替代对物理方程的数值积分。架构涵盖三维视觉 Transformer（Pangu）、二十面体网格图神经网络（GraphCast）、图/Transformer 混合体（AIFS）、采样可能未来的扩散模型（GenCast —— 原生概率化），以及预训练的地球物理基础模型（Aurora）。预报以自回归方式滚动展开，这会累积误差，并且 —— 在 MSE 训练下 —— 产生渐进式平滑，从而低估极端值。关键依赖：它们仍然需要来自物理管线的初始条件；数据同化并未被替代。全球分辨率（约 25–31 km）意味着站点级的降尺度/校准更重要，而非更不重要。
**为何经济性比排行榜更重要。** 传统 NWP 在超级计算机上对三维网格单元求解微分方程，每天刷新两到四次，每次的成本达数千美元。学习式模型在 GPU 上于数秒到数分钟内运行，在 12–48 小时的日前窗口内达到准确度对等。由此引出三个后果：
- **速度 → 概率。** 当一次预报运行只花几秒的 GPU 时间时，生成数十乃至数百个集合成员就变得微不足道。整条下游报价管线消耗的是概率分布 —— 用于日前报价的生产分位数、用于失衡风险的价差分布 —— 因此集合预报的经济性直接转化为校准更好的输入，从而带来更好的报价。这是从"近来的 AI"到报价盈亏之间最清晰的因果路径。
- **速度 → 新鲜度。** 商业 AI 天气供应商如今宣称每天多达 24 次运行，而传统 NWP 只有 2–4 次。在两结算市场中，更新鲜的预报在日前收盘到实时交割之间最为重要：实时再报价、日内头寸调整，以及风电和光伏组合的失衡管理。
- **速度 → 迭代（与进入门槛）。** 廉价的重预报驱动回测，而开放的模型权重加上公开的初始条件数据，让任何拥有 GPU 的团队都能获得接近 SOTA 的全球预报 —— 这套基础设施此前需要一个国家气象部门或一份昂贵的供应商合同。
**注意事项与失效模式。** 三点注意事项让这一切保持诚实：
1. **极端值是薄弱环节。** 以均方误差为目标训练的模型会产生平滑的场，从而系统性地低估陡峭梯度 —— 例如剧烈风暴中的峰值风速。电力市场恰恰在尾部赚钱或亏钱（稀缺事件、爬坡、结冰），因此一个在平均 RMSE 上取胜的模型，对于那些主导年度盈亏的小时来说，仍可能是错误的工具。集合式与生成式方法（GenCast 式）能缓解但无法消除这一点。任何采纳计划都应包含针对你自己资产历史的、尾部专项的验证，而不只是看头条的技巧评分。
2. **供应商声称需要独立验证。** 商业 AI 天气领域尚年轻，营销味浓。实用的检验是：做一次付费试点，在 *你的* 节点、 *你的* 变量（轮毂高度风速、阵列平面辐照度、温度驱动的负荷）和 *你的* 损失函数上，与你现有的供应商打分对比 —— 最好用下游的交易指标，而不是气象 RMSE。
3. **优势会衰减。** 这些模型开放或可低价获取，因此仅仅"使用它们"所带来的优势会随采纳扩散而被侵蚀。公开的 AI 抬高了所有人的地板。它无法商品化的，是你把它与什么结合：用于本地校准的专有资产遥测、面向你特定站点的降尺度，以及 —— 最重要的 —— 从天气到 *节点价格* 的转换，而这要经由阻塞。
**天气的下游：价格、负荷、阻塞。** 电价预测已从经典时序方法转向梯度提升树，并日益转向 Transformer 和时序基础模型；实际收益最大的地方在于对日前/实时价差的概率（分位数）预测，这正是给可再生能源失衡风险定价的输入。负荷预测受益于同样的架构，外加改进的温度输入。 **阻塞与节点基差预测仍是最难、最未被商品化的问题** —— 学习从系统状况到起约束作用的输电约束之间的映射 —— 而正因为几乎没人能做好它，这里也正是预测层投资保留最持久优势之处。编码电网拓扑的图神经网络是活跃的研究方向；没有任何供应商在卖一套值得拥有的交钥匙方案。
*第 1 层综合：尽早且积极地采纳 AI 天气集合预报，独立验证尾部，并把省下的预算再投入公开模型无法提供的两件事 —— 针对你自己遥测的本地校准，以及节点阻塞建模。*
### 4.2 第 2 层 —— 执行、运营与风险：LLM 悄然取胜
这一层被供应商营销所忽视，而这恰恰是它被低估的原因。它是不起眼的后台工作 —— 但它攻击的是排名第二的优势来源，因为有人工复核输出而模型风险低，且其收益会复利累积。
**市场规则智能。** 美国 ISO 的参与受制于数千页的关税、业务实践手册，以及源源不断的市场通知、协议修订和 FERC 备案。搭建报价系统的工程师们一致地把这个 —— 而非数学 —— 认定为最主要的成本。这几乎是一个理想的 LLM 工作负载：对你所交易的每个 ISO 的关税和手册集合建立检索语料；对每日市场通知进行自动分诊，标记出任何触及你报价参数、结算公式或辅助产品定义的内容；以及将协议修订与你的优化器所编码的假设进行变更差异比对。需要工程性防范的失效模式是虚构的规则引用 —— 缓解手段是标准的（以检索为依据的回答、强制引用来源段落、对任何改变系统行为的内容强制人工签字）。
**合规文档与套保/投机的边界。** 对任何同时运行物理资产和金融头寸的团队而言，FERC 操纵风险使文档成为头等大事：每一笔物理报价都应能作为"资产利润最大化"独立地站得住脚，并留有记录。LLM 非常适合生成这类记录 —— 从优化器自身的输入和输出（所用的预测分位数、起约束作用的约束、相对中性基线的偏离及其原因）以一致、可审计的语言起草每日报价理由文档。这把交易团队长期投入不足的合规负担，转化为报价运行的一个基本自动化的副产品，并实质性地强化了套保账户与投机账户之间的架构分离（§5.2）。
**结算、监控与事件响应。** 影子结算 —— 独立重新计算 ISO 应付给你的金额并对差异提出争议 —— 是高价值、细节繁重的工作，混合了结构化数据与非结构化的规则文本：同样是天然的"LLM + 工具"工作负载（解析结算单、与内部计算核对、起草带规则引用的争议申请）。夜间运营监控（遥测异常、错过的调度指令、提交截止前的预测数据源故障）同样受益于一个具备自主能力的层，它负责分诊、汇总并升级，而不是事事都呼叫人工。
**工程速度。** 一个二阶但真实的效应：具备自主能力的编码工具压缩了整个系统的搭建周期 —— ISO API 集成、回测框架、数据管线 —— 这对那些与拥有庞大工程团队的老牌对手竞争的小团队尤其有利。2026 年 SOTA 的报价团队，未必是拥有最奇特模型的那家；往往是那家五名工程师能像二十人一样交付的团队。
*第 2 层综合：把 LLM 部署为以检索为依据的分析师和起草者，横跨市场规则、合规、结算和监控，并始终在动作发生点保留人工复核。这种优势安静、可防守，而且 —— 因为竞争对手恰恰在这些职能上投入不足 —— 是持久的。*
### 4.3 第 3 层 —— 优化器：设计上就是渐进的，而这没问题
优化数学从来都不是瓶颈。面向可再生能源的报童式分位数报价、带 CVaR 的两阶段随机规划，以及面向储能的 MILP/动态规划建模，都已公开、被教授、并可用商业或开源求解器高效求解。它们也是 **可审计的** ：每一笔报价都能追溯到一项预测输入和一条约束，这对内部风险治理和监管辩护都极其重要。任何针对这一层的 AI 提案，都必须同时胜过调优良好的经典方法 *且* 保留可解释性 *且* 界定其失效模式。有两项候选技术值得关注，其成熟度截然不同。
### 4.4 决策导向学习：可信的升级
传统管线训练预测以最小化统计误差（MSE、弹球损失），然后独立地针对这些预测进行优化 —— 而不考虑预测误差如何传导为决策质量。 **决策导向学习** （DFL，也称价值导向预测或"智能先预测后优化"）把下游优化整合进训练回路，使预测器针对一种悔值式损失进行训练，该损失衡量其预测所诱导的 *决策* 的次优程度。奠基性成果：Donti、Amos 和 Kolter 的基于任务的端到端学习（NeurIPS 2017），以及 Elmachtoub 和 Grigas 的"Smart Predict-then-Optimize"（Management Science 2022）；能源领域的文献已将该框架应用于面向能量和备用市场的日前调度、储能套利与"先预测后报价"框架，以及鲁棒的微电网运行。
其核心洞察与报价直接相关： **最准确的预测未必是最有价值的预测。** 一个电价预测可以在改善其平均误差的同时，恰恰在报价决策具有后果的高价格小时上变得更差；文献已反复表明，是某个特定的分位数选择、而非最准确的点预测，才能使交易价值最大化。DFL 把这一直觉形式化并自动化了。关键在于 —— 与端到端强化学习不同 —— 它保留了可审计的优化器：你改变的是预测 *为何而训练* ，而不是由谁来做决策。
**投产就绪度：并非普遍就绪 —— 处于后期研究 / 早期采纳。** 已成熟的部分：既有框架（智能先预测后优化、以经验学习、黑盒可微优化器），以及通过凸优化层的隐式微分，已在经济调度和储能套利上得到验证，对于简单的凸问题，在实现利润上持续击败以准确度为目标训练的预测。它尚未跨入广泛生产的原因：
1. **通过优化器的微分很脆弱** —— 反向传播没有闭式解；展开（unrolling）有准确度/效率问题；解析方法强加了僵硬的问题形式要求；混合整数/非凸报价需要代理模型、次梯度或扰动估计器（在实践中很脆）。
2. **不确定性覆盖不全** —— 多数 DFL 只处理目标函数中的不确定性，假设约束参数已知；真实交易处处都是不确定性。
3. **任务专属性** —— 模型被焊死在一个决策问题上；任何变动（资产规模、市场、报价格式）都迫使重新训练。两阶段管线是模块化的：一份预测可喂给许多决策。
4. **可解释性 / 风险控制** —— 以利润训练的预测是刻意有偏的，且难以向风险委员会解释；两阶段则让你分别审计预测和决策。
5. **数据稀缺与机制切换脆弱性** —— 在历史利润上训练的策略，恰恰在市场切换时可能严重退化。
近期的评估工作补充了诚实的反面证据：DFL 的收益取决于应用场景，并不总能转化为更高的经济价值，同时通常要求多得多的计算量。采纳障碍在结构上也存在 —— 第三方预测供应商无法针对每个客户的私有损失函数进行训练，而以成本为导向的预测目标缺乏人工复核者所依赖的直观解释（均值、中位数、分位数）。
**经验法则：**
- **小型凸内层问题 + 简单资产（单个电池、单个市场）：** 对于一支强技术团队，DFL 如今已具备投产可行性。
- **整数机组组合、多市场联合优化、ISO 报价曲线：** 两阶段概率预测 + 优化仍是已部署的标准，很可能还会持续数年。
- **务实的折中地带** （许多团队实际的做法）："决策感知"训练 —— 保留两阶段架构，但按经济后果对预测损失加权。收获大部分好处，却几乎没有那些脆弱性。
DFL 值得试点， *因为你拥有自己的完整管线* （这是自建相对于外购的一项优势），并应针对一个强分位数预测基线、以实现的交易盈亏（而非预测误差）来评估，且预期它在决策问题不对称之处 —— 储能报价和有失衡敞口的可再生能源报价 —— 回报最大，而非处处均匀受益。
### 4.5 强化学习：影子模式，而非生产
端到端强化学习 —— 一个直接输出报价曲线的学习式策略 —— 尽管文献浩繁（综述性论文覆盖 150+ 篇），仍绝大多数停留在学术层面。结构性障碍并未松动：以真实市场成本进行现场试错是不可能的，因此策略只能在仿真器中训练，而这些仿真器与真实市场的保真度差距从未被弥合；日前拍卖每年只提供大约 365 个独立样本，是一个残酷的样本效率困境；而一个在稀缺事件中行为失当、又无法解释的策略，既是财务灾难也是监管灾难。
强化学习的近亲方法 *确实* 已进入生产的地方很有启发性： **近似/随机动态规划** —— 在序贯决策上的价值函数方法，数学上是强化学习的姊妹 —— 是商业储能优化器内部的标准配置；而学习式策略也可信地部署在 **欧洲的连续日内市场** ，那里每天数千次的下单决策为强化学习提供了它所需的交互密度。
对一套美国系统而言，合理的路线图正映射了这一模式：日前拍卖用经典随机优化；强化学习实验限定在实时再报价和日内调整，因为那里决策频繁；在任何资本敞口之前，强制针对生产优化器进行影子模式评估；并且，若强化学习真能凭本事进来，就将其部署为叠加在优化器输出之上的、有界的残差修正，而不是取而代之。
### 4.6 供应商的"AI 报价"宣称：实质 vs. 炒作
**实质：** 全天候自动报价确实有效，且如今 *可被独立度量* （Modo Energy 的储能优化器排行榜）；机器学习预测确实优于旧方法；仅凭运营上的一致性就能跑赢人工交易台。
**炒作套路：** "AI"往往只是把一个标准的 GBM 预测 + LP 优化器包装了一下；提升（uplift）宣称缺乏明确的反事实基准；而仅靠自动化带来的优势会随采纳扩散而被压缩 —— ERCOT 辅助服务的饱和就是明证。
**面向任何供应商的尽调问题：** 你在独立基准上排第几？模型架构究竟是什么，你的提升数字背后的反事实是什么？系统在冬季风暴"乌里"（Uri）/ 上一次稀缺事件期间表现如何？收费结构是什么（收入分成 vs. 固定费用）？
### 4.7 横切动态
**地板抬高；天花板是私有的。** 这里讨论的几乎每一项 AI 进展都是公开或可购买的：开放的天气模型权重、基础时序模型、通用 LLM、已发表的 DFL 方法。它们的扩散压缩了任何单一技术所能提供的优势 —— 这在 ERCOT 电池市场已经显现，那里辅助服务的算法饱和把收入推向了能量套利，并缩小了顶尖与中位运营商之间的差距。持久的差异化迁移到了无法购买之物：专有遥测及其在本地校准中的运用、节点阻塞建模、执行可靠性，以及一套运转良好的风险流程所具备的制度性纪律。
**可审计性是一项功能，而非约束。** 监管环境（FERC 操纵原则、ISO 市场监测机构的审视）和内部风险治理，都奖励那些决策能够事后被解释的架构。这是支持"先预测后优化"胜过端到端学习式替代方案的一个真实而常被忽视的论据 —— 也正是为什么最新 AI 中价值最高的应用（天气集合预报、LLM 运营、DFL）恰恰是那些 *强化* 经典架构而非取代它的应用。
**独立基准正在改变供应商生态。** 面向储能优化器的第三方排行榜，已用一个共享的参照点取代了供应商自定义的基准，而同样的纪律也应在内部施行：技术栈中的每一次 AI 采纳，都值得配一个反事实（现有方法本会赚到多少？）和一次尾部事件压力测试（这个组件在冬季风暴"乌里"（Uri）或最近一次稀缺事件期间本会如何表现？）。
### 4.8 采纳路线图
按对投入的预期风险调整回报排序：
1. **现在 —— AI 天气集合预报（第 1 层）。** 用一个或多个 AI 天气数据源对比现有供应商做试点，在你的资产和你的交易损失函数上打分，并做明确的尾部验证。集成风险低、盈亏路径直接，且优势正在衰减，回报早行动者。
2. **现在 —— LLM 运营层（第 2 层）。** 以检索为依据的市场规则助手、自动化的报价理由文档、影子结算分诊，以及具备自主能力的工程工具。在每一个动作发生点都保留人工复核。
3. **未来两个季度 —— 本地校准与阻塞建模（第 1 层）。** 把天气层省下的钱再投入资产专属的降尺度和节点阻塞预测；这里正是预测优势在商品化中幸存之处。
4. **未来两个季度 —— DFL 试点（第 3 层）。** 针对一个资产类别（储能或单个风电组合），以实现的报价悔值重新训练生产预测的损失，并针对分位数基线、以交易盈亏（而非预测误差）来评估。
5. **机会主义地 —— 影子模式下的强化学习（第 3 层）。** 仅限实时再报价；晋升到生产取决于持续的影子模式超额表现和有界动作的部署。
贯穿始终的主线：近来的 AI 并未颠覆一套搭建良好的报价系统的架构。它让那套无聊的架构变得更好 —— 输入的分布更锐利、周围的纪律更廉价、内部的目标略微更聪明 —— 而鉴于秘密真正所在之处，这恰恰是搭建者应当想要的结果。
---
## 5. 搭建一套报价系统
### 5.1 面向"可再生能源 + 批发商"报价系统的架构
五阶段管线： **数据摄取 → 概率预测 → 报价优化 → 提交 → 结算/监控** ，并带一条反馈回路，用结算结果重新训练模型。
关键设计决策：
- **预测：** 对出力和负荷做分位数预测（P10–P90），构建在与资产遥测融合的 NWP 集合输入之上；日前 LMP、实时 LMP，以及关键的日前–实时 *价差* 分布。
- **优化核心：** 对于一个价格接受型的可再生能源资产，最优日前报价是出力分布的一个报童分位数，由预期的日前/实时价格比设定，并包裹在带 CVaR 的两阶段随机规划之中。每资产每日一个可高效求解的 LP（Gurobi/CPLEX/HiGHS）。批发商侧是其镜像：日前 vs. 实时的负荷采购，加上一层套保叠加（远期、FTR）。
- **运营：** 带规则校验的自动 ISO 提交、影子结算，以及一套认真的回测框架 —— 这是最常被建设不足的组件。
- **主导真实盈亏的坑：** 负价格与 PTC/REC 驱动的报价下限；节点基差与阻塞（往往是投资回报率最高的预测工作）；PPA/套保结构重塑激励；各 ISO 的规则差异。
混合资产的提示：储能同址会把优化器从一个 LP 变成一个序贯问题（见 §2.3）。
### 5.2 把套保与投机分离
分离出于三个原因而必要：
1. **业绩归因** —— 两个账户对"成功"的定义截然相反。
2. **风险治理** —— 有界的物理敞口 vs. 带杠杆的金融亏损分布（GreenHat 是警世故事）。
3. **FERC 操纵风险** —— 物理报价必须能独立站得住脚；对物理报价和金融头寸做联合优化，是操纵指控的制造机。
但完全分离是不可能的：每一个日前报价分位数 *本身就是* 一种价差观点。解决办法：定义一个 **中性基线报价** （例如 P50 报价 / 100% 日前负荷），把每一次偏离记录为"内嵌 alpha"，并把盈亏分解为基线 + 内嵌观点 + 纯投机账户。在架构上：共享数据、预测和回测；分离优化器、授权、限额和盈亏；保持耦合是单向的 —— 物理优化器绝不读取金融账户的头寸。
两个账户以不同方式消费同一套预测技术栈：套保账户需要校准良好的分布中段分位数；投机账户需要尾部和价差偏度。
策略性提示：虚拟/FTR 是拥挤的量化市场；在一个运转良好的资产账户内部的内嵌观点 alpha，往往是建模投入更好的初始回报。
---
## 6. 中国：市场结构与落地
### 6.1 市场结构：不同的设计，更弱的保障
**市场运营机构并不独立 —— 这是与美国的根本区别。** 省级现货市场由 *电网公司内部* （国家电网、南方电网）的调度中心和交易中心运行。交易中心名义上通过股份制改革实现独立，但调度仍留在电网组织内部。电网公司历史上对结果有商业利益 —— 这里的"内部人"是结构性的，而非假设性的。调度/交易分离自 9 号文（2015）以来一直是改革诉求。
**透明度：在改善，但远低于 PJM。** 自 2023 年起已搭建起"1+6"的国家规则框架：市场运营基本规则 + 现货市场（2023）、信息披露（2024）、中长期交易、注册、辅助服务（2025）、计量/结算（2025）。多个省份（山西、广东、山东）公布出清方法；数个省份采用集中式 SCUC/SCED 式出清，部分为节点/分区制。相对 PJM 的差距：无报价级数据（即便是脱敏/滞后的也没有），约束级细节很少，出清模型内部未披露 —— 影子 SCED 重建要难得多。规则常由行政通知频繁修订，且各省差异巨大；限价（上限/下限）很紧，行政干预更常见且记录更少。
**法律与执法：尚处萌芽。** 不存在类似 Monitoring Analytics 的独立市场监测机构 —— 监督由交易中心/调度（即电网公司）加上人手单薄的国家能源局派出机构完成。没有成型的电力市场操纵判例体系；一般性法律在现货电力行为上尚未经检验。国企主导的参与和行政式的争议解决，意味着几乎没有"以先例形成威慑"的效果。
**综合评估。** PJM 的三大保障（§3.2）在中国都更弱：算法披露不完整、有利于电网关联实体的结构性数据不对称、执法尚在萌芽。现实的信息优势来自 **对电网/调度机构的近水楼台** ，而非流氓供应商。缓解因素：大量的中长期合同覆盖（2024 年约占用电量的 47%）加上限价，意味着现货中每单位信息优势所对应的资金更少，而改革方向明确指向披露和监督。 **值得关注：** 调度是否真正从电网公司中分离出去。全国统一市场目标约为 2029 年；截至 2025 年已有七个省份进入现货全面运行（山西、广东、山东、甘肃、蒙西、湖北、浙江）。
### 6.2 面向中国部署的天气数据采购
评估过的基线技术栈 —— 以 ECMWF HRES+EPS 为骨干、GFS/GEFS 为次要、CMA 区域模型 + 观测、Himawari/风云卫星辐照、客户测风塔、WRF 降尺度上"先买"—— 在传统意义上是稳健的。建议的改动：
1. **加入 AI 天气模型 —— 最明显的遗漏。** AIFS 开放数据加上开源权重模型（GraphCast/Pangu）以接近零的边际成本加密集合预报；中国本土的 AI 天气生态（Pangu、Fuxi、FengWu、CMA 集成）既便宜又是一项合规资产；GPU 成本低廉的模型解锁了那套授权技术栈无法提供的日内刷新节奏。
2. **第一天就加入 ERA5/再分析** —— 校准模型和回测的训练基底。
3. **把融合/校准层显式化** ，给它单独的预算行 —— 针对每个站点用地面真值校准的多模型集合，正是钱之所在；来源多样性是校准的燃料。
4. **指定一套回退层级** （EPS → AIFS 开放 → GFS → 持续性）作为工程要求。
5. **尽早做双向合规审查：** ECMWF 再分发条款 × 中国关于外国数据商用和本土观测数据出境的法规 —— 这限制了融合层在物理上能在哪里运行。
6. **加入逆变器/SCADA 数据作为地面真值** （免费、密集、内建了真实的机组行为），外加一条面向客户传感器的质控管线。
7. **把"自建 WRF"重新表述为"自建降尺度"，方法开放** —— 到需要决策时，学习式降尺度很可能在成本上胜过 WRF。
8. **在 0–4 小时窗口显式设计"卫星临近预报 → NWP"的融合交接** ，以避免在日内交易时段出现不连续。
---
## 7. 开放问题
从讨论中沿承下来：
- **哪个（些）市场？** 美国 ISO vs. 中国省级现货试点 —— 关门时间和结算规则会改变预测刷新的要求。
- **资产组合？** 光伏/风电/带储能的混合 —— 储能同址会把优化器从一个 LP 变成一个序贯问题。
- **风险授权？** 对一个独立金融（虚拟/FTR）账户的胃口，vs. 仅在资产账户内部做内嵌 alpha。
---
## 8. 参考资料与延伸阅读
- GraphCast: *Learning skillful medium-range global weather forecasting*, Science (Dec 2023). https://www.science.org/doi/10.1126/science.adi2336
- Pangu-Weather: *Accurate medium-range global weather forecasting with 3D neural networks*, Nature (Jul 2023). https://www.nature.com/articles/s41586-023-06185-3
- Aurora: *A foundation model for the Earth system*, Nature (May 2025). https://www.nature.com/articles/s41586-025-09005-y
- ECMWF AIFS operational status (2024). https://www.ecmwf.int/en/about/media-centre/news/2024/ecmwfs-ai-forecasts-become-operational
- Donti, Amos, Kolter: *Task-based end-to-end model learning in stochastic optimization*, NeurIPS 2017. https://arxiv.org/abs/1703.04529
- Elmachtoub & Grigas: *Smart "Predict, then Optimize"*, Management Science (2022). https://arxiv.org/abs/1710.08005
- Decision-focused learning for energy/reserve market participation. https://www.researchgate.net/publication/383107857
- Decision-focused predict-then-bid for strategic storage. https://arxiv.org/abs/2505.01551
- Statistical vs. economic evaluation of electricity-market forecasts (DFL counter-evidence). https://arxiv.org/abs/2511.13616
- RL in deregulated energy markets: comprehensive review (150+ papers). https://www.sciencedirect.com/science/article/abs/pii/S0306261922014696
- On-line RL for real-life energy trading (simulator-gap discussion). https://arxiv.org/abs/2303.16266
- Modo Energy: independent benchmarking of storage optimizers. https://modoenergy.com
*编写于 2026 年 7 月。所依据研究中引用的供应商性能宣称，应在采购决策前针对你自己的资产独立验证。*

379
markets/us/forecasting_open_ecosystem_zh.md Normal file
View File

@ -0,0 +1,379 @@
# 美国批发电力市场预测的开放模型、数据集与基准
**范围：** 美国七大 ISO/RTO 市场（CAISO、ERCOT、PJM、MISO、SPP、NYISO、ISO-NE）的日前（DA）电价、实时（RT）电价、负荷/需求、可再生能源出力与容量。
**状态：** 于 2026 年 7 月编纂并核验。除非另行标注，所列内容均为免费/开放资源。已通过网络核验的条目标记为 ✅；来自通用领域知识、在依赖之前应重新确认的条目标记为 ◻︎。
---
## 1. 如何阅读本报告
美国批发市场的预测可以拆分为四个相关但各自独立的问题，每个都有自己的数据与基准生态：
| 预测对象 | 典型时间粒度 | 开放基准成熟度 |
|---|---|---|
| 日前电价（LMP） | 小时级，节点/分区/枢纽 | 中等（一个公认的学术基准，但已老化） |
| 实时电价 / 日前–实时价差 | 5 分钟–小时级，节点 | 弱（无标准基准） |
| 负荷 | 5 分钟–小时级，平衡区/分区 | 强（GEFCom + 政府数据） |
| 风电/光伏（价格驱动因素） | 5 分钟–小时级，站点/分区 | 强（NREL/ARPA-E 数据集） |
| 容量（装机与在建管道） | 月/年度，机组/项目 | 数据强，但本身无"预测基准" |
一个关键的结构性事实： **美国电价预测不存在像视觉领域的 ImageNet 那样唯一公认的基准。** 学术标准（第 4 节）使用了 PJM 的一个已老化的分区；从业者则用第 2 节的工具，从各 ISO 门户自行拼装定制数据集。请把第 2 节视为基础，把第 4–10 节视为在其之上构建的内容。
---
## 2. 数据获取层（从这里开始）
### 2.1 gridstatus ✅
**代码库：** https://github.com/gridstatus/gridstatus • **文档：** https://opensource.gridstatus.io
事实上的美国电网数据标准开源 Python 库。覆盖 CAISO、ERCOT、PJM、MISO、SPP、NYISO、ISO-NE（另加加拿大的 IESO 与 AESO，以及 EIA），并在各数据源之上提供统一的标准化 API。可用数据集（因 ISO 而异）：负荷、负荷预测、燃料构成、日前与实时 LMP、辅助服务价格、储能、光伏/风电预测、发电机组停运以及并网排队队列。
它对预测的具体意义在于：
- 它暴露了各 ISO **自己发布的预测** （负荷、风电、光伏）——这些既是模型特征，也是任何新模型必须击败的运行基线。
- 它抹平了各 ISO 的怪异之处（例如把 NYISO 的阻塞符号约定翻转，使之与其他 ISO 一致；处理 ERCOT 的 API 迁移）。
- 注意事项：历史深度因 ISO 与数据集而异；部分 ISO 端点需要免费注册/API 密钥（PJM Data Miner、ERCOT 公共 API、ISO-NE 网络服务）；节点级 LMP 拉取数据量很大（PJM 拥有超过 10,000 个定价节点——单日的小时级实时节点数据约 30 万行）。
同一团队还运营着一个托管 API（gridstatus.io），带有免费额度和数据目录——很方便，但直接针对 ISO 门户使用的开源库是完全免费的。
### 2.2 原始 ISO 门户（免费、权威） ◻︎
全部七个 ISO 都公开发布日前/实时电价、负荷与预测。这些是 gridstatus 所封装的真值来源：
| ISO | 门户 | 说明 |
|---|---|---|
| CAISO | OASIS (oasis.caiso.com) | 全部节点的日前小时级 + 实时 15 分钟/5 分钟 LMP；无需注册 ✅ |
| ERCOT | MIS / ERCOT Public API (data.ercot.com) | 按结算点的 SPP；60 天 SCED/DAM 披露文件独具丰富度（报价曲线、遥测，滞后 60 天发布） |
| PJM | Data Miner 2 (dataminer2.pjm.com) | 免费 API 密钥；深度 LMP 历史、负荷、预测、停运 |
| MISO | Data Exchange / Market Reports (miso.com) | 基于 API 的访问于 2020 年代中期推出；请查证当前端点 |
| SPP | Marketplace 门户 / SPP 文件服务器 | LMP、MTLF（负荷预测）、风电预测 |
| NYISO | OASIS + 开放 CSV 归档 (mis.nyiso.com) | 属于最易批量下载的一类；分区 + 节点，数十年历史 |
| ISO-NE | Web Services API / ISO Express | 免费注册；小时级日前/实时 LMP、负荷、预测 |
两个值得了解的 ISO 专属亮点：ERCOT 的 **60 天披露** 数据（真实的资源级报价与调度，是全美唯一能看到近乎完整报价堆栈的地方，滞后 60 天），以及 PJM/MISO 的 **发电机组停运** 报告，它们是实时电价模型的一阶特征。
### 2.3 EIA（联邦） ✅
- **EIA API v2** （api.eia.gov，免费密钥）：通过 **Form EIA-930** （"小时级电网监测器"，Hourly Electric Grid Monitor）提供每个美国平衡区自 2015 年 7 月起的小时级需求、日前需求预测、按燃料的净发电量以及交换电量。同时还有燃料价格、月度发电量等诸多数据。
- **清洗后的 EIA-930 需求** （Ruggles、Farnham 等）：对 CONUS 内 56 个报送需求的平衡区的小时级需求进行筛查 + MICE 插补。方法学论文：*Scientific Data* 7, 155 (2020)，doi:10.1038/s41597-020-0483-x。数据在 Zenodo（doi:10.5281/zenodo.3517196）与 GitHub（`truggles/EIA_Cleaned_Hourly_Electricity_Demand_Data`）上做了版本管理。2025 年 1 月发布的版本覆盖 2020-01-01 → 2025-01-01，含平衡区子区域。这是学术工作中标准的清洗后负荷数据集——原始 EIA-930 含有缺失/异常值，否则你必须自行处理。
- 注意 EIA-930 的已知问题指南：平衡区报送数据有其怪异之处（时区约定、修订）；正因如此，PUDL（见下文）对此仅保留 UTC 时间戳。
### 2.4 PUDL（Catalyst Cooperative） ✅
**文档：** https://catalystcoop-pudl.readthedocs.io • **代码库：** catalyst-cooperative/pudl
一个开放数据管道，将 **EIA-860/860M/861/923、EIA-930、FERC Form 1 与 EPA CEMS** 清洗并关联成可直接用于分析的表（Parquet/SQLite，也在 Datasette 与 Kaggle 上提供）。它是以下工作的首选来源：
- **容量：** 机组级发电机特性、容量、燃料、计划新增与退役（EIA-860/860M）。
- **发电量与成本：** 月度机组发电量与燃料成本（EIA-923）、公用事业财务（FERC 1）。
- **小时级机组运行：** 化石机组的 EPA CEMS 小时级毛负荷与排放——实际上是历史机组组合的开放代理变量，对结构性电价模型极具价值。
- EIA-930 的需求/预测/交换电量表（除小时级 CO₂ 外，其余均可通过 PUDL 获取）。
### 2.5 天气（每个模型的另一半） ◻︎
- **NOAA HRRR** （3 公里，小时级，CONUS；通过 NODD 免费提供于 AWS/Google/Azure）——美国运行级负荷/可再生能源特征的主力；`herbie`（Python）是标准访问库。
- **GFS/ECMWF 开放数据** 用于更长时间尺度；**ERA5** （Copernicus）用于再分析/回测。
- **NOAA ISD/ASOS** 站点观测用于实况值。
- **Open-Meteo** ——免费 API，便捷地暴露 HRRR/GFS/ECMWF 预测与历史归档。
- 回测注意事项：对于本应在预测时刻可得的特征，请使用 **归档预测** （时点数据），而非再分析数据。AWS 上的 HRRR 归档可回溯至约 2014 年。
---
## 3. "要击败的基准"在运行层面意味着什么
在任何机器学习之前：每个 ISO 都发布 **自己的日前负荷预测** ，若干 ISO 还发布风电/光伏预测（均可通过 gridstatus 获取）。对于电价而言，日前 LMP 本身就是市场对实时状况的一致预测，而简单基准（持续法、含季节性的朴素法、以日前电价作为实时预测量）都很强。任何严肃的研究都应报告相对于这些基准的技巧（skill），而不仅是绝对误差。
---
## 4. 电价预测（日前与实时）
### 4.1 公认的学术基准：Lago 等人 / epftoolbox ✅
**论文：** Lago, Marcjasz, De Schutter, Weron, "Forecasting day-ahead electricity prices: A review of state-of-the-art algorithms, best practices and an open-access benchmark," *Applied Energy* 293:116983 (2021)。
**代码/数据：** https://github.com/jeslago/epftoolbox (AGPL-3.0) • 文档：epftoolbox.readthedocs.io
它提供了什么：
- **五个开放数据集，每个六年** 的小时级日前电价 + 每个市场两条外生预测序列：EPEX-BE、EPEX-FR、EPEX-DE、Nord Pool，以及 **PJM（ComEd 分区）** ——集合中唯一的美国市场（数据止于 2018 年）。
- **两个开放参考模型** ：LEAR（LASSO 估计的自回归模型）和一个经超参数优化的 DNN，可在任何日前市场上实现且无需专家调参。
- **评估基础设施** ：MAE/sMAPE/MASE 类指标，加上 **Diebold-Mariano 与 Giacomini-White** 统计检验，以及预先计算好的最新前沿预测，使你无需重新训练任何模型即可比较。
- 一份被广泛引用的 **最佳实践清单** （长滚动测试窗口、开放数据、统计检验、强的简单基线）——可以说是本论文最持久的贡献。
用于美国场景的局限：只有一个美国分区，数据止于 2018 年（早于当今由储能/可再生能源驱动的价格机制以及诸如冬季风暴 Uri 之类的事件）、是分区而非节点、其外生特征也很有限。它仍是该领域共享的标尺；数以百计的后续论文（单输出 vs 多输出神经网络、分布网络、可解释 AI 研究、Transformer 对比）都在其上评估。
### 4.2 开放的概率型 EPF 方法（构建于同一基准之上） ◻︎
Weron 团队（Wrocław）及其合作者维护着一批开放实现，它们是标准的概率基线：**分位数回归平均（QRA）** 及其变体、**分布深度网络** （例如带正态/JSU 输出分布的 DDNN——Marcjasz 等，2023）、**等渗分布回归** 、**保形预测** 方法，以及用于多元（24 小时联合）概率预测的 **Schaake shuffle** 。大多数在 GitHub 上有对接 epftoolbox 数据集的代码。指标：弹球损失、CRPS、覆盖率；检验：DM/GW。
### 4.3 美国专属与实时电价工作：无标准基准 ✅（该缺口已核验）
- **实时电价与日前–实时（"DART"）价差** 主要在虚拟报价/交易文献中被研究（例如 LSTM/seq2seq 节点级 DART 预测、尖峰分类论文如 "Forecasting electricity DART spikes"）。这些论文绝大多数使用自行拼装的 ISO 数据；有时会发布代码，标准化数据集则几乎从不发布。
- 近期的美国日前研究（例如用公开 ISO 数据 + 已发布的需求预测与发电容量数据对 ISO-NE 进行预测，arXiv:2405.14893）体现了这一模式：公开数据、定制切分。
- 存在零散的开放代码库（例如 GitHub 上带配对负荷-天气数据集的 CAISO LMP 机器学习预测），但都是个人项目，而非受维护的基准。
**实践含义：** 对于美国节点/实时工作，你将从第 2 节的来源自建基准。标准配方：日前 + 实时 LMP（目标）、ISO 负荷/风电/光伏预测、发电与输电停运、净负荷特征、天然气价格（见第 11 节注意事项）、日历特征；在 ≥1 年（至少含一个夏季和一个冬季）上做滚动起点评估。
### 4.4 电价预测的开放模型 ◻︎（分层）
下面只有第一层是真正针对电价的；其余都是应用于电价的通用工具。
**第 1 层——专为 EPF 打造的开放参考模型。** epftoolbox 套件（第 4.1 节）是唯一被广泛接受、专为日前电价预测构建的开放模型集：**LEAR** （LASSO 估计的自回归）和一个经超参数优化的 **DNN** ，两者都设计为可在任何日前市场上运行且无需专家调参。它们是每篇新 EPF 论文都被期望击败的基线，而工具箱附带预计算好的预测，因此比较无需重新训练。实践提示：LEAR 以成本调整后难以击败而著称——一个在小时级电价滞后加负荷/可再生能源预测上调优良好的 LASSO，就能捕捉大部分可实现的技巧。
**第 2 层——开放的概率型 EPF 方法** （研究代码，大多来自 Weron/Wrocław 团队）：**分位数回归平均（QRA）** 及其变体、**分布深度网络** （正态 / Johnson's SU 输出——Marcjasz 等，2023）、**等渗分布回归** 、**保形预测** 封装，以及用于生成联合一致的 24 小时概率路径的 **Schaake shuffle** 。带代码发布，通常在 epftoolbox 数据上以弹球损失/CRPS 评估；它们是研究产物而非受维护的软件包，因此需要自行组装。
**第 3 层——应用于电价的通用开放框架** （大多数从业者实际使用的）：
- **梯度提升树** （XGBoost/LightGBM）——表格化电价特征（负荷/可再生能源预测滞后、停运、天然气代理、日历）的主力；在许多情形下，在多尖峰的美国节点数据上与深度网络持平甚至更优。
- **Nixtla neuralforecast** （N-BEATS、N-HiTS、TFT、PatchTST、TimesNet、DeepAR 类）和 **statsforecast** （ARIMA/ETS/Theta 基线）；**GluonTS** 与 **Darts** 作为备选框架。
**第 4 层——开放权重时间序列基础模型：** Amazon **Chronos / Chronos-Bolt / Chronos-2** 、Google **TimesFM (2.x)** 、Salesforce **Moirai / Moirai-2** 、**TiRex** 、Datadog **Toto** 、**Lag-Llama** 。对 2025–2026 年文献的诚实解读：在负荷上零样本表现尚可，但电价——尖峰、负值、机制切换——仍是薄弱环节，而朴素的零样本使用通常不能击败带有恰当外生特征、调优良好的 LEAR/GBM。数据泄漏在公开基准上是一个现实关切（第 8 节）。它们在微调或协变量感知使用下才变得有意思（Chronos-2 原生接受协变量）。
**第 5 层——结构/仿真型模型。** 开放的生产成本与最优潮流（OPF）栈——**PyPSA / PyPSA-USA** 、NREL **Sienna** （PowerSimulations.jl）、**Egret** 、**UnitCommitment.jl** ——针对开放合成电网（RTS-GMLC、Texas 7k、Breakthrough Energy 美国测试系统）运行，从燃料价格、容量与拓扑仿真出 LMP。这是你预测纯统计模型看不到的 *结构性* 价格变化（进入、退役、输电）的方式。
**开放领域中不存在的东西：** 一个受维护、预训练、开箱即用、面向美国节点 LMP 的模型。商业厂商出售它；开放生态则是组合它——通常是每个节点/枢纽一个 GBM 或一个分布式神经网络、epftoolbox 风格的评估、以 ISO 预测作为特征。
---
## 5. 负荷预测
### 5.1 GEFCom（经典基准） ◻︎
**全球能源预测竞赛（Global Energy Forecasting Competitions）** （Tao Hong 等）仍是标准的学术负荷基准：
- **GEFCom2012** ——分层分区负荷（美国某公用事业）+ 温度；点预测。
- **GEFCom2014** ——用弹球损失确立了 **概率** 型负荷（以及电价/风电/光伏）预测；分位数负荷模型的参考数据集。
- **GEFCom2017** ——在 ISO-NE 分区上、带丰富天气数据的分层概率负荷。
数据通过竞赛论文（*IJF* 2014/2016/2019）与 Hong 博士的网站（drhongtao.com）流传。年代久远是主要局限；它们早于电气化/数据中心负荷增长。
### 5.2 系统级美国负荷 ✅
- **EIA-930** （原始数据经 EIA API，清洗后经 Ruggles/Zenodo，制表后经 PUDL）——自 2015 年中起每个美国平衡区的小时级需求 + 平衡区自身的日前预测。以平衡区已发布的预测作为基线来预测特定平衡区的需求，是一个良定义且完全开放的任务。
- 通过 gridstatus 获取更细地理粒度的 **ISO 分区负荷 + 预测** （例如 PJM 分区、NYISO 分区）。
- 面向风险感知工作的 **ARPA-E PERFORM** 负荷实况值 + 概率预测（第 6 节）。
### 5.3 楼宇/馈线级（如需） ◻︎
**BuildingsBench** （NREL）：约 90 万栋仿真楼宇（Buildings-900K）加上精选的真实楼宇数据集，用于短期负荷预测，配有为基础模型工作设计的预训练/评估切分——包括楼宇级预测的预训练 Transformer 权重。对批发市场问题而言属于过度配置，但在该尺度上是标准。
### 5.4 负荷预测的开放模型 ◻︎（分层）
负荷是最成熟的预测对象：模型更简单，开放基线也确实很强。
**第 1 层——经典回归基准。** 公认的开放模型是 Tao Hong 出自 GEFCom 谱系的 **"vanilla 基准"** ：对日历效应（小时、星期、月份）与温度多项式项（T、T²、T³ 及其与小时/月份的交互）交叉的多元线性回归。可轻易复现、完整发布，至今仍是标准基线——在分区负荷上以显著幅度击败它比预期更难，因为系统负荷主要由天气与季节性主导，而回归已经捕捉到了这些。文献中记录的各类变体（滞后/指数平滑温度、气象站选择、近因效应）汇集于 Hong & Fan 的开放获取概率负荷预测教程综述（*IJF* 2016）。
**第 2 层——GAM，运行层面的主力。** 广义可加模型（对温度、年内时间、滞后负荷的平滑样条）是若干系统运营商实际运行的模型。开放工具：**mgcv** （R）是标准，配有来自法国学派（Goude、Obst 等）充分发布的配方，包括在线/自适应版本（Kalman 滤波 GAM、专家聚合），它们很好地应对了 COVID 需求变化。Python 原生替代：在相同特征上用 **分位数 LightGBM** ，性能相当。
**第 3 层——出自 GEFCom 谱系的概率方法：** 在 vanilla 特征上的分位数回归、分位数 GBM、**温度情景仿真** （将多个历史天气年份喂入一个点预测模型以获得预测分布——很可能是开放负荷预测中每行代码价值最高的技巧），以及姊妹预测组合。全部以可复现的细节发布，并用弹球损失评估。
**第 4 层——深度学习。** 与电价相同的框架（neuralforecast：N-HiTS/TFT/PatchTST；GluonTS：DeepAR；Darts）。深度模型在更细粒度（节点/馈线、联合学习众多相关序列）上帮助最大，而在天气回归占主导的平衡区/系统级则意义较小。
**第 5 层——基础模型：负荷是它们最擅长的题材。** 系统负荷平滑、季节性强，且在预训练语料中大量存在，因此 Chronos、TimesFM、Moirai、TiRex 等在零样本下确实表现良好；若干 2024–2026 年研究发现 TimesFM 与任务训练模型持平甚至更优，尤其在长上下文下。两点注意：**数据泄漏** （公开负荷数据集就在预训练语料中，因此公开基准上的胜绩夸大了真实世界技巧）与 **协变量** （朴素的零样本使用忽略了天气预测，而大量运行技巧正存在于此——具备协变量能力的变体如 Chronos-2 或微调可弥合这一差距）。
**运行标杆：** ISO/平衡区发布的日前负荷预测（经 gridstatus，或 EIA-930——它在实况值旁携带了每个平衡区的日前需求预测）在系统级通常约为 1–2% 的日前 MAPE。一个在恰当样本外窗口上不能击败已发布预测的模型并未增加价值——而这是相当一部分已发表的深度学习结果悄然未能通过的检验。
---
## 6. 风电、光伏与"净负荷"驱动因素
### 6.1 ARPA-E PERFORM 数据集（NREL） ✅——最接近现代美国市场预测基准的资源
**门户：** https://data.openei.org/submissions/5772 • **文档：** https://github.com/PERFORM-Forecasts/documentation • DOI: 10.25984/1891136
面向 **ERCOT、MISO、NYISO 与 SPP** 的、时间同步的 **负荷、风电与光伏实况值以及确定性和概率性预测** ，5 分钟分辨率，覆盖站点、分区与平衡区级别。覆盖范围：ERCOT 实况值 2017–2018 并含 2018 年预测；MISO/NYISO/SPP 实况值 2018–2019 并含 2019 年预测。风电/光伏出力曲线既包含现有站点，也包含并网排队队列中的规划站点（截至 2021 年）。以 HDF5 分发于 AWS S3（公开），时间戳为 UTC；NREL 技术报告记录了方法与误差指标。
它如今是文献中在真实美国电网数据上评估概率预测、保形校准与基础模型的常用基底。局限：固定版本（2017–2019）、可再生能源为合成但经验证的实况值、无电价——你可以自担对齐失配风险，将其与第 2 节的历史 LMP 配对。
### 6.2 资源数据集 ◻︎
- **NREL NSRDB** （太阳辐照度，4 公里、半小时级，1998 年至今）与 **WIND Toolkit** / **WTK-LED** （风能资源）——经 NREL API/OEDI 免费提供。
- 经 gridstatus 获取的 **ISO 发布的可再生能源预测** （ERCOT STWPF/STPPF、CAISO、SPP、MISO）——运行基线。
- **光伏/风电竞赛数据集** ：GEFCom2014 赛道；存在更近期的 Kaggle/CityLearn 类数据集，但没有一个是专门针对美国批发市场的。
### 6.3 可再生能源出力预测的开放模型 ◻︎（分层）
可再生能源预测是最具物理味道的预测对象。经典链路是 **天气预测 → 功率转换 → 统计修正** ，每一环都有开放组件；合适的模型族主要取决于时间尺度。
**第 1 层——物理模型链（NWP → 功率），日前主力。** 取一个数值天气预报（NWP）预测（CONUS 用 HRRR；更长尺度用 ECMWF/GFS）并转换为功率：
- **pvlib-python** ——公认的开放 PV 建模库（NREL/Sandia 谱系）：辐照度转置、温度与逆变器模型；大多数开放光伏栈的骨干。
- **PySAM / SAM** （NREL）——包含跟踪、损耗、储能的整厂仿真。
- **windpowerlib** 与 **PyWake** （DTU）——利用开放的风机/功率曲线数据库，把轮毂高度风速转化为风机/风场功率并含尾流建模。
纯物理链路会带有偏差（电厂元数据从来都不完全准确），因此运行系统会用统计修正来包裹它们：
**第 2 层——统计/机器学习修正与直接机器学习。** 主流的实践模式：用梯度提升树（LightGBM/XGBoost）把 NWP 特征（多成员、多模型的风速/辐照度，取若干网格点与高度，加上来自 pvlib 的太阳几何）直接映射到电厂或机群出力——这一方法赢下了 GEFCom2014 大多数风电/光伏赛道，且在数小时到数天尺度上仍是最新前沿。分位数版本给出校准的概率输出。**相似集合（analog ensemble）** （找出历史上相似的预测条件；使用已实现出力的分布）是一种充分发布、易于复现的概率替代方案。
**第 3 层——临近预报（数分钟到约 4 小时），一个真正独立的问题。** 在这些时间尺度上 NWP 已陈旧；技巧来自近期观测与卫星影像。**智能持续法（smart persistence）** （对光伏持续晴空指数而非原始功率）是标准基线，在约 1 小时内难以击败。**Open Climate Fix** 是值得关注的完全开放的努力：PVNet 用卫星影像 + NWP 预测光伏出力，代码开放、权重开放于 Hugging Face，并在英国系统运营商处运行——其架构可迁移到美国数据，尽管预训练权重以英国为中心。对卫星/天空相机序列的深度学习（ConvLSTM/Transformer 变体）已有大量发布代码，但没有占主导地位的封装模型。
**第 4 层——AI 天气模型（近期的重大转变）。** 开放权重的机器学习天气模型—— **GraphCast/GenCast** （DeepMind）、**Pangu-Weather** （华为）、**FourCastNet** （NVIDIA）、**Aurora** （Microsoft），加上 ECMWF 的 **AIFS** ——在许多变量上以极小的算力代价与物理 NWP 持平甚至更优。对可再生能源而言，它们主要作为一种廉价方式，用于生成大规模的 *输入* 集合（风场、辐射），从而升级下游的概率层。辐射与轮毂高度风速仍弱于温度/气压——在用它们替换 HRRR 之前请先验证。
**实践指引。** （1）数据泄漏规则在此加倍适用：针对如实发布的归档 *预测* 评估，绝不使用再分析导出的天气，否则回测会讨好你。（2）机群级预测（影响价格的量）比单厂容易得多——误差在站点间去相关——因此要让聚合层次匹配用例；一个平庸的单厂模型对 ERCOT 全域净负荷可能是优秀的。（3）就批发市场目的而言，你通常想要的量是 **净负荷** （负荷 − 风电 − 光伏）及其爬坡，即实时电价的驱动因素：用上述工具分别预测三个分量，再组合，并以 ISO 的隐含净负荷预测作为基准。要击败的基线：每个 ISO 发布的风电/光伏预测（ERCOT STWPF/STPPF、CAISO、SPP——经 gridstatus）以及短尺度上的智能持续法。
---
## 7. 容量：装机基础与在建管道
实践中的"容量预测"意味着追踪已装机机群并预测新增/退役。这里的开放数据极佳，尽管没有机器学习基准：
- **EIA-860 / 860M** ✅（经 EIA，或经 PUDL 清洗后）：机组级装机容量、技术，以及带预期投运日期的 **计划新增与退役** ；860M 每月更新。这是全行业使用的基线容量预测。
- **LBNL "Queued Up" + 并网排队队列数据集** ✅：Berkeley Lab（与 interconnection.fyi 合作）汇编了来自 50 多个电网运营商（7 个 ISO/RTO + 约 50 个非 ISO 平衡区，约占美国装机容量的 98%）的项目级并网排队队列数据。最新数据文件覆盖 **截至 2025 年底** 的申请（超过 2,060 GW 的活跃发电 + 储能容量；燃气同比增长 86% 至 253 GW，光伏 773 GW，储能 749 GW，风电 220 GW；549 GW 已签订草案/已执行并网协议）。含一份编码手册与数十张汇总表。所附 PDF 分析（"Queued Up: 2025 Edition"）覆盖截至 2024 年的数据。报告中的关键建模事实：历史上 **只有约 13% 的排队容量（2000–2019 年申请）达到了商业运行** ，且从并网申请到投运（IR→COD）的中位时长如今已超过 4–5 年——因此队列需要存活率建模，而非按面值使用。下载：https://emp.lbl.gov/queues
- 在 LBNL 年度发布之间，用 **gridstatus 并网排队队列抓取** ✅获取各 ISO 的实时队列。
- **EPA CEMS** （经 PUDL）获取已实现的机组级运行；**EIA-411/NERC ES&D** ◻︎用于备用裕度/资源充裕性预测；ISO 规划报告（ERCOT CDR、PJM 负荷预测、CAISO IRP）◻︎获取 ISO 自身的容量展望。
---
## 8. 通用时间序列基准与基础模型（你会遇到的背景知识）
- **GIFT-Eval** ✅（Salesforce；arXiv:2410.10393）：当前标准的通用预测基准——来自约 23–55 个数据集的 97 个任务、14.4 万条序列、7 个领域（含能源），配有明确的预训练语料与排行榜。近期基础模型（Chronos-2、TimesFM-2.5、TiRex、Toto、Moirai-2）都在其上报告结果。其能源数据偏楼宇/消费类（UCI Electricity、BDG-2、ETT…），**并非** 美国批发电价——因此应把 GIFT-Eval 排名视为 LMP 预测技巧的弱证据。
- **数据泄漏警告** ✅：GIFT-Eval 作者指出 TimesFM/Chronos/Moirai 在常见公开集上存在部分预训练泄漏，且负荷预测基准论文因训练数据不可核验而取消闭源数据模型的资格（例如 TimeGPT-1）。若你在公开的 ISO/EIA 数据上对基础模型做基准，除非模型记录了其语料，否则应假定存在污染。
- 其他有用的开放评估栈：Nixtla 的 **statsforecast/neuralforecast/utilsforecast** 、**GluonTS** 、**Darts** 、**sktime** ，以及 Monash Forecasting Archive ◻︎。
---
## 9. 结构与市场仿真模型
纯时间序列模型从历史外推，因此难以应对机制变化：新输电、发电机退役、燃料冲击、重大停运、储能与可再生能源新增，或修订的稀缺规则。开放的结构性工具提供了互补视角：
- **Prescient** ——用于机组组合、经济调度与序列仿真的 Python 生产成本框架，附 RTS-GMLC 示例。
- **Sienna / PowerSimulations.jl** ——用于序列运行、机组组合、调度与情景研究的 Julia 框架。
- **PyPSA** ——经济调度、机组组合、线性最优潮流、输电建模与容量扩展。
- **QuESt PCM** ——Sandia 的 Python 生产成本模型，含详细的储能表示。
- **PyPSA-USA** ——可配置的美国输电、生产成本、容量扩展与区域情景模型。
- **PowerGenome** ——从公开数据构建协调一致的美国发电机群、负荷曲线、区域聚合与技术假设。
一种有用的混合架构是：
1. 结构模型估计系统边际电价（lambda）、调度、备用与阻塞状态。
2. 统计或机器学习模型修正结构模型的系统性误差。
3. 概率层产出校准后的区间或情景。
当预测期与训练期存在实质性差异时，这最有价值。对于受控实验，使用诸如 RTS-GMLC 的开放合成网络；不要暗示合成电网的结果就能确立真实节点市场的表现。
---
## 10. 推荐的基准设计
一个可信的开放美国基准应当区分任务，而非把不同类的预测对象压成单一分数：
| 任务 | 时间尺度 | 目标 |
|---|---:|---|
| 日前枢纽或分区电价 | 未来 24 小时 | 小时级 LMP、SPP 或 LBMP |
| 实时电价 | 1–24 小时 | 5 分钟或 15 分钟电价 |
| DART 价差 | 下一运行日 | 实时减日前 |
| 节点阻塞 | 下一运行日 | 阻塞分量或约束绑定概率 |
| 负荷 | 5 分钟–7 天 | 系统与分区兆瓦 |
| 可用容量 | 1–7 天 | 可用与强迫停运兆瓦 |
| 可再生能源可用性 | 5 分钟–2 天 | 风电或光伏潜在出力 |
| 稀缺事件 | 1–48 小时 | 备用短缺或价格尖峰概率 |
### 10.1 评估协议
- 使用滚动起点回测，绝不使用随机训练/测试切分。
- 强制执行严格的时点可得性，并保留每一个预测版本（vintage）、发布时间、修订时间与交付时间。
- 显式处理市场日历、夏令时切换与区间收尾约定。
- 按季节、小时、节点流动性、阻塞机制以及正常 vs 稀缺时段报告结果。
- 纳入极端天气窗口，而非让平均时段主导分数。
- 在存在的情况下与 ISO 已发布的预测比较，另加朴素季节性基线与问题专属基线。
### 10.2 指标
对于点预测，报告 MAE、RMSE、MASE 以及目标专属的峰值或爬坡误差。避免对电价使用 MAPE，因为价格可能为零、接近零或为负。
对于概率预测，报告弹球损失或 CRPS、预测区间覆盖率与校准。在评估多元情景时使用能量评分（energy score）。对于稀缺、阻塞与爬坡事件，另加精确率、召回率、PR-AUC，以及一个按提前量或成本加权的事件评分。
在适当处使用 Diebold-Mariano 或 Giacomini-White 检验、区块自助法（block bootstrap）与机制专属比较；缺乏统计或经济显著性的微小指标改进并不足够。
### 10.3 经济评估
电价预测还应在一个完整规范的决策仿真中检验。纳入报价时点、头寸与量限、交易成本、滑点、手续费、价格上下限、结算规则、风险调整后的盈亏、回撤与尾部表现。把预测模型的比较与交易策略的比较分开，以便改进可归因。
### 10.4 建模不变量
1. **保留预测版本。** 当运行模型本应看到的是更早的预测时，绝不用已实现或已修订的天气来训练。
2. **区分普通与极端机制。** 两者都报告；不要让常见时段掩盖在高价值事件上的失败。
3. **在有用处对分量做预测。** 把 LMP 分解为能量、阻塞与损耗分量；把可再生能源出力分解为潜在、可用与弃用；把净负荷分解为负荷、风电与光伏。
4. **谨慎使用全局模型。** 跨节点或跨市场训练能帮助稀疏序列，但需要标识符、地理、市场结构以及逐序列报告。
5. **评估运行层面的有用性。** 统计准确度、校准、时延、稳定性与经济价值是各自独立的要求。
---
## 11. 已知缺口与付费墙（免得你以艰难方式发现它们）
1. **不存在受维护的、带对齐时点特征的现代美国节点日前/实时电价基准。** 人人重建；各论文间结果鲜有可比性。（已核验的缺口；EPF 文献本身也指出了这一点。）
2. **天然气枢纽价格** ——最重要的单一燃料驱动因素——是绑定的数据约束。亨利枢纽（Henry Hub，EIA，免费，日度）对 ERCOT/PJM/新英格兰并不够，后者按 **Waha、TETCO M3、Algonquin Citygates** 等定价；那些日度指数是商业的（Platts、NGI、ICE）。部分免费变通：EIA 周度/月度区域价格、期货结算价与滞后代理——在受燃气约束的区域，这些都会显著削弱冬季价格模型。◻︎
3. **时点天气预测** ：再分析泄漏是已发表负荷/价格模型中最常见的隐性缺陷；请使用归档的 HRRR/GFS。
4. **网络模型/拓扑** 是保密的（CEII）；节点阻塞预测必须依赖学到的模式或合成电网（第 9 节：RTS-GMLC、Texas A&M 合成案例如 Texas 7k、Breakthrough Energy 美国测试系统、PGLib-OPF，配有 PyPSA-USA、NREL Sienna、Egret 中的开放工具）◻︎。
5. **ISO 数据许可** ：数据可免费访问，但部分 ISO 限制再分发——这也是公开基准稀缺的又一原因。在重新发布数据集前请查证每个 ISO 的条款。◻︎
---
## 12. 推荐的入门技术栈（按问题）
**日前分区/枢纽电价预测（研究级、可比）：**
用 epftoolbox（模型 + 检验 + PJM/ComEd 集）作方法论 → 经 gridstatus 重建一个现代数据集（日前 LMP、ISO 负荷 + 可再生能源预测），覆盖 2021→至今 → 报告相对于朴素法 + LEAR + DNN 的 rMAE、DM/GW 检验，若为概率则报告弹球/CRPS。
**实时节点 / DART 价差：**
在所选节点上用 gridstatus 的实时+日前 LMP；特征：ISO 预测、停运报告、净负荷爬坡、天然气代理、日前电价；两阶段（尖峰分类器 + 幅度回归器）是常见的开放模式；在统计之外也做经济评估（虚拟报价的交易盈亏）。
**负荷：**
EIA-930（清洗后）或 ISO 分区负荷；基线 = 平衡区/ISO 已发布的预测；GEFCom2014 风格的分位数评估；经 herbie/Open-Meteo 获取 HRRR 天气特征。
**风电/光伏与风险感知运行：**
以 ARPA-E PERFORM 作基准基底；NSRDB/WIND Toolkit 提供资源；与 ISO 运行预测比较。
**容量展望：**
EIA-860M（计划机组）+ LBNL 队列数据，用按区域/技术/队列版本的历史建成率作存活先验；PUDL 提供装机机群主干。
---
## 13. 链接索引
| 资源 | URL |
|---|---|
| gridstatus (library) | https://github.com/gridstatus/gridstatus |
| epftoolbox (EPF benchmark) | https://github.com/jeslago/epftoolbox |
| Lago et al. 2021 (open access) | https://doi.org/10.1016/j.apenergy.2021.116983 |
| EIA API / Hourly Grid Monitor | https://www.eia.gov/opendata/ |
| Cleaned EIA-930 demand | https://github.com/truggles/EIA_Cleaned_Hourly_Electricity_Demand_Data |
| PUDL | https://catalystcoop-pudl.readthedocs.io |
| ARPA-E PERFORM datasets | https://data.openei.org/submissions/5772 |
| PERFORM documentation | https://github.com/PERFORM-Forecasts/documentation |
| LBNL Queued Up / queue data | https://emp.lbl.gov/queues |
| NREL NSRDB | https://nsrdb.nrel.gov |
| NREL WIND Toolkit | https://www.nrel.gov/grid/wind-toolkit |
| GEFCom archives | http://www.drhongtao.com/gefcom |
| GIFT-Eval | https://arxiv.org/abs/2410.10393 |
| Chronos | https://github.com/amazon-science/chronos-forecasting |
| TimesFM | https://github.com/google-research/timesfm |
| Nixtla forecasting libraries | https://github.com/Nixtla |
| CAISO OASIS | http://oasis.caiso.com |
| PJM Data Miner 2 | https://dataminer2.pjm.com |
| ERCOT public API | https://data.ercot.com |
| NYISO archives | https://mis.nyiso.com/public/ |
| RTS-GMLC (synthetic grid) | https://github.com/GridMod/RTS-GMLC |
| Texas A&M synthetic grids | https://electricgrids.engr.tamu.edu |
| PyPSA-USA | https://github.com/PyPSA/pypsa-usa |
| Prescient | https://github.com/grid-parity-exchange/Prescient |
| Sienna | https://sienna-platform.github.io/Sienna/ |
| PyPSA | https://pypsa.org/ |
| QuESt PCM | https://www.sandia.gov/ess/tools-resources/quest/quest-pcm |
| PowerGenome | https://github.com/PowerGenome/PowerGenome |
| Herbie (HRRR access) | https://github.com/blaylockbk/Herbie |
| Open-Meteo | https://open-meteo.com |
| pvlib-python | https://github.com/pvlib/pvlib-python |
| PySAM (NREL) | https://github.com/NREL/pysam |
| windpowerlib | https://github.com/wind-python/windpowerlib |
| PyWake (DTU) | https://github.com/DTUWindEnergy/PyWake |
| Open Climate Fix (PVNet et al.) | https://github.com/openclimatefix |
| GluonTS | https://github.com/awslabs/gluonts |
| Darts | https://github.com/unit8co/darts |
| mgcv (GAMs, R) | https://cran.r-project.org/package=mgcv |
| Hong & Fan, probabilistic load forecasting review | https://doi.org/10.1016/j.ijforecast.2015.11.011 |
---
## 14. 核验说明
标记为 ✅ 的条目已于 2026 年 7 月对照一手来源核实（GitHub 代码库、OEDI/OSTI 记录、LBNL 出版页面、期刊/arXiv 论文）。标记为 ◻︎ 的条目反映了确立已久的领域知识，但未针对本报告逐条重新核验。分层模型章节（4.4、5.4、6.3）整体为 ◻︎：每个所列模型/库的存在与特征属于标准知识，其中的 epftoolbox 具体内容为 ✅，但关于 *相对性能* 的论断（例如在多尖峰电价上 LEAR/GBM vs 基础模型、TimesFM 在负荷上的竞争力）概括的是 2024–2026 年文献的一般发现，会随模型演进而变化——在引用前请对照当前论文重新核查——尤其是确切的 ISO 门户 URL/注册要求与商业天然气指数许可会周期性变化，应在使用时查证。所述数据集版本（PERFORM 2017–2019；epftoolbox 止于 2018；清洗后的 EIA-930 至 2025 年 1 月；LBNL 队列至 2025 年底）为编纂时所发布的状态。

59
primers/technical_newsvendor_zh.md Normal file
View File

@ -0,0 +1,59 @@
# 报童问题：面向电力市场的精简入门
## 1. 一段话讲清模型
一位报贩必须在得知当天需求 `D`（一个服从分布 `F` 的随机变量）之前，决定进货多少份报纸 `q`。每一单位未被满足的需求带来成本 `c_u`（ **缺货成本（underage cost）** ：损失的边际利润、罚款，或以更高价格进行的补货）；每一单位卖不出去的库存带来成本 `c_o`（ **过量成本（overage cost）** ：进货价减去残值）。报贩要最小化期望成本：
```
minimize over q : E[ c_u · (D − q)⁺ + c_o · (q − D)⁺ ]
```
这是最小却依然有趣的随机优化问题：一个决策、一个随机变量、一个周期，而且——至关重要的是——它有一个闭式解，承载着整个领域的核心教益。
## 2. 临界比：为什么答案是分位数，而非点预测
对期望成本关于 `q` 求导（或者从边际角度论证：最后进的那一单位是否值得，取决于它所避免的期望缺货是否超过它所冒的期望过量风险）。在最优点处，边际收益 `c_u · P(D > q)` 等于边际成本 `c_o · P(D ≤ q)`，由此得到 **临界比（critical ratio）** （也称 **临界分位数（critical fractile）** ）：
```
F(q*) = c_u / (c_u + c_o) ⟹ q* = F⁻¹( c_u / (c_u + c_o) )
```
有三点值得注意。第一，最优决策是需求分布的一个 **分位数（quantile）** ——均值根本不出现在其中。如果缺货的痛苦是过量的三倍，就在第 75 百分位处进货；如果过量占主导，就在中位数以下进货。第二，"按点预测来规划"这一确定性习惯只有在 `c_u = c_o` **并且** 分布对称这一临界特例下才是最优的——成本不对称或分布有偏，都会使点预测系统性地成为错误答案。第三，解需要的是整个分布（或至少是其中正确的那个分位数），而非一个点估计：这正是不确定性量化具有决策价值的确切含义。
最优点处的期望成本还有一个清晰的解释：它随 `D` 在所选分位数附近的 *离散程度*（spread）增大而增大。预测改进（方差缩减）与决策改进（选对分位数）是互补但相互独立的两个杠杆——组织在实践中常常把二者混为一谈。
## 3. 电力中的报童问题，通常并未被点名
电力市场充满了"在不确定性揭晓之前做出、事后以不对称方式结算"的一次性数量决策。一旦你识别出 `q`、`D`、`c_u` 和 `c_o`，每一个都是一个报童问题。
**可再生能源的日前报量。** 一家风电或光伏生产商以价格 `π_DA` 向日前市场（DA）报出数量 `q`，随后按不平衡价格（imbalance price）对实际发电量 `D` 与报量之间的偏差进行结算。在双价平衡市场中，欠交付部分要以高于 `π_DA` 的价格回购（单位缺货成本 `c_u` = 回购溢价），超交付部分要以低于 `π_DA` 的价格卖出（`c_o` = 折价出售）。最优报量恰好是发电量分布的临界比分位数——面临严厉短缺罚款的生产商应保守报量（一个较低的分位数），反之亦然。这一结论源自 2000 年代的交易文献（Bremnes；Pinson、Chevallier 和 Kariniotakis），正是它说明了为什么对可再生能源交易员而言，真正重要的交付物是分位数预测而非点预测；它也是随机优化入门中更丰富的多市场报量模型的切入点。
**备用容量定容。** 系统应持有多少 MW 的运行备用（operating reserve）以应对净负荷预测误差和机组故障？持有一 MW 未被动用的备用，成本是备用采购价格（过量）；短缺一 MW，成本则是按失负荷价值（VOLL）计的期望切负荷，或昂贵的紧急操作（缺货）。当 `c_u` 高达数千美元/MWh（VOLL）而 `c_o` 只有几十美元时，临界比就落在右尾深处——这恰恰解释了为什么备用需求对应于净负荷误差分布的高分位数（例如第 95 至 99.9 百分位）。现代 ISO 中的概率化备用方法和爬坡产品需求曲线，都是被制度化了的报童逻辑。
**运行备用需求曲线（ORDC）。** 把这套逻辑反过来跑：不去固定一个数量，而是给每一增量的备用按其期望边际价值定价，`VOLL × LOLP(r)`——失负荷价值乘以在备用水平 `r` 下的失负荷概率（LOLP）。ERCOT 的 ORDC 是这一做法的典范实现。这条需求曲线 *就是* 报童问题的一阶条件在数量维度上逐点描出的轨迹。
**零售与燃料采购。** 一家为不确定客户负荷远期签约购电的零售商，在短缺部分面临现货价格敞口，在盈余部分面临转售亏损；一家燃气机组按不确定的调度出力提前一天申报管道运力，则两个方向都面临不平衡罚款。二者都可归结为负荷或调度分布的临界分位数问题，而在实践中又因数量与价格之间的相关性而复杂化（你往往恰好在价格高企时处于短缺），这会移动有效分位数——这也让人初尝为什么联合分布至关重要。
## 4. 与预测的联系：弹球损失就是报童损失
这个决策问题与现代概率预测之间的联系是精确的，而非仅仅类比。用于训练和评估分位数预测的 **弹球（分位数）损失（pinball (quantile) loss）** ，
```
L_τ(q, d) = τ·(d − q)⁺ + (1 − τ)·(q − d)⁺ ,
```
正是取 `c_u = τ`、`c_o = 1 − τ` 的报童成本函数；最小化其期望即得到 τ-分位数。因此，一位在 `τ = c_u/(c_u + c_o)` 处最小化弹球损失的预测者，就是在 *直接* 求解交易员或调度员的决策问题——预测与优化坍缩为同一个步骤。这一观察支撑着当前"面向决策"（decision-focused）或"先预测后优化"（predict-then-optimize）的研究议程：与其先拟合一个分布再针对它优化，不如直接用决策实际承担的损失来训练预测。报童问题正是这一纲领拥有完整闭式答案的那个特例。
## 5. 风险厌恶及其他扩展
经典模型是风险中性（risk-neutral）的。真实的参与者在意尾部风险，标准的做法是用 **条件风险价值（CVaR）** 或均值–CVaR 目标来替代期望成本。优雅之处在于：对报童问题而言，CVaR 优化再次给出一个分位数决策，只不过是在一个 *平移过的* 临界比处——风险厌恶会把报量向尾部更差的那一侧倾斜。在 Rockafellar–Uryasev 表述下，给定情景后该问题仍是一个小型 LP，这预示了风险如何在随机优化入门的更大模型中引入而不破坏可解性。
其他标准扩展各自只增加一味"配料"，并指向一片更大的文献：**价格相关需求**（价格设定型报童，price-setting newsvendor）指向联合定价/数量决策；**数量–价格相关性** 指向组合与套保模型；**带结转的多周期库存** 指向基准库存策略（base-stock policy），在电力中则指向储能套利（storage arbitrage）（电池针对不确定的未来价格所做的充电决策，就是一个沿时间链接起来的报童问题）；**未知分布** 指向分布鲁棒（distributionally robust）报童问题——Scarf 1958 年针对"匹配给定均值和方差的最坏分布"给出的闭式解，是最早的 DRO 结果之一，至今仍是一块试金石。
## 6. 通往两阶段随机规划的桥梁
从形式上讲，报童问题 *就是* 一个两阶段随机规划（two-stage stochastic program）：`q` 是此时此地（here-and-now）的决策，而补偿（recourse）问题是平凡的——以 `c_u` 买入短缺，或以 `c_o` 处置盈余，其补偿成本 `Q(q, D) = c_u(D − q)⁺ + c_o(q − D)⁺` 有闭式表达。完整随机优化工具箱里的一切，都是这一结构去掉了那些平凡之处的产物：把标量 `q` 换成机组组合（unit commitment）的向量，把闭式补偿换成每个情景一个的调度 LP，闭式分位数解就消失了——但其 *经济学* 完好无损。随机机组组合（stochastic unit commitment）本质上就是系统调度员在成千上万个相互耦合的维度上追问报童问题：面对净负荷分布，在"过量持有"（启动成本和空载成本被浪费）与"短缺"（调峰机组、稀缺价格、切负荷）这两侧的不对称成本之间，现在应当承诺多少慢速、廉价的容量。每当一个随机模型的输出显得晦涩难懂时，报童问题就是正确的健全性检验：识别出隐含的 `c_u/c_o` 比值，然后追问模型是否在选择一个合理的分位数。
## 7. 推荐阅读
该模型可追溯至 Edgeworth 1888 年的银行准备金分析，其现代形式则见于 Arrow、Harris 和 Marschak（1951）；Porteus 的 *Foundations of Stochastic Inventory Theory* 以及 Qin 等人（2011）的综述涵盖了经典理论及其扩展。Scarf（1958）是无分布（distribution-free）方法的源头。电力方面：Bremnes（2004）与 Pinson、Chevallier 和 Kariniotakis（2007）确立了风电的分位数报量结论；Morales、Conejo、Madsen、Pinson 和 Zugno 合著的 *Integrating Renewables in Electricity Markets* 第 7 章给出了完整的交易处理；Hogan 关于 ORDC 的论文发展出稀缺定价这一化身；Rockafellar 和 Uryasev（2000）提供了贯穿全文反复使用的 CVaR 机制。

88
primers/technical_scuc_sced_zh.md Normal file
View File

@ -0,0 +1,88 @@
# SCUC 与 SCED 入门：批发电力市场的优化引擎
## 1. 这两个缩写究竟是什么
安全约束机组组合（SCUC）和安全约束经济调度（SCED）是清算美国有组织批发电力市场的两个优化问题，并以密切相关的形式在全球范围内被采用。你所看到的由 PJM、MISO、CAISO、ERCOT、SPP、NYISO 或 ISO-NE 发布的每一个节点价格，都是这两个问题之一的副产品——从字面意义上讲，就是一个对偶变量或其混合整数形式的对应物。理解它们，就意味着理解美国大约三分之二的电力是如何被调度和定价的。
这两个问题在不同的时间尺度上回答不同的问题。 **SCUC 回答的是"哪些机组应该开机？"** ——这是一个涉及启动成本、最小运行时间和数小时提前量的组合决策，主要在日前市场中求解。 **SCED 回答的是"在已开机的机组中，每台机组当前应该发多少电？"** ——这是一个每五分钟在实时市场中求解的调度决策。二者共有的"安全约束"前缀，意味着解不仅要在正常运行条件下满足输电网络的要求，还要在一份预定义的故障清单下满足要求：系统必须能够承受任何单个主要元件的突然失去。这就是被称为 N-1 安全的工程判据，而将其嵌入市场优化，正是现代节点边际电价（LMP）市场区别于简单单节点拍卖的关键所在。
## 2. 物理与制度背景
三个物理事实塑造了一切。第一，供需必须持续平衡——一旦出现不平衡，频率会在数秒内偏移，而大幅偏移会级联为停电。第二，电力潮流依据基尔霍夫定律在网络中自行分布，而非依据合同；你无法为电力"选路"，因此某条线路上的阻塞是由各处的注入共同决定的。第三，发电机组是"大块头"且不灵活的：一台大型火电机组可能需要 8–24 小时的提前通知才能启动，每次启动耗资数万美元，无法在低于容量 40–50% 的水平下运行，并且爬坡速度受限。
在制度层面，独立系统运营商（ISO）或区域输电组织（RTO）运行着一个两结算体系市场。 **日前市场（DAM）** 在运行日前一天的上午收市：参与者提交报价（发电机组）和报量（负荷和金融交易者），ISO 运行 SCUC 以产生逐小时的机组组合、计划和日前节点边际电价，这些计划按该价格进行金融结算。在 **实时市场** 中，SCED 每五分钟针对实际情况运行一次，产生实时节点边际电价；实时交付与日前计划之间的偏差按实时价格结算。在两者之间，一次 **可靠性机组组合（RUC）** 过程会针对 ISO 自身的负荷预测重新运行一个类 SCUC 模型，以组合任何金融日前市场未曾采购、但可靠性所需的额外容量。
## 3. SCED 的数学表述
SCED 是较简单的问题，也是入门的正确起点。在其直流线性化形式下，它是一个线性规划：
```
minimize Σ_g C_g(p_g) (offer-based cost)
subject to Σ_g p_g = Σ_n d_n (system power balance) → dual λ
P_g^min ≤ p_g ≤ P_g^max (dispatch limits of committed units)
|p_g − p_g^prev| ≤ R_g · Δt (ramp limits over the interval)
−F_k ≤ Σ_n PTDF_{k,n} · inj_n ≤ F_k (base-case line flow limits) → duals μ_k
(same flow constraints under each contingency c in the monitored set)
reserve constraints (co-optimized regulation, spin, non-spin)
```
成本函数 C_g 是分段线性的，由每台发电机组的报价曲线构建而成（在大多数 ISO 中最多十个价—量分段）。网络通过功率转移分布因子（PTDF）来表示——这是在直流近似下将节点注入映射到线路潮流的线性灵敏度，直流近似忽略了损耗和无功功率（损耗通常通过边际损耗因子加回）。故障安全性通过添加以故障后灵敏度（LODF，即线路开断分布因子）计算的潮流约束而进入：对于每条被监测线路 k 和每个故障 c，故障后潮流必须保持在该线路的紧急额定值之内。实践中只纳入经过筛选的、起作用或接近起作用的约束对所构成的"活动集"，因为完整集合（数千条线路 × 数千个故障）极其庞大且几乎全部松弛。
现代 SCED 将电能量与 **运行备用和调频** 联合优化：一台机组的裕度可以作为备用而非电能量出售，线性规划会选择使总成本相对于备用需求曲线最小化的分配方式。它通常还以短程 **前瞻** 模式运行（数个 5–15 分钟区间），以便主动而非短视地管理爬坡约束。
## 4. 节点边际电价
SCED 的精妙之处在于其对偶解 *本身就是* 市场价格。节点 n 处的节点边际电价可分解为：
```
LMP_n = λ + loss component − Σ_k μ_k · PTDF_{k,n}
```
也就是说，等于系统边际电能量价格，加上该位置损耗的边际成本，再加上一个由起作用输电约束的影子价格构成的阻塞分量。当没有任何阻塞时，所有节点看到（几乎）相同的价格。当某约束起作用时，价格发生分离：注入能够缓解该约束的节点获得更高的报酬，注入会加剧该约束的节点获得更低的报酬——价格系统将基尔霍夫定律内部化了。由于 SCED 是一个凸线性规划，这些价格支撑着调度：每台在其上下限之间被调度的发电机组在边际上恰好处于无差异状态，并且没有任何已组合的发电机组会在其增量电能量上按节点边际电价亏损。ISO 收取的阻塞租金（当线路起作用时，负荷支付的总额超过发电获得的总额）为金融输电权（FTR）提供资金，后者是应对阻塞风险的对冲工具。
## 5. SCUC 的数学表述
SCUC 将调度问题包裹在一个 24–48 小时时间跨度上的二元组合决策之中：
```
minimize Σ_t Σ_g [ SU_g · v_{g,t} + NL_g · u_{g,t} + C_g(p_{g,t}) ]
subject to u_{g,t} ∈ {0,1} (on/off status)
v_{g,t} ≥ u_{g,t} − u_{g,t−1} (startup logic)
minimum up and down times (once on, stay on ≥ UT_g hours, etc.)
P_g^min · u_{g,t} ≤ p_{g,t} ≤ P_g^max · u_{g,t}
ramp limits, startup/shutdown ramp rates
hourly power balance, reserve requirements
base-case and contingency transmission limits
```
现在目标函数除增量电能量外，还包括 **启动成本** （SU，常取决于机组已停机多久——热启动、温启动、冷启动）和 **空载成本** （NL，即在净出力为零时运行的成本）。二元变量以及最小开/停机时间逻辑使 SCUC 成为一个大规模混合整数线性规划（MILP）：一个大型 RTO 的日前 SCUC 跨越约 1,000 多台发电机组、36–48 个逐小时时段、筛选后数以万计的网络约束，以及约 10⁵ 量级的二元变量。ISO 在严格的市场时限内（约 1–4 小时的实际时钟预算）将其求解到某个最优性间隙容差，通常在 0.1% 左右。
有若干建模上的精细处理在实践中至关重要。 **联合循环机组** 采用基于配置的转换（1x1、2x1 等）进行建模，每种配置都是其自身的伪机组并带有转换逻辑。 **紧致的 MIP 表述** （针对开/停机时间和爬坡多面体，例如 Rajan–Takriti 刻面及其后续成果）大幅缩短了求解时间——在使大规模 SCUC 变得可解方面，表述强度与求解器进步同等重要。而 **需求报量、虚拟报价（INC/DEC）以及价格敏感型负荷** 与发电对称地进入日前问题，这正是日前市场之所以是一个真正意义上的金融性双边拍卖、而非纯工程计划的原因。
## 6. SCUC 带来的定价难题：非凸性与附加费用
SCUC 打破了 SCED 那套干净的对偶叙事。有了二元变量，问题就变成非凸的，一般而言不存在任何一组统一价格能够支撑该解：一台为可靠性而组合的机组，在由此得到的节点边际电价下，可能无法回收其启动成本和空载成本；反之，某台机组也可能面对一组它宁愿选择另一种运行计划的价格。市场用 **补足支付（make-whole）** （即附加费用（uplift））来打补丁：这是一种旁支付，保证任何遵从 ISO 指令的资源在一天中都能回收其按报价计算的成本。附加费用具有歧视性（不同资源获得不同的实际价格）且不透明（它无法像节点边际电价那样被对冲），因此市场设计者力求将其最小化。
目前有两种定价应对方案在使用中。 **快速启动定价** 放松在线快速启动机组的二元约束，使得当它们处于边际时，其启动成本和空载成本可以设定节点边际电价——在 FERC 于 2010 年代后期推动这一议题之后，若干 ISO 采纳了各种变体。更具雄心的是 **扩展节点电价（ELMP）/凸包定价** ，它寻求通过基于非凸成本函数的凸包定价来使总附加费用最小化的价格；MISO 运行的是这一方法的一个近似。理论上干净的对象——凸包价格——是机组组合问题的拉格朗日对偶最优值，但在大规模下精确计算它仍然困难，而关于价格应在多大程度上偏离边际成本逻辑以反映组合成本的争论，是市场设计领域最活跃的议题之一。
## 7. 各部分如何沿运行时间线协同配合
一个有用的心智模型，是将同一个核心问题以不断收缩的时间跨度和不断硬化的决策反复求解，形成一个级联。日前 SCUC（金融性、报入的需求）设定逐小时的机组组合和日前结算。RUC（可靠性过程、预测需求）对物理机组组合进行补足。日内或小时前的 SCUC 过程随预测更新而重新组合快速机组和中间机组（例如 ERCOT 的 HRUC、CAISO 的短期机组组合）。实时 SCED 每五分钟运行一次，调度已组合的机群并设定实时价格，带有约一小时的前瞻；快速启动机组仍可由一个实时组合层启动。每个阶段都将前一阶段的决策作为固定值继承下来，并重新优化仍然灵活的部分——这个级联本身就是一种针对不确定性的隐式、滚动式追索（recourse），尽管每一次单独的求解都是确定性的。
这也正是与随机优化产生联系之处：生产用的 SCUC/SCED 在处理负荷和可再生能源不确定性时是确定性的（单一预测、外生的备用需求），而通过 N-1 故障集合稳健地处理 *设备* 不确定性。随机机组组合——为净负荷设置场景、将机组组合作为此时此地（here-and-now）决策、将调度作为追索——正是这一问题的研究性拓展，如今被用于咨询性的前瞻工具以及设定备用和爬坡产品需求，而非用于清算引擎本身，这主要是因为基于场景的清算所引发的定价、成本回收和透明度问题。
## 8. 计算
RTO 规模的日前 SCUC 是以每日工业化节奏求解的最大规模 MIP 之一。实用工具箱包括：最先进的商用 MIP 求解器（带预求解、割平面、启发式的分支切割）；如前所述的紧致表述； **对输电安全的惰性约束处理** ——先用一小组活动网络约束求解，再针对该解检查完整的 N-1 集合，添加被违反的约束，并迭代，由于极少约束会真正起作用，这通常只需几轮便可收敛；分解方法的遗产（拉格朗日松弛是 MIP 时代之前的主力方法，至今仍影响着定价理论；Benders 分解的变体出现在各种拓展中）；以及从前一天的解进行热启动。SCED 作为一个带活动集网络模型的线性规划（或近乎如此），可在数秒内求解——它的挑战在于五分钟节奏下的数据管道延迟和鲁棒性，而非优化难度。一条值得关注的研究脉络将机器学习应用于加速 SCUC，方法是预测活动约束集、良好的组合模式，或对故障进行筛选。
## 9. 美国以外的变体
SCUC/SCED 架构是美式集中式电力库市场（带节点定价）的典型特征。欧洲市场在结构上有所不同：日前清算（EUPHEMIA 算法）是一个分区、基于组合的拍卖，其中机组组合交由参与者决定，非凸性通过区块订单进入；分区内部的阻塞则由输电系统运营商（TSO）事后通过再调度来管理。澳大利亚的 NEM 运行一种五分钟的区域调度，类似于没有日前组合市场的 SCED。节点/集中式组合设计与分区/自组合设计之间的权衡——定价精度与阻塞管理对阵简洁性与参与者自主性——是一场长期争论，欧洲正逐步引入基于潮流的耦合并讨论更细的粒度，而美国的设计则充当节点定价的参照点。
## 10. 当前的压力点
若干力量正在重塑这两个问题。 **储能** 要求在 SCUC/SCED 内部引入荷电状态动态，并引出一些微妙的问题：基于机会成本的报价，以及应由 ISO 还是所有者来管理荷电状态（SOC）。 **可再生能源与净负荷波动性** 对确定性预测假设构成压力，推动了爬坡产品、更频繁的日内组合，以及对随机和鲁棒前瞻工具的兴趣。 **分布式能源（DER）与需求灵活性** （美国的 FERC Order 2222）将小型资源的聚合推入同一优化问题，使模型规模成倍增长。 **联合优化的范围** 持续扩大——电能量、多类备用、爬坡产品，以及在某些设计中的日前辅助服务需求曲线——使本已庞大的 MIP 进一步膨胀。而 **定价改革** （凸包近似、快速启动定价、通过运行备用需求曲线实现的稀缺定价）则持续演进着从这些优化到驱动投资的价格之间的映射。
## 11. 推荐阅读
关于市场设计的基础：Schweppe、Caramanis、Tabors 与 Bohn 合著的 *Spot Pricing of Electricity* （1988），是 LMP 理论的起源；以及 Hogan 关于合同网络与 FTR 的论文。关于数学表述：Knueven、Ostrowski 与 Watson 的 "On Mixed-Integer Programming Formulations for the Unit Commitment Problem"（2020）是现代综述；O'Neill 等人的 "Efficient market-clearing prices in markets with nonconvexities"（2005）以及 Gribik、Hogan 与 Pope 于 2007 年关于 ELMP 的论文界定了定价问题；Rajan 与 Takriti 于 2005 年的报告给出了经典的紧致开/停机时间多面体。关于实践，各 ISO 自身的业务实践手册（例如 PJM Manual 11、MISO 的电能量与运行备用市场文档）是关于这些模型实际如何配置和求解的、异常翔实的一手资料来源。

104
primers/technical_stochastic_optimization_zh.md Normal file
View File

@ -0,0 +1,104 @@
# 电力市场中的随机优化入门
## 1. 为什么不确定性是电力系统的核心问题
在各类商品中，电力颇为特殊：它必须在几乎与消费同一瞬间被生产出来，储能相对于需求而言仍然昂贵，而电网的物理规律又限制了功率的流动方式。因此，市场运营者必须在**尚不确切知道未来将出现何种运行状况之前**就对资源做出承诺——决定开启哪些电厂、保留多少备用、如何调度水库水电。决策做出的时刻与不确定性揭晓的时刻之间的这段间隔，正是使电力市场天然成为随机优化用武之地的原因。
不确定性的主要来源包括：负荷（需求随天气、行为习惯而波动，并且越来越多地受到表后分布式资源的影响）、可再生能源出力（风电和光伏出力可在数小时内摆动装机容量的相当大比例）、设备可用性（发电机组和输电线路会意外故障）、燃料和电价（对于做报价和套保决策的市场参与者而言尤为重要），以及来水（对于以水电为主的系统，指数周到数年尺度上的水库入流）。历史上，负荷的不确定性较为温和，用确定性预测加上备用裕度即可管理。风电和光伏的快速增长改变了这一算式：净负荷（需求减去可再生能源出力）的波动性大得多、也更难预测，这促使系统运营者和市场参与者都转向能够显式刻画不确定性的决策框架，而非用启发式裕度将其掩盖。
## 2. 从确定性到随机形式
电力市场中的主力问题——经济调度、机组组合、市场出清——传统上被表述为 **确定性** 优化问题。经济调度在功率平衡约束和机组出力限制下最小化发电成本，通常是一个线性或二次规划。机组组合则加入开/停二元决策、最小开/停机时间、启动成本和爬坡限制，使之成为一个 **混合整数规划（MIP）** 。两者都把需求和可再生能源出力的单一预测视为已知。
**随机** 形式用一个概率分布（通常以有限的 **场景** 集合来近似）取代单一预测，并围绕决策相对于不确定性揭晓的时序重新组织问题。其关键的概念工具是区分 **当前决策（here-and-now）** 与 **观望/补偿决策（recourse）** ：前者必须在不确定性揭晓之前做出，因而在所有场景中都相同；后者可以在结果被观测到之后加以调整（即观望，wait-and-see）。在机组组合中，慢启动火电机组的组合决策属于当前决策：一台需要数小时才能启动的燃煤或联合循环电厂必须提前一天做出组合决策。而调度出力水平、快启动机组的组合、备用的投用则属于补偿决策：它们根据实际实现的净负荷实时调整。
## 3. 两阶段随机规划与随机机组组合
标准模型是 **带补偿的两阶段随机规划** ：
```
minimize c'x + E_ω[ Q(x, ω) ]
subject to x ∈ X
where Q(x, ω) = min { q(ω)'y : W y = h(ω) − T(ω) x, y ≥ 0 }
```
这里 `x` 收集第一阶段决策（机组组合），`Q(x, ω)` 是场景 `ω` 下的最优补偿成本（给定组合方案后的调度成本），目标函数最小化第一阶段成本加上第二阶段的 **期望** 成本。当场景集 {ω₁, …, ω_S} 有限、概率为 p_s 时，期望变为加权求和，整个问题成为一个庞大的「扩展式」MIP：为每个场景复制一份调度问题，全部通过共享的组合变量以及 **非预期性** 约束（第一阶段决策不能依赖于究竟出现哪个场景）耦合在一起。
**随机机组组合（SUC）** 正是套用这一模板。慢启动机组的日前组合方案被选取来最小化跨净负荷场景的期望总成本，其中每个场景的调度都尊重输电限制、爬坡和备用。相比针对单点预测做组合决策，这样做的价值由两个标准指标量化。**随机解价值（VSS）** 将随机解的期望成本与实施确定性（期望值）解的期望成本相比较——它衡量刻画不确定性到底值多少。**完美信息期望价值（EVPI）** 将随机解与一个能分别求解每个场景的「先知」相比较——它给出更好的预测最多能值多少的上界。针对真实系统的研究通常发现，VSS 在生产成本的零点几个百分点到几个百分点这一量级——听起来不大，但一旦乘以一个大型市场每年流转的数十亿美元，就相当可观了。
一个密切相关的运行用途是 **备用确定** ：与其外生地固定备用需求（例如「负荷的 3% 加上最大单一故障」），随机模型 **内生地** 确定备用——模型恰好保留场景集所证明经济合理的那么多灵活容量，并且把它保留在相对于输电约束正确的位置上。
## 4. 多阶段问题与随机对偶动态规划
许多电力问题本质上是 **多阶段** 的：不确定性逐步展开，决策与观测交错进行。范式性的例子是巴西、挪威、哥伦比亚、新西兰等以水库为主的系统中的 **水火电联合调度** 。今天蓄存的水可以在日后替代昂贵的火电，但未来数月的来水是不确定的。放水过多，一旦来水不及预期就有缺水风险；囤水过多，一旦来水充沛就会因弃水而浪费免费能量。这个问题跨越数月到数年，在观测到当期入流后每周或每月做一次决策。
对于这样的问题，场景树会组合爆炸——即使每阶段仅有十种入流结果、共 60 个月度阶段，场景树也大得天文数字。**随机对偶动态规划（SDDP）** 由 Pereira 和 Pinto 于 1991 年恰恰为巴西系统开发，它通过利用随机性的逐阶段独立性（或马尔可夫结构）来驯服这一规模。SDDP 用一族线性割平面（Benders 割平面）构成的外包络来近似动态规划的 **未来成本函数** ——即作为水库蓄存量函数的期望未来成本——并通过前向模拟遍历和后向割平面生成遍历迭代地加以细化。由于在线性调度模型下未来成本函数关于蓄存量是凸的，这些割平面会收敛到真实函数。SDDP 及其后继方法在若干国家的全国性水电调度中投入生产使用，它产出的边际水价直接进入水电系统的市场价格。
## 5. 场景生成与场景削减
随机规划的好坏取决于其场景。**场景生成** 是统计技艺最为要紧的建模步骤，它有若干要求：场景必须刻画每个不确定量的边际分布、时间自相关性（有风的一个小时之后往往还是有风的一个小时）、跨站点的空间相关性（天气系统范围很大），以及变量之间的相依性（寒潮抬升负荷，并可能同时影响风电出力和火电机组可用性）。
常见方法包括：时间序列模型（对预测误差施加 ARMA/GARCH）、在边际预测分布上强加真实相依结构的高斯 copula 方法、从集合数值天气预报中采样（每个集合成员都是一个物理自洽的场景），以及日益增多的机器学习生成式模型。对于机组停运等离散事件，从马尔可夫可用性模型中做蒙特卡洛抽样是标准做法。
由于求解器的计算量随场景数量增长，实践者会先生成一个大的场景集，然后施加 **场景削减** ——选出一个小的代表性子集并对其重新赋权，使之（在诸如 Wasserstein 距离这样的概率度量下）尽量贴近原始场景集。Heitsch–Römisch 的前向选择与后向削减算法是经典工具。一个实用的告诫：激进的削减往往恰恰丢弃了那些驱动备用和组合决策的极端场景，因此削减准则常被修改以保留分布尾部。
## 6. 替代方案与近亲：鲁棒、机会约束与分布鲁棒优化
随机规划优化的是一个期望，这需要一个可信的概率分布，并且如果坏场景不太可能发生，就会接受在这些坏场景中的糟糕结果。若干替代框架针对面对不确定性的不同态度，且都在电力领域找到了应用。
**鲁棒优化（RO）** 完全抛开概率：不确定性存在于一个集合之中（例如净负荷落在一个多面体带内，并带有一个「不确定性预算」来限制同时处于极端的小时数），模型在该集合内的 **最坏情形** 下最小化成本。两阶段自适应鲁棒机组组合在 2010 年代初崭露头角，ISO New England 是最早认真研究它的系统运营者之一。RO 的吸引力在于它无需分布、并能给出强有力的可靠性保证；其缺点是保守性——对最坏情形做套保可能贵得离谱。预算参数为运营者提供了在经济性与安全性之间调节的旋钮。
**机会约束优化** 要求约束以至少某个给定概率成立——例如「在风电预测误差下，输电线路潮流以 0.99 的概率保持在限值之内」。在高斯误差假设下，许多机会约束可重构为可处理的 **二阶锥** 约束，这使得机会约束 **直流最优潮流** 成为一个流行的研究载体。它提供了一个透明的可靠性旋钮，但也继承了对所假设分布的敏感性。
**分布鲁棒优化（DRO）** 在两者之间做折中：它针对一个 **模糊集** 内的最坏分布进行优化（模糊集可以是匹配观测矩的分布，或经验分布周围一个 Wasserstein 球内的分布）。DRO 已成为备用采购和最优潮流（OPF）的一个活跃研究方向，因为它承认分布本身也是从有限数据中估计出来的。
一个粗略的实用分类：当你信任自己的场景并关心期望成本时，用随机规划；当失效不可接受而分布又不可靠时，用鲁棒优化；当可靠性目标本身就是概率性的时，用机会约束；当你有数据但又不足以完全信任它时，用 DRO。
## 7. 随机市场出清与定价问题
在 **市场出清** 本身内部使用随机优化——而不仅仅作为运营者的辅助工具——会引出深刻的经济学问题。在随机市场出清中，日前与实时（平衡）两个阶段被协同优化：日前排程被选取来最小化跨场景的期望总成本，并预判平衡动作。研究一致表明，相比顺序的、确定性的出清，这能改善系统期望成本，在高可再生能源渗透率下尤为明显，因为日前排程会把灵活性预置在场景所指示的需要之处。
其难点是制度性和经济性的，而非计算性的：
**定价与成本回收。** 在一个确定性的凸市场中，由对偶变量得出的 **节点边际电价（LMP）** 支撑着调度——每个被排程的资源在该价格下至少能保本。而在随机市场出清中，一般不存在单一的一组日前价格能逐场景地支撑该解：那些保证 **在期望意义上** 回收成本的价格，可能在某些实际实现的结果中让参与者亏钱，这削弱了可接受性。关于「支撑均衡」的定价方案以及随机出清的 **收入充足性** 性质的研究仍然活跃，但迄今没有任何主要市场采用完整的随机出清，部分正是由于这个原因。
**公平性与透明度。** 场景的选取直接塑造了谁被排程、谁获得报酬。市场运营者将不得不像准监管事务那样为其场景生成方法学辩护。
**市场的实际做法。** 真实市场是逐步而非整体性地采纳感知不确定性的元素：用净负荷预测误差分布来定量确定的概率性备用需求和新的 **爬坡产品** （CAISO 的灵活爬坡产品、MISO 的爬坡能力产品）；与确定性市场引擎并行运行的鲁棒前瞻组合工具；以及由概率预测提供信息的市场外运营者动作。因此，随机优化如今主要通过 **需求设定** 和 **辅助工具** 影响市场，而非通过出清引擎本身。
## 8. 参与者一侧：报价、交易与资产优化
市场参与者面对着他们自己的随机问题，在这一侧采纳速度更快，因为无需任何制度性共识——一家企业只要用更好的模型去赚更多的钱即可。
**可再生能源报价。** 一个向日前市场售电的风电生产商必须在知道其出力之前报出一个数量，然后按不平衡价格结算偏差。这是一个 **报童型问题** ：最优日前报价是出力分布的一个分位数，由欠交付与过交付的惩罚之比决定。更丰富的版本把日前、日内和平衡市场的报价作为多阶段随机规划协同优化。
**储能/水电估值。** 一个对不确定价格进行套利的电池或抽水蓄能运营者，在 **荷电状态** 上求解一个随机动态规划；由此得到的蓄存能量的边际价值（「机会成本曲线」）恰恰就是该资产应当报出的价格。对于季节性水电，SDDP 导出的水价起到同样的作用。
**虚拟报价与金融交易。** 在日前与实时市场之间下达虚拟（纯金融）报价的交易者，实际上是在交易日前—实时价差（DA–RT spread）的分布，而对这类头寸构建投资组合是一个带风险约束的经典随机优化。
**风险度量。** 由于市场参与者很少是风险中性的，期望成本通常被风险度量取代或增补，最常见的是 **条件风险价值（CVaR）** ——即最坏 α 比例场景中的期望损失。CVaR 是 **一致性风险度量** ，并且关键在于它保持线性性：它只向基于场景的 LP/MIP 中添加线性约束和变量（Rockafellar–Uryasev 形式），因此风险规避型随机规划仍然可处理。期望与 CVaR 的加权组合是交易和资产优化模型中事实上的标准目标函数。
## 9. 计算：分解与实用战术
扩展式随机 MIP 很快就会变得庞大：一个含 1,000 台机组、36 小时、50 个场景的机组组合，有数千万个变量。三大分解方法族占据主导：
**Benders 分解（L 形法）** 把问题拆分为一个关于第一阶段变量的主问题和若干场景子问题，后者的对偶产生最优性割和可行性割。当第二阶段是连续 LP（给定组合的调度）时它十分自然，并且可以在场景之间平凡地并行。SDDP 是它的多阶段、采样版近亲。
**拉格朗日松弛** 对耦合约束做对偶化——要么是非预期性约束，要么是系统级平衡约束——从而使问题按场景或按机组分离。它数十年来是机组组合的主力，并能提供强下界，尽管恢复原始可行解需要启发式方法。
**渐进对冲（PH）** （Rockafellar 和 Wets）用增广拉格朗日罚项松弛非预期性：每个场景子问题独立求解，并带有一个把其第一阶段决策拉向场景加权平均的罚项，迭代直至达成一致。PH 在混合整数情形下是一个没有收敛保证的启发式方法，但在 SUC 上实践效果良好，并且高度并行。
除分解之外，实践者还依赖：带样本外验证的 **样本平均近似（SAA）** 来选择场景数量、从确定性解 **热启动** 、机组约束的收紧型 MIP 形式（这与分解同样要紧），以及充裕的并行硬件。开源工具大大降低了门槛：用于通用随机规划的 PySP/mpi-sppy 和 StochasticPrograms.jl、用于多阶段问题的 SDDP.jl，以及诸如 PowerSimulations.jl、PLEXOS 和 PSR 的 SDDP 实现等电力系统专用平台。
## 10. 一个微型算例：两场景组合的直觉
为了把补偿逻辑讲具体，考虑一个小时、两台机组、两个等概率的净负荷场景——400 MW 与 700 MW。机组 A 是一台慢机组：容量 500 MW，40 美元/MWh，启动成本 10,000 美元，必须现在做组合决策。机组 B 是一台快速调峰机组：300 MW，120 美元/MWh，可实时组合。确定性模型看到 550 MW 的期望负荷，组合 A，并计划让它出 550 MW——但在高场景下 A 单独无法供应 700 MW，于是调峰机组以高成本出力 200 MW，而在低场景下 A 处于部分负荷运行。随机模型针对两个场景评估每个组合方案的 **实际** 期望成本，正确地权衡 A 的启动成本与按概率加权的调峰机组使用，并且还能识别出确定性方案在尾部不可行的情形（例如，若高场景为 900 MW，期望值组合会让系统供电不足）。一般性的教训可以推而广之：确定性模型对场景之间的不对称性存在系统性盲区，而这种盲区的代价随净负荷方差增大而增长——这恰恰是可再生能源增长所带来的。
## 11. 开放前沿
若干方向定义了当前的研究与近期实践。第一，**学习增强的优化** ：用机器学习来热启动组合决策、预测起作用的约束，或学习未来成本函数，把求解时间削减到足以使随机出清在计算上成为常规。第二，**分布鲁棒与数据驱动的形式** ，把场景生成步骤和优化步骤连接成一条统计上有原则的流水线。第三，**面向非凸、随机市场的定价理论** ——把凸包和扩展 LMP 的思想推广到带场景的情形，使随机出清能够产出经得起辩护的结算价格。第四，**多阶段市场设计** （连续日内交易、更短的门闩闭锁时间），通过让更多决策变为补偿决策来减轻当前决策的负担。第五，**需求侧与储能补偿** ：随着柔性需求和电池激增，针对不确定性最廉价的套保越来越多地落在消费一侧，模型也在演进以对其加以协同优化。
## 12. 推荐阅读
关于基础，参见 Birge 和 Louveaux，*Introduction to Stochastic Programming*，以及 Shapiro、Dentcheva 和 Ruszczyński，*Lectures on Stochastic Programming*。关于电力应用，Conejo、Carrión 和 Morales 的 *Decision Making Under Uncertainty in Electricity Markets* 是标准参考文献；Morales、Conejo、Madsen、Pinson 和 Zugno 的 *Integrating Renewables in Electricity Markets* 深入涵盖了随机出清和可再生能源报价。Pereira 和 Pinto 1991 年的论文 "Multi-stage stochastic optimization applied to energy planning" 引入了 SDDP；Bertsimas 等人的 "Adaptive robust optimization for the security constrained unit commitment problem"（2013）是鲁棒替代方案的试金石；而 Rockafellar 和 Uryasev 的 "Optimization of conditional value-at-risk"（2000）为整个行业所使用的风险规避型形式奠定了基础。