【贝叶斯优化计算公式】贝叶斯优化是一种用于全局优化的高效方法，尤其适用于目标函数计算成本高、不可导或黑箱的问题。它通过构建概率模型（通常是高斯过程）来预测目标函数的行为，并利用采集函数来决定下一步的采样点。本文将对贝叶斯优化的核心计算公式进行总结，并以表格形式展示关键步骤和公式。
一、贝叶斯优化核心流程
贝叶斯优化的基本流程如下：
1. 初始化：选择初始采样点，通常随机选取。
2. 构建代理模型：使用高斯过程（Gaussian Process, GP）对目标函数进行建模。
3. 计算采集函数：基于当前代理模型，选择下一个最优的采样点。
4. 更新模型：将新采样的结果加入训练数据，重新训练代理模型。
5. 迭代：重复步骤3-4，直到达到预设的迭代次数或收敛条件。
二、关键计算公式总结
| 步骤 | 公式 | 说明 | |
| 高斯过程先验 | $ f(x) \sim \mathcal{GP}(m(x), k(x, x')) $ | 表示目标函数 $ f(x) $ 在输入空间上的分布，$ m(x) $ 是均值函数，$ k(x, x') $ 是核函数 | |
| 条件概率分布 | $ p(f_ | X, y, x_) = \mathcal{N}(\mu_, \sigma_^2) $ | 给定已知数据 $ X, y $ 和新点 $ x_ $，预测 $ f_ $ 的后验分布 |
| 均值预测 | $ \mu_ = k(x_, X)^T (K + \sigma_n^2 I)^{-1} y $ | 新点的预测均值，其中 $ K $ 是训练数据之间的协方差矩阵 | |
| 方差预测 | $ \sigma_^2 = k(x_, x_) - k(x_, X)^T (K + \sigma_n^2 I)^{-1} k(x_, X) $ | 新点的预测方差 | |
| 采集函数（EI） | $ \text{EI}(x) = \mathbb{E}_{f_}[\max(0, f_{\min} - f_)] $ | 期望改进，用于选择下一个采样点 | |
| 最优采样点 | $ x_{t+1} = \arg\max_x \text{EI}(x) $ | 在所有候选点中选择使采集函数最大的点作为下一个采样点 |
三、关键参数说明
| 参数 | 说明 |
| $ X $ | 已有观测数据的输入集合 |
| $ y $ | 对应的观测值向量 |
| $ x_ $ | 待预测的新输入点 |
| $ m(x) $ | 高斯过程的均值函数，通常取为零函数 |
| $ k(x, x') $ | 核函数，如RBF核、Matérn核等 |
| $ \sigma_n^2 $ | 观测噪声的方差 |
| $ f_{\min} $ | 当前已知的最小目标函数值 |
| $ \text{EI}(x) $ | 期望改进函数，用于指导下一步采样 |
四、总结
贝叶斯优化通过结合概率模型与优化策略，能够在有限的评估次数下高效地找到目标函数的最优解。其核心在于高斯过程对目标函数的建模以及采集函数对后续采样点的选择。理解并掌握上述计算公式是实现贝叶斯优化算法的基础。
原创声明：本文内容为原创整理，结合了贝叶斯优化的基本原理与数学表达，旨在提供清晰的公式解释与应用参考。