【贝叶斯优化计算公式】贝叶斯优化是一种基于概率模型的全局优化方法，广泛应用于机器学习超参数调优、实验设计等领域。其核心思想是通过构建目标函数的概率分布，并利用该分布指导下一步搜索点的选择，以高效地找到最优解。
一、贝叶斯优化基本流程
贝叶斯优化主要包含以下几个步骤：
1. 初始化：选择初始样本点，通常为随机或网格采样。
2. 构建代理模型：使用高斯过程（Gaussian Process, GP）或其他概率模型对目标函数进行建模。
3. 选择下一个采样点：根据代理模型和选择策略（如EI、UCB等）确定下一个待评估点。
4. 更新模型：将新采样点的结果加入训练集，更新代理模型。
5. 重复：直到满足停止条件（如迭代次数、收敛性等）。
二、关键计算公式
以下是贝叶斯优化中常用的核心公式总结：
| 公式名称 | 公式表达 | 说明 |
| 高斯过程预测均值 | $\mu(x) = \mathbf{k}(x)^T K^{-1} y$ | 给定输入 $x$ 的预测均值，其中 $\mathbf{k}(x)$ 是核函数向量，$K$ 是协方差矩阵，$y$ 是观测值 |
| 高斯过程预测方差 | $\sigma^2(x) = k(x,x) - \mathbf{k}(x)^T K^{-1} \mathbf{k}(x)$ | 给定输入 $x$ 的预测方差，表示不确定性 |
| 期望改进（Expected Improvement, EI） | $EI(x) = \mathbb{E}[\max(f(x) - f(x^+), 0)]$ | 用于衡量新点 $x$ 相对于当前最优值 $f(x^+)$ 的改进期望 |
| 标准化EI公式 | $EI(x) = (\mu(x) - f(x^+))\Phi\left(\frac{\mu(x) - f(x^+)}{\sigma(x)}\right) + \sigma(x)\phi\left(\frac{\mu(x) - f(x^+)}{\sigma(x)}\right)$ | 其中 $\Phi$ 为标准正态分布的累积分布函数，$\phi$ 为概率密度函数 |
| 上界置信（Upper Confidence Bound, UCB） | $UCB(x) = \mu(x) + \sqrt{\beta_t} \sigma(x)$ | 通过引入调节参数 $\beta_t$ 平衡探索与利用 |
三、贝叶斯优化优势与局限
| 优势 | 局限 |
| 适用于黑盒优化问题，无需梯度信息 | 计算复杂度较高，尤其是高维空间 |
| 能有效处理噪声数据 | 对初始样本敏感，性能依赖于先验设定 |
| 可以在有限样本下找到较优解 | 模型选择和参数调优较为复杂 |
四、总结
贝叶斯优化通过结合概率模型与优化策略，能够在较少样本情况下高效寻找最优解。其核心在于构建一个代理模型（如高斯过程），并通过选择策略（如EI、UCB）引导搜索方向。虽然计算复杂度较高，但在实际应用中表现出良好的效果，尤其适合超参数调优等场景。
如需进一步了解具体实现或代码示例，可参考相关文献或开源库（如Scikit-Optimize、BayesianOptimization等）。