困惑度

信息论中，困惑度度量概率分布或概率模型的预测结果与样本的契合程度，困惑度越低则契合越准确。该度量可以用于比较不同模型之优劣。

概率分布的困惑度

离散概率分布 p 的困惑度由下式给出

$2^{H(p)}=2^{-\sum _{x}p(x)\log _{2}p(x)}$

其中 H(p) 是该分布的熵，x 遍历事件空间。

随机变量 X 的复杂度由其所有可能的取值 x 定义。