困惑度

信息論中，困惑度度量概率分佈或概率模型的預測結果與樣本的契合程度，困惑度越低則契合越準確。該度量可以用於比較不同模型之優劣。

概率分佈的困惑度

離散概率分佈 p 的困惑度由下式給出

$2^{H(p)}=2^{-\sum _{x}p(x)\log _{2}p(x)}$

其中 H(p) 是該分佈的熵，x 遍歷事件空間。

隨機變量 X 的複雜度由其所有可能的取值 x 定義。