偏差信息量准则
外观
偏差信息量准则(英語:deviance information criterion,DIC)是等级模型化的赤池信息量准则(AIC),被广泛应用于由马尔可夫链蒙特卡洛(MCMC)模拟出的后验分布的贝叶斯模型选择问题。和赤池信息量准则一样,偏差信息量准则是随样本容量增加的渐近近似,只应用于后验分布呈多元正态分布的情况。
定义
[编辑]定义偏差(deviance)为 ,其中 为数据, 是模型中的未知参量, 是似然函数, 是常量。
有两种计算模型参数的有效数量 的方法。一种是 ,其中 是 的期望(Spiegelhalter et al. 2002,第587頁)。 第二种是 (Gelman et al. 2004,第182頁)。 有效数量 越大,模型的参数就越多,模型就越容易拟合数据,但也需要更小的偏差。
偏差信息量准则 被定义为
- ,
或等效于
- 。
从第二种定义更能看出它和赤池信息量准则的联系。
应用
[编辑]一般而言,偏差信息量准则 的值越小,模型越好。这一准则的优点是它很容易从马尔可夫链蒙特卡洛(MCMC)模拟产生的样本中计算出来。
参见
[编辑]参考文献
[编辑]- Ando, Tomohiro. Bayesian predictive information criterion for the evaluation of hierarchical Bayesian and empirical Bayes models. Biometrika. 2007, 94 (2): 443–458. doi:10.1093/biomet/asm017.
- Ando, T. (2010). Bayesian Model Selection and Statistical Modeling, CRC Press. Chapter 7.
- Ando, Tomohiro. Predictive Bayesian Model Selection. American Journal of Mathematical and Management Sciences. 2011, 31 (1-2): 13–38. doi:10.1080/01966324.2011.10737798.
- Claeskens, G, and Hjort, N.L. (2008). Model Selection and Model Averaging, Cambridge. Section 3.5.
- Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Rubin, Donald B. Bayesian Data Analysis: Second Edition. Texts in Statistical Science. CRC Press. 2004. ISBN 1-58488-388-X. LCCN 2003051474. MR 2027492.
- van der Linde, A. (2005). "DIC in variable selection", Statistica Neerlandica, 59: 45-56. doi:10.1111/j.1467-9574.2005.00278.x
- Spiegelhalter, David J.; Best, Nicola G.; Carlin, Bradley P.; van der Linde, Angelika. Bayesian measures of model complexity and fit (with discussion). Journal of the Royal Statistical Society, Series B. 2002, 64 (4): 583–639. JSTOR 3088806. MR 1979380. doi:10.1111/1467-9868.00353.
- Spiegelhalter, David J.; Best, Nicola G.; Carlin, Bradley P.; van der Linde, Angelika. The deviance information criterion: 12 years on (with discussion). Journal of the Royal Statistical Society, Series B. 2014, 76 (3): 485–493.
外部链接
[编辑]- McElreath, Richard. Statistical Rethinking Lecture 8 (on DIC and other information criteria). 2015-01-29 [2018-10-04]. (原始内容存档于2019-03-13) –通过YouTube.