发新话题
打印

卡方检验原理及应用

卡方检验原理及应用

卡方检验,或称x2检验,被誉为二十世纪科学技术所有分支中的20大发明之一,它的发明者卡尔·皮尔逊是一位历史上罕见的百科全书式的学者,研究领域涵盖了生物、历史、宗教、哲学、法律。之前做文本分类项目用过卡方值做特征选择(降维),后来听内部培训,另一个部门说他们有用卡方检验做异常用户的检测,于是就想把卡方检验再温习一次,同时把卡方检验和特征选择串起来理解。www.spsschina.com ,spss论坛,数据分析,数据调查,市场调研,SPSS,PLS,DEA,spss下载,spss 下载,spss 教程,spss软件,spss中文版下载,spss免费下载,spss是什么,spss13.0下载,SPSS教程,Spss视频,数据分析师,数据分析论坛,数据分析软件3 P2 G8 u$ C: N% J% u4 M
无关性假设举个例子,假设我们有一堆新闻标题,需要判断标题中包含某个词(比如吴亦凡)是否与该条新闻的类别归属(比如娱乐)是否有关,我们只需要简单统计就可以获得这样的一个四格表:spsschina.com' V  r* j: {/ R0 @+ s/ G
组别属于娱乐不属于娱乐合计不包含吴亦凡192443包含吴亦凡341044合计533487 通过这个四格表我们得到的第一个信息是:标题是否包含吴亦凡确实对新闻是否属于娱乐有统计上的差别,包含吴亦凡的新闻属于娱乐的比例更高,但我们还无法排除这个差别是否由于抽样误差导致。那么首先假设标题是否包含吴亦凡与新闻是否属于娱乐是独立无关的,随机抽取一条新闻标题,属于娱乐类别的概率是:(19 + 34) / (19 + 34 + 24 +10) = 60.9%
$ g' N. R  G3 R6 d1 h2 T# Xspss论坛|spss下载|spss视频|Amos|SEM|SAS|Matlab|Eviews理论值四格表第二步,根据无关性假设生成新的理论值四格表:
7 l0 y: Q1 q- D# g$ fwww.spsschina.com ,spss论坛,数据分析,数据调查,市场调研,SPSS,PLS,DEA,spss下载,spss 下载,spss 教程,spss软件,spss中文版下载,spss免费下载,spss是什么,spss13.0下载,SPSS教程,Spss视频,数据分析师,数据分析论坛,数据分析软件组别属于娱乐不属于娱乐合计不包含吴亦凡43 * 0.609 = 26.243 * 0.391 = 16.843包含吴亦凡44 * 0.609 = 26.844 * 0.391 = 17.244显然,如果两个变量是独立无关的,那么四格表中的理论值与实际值的差异会非常小。
) i7 {& K% M6 N( h! pspss论坛|spss下载|spss视频|Amos|SEM|SAS|Matlab|Eviewsx2值的计算x2的计算公式为:SPSS,spss下载,spss 下载,spss 教程,spss软件,spss中文版下载,spss免费下载,数据分析师,数据分析论坛,数据分析软件,spss13.0下载,SPSS教程,Spss视频amos ,sem analysis,spss function,spss net,spss software,spss statistical,数据分析师,数据分析论坛,数据分析软件,PLS,DEA,8 O/ j9 {. y6 V  n" W

1 r" _$ f2 c+ O其中A为实际值,也就是第一个四格表里的4个数据,T为理论值,也就是理论值四格表里的4个数据。
8 V  F2 j7 U  o5 Swww.spsschina.com ,spss论坛,数据分析,数据调查,市场调研,SPSS,PLS,DEA,spss下载,spss 下载,spss 教程,spss软件,spss中文版下载,spss免费下载,spss是什么,spss13.0下载,SPSS教程,Spss视频,数据分析师,数据分析论坛,数据分析软件x2用于衡量实际值与理论值的差异程度(也就是卡方检验的核心思想),包含了以下两个信息:
8 s) e! h$ Z, V2 fspsschina.com
  • 实际值与理论值偏差的绝对大小(由于平方的存在,差异是被放大的)
    0 [9 B9 R: R$ w" v$ c" l6 nSPSS,spss下载,spss 下载,spss 教程,spss软件,spss中文版下载,spss免费下载,数据分析师,数据分析论坛,数据分析软件,spss13.0下载,SPSS教程,Spss视频amos ,sem analysis,spss function,spss net,spss software,spss statistical,数据分析师,数据分析论坛,数据分析软件,PLS,DEA,
  • 差异程度与理论值的相对大小
    + b  |# ]. H3 Q0 O6 D4 ]* R+ ?, GSPSS,spss下载,spss 下载,spss 教程,spss软件,spss中文版下载,spss免费下载,数据分析师,数据分析论坛,数据分析软件,spss13.0下载,SPSS教程,Spss视频amos ,sem analysis,spss function,spss net,spss software,spss statistical,数据分析师,数据分析论坛,数据分析软件,PLS,DEA,
对上述场景可计算x2值为10.01。
' k9 o# J/ Q, x6 W+ xspss论坛|spss下载|spss视频|Amos|SEM|SAS|Matlab|Eviews卡方分布的临界值既然已经得到了x2值,我们又怎么知道x2值是否合理?也就是说,怎么知道无关性假设是否可靠?答案是,通过查询卡方分布的临界值表。
4 U( w* ^2 f3 C* O这里需要用到一个自由度的概念,自由度等于V = (行数 - 1) * (列数 - 1),对四格表,自由度V = 1。SPSS,spss下载,spss 下载,spss 教程,spss软件,spss中文版下载,spss免费下载,数据分析师,数据分析论坛,数据分析软件,spss13.0下载,SPSS教程,Spss视频amos ,sem analysis,spss function,spss net,spss software,spss statistical,数据分析师,数据分析论坛,数据分析软件,PLS,DEA,- w: w: u1 L- h6 a
对V = 1,卡方分布的临界概率是:
8 K% B# h9 v4 E0 s0 o1 j  Iwww.spsschina.com ,spss论坛,数据分析,数据调查,市场调研,SPSS,PLS,DEA,spss下载,spss 下载,spss 教程,spss软件,spss中文版下载,spss免费下载,spss是什么,spss13.0下载,SPSS教程,Spss视频,数据分析师,数据分析论坛,数据分析软件" E7 K- s* t5 p, M8 C5 h1 E# B8 R
显然10.01 > 7.88,也就是标题是否包含吴亦凡与新闻是否属于娱乐无关的可能性小于0.5%,反过来,就是两者相关的概率大于99.5%。SPSS,spss下载,spss 下载,spss 教程,spss软件,spss中文版下载,spss免费下载,数据分析师,数据分析论坛,数据分析软件,spss13.0下载,SPSS教程,Spss视频amos ,sem analysis,spss function,spss net,spss software,spss statistical,数据分析师,数据分析论坛,数据分析软件,PLS,DEA," @) G4 Y7 E) D) V. |- O- [" ~
应用场景卡方检验的一个典型应用场景是衡量特定条件下的分布是否与理论分布一致,比如:特定用户某项指标的分布与大盘的分布是否差异很大,这时通过临界概率可以合理又科学的筛选异常用户。SPSS,spss下载,spss 下载,spss 教程,spss软件,spss中文版下载,spss免费下载,数据分析师,数据分析论坛,数据分析软件,spss13.0下载,SPSS教程,Spss视频amos ,sem analysis,spss function,spss net,spss software,spss statistical,数据分析师,数据分析论坛,数据分析软件,PLS,DEA,( j0 s) f, s) D' s0 V
另外,x2值描述了自变量与因变量之间的相关程度:x2值越大,相关程度也越大,所以很自然的可以利用x2值来做降维,保留相关程度大的变量。再回到刚才新闻分类的场景,如果我们希望获取和娱乐类别相关性最强的100个词,以后就按照标题是否包含这100个词来确定新闻是否归属于娱乐类,怎么做?很简单,对娱乐类新闻标题所包含的每个词按上述步骤计算x2值,然后按x2值排序,取x2值最大的100个词。

TOP

TOP

发新话题