网站建设书籍产品关键词怎么找

相关性系数的作用

相关性系数是研究变量之间线性相关程度的量。

我的理解：

在分析数据时，我们往往想知道我们的结果量和什么指标相关性较强，例如假设身高和饮食运动相关，倒是如果我们想知道这两个变量和哪个和对于身高更有影响力，我们就需要使用一个评价指标进行判段，若运动正相关系数大，那么我们就应该更加关注运动量来达到我们张身高的需求。

Pearson相关系数

对于两个数据样本 X : { X 1 , X 2 . . . X n } , Y : { Y 1 , Y 2 , . . . Y n } X:\{X_1,X_2...X_n\},Y:\{Y_1,Y_2,...Y_n\} X:{X1​,X2​...Xn​},Y:{Y1​,Y2​,...Yn​}

总体均值：
$$E(X)=\frac{{\sum }_{i=1}^n{X}_i}{n},E(Y)=\frac{{\sum }_{i=1}^n{Y}_i}{n}$$

总体样本标准差：衡量数据之间的离散程度

$${\sigma }_X=\sqrt{\frac{{\sum }_{i=1}^n{\left(X_i-E(X)\right)}^2}{n}},{\sigma }_Y=\sqrt{\frac{{\sum }_{i=1}^n{\left(Y_i-E(Y)\right)}^2}{n}}$$

总体协方差：当关系为线性关系时，衡量参数之间的变化方向，值的大小受标准差影响。
$$\mathrm{Cov}(X,Y)=\frac{{\sum }_{i=1}^n\left(X_i-E(X)\right)\left(Y_i-E(Y)\right)}{n}$$

总体Pearson相关系数：在协方差基础之上除以方差相当于归一化
$${\rho }_{XY}=\frac{\mathrm{Cov}(X,Y)}{{\sigma }_X{\sigma }_Y}=\frac{{\sum }_{i=1}^n\frac{\left(X_i-E(X)\right)}{{\sigma }_X}\frac{\left(Y_i-E(Y)\right)}{{\sigma }_Y}}{n}$$

Pearson相关系数性质：也就是说当${\rho }_{XY}$正就是正相关，负就是负相关。根据值不同相关程度也不同

$$\text{ 可以证明, }\left|{\rho }_{XY}\right|\le 1,\text{ 且当 }Y=aX+b\text{ 时, }{\rho }_{XY}=\{\begin{array}{cc}1,& a>0\\ -1,& a<0\end{array}$$

实际上对于样本协方差和总体样本协方差有一些不同，标准差相差$\frac{n-1}{n}$倍，不在解释，属于概率论基础知识。

判断线性关系

我们知道，只有在两个变量之间存在线性关系时，才能使用Pearson系数，所以说数据是否为线性关系非常重要。
为什么非要线性关系呢？直观的看一下：

当数据非线性时，虽然Pearson相关系数较大，但是我们的线性关系并未很好的解释两个变量之间的关系，出现Pearson相关系数虚高的情况，我们的Pearson相关系数仅仅是为了解释线性关系变量之间的线性程度，所以说我们必须首先知道它们的关系是线性的。

另外：并不是Pearson相关系数低就代表数据之间没有联系，而是可能存在其他关系，比如下图存在二次关系：

所以说我们如何判断数据之间是否存在线性关系，可以使用画图的方式大致查看：
在spss中导入数据然后如下点击，然后选择矩阵散点图，就可以生成每个关系之间的数据散点图了

右点图片可以进行编辑图片操作。

插播：spss中的描述性统计

计算相关性

数据A是：

R=corrcoef(A);
name={'身高','体重','肺活量','50米跑','立定跳远','坐位体前屈'};
heatmap(name,name,R,'Colormap',parula);

对皮尔逊系数进行假设检验

条件

第一， 实验数据通常假设是成对的来自于正态分布的总体。
第二， 实验数据之间的差距不能太大。皮尔逊相关性系数受异常值的影响比较
大。
第三：每组样本之间是独立抽样的。构造t统计量时需要用到。

步骤

第一步：提出原假设 $H_0$ 和备择假设 $H_1$ （两个假设是截然相反的哦） 假设我们计算出了一个皮尔逊相关系数 $r$ , 我们想检验它是否显著的异于 0 .那么我们可以这样设定原假设和备择假设: $H_0:r=0,H_1:r\ne 0$
第二步: 在原假设成立的条件下, 利用我们要检验的量构造出一个符合某一分布的统计量 (注 1: 统计量相当于我们要检验的量的一个函数, 里面不能有其他的随机变量)
(注 2 : 这里的分布一般有四种: 标准正态分布、 t 分布、 ${\chi }^2$ 分布和 F 分布) 对于皮尔逊相关系数 r 而言, 在满足一定条件下, 我们可以构造统计量:$t=r\sqrt{\frac{n-2}{1-r^2}}$ , 可以证明 $t$ 是服从自由度为 $n-2$ 的 $t$ 分布

第三步：将我们要检验的这个值带入这个统计量中, 可以得到一个特定的值（检验值）。 假设我们现在计算出来的相关系数为 0.5 , 样本为 30 , 那么我们可以得到$t^{\ast }=0.5\sqrt{\frac{30-2}{1-0.5^2}}=3.05505$
第四步: 由于我们知道统计量的分布情况, 因此我们可以画出该分布的概率密度函数 $pdf$ , 并给定 一个置信水平, 根据这个置信水平查表找到临界值, 并画出检验统计量的接受域和拒绝域。 例如, 我们知道上述统计量服从自由度为 $28的t$ 分布, 其概率密度函数图形如下:

第五步：看我们计算出来的检验值是落在了拒绝域还是接受域, 并下结论。 因为我们得到的 $t^{\ast }=3.05505>2.048$ , 因此我们可以下结论: 在 $95\%$ 的置信水平上, 我们拒绝原假设 $H_0:r=0$ ，因此 $r$ 是显著的不为 $0$ 的。

MATLAB获取P（没用）

[R,P]=corrcoef(A);

P就是我们的p值，对应于在正太分布外的概率。

拒绝原假设就是在正太分布外围

SPSS自动生成

在spss中分析–>相关–>双变量中存在显著性相关性

相关性结果（星号标出）：

正态分布判定

偏度和峰度

$JB$检验（大样本>=30）

[h,p] = jbtest(A(:,1),0.05)
% 用循环检验所有列的数据
n_c = size(A,2); % number of column 数据的列数
H = zeros(1,n_c);
P = zeros(1,n_c);
for i = 1:n_c[h,p] = jbtest(A(:,i),0.05);H(i)=h;P(i)=p;
end
disp(H);% [1     1     1     1     1     1]
disp(P);% [0.0110    0.0010    0.0136    0.0010    0.0010    0.0393]

均为1，表示接受了原假设,满足正态分布

Shapiro‐wilk夏皮洛‐威尔克检验(小样本3≤n≤50)&Q-Q图

不找数据了，直接用大样本

直接输出统计栏情况（也输出Q-Q图，判断正态性）

Q-Q图：

斯皮尔曼spearman相关系数

定义&含义

定义: X 和 Y 为两组数据, 其斯皮尔曼 (等级) 相关系数:
$$1-\frac{6{\sum }_{i=1}^n{d}_i^2}{n\left(n^2-1\right)}$$

其中, $d_i$ 为 $X_i$ 和 $Y_i$ 之间的等级差。(一个数的等级, 就是将它所在的一列数按照从小到大排序后, 这个数所在的位置) 可以证明: $r_s$ 位于 $-1和1$ 之间。

注：如果有的数值相同，则将它们所在的位置取算术平均。

MATLAB代码：

[R,P]=corr(A,'type','Spearman')

这个和皮尔逊相关系数相似，不过没有正态分布的限制条件。

假设检验方法

样本系数必须大于表中值才能得出显著结论

$r_s$就是斯皮尔曼相关系数，$r_s\sqrt{n-1}$就是z值，根据z值可以根据正态分布表算出p值。

1 - normcdf(z) * 2

就是 $p$ 值, $p$值大于0.05,因此我们无法拒绝原假设。

实际上可以自动生成p值：

[R,P]=corr(A,'type','Spearman')

$R是相关系数，P是p值$

两种假设检验的选择