典型相关分析

请注意，文章中部分理解可能已被笔者废弃，本文最后更新于：6 个月前

典型相关分析 （Canonical Correlation Analysis ，CCA）
是为了研究两组变量（向量）之间的关联关系，其目的是找出两组变量的各自的 rr 组线性组合，线性组合的相关性从大到小排列，以主成分思想衡量两组变量之间的线性关系。

[x1,x2,⋯ ,xp],[y1,y2,⋯ ,yq][\boldsymbol{x}_1,\boldsymbol{x}_2,\dotsb,\boldsymbol{x}_p] , [\boldsymbol{y}_1,\boldsymbol{y}_2,\dotsb,\boldsymbol{y}_q]

首先分别在每组变量中找出第 kk 对线性组合，使其具有第 kk 大最大相关性，即

{uk=αk1x1+αk2x2+⋯+αkpxpvk=αk1y1+αk2y2+⋯+αkqyq\left\{\begin{matrix} \boldsymbol{u}_k=\alpha_{k1}\boldsymbol{x}_1+\alpha_{k2}\boldsymbol{x}_2+\dotsb+\alpha_{kp}\boldsymbol{x}_p\\ \boldsymbol{v}_k=\alpha_{k1}\boldsymbol{y}_1+\alpha_{k2}\boldsymbol{y}_2+\dotsb+\alpha_{kq}\boldsymbol{y}_q \end{matrix}\right.

(k=1,2,⋯ ,r⩽min⁡(p,q))\left(k=1,2,\dotsb,r \small \leqslant \min(p,q)\right)

其中 uk\boldsymbol{u}_k 与 u1,u2,…,uk−1\boldsymbol{u}_1,\boldsymbol{u}_2,\dots,\boldsymbol{u}_{k-1} 线性无关， vk\boldsymbol{v}_k 与 v1,v2,…,vk−1\boldsymbol{v}_1,\boldsymbol{v}_2,\dots,\boldsymbol{v}_{k-1} 线性无关，且相关性从小到大依次排列。

典型相关分析数学模型

典型相关和典型相关变量定义

设两组随机变量为 X=[x1,x2,⋯ ,xp]T,Y=[y1,y2,⋯ ,yq]T\small \boldsymbol{X}=[\boldsymbol{x}_1,\boldsymbol{x}_2,\dotsb,\boldsymbol{x}_p]^T , \boldsymbol{Y}=[\boldsymbol{y}_1,\boldsymbol{y}_2,\dotsb,\boldsymbol{y}_q]^T 。我们希望找到 α=[α1,⋯ ,αp],β=[β1,⋯ ,βp]\small \boldsymbol{\alpha}=[\alpha_1,\dotsb,\alpha_p] ,\boldsymbol{\beta}=[\beta_1,\dotsb,\beta_p] 使得 ρ(αX,βY)\small \rho(\boldsymbol{\alpha}\boldsymbol{X},\boldsymbol{\beta}\boldsymbol{Y}) 最大。由相关系数定义：

ρ(αX,βY)=Cov⁡(αX,βY)Var⁡(αX)Var⁡(βY)\rho\left(\boldsymbol{\alpha X}, \boldsymbol{\beta Y}\right)=\frac{\operatorname{Cov}\left(\boldsymbol{\alpha X},\boldsymbol{ \beta Y}\right)}{\sqrt{\operatorname{Var}\left(\boldsymbol{\alpha X}\right)} \sqrt{\operatorname{Var}\left(\boldsymbol{\beta Y}\right)}}

对于任意常数 k1,k2,c1,c2k_1,k_2,c_1,c_2 有

ρ(k1αX+c1,k2βY+c2)=ρ(αX,βY)\rho(k_1\boldsymbol{\alpha X}+c_1,k_2\boldsymbol{\beta Y}+c_2)=\rho(\boldsymbol{\alpha X},\boldsymbol{\beta Y})

说明 αX,βY\boldsymbol{\alpha X},\boldsymbol{\beta Y} 不唯一，故限定 Var(αX)=1,Var(βY)=1\small{Var}(\boldsymbol{\alpha X})=1,Var(\boldsymbol{\beta Y})=1 即满足与协方差矩阵的关系 αΣXXαT=1,βΣYYβT=1\small \boldsymbol{\alpha}\boldsymbol{\Sigma}_{\tiny \boldsymbol{XX}}\boldsymbol{\alpha}^T=1,\boldsymbol{\beta}\boldsymbol{\Sigma}_{\tiny \boldsymbol{YY}}\boldsymbol{\beta}^T=1 。

如果存在 αk=[αk1,αk2,⋯ ,αkp],βk=[βk1,βk2,⋯ ,βkq]\boldsymbol{\alpha}_k=[\alpha_{k1},\alpha_{k2},\dotsb,\alpha_{kp}],\boldsymbol{\beta}_k=[\beta_{k1},\beta_{k2},\dotsb,\beta_{kq}] 使得

{ρ(αkX,αjX)=0,ρ(βkY,βjY)=0,j=1,2,…,k−1ρ(αkX,βkY)=max⁡ρ(αX,βY)<ρ(αk−1X,βk−1Y)αkΣXXαkT=1,βkΣYYβkT=1\left\{\begin{array}{l} \rho(\boldsymbol{\alpha}_k\boldsymbol{X},\boldsymbol{\alpha}_j\boldsymbol{X})=0,\rho(\boldsymbol{\beta}_k\boldsymbol{Y},\boldsymbol{\beta}_j\boldsymbol{Y})=0,\small j=1,2,\dots,k-1&\\ \rho(\boldsymbol{\alpha}_k\boldsymbol{X},\boldsymbol{\beta}_k\boldsymbol{Y})=\max_{} \rho(\boldsymbol{\alpha}\boldsymbol{X},\boldsymbol{\beta}\boldsymbol{Y}) < \rho(\boldsymbol{\alpha}_{k-1}\boldsymbol{X},\boldsymbol{\beta}_{k-1}\boldsymbol{Y})\\ \boldsymbol{\alpha}_k\boldsymbol{\Sigma}_{\tiny \boldsymbol{XX}}\boldsymbol{\alpha}_k^T=1,\boldsymbol{\beta}_k\boldsymbol{\Sigma}_{\tiny \boldsymbol{YY}}\boldsymbol{\beta}_k^T=1\\ \end{array}\right.

则称 αkX,βkY\boldsymbol{\alpha}_k\boldsymbol{X},\boldsymbol{\beta}_k\boldsymbol{Y} 是 X,Y\boldsymbol{X},\boldsymbol{Y} 的第 kk 对（组）典型相关变量，他们之间的相关系数称之为第 kk 个典型相关系数 (k=1,2,…,min(p,q))\small \left(k=1,2,\dots,min(p,q)\right)。

典型相关变量的解法

将两组变量的协方差矩阵分块得

Cov[XY]=[Var(X)Cov(X,Y)Cov(Y,X)Var(Y)]=[ΣXXΣXYΣYXΣYY]Cov\begin{bmatrix}\boldsymbol{X} \\ \boldsymbol{Y} \\\end{bmatrix} =\begin{bmatrix} Var(\boldsymbol{X}) & Cov(\boldsymbol{X},\boldsymbol{Y}) \\ Cov(\boldsymbol{Y},\boldsymbol{X}) & Var(\boldsymbol{Y}) \\ \end{bmatrix} =\begin{bmatrix} \boldsymbol{\Sigma_{XX}} & \boldsymbol{\Sigma_{XY}} \\ \boldsymbol{\Sigma_{YX}} & \boldsymbol{\Sigma_{YY}} \\ \end{bmatrix}

此时

ρ(u,v)=Cov(αX,βY)D(αX)D(βY)=αΣXYβT\rho(\boldsymbol{u},\boldsymbol{v})=\frac{Cov(\boldsymbol{\alpha X},\boldsymbol{\beta Y})}{\sqrt{D(\boldsymbol{\alpha X})}\sqrt{D(\boldsymbol{\beta Y})}}=\boldsymbol{\alpha\Sigma_{\tiny XY}\beta^T}

此问题转换为在 αΣXXαT=1,βΣYYβT=1\small \boldsymbol{\alpha}\boldsymbol{\Sigma}_{\tiny \boldsymbol{XX}}\boldsymbol{\alpha}^T=1,\boldsymbol{\beta}\boldsymbol{\Sigma}_{\tiny \boldsymbol{YY}}\boldsymbol{\beta}^T=1 条件下求 αΣXYβT\small \boldsymbol{\alpha\Sigma_{\tiny XY} \beta^T} 的极大值。

引入拉格朗日乘数 λ,ω\lambda,\omega 即问题为求下式的最大值。

S(α,β)=αΣXYβT−λ2(αΣXXαT−1)−ω2(βΣYYβT−1)S(\boldsymbol{\alpha},\boldsymbol{\beta})=\boldsymbol{\alpha\Sigma_{\tiny XY} \beta^T}-\frac{\lambda}{2}(\boldsymbol{\alpha}\boldsymbol{\Sigma}_{\tiny \boldsymbol{XX}}\boldsymbol{\alpha}^T-1)-\frac{\omega}{2}(\boldsymbol{\beta}\boldsymbol{\Sigma}_{\tiny \boldsymbol{YY}}\boldsymbol{\beta}^T-1)

由极值的必要条件得到偏导方程组

{∂S∂α=ΣXYβ−λΣXXα=0∂S∂β=ΣYXα−ωΣYYβ=0\left\{\begin{matrix} \frac{\partial S}{\partial \boldsymbol{\alpha }}=\boldsymbol{\Sigma_{\tiny XY}\beta }-\lambda \boldsymbol{\Sigma_{\tiny XX}\alpha }=0\\ \frac{\partial S}{\partial \boldsymbol{\beta }}=\boldsymbol{\Sigma_{\tiny YX}\alpha }-\omega \boldsymbol{\Sigma_{\tiny YY}\beta }=0\\ \end{matrix}\right.

中间过程略，详见[1]或[3]。得

{(ΣXYΣYY−1ΣYX−λ2ΣXX)α=0(ΣYXΣXX−1ΣXY−λ2ΣYY)β=0\left\{\begin{matrix} \left(\boldsymbol{\Sigma_{XY}}\boldsymbol{\Sigma_{YY}^{-1}}\boldsymbol{\Sigma_{YX}}-\lambda^2\boldsymbol{\Sigma_{XX}}\right)\boldsymbol{\alpha}=0\\ \left(\boldsymbol{\Sigma_{YX}}\boldsymbol{\Sigma_{XX}^{-1}}\boldsymbol{\Sigma_{XY}}-\lambda^2\boldsymbol{\Sigma_{YY}}\right)\boldsymbol{\beta}=0\\ \end{matrix}\right.

记

M1=ΣXX−1ΣXYΣYY−1ΣYX,M2=ΣYY−1ΣYXΣXX−1ΣXYM_1=\boldsymbol{\Sigma_{XX}^{-1}}\boldsymbol{\Sigma_{XY}}\boldsymbol{\Sigma_{YY}^{-1}}\boldsymbol{\Sigma_{YX}},M_{2}=\boldsymbol{\Sigma_{YY}^{-1}}\boldsymbol{\Sigma_{YX}}\boldsymbol{\Sigma_{XX}^{-1}}\boldsymbol{\Sigma_{XY}}

得

M1α=λ2α,M2β=λ2βM_1\boldsymbol{\alpha}=\lambda^2\boldsymbol{\alpha},M_2\boldsymbol{\beta}=\lambda^2\boldsymbol{\beta}

记 T=ΣXX−1/2ΣXYΣYY−1/2\small T=\boldsymbol{\Sigma_{XX}^{-1/2}\Sigma_{XY}\Sigma_{YY}^{-1/2}} 有 M1=TT′,M2=T′T\small M_1=TT^{\prime},M_2=T^{\prime}T 故 M1,M2M_1,M_2 有相同的非零特征值

说明 λ2\lambda^2 既是 M1M_1 又是 M2M_2 的特征根， α,β\boldsymbol{\alpha},\boldsymbol{\beta} 是对应的特征向量， M1,M2M_1,M_2 的特征根非负数且在区间 [0,1][0,1] 上，非零特征根的数量不妨设为 r=min⁡(p,q)\small r=\min(p,q)。

设特征根排列为 λ12≥λ22≥⋯≥λr2\small \lambda_1^2 \ge \lambda_2^2 \ge \dotsb \ge \lambda_r^2 其余特征根为 00 ,称 λ1,λ2,⋯ ,λr\lambda_1,\lambda_2,\dotsb,\lambda_r 为典型相关系数。对应从 M1α=λ2α\small M_1\boldsymbol{\alpha}=\lambda^2\boldsymbol{\alpha} 解出的特征向量为 α1,⋯ ,αr\small \boldsymbol{\alpha}_1,\dotsb,\boldsymbol{\alpha}_r ；从 M2β=λ2β\small M_2\boldsymbol{\beta}=\lambda^2\boldsymbol{\beta} 解出的特征向量为 β1,⋯ ,βr\small \boldsymbol{\beta}_1,\dotsb,\boldsymbol{\beta}_r 。可得到 uk\boldsymbol{u_k} vk\boldsymbol{v_k} 的线性组合：

uk=αkX,vk=βkX,k=1,2,⋯ ,r,\boldsymbol{u}_k=\boldsymbol{\alpha}_k\boldsymbol{X},\boldsymbol{v}_k=\boldsymbol{\beta}_k\boldsymbol{X},k=1,2,\dotsb,r,

满足：

Cov(ui,uj)=0,Cov(vi,vj)=0,i≠jCov(ui,vi)=λi,Cov(ui,vj)=0,i≠jCov(\boldsymbol{u}_i,\boldsymbol{u}_j)=0,Cov(\boldsymbol{v}_i,\boldsymbol{v}_j)=0,{\small i \ne j}\\ Cov(\boldsymbol{u}_i,\boldsymbol{v}_i)=\lambda_i,Cov(\boldsymbol{u}_i,\boldsymbol{v}_j)=0,\small i \ne j

样本典型相关分析步骤

设样本总体 Z=[x1,⋯ ,xp,y1,⋯ ,yq]T\small \boldsymbol{Z}=[\boldsymbol{x}_1,\dotsb,\boldsymbol{x}_p,\boldsymbol{y}_1,\dotsb,\boldsymbol{y}_q]^T

对于每次观测

Z(t)=[X(t)Y(t)](p+q)×1(t=1,2,⋯ ,n)Z_{(t)}=\left[\begin{array}{l} \boldsymbol{X}_{(t)} \\ \boldsymbol{Y}_{(t)} \end{array}\right]_{(p+q) \times 1} \quad(t=1,2, \cdots, n)

于是样本数据矩阵为

([x11x21⋯xp1y11y21⋯yq1x12x22⋯xp2y12y22⋯yq2⋮⋮⋮⋮⋮⋮x1nx2n⋯xpny1ny2n⋯yqn]T)(p+q)×n\left(\left[\begin{array}{cccc:cccc} x_{11} & x_{21} & \cdots & x_{p1} & y_{11} & y_{21} & \cdots & y_{q1} \\ x_{12} & x_{22} & \cdots & x_{p2} & y_{12} & y_{22} & \cdots & y_{q2} \\ \vdots & \vdots & & \vdots & \vdots & \vdots & & \vdots \\ x_{1n} & x_{2n} & \cdots & x_{pn} & y_{1n} & y_{2n} & \cdots & y_{qn} \end{array}\right]^T\right)_{(p+q)\times n}

协方差矩阵的无偏估计为

Σ^=1n−1∑t=1n(Z(t)−Zˉ)(Z(t)−Zˉ)′\boldsymbol{\hat{\Sigma}}=\frac{1}{n-1} \sum_{t=1}^{n}\left(Z_{(t)}-\bar{Z}\right)\left(Z_{(t)}-\bar{Z}\right)^{\prime}

其中 Zˉ=1n∑i=1nX(i)\bar{Z}=\frac{1}{n}\sum\limits_{i=1}^nX_{(i)}

记样本矩阵 Z(p+q)×n\boldsymbol{Z}_{\tiny (p+q)\times n} 每个元素减去每一行的平均值得到矩阵 Z(p+q)×n∗\boldsymbol{Z}^*_{\tiny (p+q)\times n}

Σ^=1n−1Z∗(Z∗)T=[Σ^XXΣ^XYΣ^YXΣ^YY]pq\boldsymbol{\hat{\Sigma}}=\frac{1}{n-1}\boldsymbol{Z}^*(\boldsymbol{Z}^*)^T=\left[\begin{array}{c:c} \boldsymbol{\hat{\Sigma}_{\tiny XX}} & \boldsymbol{\hat{\Sigma}_{\tiny XY}} \\ \hdashline \boldsymbol{\hat{\Sigma}_{\tiny Y X}} & \boldsymbol{\hat{\Sigma}_{\tiny YY}} \end{array}\right]\begin{array}{c} \tiny p\\ \tiny q \end{array}

样本典型相关变量和系数

以下用 Σ^\boldsymbol{\hat{\Sigma}} 替换 Σ\boldsymbol{\Sigma} 。

  • 方法一

记

M1=ΣXX−1ΣXYΣYY−1ΣYXM2=ΣYY−1ΣYXΣXX−1ΣXYM_1=\boldsymbol{\Sigma_{XX}^{-1}}\boldsymbol{\Sigma_{XY}}\boldsymbol{\Sigma_{YY}^{-1}}\boldsymbol{\Sigma_{YX}}\\M_{2}=\boldsymbol{\Sigma_{YY}^{-1}}\boldsymbol{\Sigma_{YX}}\boldsymbol{\Sigma_{XX}^{-1}}\boldsymbol{\Sigma_{XY}}

分别求出 M1,M2M_1,M_2 的特征值与特征向量，特征值从大到小排列为 λ12,λ22,…\lambda_1^2,\lambda_2^2,\dots ，其对应的特征向量分别为 (α1,α2,… )(\boldsymbol{\alpha}_1,\boldsymbol{\alpha}_2,\dots) 和 (β1,β2,… )(\boldsymbol{\beta}_1,\boldsymbol{\beta}_2,\dots)

  • 方法二

令 T=ΣXX−1/2ΣXYΣYY−1/2T=\boldsymbol{\Sigma_{XX}^{-1/2}\Sigma_{XY}\Sigma_{YY}^{-1/2}} ，计算 TT′TT^{\prime} 的特征值从大到小排列为 λ12,λ22,…\lambda_1^2,\lambda_2^2,\dots ，记 lk\boldsymbol{l}_k 为 TT′TT^{\prime} 的特征根 λk2\lambda_k^2 对应的单位正交特征向量。令

{αk=ΣXX−1/2lk,βk=λk−1ΣYY−1ΣYXαk,\left\{\begin{array}{c} \boldsymbol{\alpha}_k=\boldsymbol{\Sigma_{\tiny XX}^{-1/2}}\boldsymbol{l}_k,\\ \boldsymbol{\beta}_k=\lambda_k^{-1}\boldsymbol{\Sigma_{\tiny YY}^{-1}\Sigma_{YX}}\boldsymbol{\alpha}_k, \end{array}\right.

原始变量与典型变量相关性

原始变量与典型变量的相关系数

ρ(xi,uj)=∑k=1pαkjCov⁡(xi,xk)/D(xi),j=1,⋯ ,s∘ρ(xi,vj)=∑k=1qβkjCov⁡(xi,yk)/D(xi),j=1,⋯ ,s,ρ(yi,uj)=∑k=1pαkjCov⁡(yi,xk)/D(yi),j=1,⋯ ,s,ρ(yi,vj)=∑k=1qβkjCov⁡(yi,yk)/D(yi),j=1,⋯ ,s∘\begin{array}{l} \rho\left(\boldsymbol{x}_{i}, \boldsymbol{u}_{j}\right)=\sum\limits_{k=1}^{p} \alpha_{k j} \operatorname{Cov}\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{k}\right) / \sqrt{D\left(\boldsymbol{x}_{i}\right)}, j=1, \cdots, s_{\circ} \\ \rho\left(\boldsymbol{x}_{i}, \boldsymbol{v}_{j}\right)=\sum\limits_{k=1}^{q} \beta_{k j} \operatorname{Cov}\left(\boldsymbol{x}_{i}, \boldsymbol{y}_{k}\right) / \sqrt{D\left(\boldsymbol{x}_{i}\right)}, j=1, \cdots, s, \\ \rho\left(\boldsymbol{y}_{i}, \boldsymbol{u}_{j}\right)=\sum\limits_{k=1}^{p} \alpha_{k j} \operatorname{Cov}\left(\boldsymbol{y}_{i}, \boldsymbol{x}_{k}\right) / \sqrt{D\left(\boldsymbol{y}_{i}\right)}, j=1, \cdots, s, \\ \rho\left(\boldsymbol{y}_{i}, \boldsymbol{v}_{j}\right)=\sum\limits_{k=1}^{q} \beta_{k j} \operatorname{Cov}\left(\boldsymbol{y}_{i}, \boldsymbol{y}_{k}\right) / \sqrt{D\left(\boldsymbol{y}_{i}\right)}, j=1, \cdots, s_{\circ} \end{array}

各组原始变量被典型变量所解释的方差比例

原始变量 X\boldsymbol{X} 被 ui\boldsymbol{u}_i 解释的方差比例

mui=∑k=1pρ2(ui,xk)/pm_{u_i}=\sum_{k=1}^p\rho^2(\boldsymbol{u}_i,\boldsymbol{x}_k)/p

原始变量 X\boldsymbol{X} 被 vi\boldsymbol{v}_i 解释的方差比例

mvi=∑k=1pρ2(vi,xk)/pm_{v_i}=\sum_{k=1}^p\rho^2(\boldsymbol{v}_i,\boldsymbol{x}_k)/p

原始变量 Y\boldsymbol{Y} 被 ui\boldsymbol{u}_i 解释的方差比例

nui=∑k=1qρ2(ui,yk)/qn_{u_i}=\sum_{k=1}^q\rho^2(\boldsymbol{u}_i,\boldsymbol{y}_k)/q

原始变量 Y\boldsymbol{Y} 被 vi\boldsymbol{v}_i 解释的方差比例

nvi=∑k=1qρ2(vi,yk)/qn_{v_i}=\sum_{k=1}^q\rho^2(\boldsymbol{v}_i,\boldsymbol{y}_k)/q

样本典型相关系数显著性检验

整体检验

H0:λ1=λ2=⋯=λr=0,即ΣXY=0H1:λi(i=1,2,…,r)中至少有一个非0,即ΣXY≠0H_0:\lambda_1=\lambda_2=\dotsb=\lambda_r=0\quad ,{\tiny即\boldsymbol{\Sigma_{\tiny XY}}=0}\\ H_1:\lambda_i \small(i=1,2,\dots,r)中至少有一个非0,{\tiny即\boldsymbol{\Sigma_{\tiny XY}}\ne0}

记

Λ1=∣Σ^∣∣Σ^XX∣∣Σ^YY∣\Lambda_{1}=\frac{|\hat{\boldsymbol{\Sigma}}|}{\left|\hat{\boldsymbol{\Sigma}}_{X X}\right|\left|\hat{\boldsymbol{\Sigma}}_{Y Y}\right|}\\

得

Λ1=∣Ip−Σ^XX−1Σ^XYΣ^YY−1Σ^YX∣=∏i=1r(1−λi2)\Lambda_{1}=\left|\boldsymbol{I}_{p}-\hat{\boldsymbol{\Sigma}}_{X X}^{-1} \hat{\boldsymbol{\Sigma}}_{X Y} \hat{\boldsymbol{\Sigma}}_{Y Y}^{-1} \hat{\boldsymbol{\Sigma}}_{Y X}\right|=\prod_{i=1}^{r}\left(1-\lambda_{i}^{2}\right)

验证统计量

Q1=−[n−1−12(p+q+1)]ln⁡Λ1Q_{1}=-\left[n-1-\frac{1}{2}(p+q+1)\right] \ln \Lambda_{1}

近似服从自由度为 pqpq 的 χ2\chi ^2 分布，在给定的显著性水平 α\alpha 下，若 Q1≥χα2(pq)Q_1\ge \chi_\alpha^2(pq) ，则拒绝原假设，认为至少第一对典型变量之间相关性显著。

部分总体为零的检验

H0:λ2=λ3=⋯=λr=0,H1:λ2,λ3,⋯ ,λr至少有一个非零H_0:\lambda_2=\lambda_3=\dotsb=\lambda_r=0,\\ H_1:\lambda_2,\lambda_3,\dotsb,\lambda_r\small至少有一个非零

若原假设 H0H_0 被接受，则认为只有第一对典型变量有用；若 H0H_0 被拒绝，则第二对典型变量也有用，并进行进一步假设

H0:λ3=λ4=⋯=λr=0,H1:λ3,λ4,⋯ ,λr至少有一个非零H_0:\lambda_3=\lambda_4=\dotsb=\lambda_r=0,\\ H_1:\lambda_3,\lambda_4,\dotsb,\lambda_r\small至少有一个非零

如此进行下去直到对于某个 kk

H0:λk=λk+1=⋯=λr=0,H1:λk,λk+1,⋯ ,λr至少有一个非零H_0:\lambda_k=\lambda_{k+1}=\dotsb=\lambda_r=0,\\ H_1:\lambda_k,\lambda_{k+1},\dotsb,\lambda_r\small至少有一个非零

记

Λk=∏i=kr(1−λi2)\Lambda_{k}=\prod_{i=k}^{r}\left(1-\lambda_{i}^{2}\right)

在原假设为真的情况下

Qk=−[n−k−12(p+q+1)]ln⁡ΛkQ_k=-\left[n-k-\frac{1}{2}(p+q+1)\right] \ln \Lambda_{k}

近似服从自由度为 (p−k+1)(p−k+1)(p-k+1)(p-k+1) 的 χ2\chi ^2 分布。在显著性水平 α\alpha 下若 Qk≥χα2[(p−k+1)(p−k+1)]Q_k\ge \chi_\alpha^2\left[(p-k+1)(p-k+1)\right] ，则拒绝原假设，则至少认为第 kk 对典型变量之间相关性显著。

参考

  1. 司守奎 孙兆亮. 数学建模算法与运用[M]. 第2版. 第268页. ↩
  2. https://zhuanlan.zhihu.com/p/372774724 ↩
  3. 高惠璇. 应用多元统计分析[M]. 第2版. 第354页. ↩