B Notions de statistique

B.1 Vecteurs aléatoires

Nous tenons pour acquis que le lecteur est familier avec les notions de base en théorie des probabilités (variable aléatoire, fonctions de probabilité/densité marginale, conjointe et conditionnelle, indépendance de variables aléatoires, espérance, variance, covariance, corrélation) et nous ne présentons ici qu’une brève généralisation de certains de ces concepts aux vecteurs aléatoires.

Dans ce chapitre, nous définissons un vecteur aléatoire comme un ensemble fini de variables aléatoires. Nous utiliserons habituellement

  • une lettre majuscule en caractère italique non gras pour dénoter une variable aléatoire (p.ex. \(X\))
  • une lettre majuscule en caractère italique et gras pour dénoter un vecteur aléatoire (p.ex. \(\boldsymbol{X}\)),
  • une lettre minuscule italique non grasse pour dénoter un nombre réel (p.ex. \(x\)),
  • une lettre minuscule non italique en caractère gras pour dénoter un vecteur de nombres réels (p.ex. \(\mathbf{x}\))
  • et une lettre majuscule non italique en caractère gras ou une lettre grecque en caractère gras pour dénoter une matrice de nombres réels (p.ex. \(\mathbf{X}\) ou \({\bf \Sigma}\)).

Soit \(\boldsymbol{X}=(X_1,\ldots,X_p)^\top\), un vecteur aléatoire de taille \(p\) (p.ex. \(p\) mesures prises sur un échantillon d’eau). Soit \(\mu_i=E(X_i)\) et \(\sigma^2_i=var(X_i)\), \(i=1,\ldots,p\) et \(\sigma_{ij}=cov(X_i,X_j)\), \(i,j=1,\ldots,p\), \(i\neq j\).

On définit \(E(\boldsymbol{X})\) et \(var(\boldsymbol{X})\) ainsi:

\[\begin{eqnarray*} E(\boldsymbol{X})&=\left(\begin{array}{c}E(X_1)\\ \vdots \\ E(X_p)\end{array}\right) =\left(\begin{array}{c}\mu_1\\ \vdots \\ \mu_p\end{array}\right) = {\bf \mu} \label{eq:EX}\\ var(\boldsymbol{X})&=\left(\begin{array}{cccc}var(X_1) & cov(X_1,X_2) & \cdots & cov(X_1,X_{p}) \\ cov(X_2,X_1) & var(X_2) & \cdots & cov(X_2,X_p) \\ \vdots & \ddots & \ddots & \vdots \\ cov(X_p,X_1) & \cdots & cov(X_p,X_{p-1}) & var(X_p) \end{array}\right)\nonumber \\ &=\left(\begin{array}{cccc}\sigma_1^2 & \sigma_{1,2} & \cdots & \sigma_{1,p} \\ \sigma_{2,1} & \sigma_2^2 & \cdots & \sigma_{2,p} \\ \vdots & \ddots & \ddots & \vdots \\ \sigma_{p,1} & \cdots & \sigma_{p,p-1} &\sigma_p^2 \end{array}\right) = {\bf \Sigma}. \label{eq:VX}\\ \end{eqnarray*}\]

On peut aussi définir la matrice des écarts-types \({\bf \Delta} = \mbox{diag}(\sigma_1,\ldots,\sigma_p)\) et la matrice des corrélations

\[\begin{eqnarray*} cor(\boldsymbol{X}) &=& \left(\begin{array}{cccc}1 & cor(X_1,X_2) & \cdots & cor(X_1,X_{p}) \\ cor(X_2,X_1) & 1 & \cdots & cor(X_2,X_p) \\ \vdots & \ddots & \ddots & \vdots \\ cor(X_p,X_1) & \cdots & cor(X_p,X_{p-1}) & 1 \end{array}\right)\nonumber \\ &=&\left(\begin{array}{cccc}1 & \rho_{1,2} & \cdots & \rho_{1,p} \\ \rho_{2,1} & 1 & \cdots & \rho_{2,p} \\ \vdots & \ddots & \ddots & \vdots \\ \rho_{p,1} & \cdots & \rho_{p,p-1} & 1 \end{array}\right) = \mathbf{R}. \label{eq:cor}\\ \end{eqnarray*}\]

De ces définitions, on peut déduire plusieurs propriétés et identités.

Proposition B.1 Soit \(\boldsymbol{X}\) un vecteur aléatoire de moyenne \(E(\boldsymbol{X})={\bf \mu}\) et de variance \(var(\boldsymbol{X})={\bf \Sigma}\), et soit \({\bf M}\), \({\bf v}\) et \({\bf w}\) des matrices et vecteurs de constantes.

  1. \({\bf \Sigma}\) est définie non négative et symétrique.
  2. \({\bf \Sigma}=E[(\boldsymbol{X}-{\bf \mu})(\boldsymbol{X}-{\bf \mu})^\top]=E(\boldsymbol{X}\boldsymbol{X}^\top)-{\bf \mu}{\bf \mu}^\top\), où l’espérance d’une matrice est simplement la matrice des espérances des variables formant la matrice.
  3. \(E({\bf M}\boldsymbol{X}+{\bf v})={\bf M}{\bf \mu}+{\bf v}\).
  4. \(var({\bf M}\boldsymbol{X}+{\bf v})=var({\bf M}\boldsymbol{X})={\bf M}{\bf \Sigma}{\bf M}^\top\).
  5. \({\bf \Sigma}={\bf \Delta}\mathbf{R}{\bf \Delta}\Leftrightarrow \mathbf{R}={\bf \Delta}^{-1}{\bf \Sigma}{\bf \Delta}^{-1}\).

Plusieurs lois de probabilité existent pour les vecteurs aléatoires. Dans ce cours, nous ne considérerons que la loi normale multidimensionnelle.

Proposition B.2 On dit qu’un vecteur aléatoire \(\boldsymbol{X}\) de dimension \(p\) suit une loi normale multidimensionnelle de moyenne \({\bf \mu}\) et de matrice de variance \({\bf \Sigma}\), dénotée \(\boldsymbol{X}\sim N_p({\bf \mu},{\bf \Sigma})\), si sa densité est donnée par

\[\begin{equation}\label{eq:normpdf} f_{\boldsymbol{X}}(\mathbf{x})=(2\pi)^{-p/2}(|{\bf \Sigma}|)^{-1/2}\exp\left\{-\frac{1}{2}(\mathbf{x}-{\bf \mu})^\top{\bf \Sigma}^{-1}(\mathbf{x}-{\bf \mu})\right\}, \mathbf{x}\in\mathbb{R}^p. \end{equation}\]

B.2 Estimation

En pratique, nous ne connaissons pas les valeurs de \({\bf \mu}\) ou \({\bf \Sigma}\) et nous les estimons à partir d’un échantillon. Soit \(\boldsymbol{X}_i=(X_{i1},\ldots,X_{ip})^\top\), \(i=1,\ldots,n\), \(n\) réalisations indépendantes d’un vecteur aléatoire \(\boldsymbol{X}\) de moyenne \({\bf \mu}\) et de variance \({\bf \Sigma}\). Alors on estime \({\bf \mu}\) par la moyenne échantillonnale des \(\boldsymbol{X}_i\),

\[\bar{\boldsymbol{X}}=\frac{1}{n}\sum_{i=1}^n\boldsymbol{X}_i\]

et on peut estimer \({\bf \Sigma}\) par la variance échantillonnale des \(\boldsymbol{X}_i\),

\[ {\bf S^*}^2=\frac{1}{n}\sum_{i=1}^n(\boldsymbol{X}_i-\bar{\boldsymbol{X}})(\boldsymbol{X}_i-\bar{\boldsymbol{X}})^\top. \tag{B.1} \]

Notez que l’estimateur précédent est biaisé, c’est pourquoi on utilisera plus généralement l’estimateur non biaisé

\[ {\bf S}^2=\frac{1}{n-1}\sum_{i=1}^n(\boldsymbol{X}_i-\bar{\boldsymbol{X}})(\boldsymbol{X}_i-\bar{\boldsymbol{X}})^\top. \tag{B.2} \]

Si on pose \({\bf D}=\{\mbox{diag}(\boldsymbol{S}^2\}^{1/2}\), soit la matrice des écarts-types échantillonnaux, alors on peut calculer la matrice des corrélations échantillonnales:

\[{\bf R}={\bf D}^{-1}\boldsymbol{S}^2{\bf D}^{-1}\]