$$\newcommand{\mtn}{\mathbb{N}}\newcommand{\mtns}{\mathbb{N}^*}\newcommand{\mtz}{\mathbb{Z}}\newcommand{\mtr}{\mathbb{R}}\newcommand{\mtk}{\mathbb{K}}\newcommand{\mtq}{\mathbb{Q}}\newcommand{\mtc}{\mathbb{C}}\newcommand{\mch}{\mathcal{H}}\newcommand{\mcp}{\mathcal{P}}\newcommand{\mcb}{\mathcal{B}}\newcommand{\mcl}{\mathcal{L}} \newcommand{\mcm}{\mathcal{M}}\newcommand{\mcc}{\mathcal{C}} \newcommand{\mcmn}{\mathcal{M}}\newcommand{\mcmnr}{\mathcal{M}_n(\mtr)} \newcommand{\mcmnk}{\mathcal{M}_n(\mtk)}\newcommand{\mcsn}{\mathcal{S}_n} \newcommand{\mcs}{\mathcal{S}}\newcommand{\mcd}{\mathcal{D}} \newcommand{\mcsns}{\mathcal{S}_n^{++}}\newcommand{\glnk}{GL_n(\mtk)} \newcommand{\mnr}{\mathcal{M}_n(\mtr)}\DeclareMathOperator{\ch}{ch} \DeclareMathOperator{\sh}{sh}\DeclareMathOperator{\th}{th} \DeclareMathOperator{\vect}{vect}\DeclareMathOperator{\card}{card} \DeclareMathOperator{\comat}{comat}\DeclareMathOperator{\imv}{Im} \DeclareMathOperator{\rang}{rg}\DeclareMathOperator{\Fr}{Fr} \DeclareMathOperator{\diam}{diam}\DeclareMathOperator{\supp}{supp} \newcommand{\veps}{\varepsilon}\newcommand{\mcu}{\mathcal{U}} \newcommand{\mcun}{\mcu_n}\newcommand{\dis}{\displaystyle} \newcommand{\croouv}{[\![}\newcommand{\crofer}{]\!]} \newcommand{\rab}{\mathcal{R}(a,b)}\newcommand{\pss}[2]{\langle #1,#2\rangle} $$
Bibm@th
Lien copié  ✅

Formulaire - Statistique à deux variables et régression linéaire

Série statistique double

On observe deux caractères quantitatifs sur $N$ individus : on obtient $N$ couples $(x_1,y_1),\dots,(x_N,y_N)$. Leur représentation dans un repère est le nuage de points. Le point moyen du nuage est $G(\bar x,\bar y)$, où $$\bar x=\frac1N\sum_{k=1}^N x_k\quad\textrm{et}\quad\bar y=\frac1N\sum_{k=1}^N y_k.$$ On note $V_x$, $\sigma_x$ et $V_y$, $\sigma_y$ les variances et écarts-types de chaque série (voir la fiche de statistique à une variable).

Nuage de points, point moyen G et droites x = x barre et y = y barre

Les droites d'équations $x=\bar x$ et $y=\bar y$ partagent le plan en quatre zones. Pour les points des zones vertes, le produit $(x_k-\bar x)(y_k-\bar y)$ est positif ; pour ceux des zones rouges, il est négatif. Quand la plupart des points sont dans les zones vertes, comme ici, la covariance (ci-dessous) est positive.

Covariance
  • Définition : $$\textrm{cov}(x,y)=\frac1N\sum_{k=1}^N (x_k-\bar x)(y_k-\bar y).$$
  • Formule de König-Huygens : $\textrm{cov}(x,y)=\overline{xy}-\bar x\,\bar y$, où $\overline{xy}=\dfrac1N\displaystyle\sum_{k=1}^N x_ky_k$.
  • Propriétés : $\textrm{cov}(x,x)=V_x$, $\textrm{cov}(x,y)=\textrm{cov}(y,x)$, et pour des réels $a,b,c,d$, $$\textrm{cov}(ax+b,\,cy+d)=ac\,\textrm{cov}(x,y),\qquad V_{x+y}=V_x+V_y+2\,\textrm{cov}(x,y).$$
  • Signe : une covariance positive traduit une tendance des deux caractères à varier dans le même sens, une covariance négative une tendance à varier en sens contraire.
Coefficient de corrélation linéaire
  • Définition : $$r=\frac{\textrm{cov}(x,y)}{\sigma_x\sigma_y}.$$
  • On a toujours $-1\leq r\leq 1$ (c'est l'inégalité de Cauchy-Schwarz). De plus, $|r|=1$ si et seulement si les points du nuage sont alignés.
  • Interprétation : plus $|r|$ est proche de $1$, plus le nuage est proche d'une droite ; le signe de $r$ est celui de la pente. En pratique, on considère souvent qu'un ajustement affine est justifié quand $|r|$ dépasse $0{,}9$ environ, mais ce seuil dépend du domaine.
  • Attention :
    • $r$ ne mesure que la liaison affine : avec $y_k=x_k^2$ et des $x_k$ répartis symétriquement autour de $0$, on obtient $r=0$ alors que $y$ dépend entièrement de $x$ ;
    • une forte corrélation ne prouve pas un lien de cause à effet : les deux caractères peuvent dépendre tous deux d'un troisième ;
    • $r$ est très sensible aux valeurs extrêmes : il faut toujours regarder le nuage de points.
Droite de régression (méthode des moindres carrés)

Théorème : si $V_x\neq 0$, il existe une unique droite $y=ax+b$ qui rend minimale la somme des carrés des écarts verticaux $$S(a,b)=\sum_{k=1}^N\big(y_k-(ax_k+b)\big)^2.$$ Elle est donnée par $$a=\frac{\textrm{cov}(x,y)}{V_x}=r\,\frac{\sigma_y}{\sigma_x},\qquad b=\bar y-a\bar x.$$ C'est la droite de régression de $y$ en $x$, ou droite des moindres carrés. Elle passe par le point moyen $G$.

  • Les résidus sont les écarts $e_k=y_k-(ax_k+b)$. Leur somme est nulle, et leur moyenne des carrés vaut $$\frac1N\sum_{k=1}^N e_k^2=V_y\,(1-r^2).$$
  • On utilise la droite pour faire des prévisions : à une valeur $x$, on associe $\hat y=ax+b$. Une prévision faite loin des valeurs observées (extrapolation) est à prendre avec prudence.
  • Droite de régression de $x$ en $y$ : en minimisant les écarts horizontaux, on obtient la droite $x=a'y+b'$ avec $a'=\dfrac{\textrm{cov}(x,y)}{V_y}$ et $b'=\bar x-a'\bar y$. Elle passe aussi par $G$, et $aa'=r^2$ : les deux droites sont confondues si et seulement si $|r|=1$.
Qualité de l'ajustement

En notant $\hat y_k=ax_k+b$ les valeurs ajustées, on a la décomposition de la variation totale : $$\underbrace{\sum_{k}(y_k-\bar y)^2}_{\textrm{totale}}=\underbrace{\sum_{k}(\hat y_k-\bar y)^2}_{\textrm{expliquée}}+\underbrace{\sum_{k}(y_k-\hat y_k)^2}_{\textrm{résiduelle}}.$$ Le coefficient de détermination est la part de la variation expliquée par la droite : $$R^2=\frac{\sum_k(\hat y_k-\bar y)^2}{\sum_k(y_k-\bar y)^2}=r^2.$$ Par exemple, $R^2=0{,}95$ signifie que la droite « explique » $95\,\%$ de la variance de $y$.

Ajustements se ramenant à une droite

Quand le nuage n'a pas une forme rectiligne, un changement de variable permet souvent de se ramener à un ajustement affine. On fait la régression de $Y$ en $X$, puis on revient aux variables de départ.

ModèleChangement de variableDroite obtenue
exponentiel $y=k\,e^{\alpha x}$ ($k>0$)$Y=\ln y$$Y=\alpha x+\ln k$
puissance $y=k\,x^{\alpha}$ ($k,x>0$)$X=\ln x$, $Y=\ln y$$Y=\alpha X+\ln k$
logarithmique $y=\alpha\ln x+\beta$$X=\ln x$$y=\alpha X+\beta$
inverse $y=\dfrac{\alpha}{x}+\beta$$X=\dfrac1x$$y=\alpha X+\beta$
quadratique $y=\alpha x^2+\beta$$X=x^2$$y=\alpha X+\beta$

Attention : la droite obtenue minimise les écarts sur $Y$, pas sur $y$. Ce n'est donc pas exactement l'ajustement des moindres carrés pour le modèle de départ.

Exemple

Exemple : on suspend à un ressort une masse de $x$ centaines de grammes et on mesure sa longueur $y$ en cm.

$x_k$$1$$2$$3$$4$$5$$6$
$y_k$$10{,}9$$13{,}1$$15{,}2$$16{,}8$$19{,}1$$20{,}9$
  • Point moyen : $\bar x=3{,}5$ et $\bar y=16$, donc $G(3{,}5\,;16)$.
  • Covariance : $\overline{xy}=61{,}8$, donc $\textrm{cov}(x,y)=61{,}8-3{,}5\times16=5{,}8$.
  • Variances : $V_x=\dfrac{35}{12}\approx2{,}917$ et $V_y\approx 11{,}553$.
  • Droite de régression : $$a=\frac{5{,}8}{35/12}\approx1{,}989,\qquad b=16-a\times3{,}5=9{,}04,$$ soit $y\approx1{,}99\,x+9{,}04$.
  • Corrélation : $r=\dfrac{5{,}8}{\sqrt{V_xV_y}}\approx0{,}9992$ et $R^2\approx0{,}998$.
  • Interprétation : le ressort mesure environ $9{,}0$ cm à vide et s'allonge d'environ $2{,}0$ cm par centaine de grammes. Prévision pour $700$ g : $y\approx 1{,}989\times7+9{,}04\approx 23{,}0$ cm.
Nuage de points de l'exemple du ressort avec la droite de régression et le point moyen G

Pour les variables aléatoires, voir la fiche espérance, variance, covariance.