$$\newcommand{\mtn}{\mathbb{N}}\newcommand{\mtns}{\mathbb{N}^*}\newcommand{\mtz}{\mathbb{Z}}\newcommand{\mtr}{\mathbb{R}}\newcommand{\mtk}{\mathbb{K}}\newcommand{\mtq}{\mathbb{Q}}\newcommand{\mtc}{\mathbb{C}}\newcommand{\mch}{\mathcal{H}}\newcommand{\mcp}{\mathcal{P}}\newcommand{\mcb}{\mathcal{B}}\newcommand{\mcl}{\mathcal{L}} \newcommand{\mcm}{\mathcal{M}}\newcommand{\mcc}{\mathcal{C}} \newcommand{\mcmn}{\mathcal{M}}\newcommand{\mcmnr}{\mathcal{M}_n(\mtr)} \newcommand{\mcmnk}{\mathcal{M}_n(\mtk)}\newcommand{\mcsn}{\mathcal{S}_n} \newcommand{\mcs}{\mathcal{S}}\newcommand{\mcd}{\mathcal{D}} \newcommand{\mcsns}{\mathcal{S}_n^{++}}\newcommand{\glnk}{GL_n(\mtk)} \newcommand{\mnr}{\mathcal{M}_n(\mtr)}\DeclareMathOperator{\ch}{ch} \DeclareMathOperator{\sh}{sh}\DeclareMathOperator{\th}{th} \DeclareMathOperator{\vect}{vect}\DeclareMathOperator{\card}{card} \DeclareMathOperator{\comat}{comat}\DeclareMathOperator{\imv}{Im} \DeclareMathOperator{\rang}{rg}\DeclareMathOperator{\Fr}{Fr} \DeclareMathOperator{\diam}{diam}\DeclareMathOperator{\supp}{supp} \newcommand{\veps}{\varepsilon}\newcommand{\mcu}{\mathcal{U}} \newcommand{\mcun}{\mcu_n}\newcommand{\dis}{\displaystyle} \newcommand{\croouv}{[\![}\newcommand{\crofer}{]\!]} \newcommand{\rab}{\mathcal{R}(a,b)}\newcommand{\pss}[2]{\langle #1,#2\rangle} $$
Bibm@th
Dictionnaire de mathématiques > Probabilité et statistiques > Statistiques > Statistique descriptive >

Régression linéaire et moindres carrés

Régression linéaire

De nombreuses séries statistiques $(x_i,y_i)$ sont reliées par des conditions du type $y=ax+b$. Ce peut être aussi le cas de grandeurs issues de la physique. En général, en raison des erreurs de mesure, les points $(x_i,y_i)$ ne sont pas alignés, mais sont "presque" sur une même droite. Il faut alors choisir $a$ et $b$ de sorte que la droite soit la meilleure possible.

Pour cela, il faut choisir une mesure de l'écart entre une droite $y=ax+b$ et le nuage de points expérimentaux $(x_i,y_i)_{1\leq i\leq n}$. On choisit en général le carré de la différence entre le point théorique et le point expérimental, c'est-à-dire $(y_i-(ax_i+b))^2$. L'écart total est donc : $$J(a,b)=\sum_{i=1}^n (y_i-ax_i-b)^2.$$

Effectuer une régression linéaire au sens des moindres carrés, c'est trouver la droite qui minimise l'écart précédent, c'est-à-dire la somme des carrés des différences : on parle de droite des moindres carrés.

Théorème : Si la variance $Var(X)$ de la série statistique $X=(x_i)$ est non-nulle, il existe une unique droite qui minimise la quantité $J(a,b)$. Elle vérifie $$a=\frac{Cov(X,Y)}{Var(X)}\textrm{ et }b=\bar Y-a\bar X,$$ où $Cov(X,Y)$ désigne la covariance de $X$ et de $Y$, $\bar X$ la moyenne de $(x_i)$ et $\bar Y$ la moyenne de $(y_i).$

Ex : La tension $U$ aux bornes d'une batterie de force électromotrice $E$ et de résistance interne $R$ est $U=E-RI$ où $I$ est l'intensité. On a procédé à différentes mesures :

Intensité mesurée (A) : 0 0,1 0,4 1
Tension mesurée (V) : 12 11 7 1

La régression linéaire donne $E=11,9$ et $R=11,07$. La droite que l'on obtient est celle du graphique en haut de la page. Efficace, non?

Méthode des moindres carrés, en général

Bien sûr, toutes les quantités physiques ne sont pas linéaires. On peut parfois s'y ramener si l'évolution est exponentielle (comme dans l'étude d'une population) en prenant le logarithme, ou si l'évolution est logarithmique (comme pour une étude de pH) en prenant l'exponentielle. Mais ce n'est pas toujours le cas...

Lorsque la dépendance entre $y$ et $x$ est régie par une fonction $f,$ où $f$ dépend de certains paramètres, la méthode des moindres carrés consiste à trouver les paramètres pour minimiser $$J=\sum_{i=1}^n (y_i-f(x_i))^2$$ où les $(x_i,y_i)$ sont les points expérimentaux. On réalise ensuite le même type d'étude que pour le cas linéaire.

C'est à Legendre en 1806 que l'on doit la première étude théorique de la méthode des moindres carrés, à l'occasion de l'étude de la trajectoire des comètes. La fonction à ajuster était alors une parabole.
Consulter aussi...
Recherche alphabétique
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
Recherche thématique
  • Algèbre
  • Analyse
  • Applications
  • Arithmétique
  • Probabilité et statistiques
  • Géométrie
  • Fondements
  • Histoire
  • Mathématiques discrètes
  • Mathématiques interactives