Math spé : Exercices sur la réduction d'endomorphismes

$f$ est un vecteur propre de $D$ associé à la valeur propre $\lambda\in\mathbb R$ si et et seulement si $f'=\lambda f$. $f$ est donc un multiple de la fonction $x\mapsto \exp(\lambda x)$, et la réciproque est vraie. Autrement dit, tous les réels sont des valeurs propres pour $D$, et $\exp(\lambda x)$ est une base de l'espace propre associé à $\lambda$.

Soit $(u_n)$ un vecteur propre associé à la valeur propre $\lambda$. Alors on a $u_0=\lambda u_0$ et pour tout $n\geq 1$, on a $$\frac{u_n+u_{n-1}}2=\lambda u_n\iff (1-2\lambda)u_n=-u_{n-1}.$$ On distingue alors trois cas :

• Si $\lambda=1$, alors on a $u_0=u_0$ (qui n'implique plus rien sur $u_0$), puis pour tout $n\geq 1$, on a $u_n=u_{n-1}$. Réciproquement, toute suite constante est bien vecteur propre de $\phi$ pour la valeur propre 1. On en déduit que $1$ est une valeur propre de $\phi$ dont l'espace propre associé est constitué par les suites constantes.
• Si $\lambda=1/2$, alors le système devient $u_0=0$ et pour tout $n\geq 1$, $u_{n-1}=0$ ce qui implique que $(u_n)$ est la suite nulle et donc $1/2$ n'est pas valeur propre de $\phi$.
• Dans tous les autres cas, le système devient $u_0=0$ et pour tout $n\geq 1$, $$u_n=\frac{1}{2\lambda -1}u_{n-1}.$$ Ainsi, la suite $(u_n)$ est là-encore la suite nulle, et $\lambda$ n'est pas valeur propre. En conclusion, la seule valeur propre est 1, et les seuls vecteurs propres sont les suites constantes.

D'abord si $f$ et $g$ commutent, on sait que $\ker(P(f))$ est stable par $g$ pour tout polynôme $P$, en particulier pour les polynômes $P(X)=X-\lambda$. Ainsi, chaque sous-espace propre de $f$ est stable par $g$. Réciproquement, on suppose que $g$ laisse stable tous les sous-espaces propres de $f$. Soit $E_\lambda$ un tel sous-espace propre et soit $x\in E_\lambda$. Alors d'une part $$g(f(x))=g(\lambda x)=\lambda g(x)$$ et d'autre part, puisque $g(x)\in E_\lambda$ on a aussi $$f(g(x))=\lambda g(x).$$ Autrement dit, si $x\in E_\lambda$, on a $f(g(x))=g(f(x))$. Maintenant, comme $f$ est diagonalisable, $E$ est somme directe des sous-espaces propres de $f$. Écrivant tout $x\in E$ comme somme de $x_i$, où $x_i\in E_{\lambda_i}$, on prouve que $f(g(x))=g(f(x))$ et donc que $g$ et $f$ commutent.

$u$ étant un endomorphisme d'un $\mathbb C$-espace vectoriel, il admet une valeur propre $\lambda$. Considérons $E_\lambda$ le sous-espace propre associé. Il est stable par $v$. Soit $w$ la restriction de $v$ à $E_\lambda$. Alors $w$ est un endomorphisme du $\mathbb C$-espace vectoriel de dimension finie $E_\lambda$ et donc $w$ admet un vecteur propre $x\in E_\lambda$. C'est un vecteur propre de $v$ (puisque $w$ est une restriction de $v$), et c'est un vecteur propre de $u$ puisqu'il est élément de $E_\lambda$.

Procédons d'abord avec $A$. Son polynôme caractéristique vaut $$\chi_A(X)=(X-1)(X-2)(X+4).$$ Il est scindé à racines simples, ce qui assure que $A$ est diagonalisable. Il suffit de chercher pour chaque valeur propre un vecteur propre associé. D'abord pour 1, on résoud AX=X, c'est-à-dire le système : $$\left\{ \begin{array}{rcl} -x+2y-z&=&0\\ 3x-3y&=&0\\ -2x+2y&=&0 \end{array} \right.$$ Ce système est équivalent à $x=y=z$ et un vecteur propre est donc donnée par $\left(\begin{array}{c}1\\1\\1\end{array}\right)$. On fait de même pour 2 et -4, et on trouve respectivement $\left(\begin{array}{c}4\\3\\-2\end{array}\right)$ et $\left(\begin{array}{c}2\\-3\\2\end{array}\right)$. La matrice A est donc semblable à $\textrm{diag}(1,2,-4)$, la matrice de passage étant $$P=\left(\begin{array}{ccc} 1&4&2\\ 1&3&-3\\ 1&-2&2 \end{array} \right).$$ Poursuivons avec $B$ dont on calcule le polynôme caractéristique : $$P_B(X)=X^3-5X^2+8X-4.$$ 1 est racine évidente, on factorise par $X-1$ et finalement on trouve $$\chi_B(X)=(X-1)(X-2)^2.$$ On cherche le sous-espace propre associé à 1 en résolvant $BX=X$, c'est-à-dire le système : $$\left\{ \begin{array}{rcl} -x+3y+2z&=&0\\ -2x+4y+2z&=&0\\ 2x-3y-z&=&0 \end{array} \right.$$ Ce système est équivalent à $x=y=-z$. Ainsi, le sous-espace propre associé à 1 est de dimension 1, engendré par le vecteur propre $\left(\begin{array}{c}1\\1\\-1\end{array}\right)$. L'étude du sous-espace propre associé à 2 conduit au système : $$\left\{ \begin{array}{rcl} -2x+3y+2z&=&0\\ -2x+3y+2z&=&0\\ 2x-3y-2z&=&0 \end{array} \right.$$ Ces trois équations se ramènent à $2x-3y-2z=0$, qui est l'équation d'un plan de $\mtr^3$. Le sous-espace propre associé à 2 est donc de dimension 2, et une base est donnée par les vecteurs $\left(\begin{array}{c}3\\2\\0\end{array}\right)$ et $\left(\begin{array}{c}1\\0\\1\end{array}\right)$. $B$ est donc semblable à la matrice $\textrm{diag}(1,2,2)$, la matrice de passage $P$ étant donnée par $$P=\left(\begin{array}{ccc} 1&3&1\\ 1&2&0\\ -1&0&1 \end{array} \right).$$ Le polynôme caractéristique de $C$ est $\chi_C(X)=(1-X)^2(2-X)$. On procède exactement comme précédemment, et on trouve que $(u_1,u_2)$ forme une base de l'espace propre associé à la valeur propre 1, avec $u_1=(1,1,0)$ et $u_2=(0,1,1)$ et que $(u_3)$ forme une base de l'espace propre associé à la valeur propre 2, avec $u_3=(0,0,1)$. Ainsi, $C$ s'écrit $C=PDP^{-1}$ avec $D$ la matrice diagonale $$D=\left( \begin{array}{ccc} 1&0&0\\ 0&1&0\\ 0&0&2 \end{array}\right)$$ et $$P=\left(\begin{array}{ccc} 1&0&0\\ 1&1&0\\ 0&1&1 \end{array}\right).$$

La matrice $A$ étant triangulaire supérieure, ses valeurs propres sont données par les éléments de la diagonale. La seule valeur propre de $A$ est donc $\pi$. Si $A$ était diagonalisable, alors il existerait une matrice $P\in GL_3(\mathbb R)$ telle que $$A=P(\pi I_3)P^{-1}.$$ Mais puisque $I_3$ commute avec toutes les matrices, on aurait $$A=\pi I_3 PP^{-1}=\pi I_3.$$ Ce n'est pas le cas : $A$ n'est donc pas diagonalisable.

Les matrices $E_{i,i}$ sont diagonales, donc diagonalisables! Si $i\neq j$, alors le polynôme caractéristique de $E_{i,j}$ est $(-1)^n X^n$. Autrement dit, $0$ est la seule valeur propre de $E_{i,j}$. Cette matrice est donc diagonalisable si et seulement si c'est la matrice nulle. Et ce n'est pas le cas! Donc $E_{i,j}$ est diagonalisable si et seulement si $i=j$.

On peut commencer par calculer le rang de $A$. Il est facile de vérifier qu'il est égal à $2$. En effet, en enlevant la dernière colonne à la première colonne, et la deuxième colonne aux colonnes $3,\dots,n-1$, on trouve que le rang de $A$ est égal au rang de la matrice $$\left( \begin{array}{ccccc} 0&1&0&\dots&1\\ 0&0&0&\dots&1\\ \vdots&\vdots&\vdots&\vdots&\vdots\\ 0&1&0&\dots&1 \end{array}\right)$$ Le rang de cette dernière matrice est clairement égal à $2$. Ainsi, la dimension de $\ker A$ est égale à $n-2$. Il suffit alors de vérifier que $A$ admet deux valeurs propres distinctes, et différentes de 0, pour prouver que $A$ est diagonalisable. Pour cela, on va calculer le polynôme caractéristique de $A$. En réalisant les mêmes opérations élémentaires que pour le calcul du rang, on trouve $$C_A(X)=\left|\begin{array}{ccccc} -X&1&0&\dots&1\\ 0&-X&X&\dots&1\\ 0&0&\ddots&\ddots&\vdots\\ \vdots&\vdots&\vdots&\vdots&\vdots\\ X&1&0&\dots&1-X \end{array}\right|.$$ On ajoute ensuite la dernière ligne à la première, puis les lignes $3,\dots,n-2$ à la deuxième ligne. On peut alors finir le calcul du polynôme caractéristique (en développant par rapport aux colonnes ne contenant plus qu'un terme non nul) : \begin{eqnarray*} C_A(X)&=&\left|\begin{array}{ccccc} 0&2&0&\dots&2-X\\ 0&-X&0&\dots&n-2\\ \vdots&0&\ddots&\vdots&\vdots\\ \vdots&\vdots&\vdots&\ddots&\vdots\\ X&1&0&\dots&1-X \end{array}\right|\\ &=&(-1)^{n-1}X^{n-2}\left| \begin{array}{cc} 2&2-X\\ -X&n-2 \end{array}\right|\\ &=&(-1)^{n-1}X^{n-2}(-X^2+2X+2n-4). \end{eqnarray*} Le polynôme $-X^2+2X+2n-4$ admet deux racines distinctes et différentes de zéro (son discriminant vaut $8n-12$, il est strictement positif car on a supposé $n\geq 4$). La matrice $A$ est donc diagonalisable.

Soit $X=\binom{x}y$, et soit $\lambda\in \mathbb C$. Alors on a : $$BX=\lambda X\iff\left\{ \begin{array}{rcl} Ay&=&\lambda x\\ x&=&\lambda y\\ \end{array}\right.\iff \left\{ \begin{array}{rcl} Ay&=&\lambda^2 y\\ x&=&\lambda y \end{array}\right. $$ Ainsi, $\lambda$ est valeur propre de $B$ si et seulement si $\lambda^2$ est valeur propre de $A$, et $X=\binom{x}y$ est vecteur propre de $B$ pour la valeur propre $\lambda$ si et seulement si $x=\lambda y$ et $y$ est vecteur propre de $A$ pour la valeur propre $\lambda^2$. Pour $\mu\in\mathbb C$, notons $E_\mu=\ker(A-\mu I_n)$ et $F_\mu=\ker(B-\mu I_{2n})$. Soit $\mu=\lambda^2\in\mathbb C$. Si $(y_1,\dots,y_k)$ est une base de $E_\mu$, alors en posant $X_i=\binom{\lambda y_i}{y_i}$, $(X_1,\dots,X_k)$ est une base de $F_\lambda$.
Puisque $A$ est diagonalisable, on sait que $$\sum_{i=1}^p \dim(E_{\mu_i})=n,$$ où $\mu_1,\dots,\mu_p$ sont les valeurs propres de $A$. Si $\mu_i\neq 0$ pour tout $i$, chaque $\mu_i$ admet deux racines carrés complexes distinctes $\lambda_i,\lambda'_i$, et on a $$\sum_{i=1}^p \dim(F_{\lambda_i})+\sum_{i=1}^p \dim(F_{\lambda_i'})=2\sum_{i=1}^p \dim(E_{\mu_i})=2n,$$ et donc $B$ est diagonalisable. Au contraire, si $\mu_1=0$, alors on obtient une seule racine carrée, qui vaut 0, et la somme des dimensions des sous-espaces propres de $B$ vaut $$\dim(E_1)+2\sum_{i=2}^p\dim(E_{\mu_i})=2n-\dim(E_1)<2n.$$ On en conclut que $B$ est diagonalisable si et seulement si $0$ n'est pas valeur propre de $A$.

Le calcul du polynôme caractéristique ne pose pas de problèmes, et on trouve, sous forme factorisée, $\chi_A(x)=(2-x)(4-x)^2$. On ne peut pas conclure directement que $A$ est diagonalisable, il faut déterminer une base des sous-espaces propres associés. Pour la valeur propre 2, on résoud l'équation $AX=2X$ avec $X=\left(\begin{array}{c}x\\y\\z\end{array}\right)$. On trouve le système $$\left\{\begin{array}{rcl} x&=&x\\ y&=&-2x\\ z&=&x \end{array}\right.$$ Ainsi, le sous-espace propre associé à la valeur propre 2 est le sous-espace vectoriel engendré par le vecteur $u_1=\left(\begin{array}c 1\\-2\\1\end{array}\right).$
Cherchons ensuite le sous-espace propre associé à la valeur propre 4. On doit résoudre $AX=4X$ et on trouve cette fois le système : $$\left\{\begin{array}{rcl} x&=&x\\ y&=&y\\ z&=&-x \end{array}\right.$$ Une base de l'espace propre associé à la valeur propre 4 est donc donné par $(u_2,u_3)$, avec $u_2=\left(\begin{array}c 0\\1\\0\end{array}\right)$ et $u_3=\left(\begin{array}c 1\\0\\-1\end{array}\right)$.
Les dimensions des sous-espaces propres sont égales aux multiplicités des valeurs propres correspondantes, donc $A$ est diagonalisable. Plus précisément on a $A=PDP^{-1}$ avec $$P=\left(\begin{array}{ccc} 1&0&1\\ -2&1&0\\ 1&0&-1 \end{array} \right)\textrm{ et } D=\left(\begin{array}{ccc} 2&0&0\\ 0&4&0\\ 0&0&4 \end{array} \right).$$ Il vient alors que, pour tout $n\in\mathbb N$, on a $A^n=PD^n P^{-1}$. $D^n$ est tout simplement égale à $$D=\left(\begin{array}{ccc} 2^n&0&0\\ 0&4^n&0\\ 0&0&4^n \end{array} \right).$$ Après un petit calcul, on trouve que $$P^{-1}=-\frac 12\left(\begin{array}{ccc} -1&0&-1\\ -2&-2&-2\\ -1&0&1 \end{array} \right).$$ On en déduit finalement que $$A^n=\frac 12\left(\begin{array}{ccc} 2^n+4^n&0&2^n-4^n\\ 2(4^n-2^n)&2.4^n&2(4^n-2^n)\\ 2^n-4^n&0&2^n+4^n \end{array} \right).$$

On calcule le polynôme caractéristique de $A$ et on trouve $$P_A(X)=(X-1)(X+8).$$ Les racines du polynôme caractéristique de $A$ sont toutes dans $\mathbb R$ et toutes distinctes. $A$ est donc diagonalisable. Il existe donc une matrice inversible $P$ telle que $A=PDP^{-1}$, avec $$D=\left(\begin{array}{cc} 1&0\\ 0&-8 \end{array}\right).$$ Pour prouver l'existence d'une matrice $B$ telle que $B^3=A$, l'idée est de d'abord faire la même chose avec $D$. Mais si $$M=\left(\begin{array}{cc} 1&0\\ 0&-2 \end{array}\right)$$ alors on a $M^3=D$. Posons $B=PMP^{-1}$. Alors $$B^3=PM^3P^{-1}=PDP^{-1}=A.$$ Remarquons que l'énoncé de l'exercice ne demande pas de calculer $B$...

On vérifie facilement que $A$ et $B$ ont le même polynôme caractéristique $(1-x)(2-x)^2$. Cherchons les sous-espaces propres associés à la valeur propre $2$. Pour la matrice $A$, avec $X=\left(\begin{array}{c}x\\y\\z\end{array}\right)$, on a $$AX=2X\iff \left\{ \begin{array}{rcl} x&=&2z\\ y&=&-3z\\ z&=&z \end{array}\right. .$$ Le sous-espace propre associé à la valeur propre $2$ pour $A$ est donc la droite vectorielle engendrée par $(2,-3,1)$. En particulier, $A$ n'est pas diagonalisable.
Pour $B$ maintenant, on a $$BX=2X\iff \left\{ \begin{array}{rcl} x&=&x\\ y&=&y\\ z&=&-y \end{array}\right. .$$ Le sous-espace propre associé à la valeur propre 2 est donc le plan engendré par les deux vecteurs $(1,0,0)$ et $(0,1,-1)$. En particulier, la dimension de ce sous-espace propre est égale à la multiplicité de $2$ comme racine du polynôme caractéristique.
Maintenant, ceci entraîne que $A$ et $B$ ne sont pas semblables. Si c'était le cas, alors la relation être semblable étant transitive, $A$ serait semblable à une matrice diagonale, donc diagonalisable, ce qui n'est pas le cas.

Le polynôme caractéristique de $A$ est $\chi_A(X)=-(1-X)^3$. $1$ est la seule racine de ce polynôme, et comme $A\neq I_3$, $A$ n'est pas diagonalisable. Cherchons l'espace propre associé à la valeur propre 1. Notons $f$ l'endomorphisme canoniquement associé à $A$. On a $(x,y,z)\in \ker(f-I)\iff y+z=0$. L'espace propre associé est donc de dimension 2, de base $(u_1,u_2)$ avec $u_1=(1,0,0)$ et $u_2=(0,1,-1)$. On cherche ensuite un troisième vecteur $u_3$ tel que $f(u_3)=u_2+u_3$. Posons $u_3=(x,y,z)$. Alors $$f(u_3)=u_2+u_3\iff \left\{ \begin{array}{rcl} x&=&x\\ -z&=&1+y\\ y+2z&=&-1+z \end{array}\right. \iff z=-1-y. $$ Posons alors $u_3=(0,0,-1)$. Il est clair que la famille $(u_1,u_2,u_3)$ est une base de $\mathbb R^3$ et dans cette base, la matrice de l'endomorphisme canoniquement associé à $A$ est $B$. Donc $A$ est semblable à $B$.

On commence par calculer le polynôme caractéristique de A, on trouve $\chi_A(X)=-(X-3)(X-2)^2$. On cherche ensuite le sous-espace propre associé à la valeur propre 3, en résolvant $AX=3X$. Un rapide calcul montre qu'il est engendré par le vecteur propre $u_1=\left(\begin{array}{c}1\\1\\1\end{array}\right)$. On cherche ensuite le sous-espace propre associé à la valeur propre 2, en résolvant $AX=2X$. On trouve cette fois qu'il est engendré par le vecteur propre $u_2=\left(\begin{array}{c}4\\3\\4\end{array}\right)$. Pour trigonaliser la matrice, il suffit de compléter la base par un troisième vecteur indépendant des deux premiers, par exemple $u_3=\left(\begin{array}{c}0\\0\\1\end{array}\right)$. On a $Au_3=\left(\begin{array}{c}-2\\-3\\0\end{array}\right)=-6u_1+u_2+2u_3$. La matrice $A$ est donc semblable à la matrice $$\left(\begin{array}{ccc} 3&0&-6\\ 0&2&1\\ 0&0&2 \end{array}\right)$$ la matrice de passage étant $$\left(\begin{array}{ccc} 1&4&0\\ 1&3&0\\ 1&4&1 \end{array}\right).$$ Il n'y a bien sûr pas unicité ni de la matrice triangulaire supérieure à laquelle $A$ est semblable, ni de la matrice de passage.
D'ailleurs, dans l'exemple de la matrice $B$, nous allons donner une forme plus précise à la trigonalisation. Le polynôme caractéristique de $B$ est égal à $\chi_B(X)=-(X+1)(X-1)^2$. On cherche une base de l'espace propre associé à la valeur propre $-1$ en résolvant l'équation $BX=-X$. On trouve que le vecteur $u_1=\left(\begin{array}{c}1\\1\\2\end{array}\right)$ engendre cet espace propre. Ensuite, on cherche une base de l'espace propre associé à la valeur propre 1 en résolvant l'équation $BX=X$. On trouve que le vecteur $u_2=\left(\begin{array}c 1\\0\\1\end{array}\right)$ engendre cet espace propre. On cherche enfin un vecteur $u_3$ tel que $Bu_3=u_3+u_2$. On obtient que le vecteur $u_3=\left(\begin{array}c 0\\ -1\\0\end{array}\right)$ convient. Finalement, on a prouvé que $B=PTP^{-1}$, avec $$T=\left(\begin{array}{ccc} -1&0&0\\ 0&1&1\\ 0&0&1 \end{array}\right)\textrm{ et } P=\left(\begin{array}{ccc} 1&1&0\\ 1&0&-1\\ 2&1&0 \end{array}\right).$$ Remarquons qu'on peut toujours réduire une matrice trigonalisable de sorte que, hormi les coefficients diagonaux, les seuls coefficients non-nuls sont situés juste au-dessus de la diagonale, et ces coefficients hors-diagonale sont égaux à 0 ou 1.

On va écrire la matrice de $\phi$ dans la base canonique de $E$. Remarquons que pour tout $k=0,\dots,n$, on a $$\phi( X^k)=(-k+1)X^k-kX^{k-1}.$$ Ainsi, la matrice de $\phi$ dans la base $(1,X,\dots,X^n)$ est triangulaire supérieure, et ses coefficients diagonaux sont $1,0,\dots,-n+1$. Les valeurs propres d'une matrice triangulaire supérieure étant exactement les valeurs situées sur la diagonale, on en déduit que $\phi$ est diagonalisable, ses valeurs propres étant les $(n+1)=\dim(E)$ réels distincts $1,0,-1,\dots,-n+1$.

Commençons par rechercher quelles peuvent êtres les valeurs propres de $P$. Soit donc $\lambda\in\mathbb R$ et soit $P(X)=\sum_{k=0}^n a_k X^k$ tel que $L(P)=\lambda P$. Alors, $$L(P)=\sum_{k=0}^n a_k X^{n-k}=\sum_{k=0}^n \lambda a_k X^k.$$ On en déduit que pour tout $k\in\{0,\dots,n\}$, on a $$a_k=\lambda a_{n-k}=\lambda\times(\lambda a_{n-(n-k)})=\lambda^2 a_k.$$ Si $P$ est un vecteur propre, un de ses coefficients $a_k$ est non-nul, et donc $\lambda^2=1$. Les seules valeurs propres possibles pour $L$ sont donc $1$ et $-1$.
Cherchons maintenant les vecteurs propres associés. Le calcul précédent montre que, pour $\lambda=\pm 1$, le polynôme $X^k+\lambda X^{n-k}$ est un vecteur propre associé à la valeur propre $\lambda$. On distingue alors deux cas :

• $n=2p+1$ est impair. Alors pour $k=0,\dots,p$, on pose $$P_k(X)=X^k+X^{n-k}\textrm{ et }Q_k(X)=X^k-X^{n-k}.$$ Alors les familles $(P_k)_{k=0,\dots,p}$ et $(Q_k)_{k=0,\dots,p}$ sont deux familles libres (car elles sont à degré étagé) constituées de vecteurs propres associés respectivement à $1$ et $-1$. Les deux espaces propres associés étant en somme directe, la réunion des deux familles est encore une famille libre de $\mathbb R_{n}[X]$, constituée de $2(p+1)=n+1$ vecteurs. C'est donc une base de $\mathbb R_n[X]$ constituée de vecteurs propres pour $L$ : $L$ est bien diagonalisable.
• $n=2p$ est pair. Le raisonnement est similaire. Simplement, cette fois, on ne peut plus considérer le polynôme $Q_p$ qui est nul. Mais les familles $(P_k)_{k=0,\dots, p}$ et $(Q_k)_{k=0,\dots,p-1}$ sont encore des familles libres de vecteurs propres dont la réunion est une base de $\mathbb R_n[X]$ (il y a cette fois $p+1+p=2p+1=n+1$ vecteurs). Dans ce cas aussi, l'endomorphisme $L$ est diagonalisable.

Contrairement à ce que la formulation de la question suggère, c'est effectivement possible. En effet, considérons, pour tout couple $(i,j)$ avec $i\neq j$, la matrice $$M_{i,j}=D+E_{i,j},$$ où $D$ est la matrice diagonale ayant sur la diagonale les nombres $1,\dots,n$. Pour $i=j$, posons $M_{i,i}=E_{i,i}$. Alors chaque matrice $M_{i,j}$ est diagonalisable. C'est évident si $i=j$ (la matrice est déjà diagonale), et si $i\neq j$, alors $M_{i,j}$ est une matrice triangulaire dont tous les coefficients sur la diagonale sont différents. Ainsi, son polynôme caractéristique est scindé à racines simples et $M_{i,j}$ est diagonalisable. De plus, $(M_{i,j})_{1\leq i,j\leq n}$ est une base de $\mathcal M_n(\mathbb R)$. Il suffit de montrer que c'est une famille génératrice, puisqu'on a une famille de $n^2$ éléments dans un espace de dimension $n^2$. Prenons $A=(a_{i,j})$ une matrice. Alors, $B=A-\sum_{i\neq j}a_{i,j}M_{i,j}$ est une matrice diagonale (si vous n'êtes pas convaincu, faites un calcul explicite pour $n=2$). Mais il est clair que chaque matrice diagonale se décompose comme somme des $E_{i,i}$, ie $B=\sum_{i=1}^n\lambda_i M_{i,i}$. Ainsi, toute matrice $A$ est bien combinaison linéaire des $M_{i,j}$.

Commençons par prouver le sens direct. Soit $n=\dim E$ et soit $\mathcal B$ une base de $E$ constituée de vecteurs propres pour $u$. Soit $F$ un sous-espace vectoriel de $E$ de dimension $p<n$ et soit $(u_1,\dots,u_p)$ une base de $F$. Alors, par le théorème de la base incomplète, il existe des vecteurs $(e_{p+1},\dots,e_n)$ de $\mathcal B$ tels que $(u_1,\dots,u_p,e_{p+1},\dots,e_n)$ soit une base de $E$. Soit $G=\vect(e_{p+1},\dots,e_n)$. Alors $G$ est stable par $u$ et c'est un supplémentaire de $F$.
Réciproquement, on construit par récurrence sur $p\leq n$ une famille libre $(e_1,\dots,e_p)$ de vecteurs propres de $u$. Le cas $p=n$ donnera la base voulue. Construisons d'abord $e_1$. Soit $H$ n'importe quel hyperplan de $E$. Il possède un supplémentaire stable, autrement dit il existe $e_1\in E$ tel que $\vect(e_1)$ est stable par $u$. Ainsi, $e_1$ est un vecteur propre de $u$. Supposons $(e_1,\dots,e_p)$ construits, avec $p<n$, et construisons $e_{p+1}$. Soit $H$ un hyperplan de $E$ contenant $(e_1,\dots,e_p)$. Il possède un supplémentaire stable par $u$. Autrement dit, il existe $e_{p+1}\notin H$ qui est un vecteur propre de $u$. La famille $(e_1,\dots,e_p)$ étant libre par hypothèse de récurrence, et le vecteur $e_{p+1}$ n'étant pas dans $H$, la famille $(e_1,\dots,e_{p+1})$ est bien une famille libre de vecteurs propres de $u$.

Soit $f$ l'endomorphisme de $\mathbb K^n$ canoniquement associé à $A$. Si on regarde bien la matrice à laquelle $A$ doit être semblable, on remarque que les $n-r$ premiers vecteurs doivent être dans $\ker f$, que les $r$ premiers doivent être dans $\textrm{Im}(f)$, et les $r$ derniers sont définis en fonction des $r$ premiers. On n'a donc pas trop le choix!
La condition $A^2=0$ entraîne que $\textrm{Im}(f)\subset \ker(f)$. Soit $(e_1,\dots,e_r)$ une base de $\textrm{Im}(f)$ qu'on complète en une base $(e_1,\dots,e_{n-r})$ de $\ker(f)$. Soit enfin, pour $i=1,\dots,r$, $e_{n-r+i}$ un vecteur tel que $f(e_{n-r+i})=e_i$ (un tel vecteur existe car $e_i$ est dans $\textrm{Im}(f)$). Montrons que la famille $(e_1,\dots,e_n)$ est libre, donc est une base de $\mathbb K^n$. En effet, si $$\lambda_1 e_1+\dots+\lambda_n e_n=0,$$ on applique $f$ et on trouve $$\lambda_{n-r+1}e_1+\dots+\lambda_n e_r=0.$$ La famille $(e_1,\dots,e_r)$ étant une base de $\textrm{Im}(f)$, on en déduit que $\lambda_{n-r+1}=\dots=\lambda_n=0$. On obtient alors $$\lambda_1e_1+\dots+\lambda_{n-r}e_{n-r}=0$$ ce qui implique à son tour que $\lambda_1=\dots=\lambda_{n-r}=0$ puisque la famille $(e_1,\dots,e_{n-r})$ est une base de $\ker(f)$.
Maintenant, dans la base $(e_1,\dots,e_n)$, la matrice de $f$ est $\left(\begin{array}{cc}0&I_r\\0&0\end{array}\right)$ ce qui prouve bien que $A$ est semblable à cette dernière matrice.

On écrit la relation sous la forme $PA=BP$ et on pose $S=\Re e( P)$ et $T=\Im m( P)$ de sorte que $P=S+iT$. On a donc $SA+iTA=BS+iBT$ soit encore $SA=BS$ et $TA=BT$. Le problème est que rien ne dit que $S$ ou $T$ soit inversible. Maintenant, on a encore pour tout $x\in\mathbb R$, $$(S+xT)A=B(S+xT).$$ Or, $R(x)=\det(S+xT)$ est un polynôme qui n'est pas identiquement nul car $R(i)\neq 0$. Il admet donc un nombre fini de racines et on peut trouver $x_0\in\mathbb R$ tel que $S+x_0 T$ est inversible. On a le résultat voulu en posant $Q=S+x_0 T$.

On va raisonner par récurrence sur $n$. Si $n=1$, le résultat est trivial. Admettons que le résultat soit vrai au rang $n$ et prouvons-le au rang $n+1$. Soit $f$ l'endomorphisme associé à $A$ dans la base canonique de $\mathbb R^n$. Si pour tout $x\in\mathbb R$, la famille $(x,f(x))$ est liée, alors on sait que (attention, ce n'est pas trivial!) que $f$ est une homothétie, $f=\lambda Id_{\mathbb R^n}$. Dans ce cas, $\lambda$ doit être nul et la propriété est évidente! Sinon, il existe $x\in\mathbb R^n$ tel que la famille $(x,f(x))$ soit libre. Complétons alors la famille en $(x,f(x),e_3,\dots,e_n)$ une base de $\mathbb R^n$. Dans cette base, la matrice de $f$ a la forme suivante : $$B=\left( \begin{array}{c|c} 0&*\\ \hline\\ *&A' \end{array}\right)$$ où $A'$ est une matrice de $\mathcal M_n(\mathbb R)$ de trace nulle. Par hypothèse de récurrence, $A'=QB'Q^{-1}$ où $B'$ a la forme voulue. Posons $$P=\left( \begin{array}{c|c} 1&0\\ \hline\\ 0&Q \end{array}\right)$$ qui est inversible. De plus on a $$QBQ^{-1}=\left( \begin{array}{c|c} 0&*\\ \hline\\ *&B' \end{array}\right).$$ Autrement dit $A$ est semblable à $B$ qui est elle-même semblable à une matrice dont les coefficients diagonaux sont nuls. $A$ est semblable à cette dernière matrice et l'hypothèse de récurrence est prouvée.

$A$ ne peut pas être diagonalisable. Sa seule valeur propre est $0$, et si $A$ était diagonalisable, alors ce serait la matrice nulle. Remarquons ensuite en calculant les puissances successives de $A$ que $A^n=0$ alors que $A^{n-1}\neq 0$. S'il existait $B\in\mathcal M_n(\mathbb R)$ tel que $B^2=A$, alors on aurait $B^{2n}=A^n=0$. $B$ serait donc nilpotente. Mais son indice de nilpotence doit être inférieur ou égal à $n$, et on aurait $B^n=0$. Mais $B^{2n-2}=A^{n-1}\neq 0$, et $2n-2\geq n$, ce qui est absurde. $A$ n'admet pas de racine carrée.

On commence par écrire que $A+N=A(I_n+A^{-1}N)$ et donc il suffit de prouver que $\det(I_n+A^{-1}N)=1$. Pour cela, nous allons prouver que la matrice $A^{-1}N$ est nilpotente. En effet, puisque $A$ et $N$ commutent, donc que $A^{-1}$ et $N$ commutent, on a $$(A^{-1}N)^p =A^{-p}N^p=0$$ dès que $N^p=0$. Ainsi, $A^{-1}N$ est semblable à une matrice triangulaire supérieure stricte (que des zéros sur la diagonale). On en déduit que $I_n+A^{-1}N$ est semblable à une matrice triangulaire supérieure avec des 1 sur la diagonale. On en déduit que $$\det(I_n+A^{-1}N)=1$$ ce qui implique le résultat voulu.

Un sens est facile. Si $A$ est nilpotente, elle est semblable à une matrice triangulaire supérieure stricte et sa trace est nulle. Comme chaque $A^p$ pour $p\geq 1$ est nilpotente, on a bien prouvé l'implication directe.
Réciproquement, supposons que $\textrm{Tr}(A^p)=0$ pour tout $p\geq 1$ et que pourtant $A$ n'est pas nilpotente. Soit $\lambda_1,\dots,\lambda_m$ les valeurs propres distinctes non-nulles de $A$, de multiplicités respectives $\alpha_1,\dots,\alpha_m$. La trigonalisation de $A$ montre que, pour tout $p\geq 1$, les valeurs propres de $A^p$ sont $\lambda_1^p,\dots,\lambda_m^p$, de multiplicités respectives $\alpha_1,\dots,\alpha_m$. Écrivons le système obtenu en écrivant les conditions $\textrm{Tr}(A^p)=0$ pour $p=1,\dots,m$. On obtient $$\left\{ \begin{array}{rcl} \alpha_1\lambda_1+\dots+\alpha_m\lambda_m&=&0\\ \alpha_1\lambda_1^2+\dots+\alpha_m\lambda_m^2&=&0\\ \vdots&\vdots&\vdots\\ \alpha_1\lambda_1^m+\dots+\alpha_m\lambda_m^m&=&0\\ \end{array}\right.$$ Puisque tous les $\lambda_i$ sont non nuls et distincts deux à deux, on obtient un système de Vandermonde inversible, et on en déduit $\alpha_1=\dots=\alpha_m=0$. C'est une contradiction avec le fait que $A$ admette des valeurs propres non-nulles.
Donc $A$ n'admet que 0 pour valeur propre et est donc nilpotente (puisque semblable à une matrice triangulaire supérieure stricte).