Corrigé On commence par calculer le polynôme caractéristique de A, on trouve
$\chi_A(X)=(X-3)(X-2)^2$. On cherche ensuite le sous-espace propre
associé à la valeur propre 3, en résolvant $AX=3X$.
Un rapide calcul montre qu'il est engendré par le vecteur propre
$u_1=\left(\begin{array}{c}1\\1\\1\end{array}\right)$. On cherche ensuite le sous-espace
propre associé à la valeur propre 2, en résolvant $AX=2X$. On trouve cette fois
qu'il est engendré par le vecteur propre $u_2=\left(\begin{array}{c}4\\3\\4\end{array}\right)$.
Pour trigonaliser la matrice, il suffit de compléter la base par un troisième
vecteur indépendant des deux premiers, par exemple
$u_3=\left(\begin{array}{c}0\\0\\1\end{array}\right)$.
On a $Au_3=\left(\begin{array}{c}-2\\-3\\0\end{array}\right)=-6u_1+u_2+2u_3$.
La matrice $A$ est donc semblable à la matrice
$$\left(\begin{array}{ccc}
3&0&-6\\
0&2&1\\
0&0&2
\end{array}\right)$$
la matrice de passage étant
$$\left(\begin{array}{ccc}
1&4&0\\
1&3&0\\
1&4&1
\end{array}\right).$$
Il n'y a bien sûr pas unicité ni de la matrice triangulaire supérieure à laquelle $A$ est semblable,
ni de la matrice de passage.
D'ailleurs, dans l'exemple de la matrice $B$, nous allons donner une forme plus précise à la trigonalisation. Le polynôme caractéristique de $B$ est égal à $\chi_B(X)=(X+1)(X-1)^2$. On cherche une base de l'espace propre associé à la valeur propre $-1$ en résolvant l'équation $BX=-X$. On trouve que le vecteur $u_1=\left(\begin{array}{c}1\\1\\2\end{array}\right)$ engendre cet espace propre. Ensuite, on cherche une base de l'espace propre associé à la valeur propre 1 en résolvant l'équation $BX=X$. On trouve que le vecteur $u_2=\left(\begin{array}c 1\\0\\1\end{array}\right)$ engendre cet espace propre. On cherche enfin un vecteur $u_3$ tel que $Bu_3=u_3+u_2$. On obtient que le vecteur $u_3=\left(\begin{array}c 0\\ -1\\0\end{array}\right)$
convient. Finalement, on a prouvé que $B=PTP^{-1}$, avec
$$T=\left(\begin{array}{ccc}
-1&0&0\\
0&1&1\\
0&0&1
\end{array}\right)\textrm{ et }
P=\left(\begin{array}{ccc}
1&1&0\\
1&0&-1\\
2&1&0
\end{array}\right).$$
Remarquons qu'on peut toujours réduire une matrice trigonalisable de sorte que, hormis les coefficients diagonaux, les seuls coefficients non-nuls sont situés juste au-dessus de la diagonale, et ces coefficients hors-diagonale sont égaux à 0 ou 1.