Une matrice nilpotente est une matrice dont il existe une puissance égale à la matrice nulle. Elle correspond à la notion d'endomorphisme nilpotent sur un espace vectoriel de dimension finie.
Cette notion facilite souvent le calcul matriciel. En effet, si le polynôme caractéristique d'une matrice est scindé (c'est-à-dire décomposable en produit de facteurs du premier degré, ce qui est le cas par exemple si le corps des coefficients est algébriquement clos), alors l'endomorphisme associé possède une décomposition de Dunford. Ceci permet de se ramener, dans les calculs, à une matrice semblable (obtenue par changement de base via une matrice de passage) plus simple, somme de deux matrices qui commutent, l'une diagonale et l'autre nilpotente. Cette réduction des matrices joue un rôle important dans la résolution de système d'équations linéaires et la résolution d'équations différentielles linéaires.
Les aspects théoriques, ainsi que l'essentiel des démonstrations des propositions énoncées, sont traitées dans l'article Endomorphisme nilpotent.
On dit qu'une matrice carrée A est nilpotente s'il existe un entier naturel p tel que la matrice Ap soit nulle. L'indice de nilpotence est alors le plus petit p.
Les notions de matrice nilpotente et d'endomorphisme nilpotent sont très liées :
Soient E un espace vectoriel de dimension finie, u un endomorphisme et A sa matrice dans une certaine base. A est nilpotente si et seulement si l'endomorphisme est nilpotent, c'est-à-dire qu'il existe un entier p > 0 tel que up = 0, où up désigne et 0 l'endomorphisme nul. La plus petite valeur de p vérifiant cela est appelée indice (de nilpotence). L'indice d'un endomorphisme nilpotent est toujours inférieur ou égal à la dimension de l'espace.
Remarque : le produit de deux matrices non nulles peut être nul. Par exemple, la matrice est nilpotente d'indice 2, c'est-à-dire que A est non nulle mais A2 = 0.
Considérons un espace vectoriel réel de dimension 3 avec pour base B = (e1, e2, e3). Considérons alors un endomorphisme u défini par sa représentation matricielle suivante dans la base B :
En calculant la représentation matricielle de u2 puis celle de u3, on trouve :
Puisque u3 est l'endomorphisme nul, u est bien nilpotent d'indice 3.
Déterminons alors le polynôme caractéristique P de l'endomorphisme u :
Nous avons l'égalité P(X) = –X3. Dans le cas où la dimension de l'espace vectoriel est égale à n, une condition nécessaire et suffisante pour qu'un endomorphisme soit nilpotent est que son polynôme caractéristique soit égal à (–X)n.
La théorie des polynômes minimaux nous indique que le calcul du polynôme caractéristique est inutile dans cet exemple. Le polynôme X3 annule l'endomorphisme. Le polynôme minimal est alors un diviseur de ce polynôme. Or le seul diviseur normalisé (c'est-à-dire dont le monôme de plus haut degré est égal à 1) de –X3 qui annule u est lui-même. Le théorème de Cayley-Hamilton nous indique que le polynôme minimal divise le polynôme caractéristique. Il suffit alors de constater que le polynôme caractéristique est de degré égal à la dimension de l'espace, pour l'obtenir sans calcul. Une condition nécessaire et suffisante pour que l'endomorphisme soit nilpotent est que son polynôme minimal soit de la forme Xp.
Considérons alors le vecteur e1. L'indice de ce vecteur est 3 et la famille (e1, u(e1), u2(e1)) est libre. De plus, son cardinal est la dimension de l'espace. Cette famille est donc une base. Dans cette base, la représentation matricielle de u prend alors la forme suivante :
Là encore, ces propriétés sont génériques pour un endomorphisme nilpotent. Dans le cas général de dimension n, si x est un vecteur d'indice p alors p est inférieur ou égal à n et la famille (x, u(x), … , up-1(x)) est libre. De plus, il existe toujours une base (e1, e2, … , en) telle que u(ei) soit égal, soit à 0 soit à ei+1, avec u(en) = 0. C'est la base réduite pour l'endomorphisme nilpotent.
Pour tout anneau R, une matrice A ∈ Mn(R) strictement triangulaire, c'est-à-dire triangulaire et de diagonale nulle, est nilpotente car An = 0[1].
Les matrices nilpotentes possèdent une forme réduite particulièrement simple.
Ce résultat est la conséquence directe de la représentation matricielle d'un endomorphisme nilpotent pour la réduction en dimension finie.
Une autre conséquence des propriétés des endomorphismes nilpotents est la suivante :
Sa représentation réduite permet de calculer immédiatement son déterminant et sa trace :
Si A et B sont deux matrices carrés de même dimension et qui commutent, alors si elles sont nilpotentes, il en est de même de leurs produits et de toutes combinaisons linéaires.
En effet, soit p le plus grand des deux indices de A et B. Alors :
et, comme soit i soit 2p – i est supérieur ou égal à p :
Pour toute matrice carrée complexe A, on pose :
Cette définition a un sens, puisqu'en considérant une norme matricielle quelconque, cette série est absolument convergente. De plus, si A et B commutent alors . En particulier, la matrice exp(A) est inversible et son inverse est exp(–A).
On peut remarquer que si A est nilpotente d'indice q alors –A l'est aussi et