En théorie des groupes, les groupes nilpotents forment une certaine classe de groupes contenue dans celle des groupes résolubles et contenant celle des groupes abéliens. Les groupes nilpotents apparaissent dans la théorie de Galois et dans la classification des groupes de Lie ou des groupes algébriques linéaires.

Soit G un groupe noté multiplicativement, d'élément neutre e. Si A et B sont deux sous-groupes de G, on note [A,B] le sous-groupe engendré par les commutateurs de la forme [x,y] pour x dans A et y dans B.

On définit alors par récurrence une suite de sous-groupes de G, notés Cⁿ(G), par : C¹(G) = G et C^{n + 1}(G) = [G, Cⁿ(G)].

Cette suite — qu'on note aussi^[1] (γ_n(G))_n — est appelée la suite centrale descendante de G^[2]. On dit que G est nilpotent s'il existe un entier n tel que Cⁿ(G) = { e }. En outre, si G est un groupe nilpotent, sa classe de nilpotence est le plus petit entier n tel que C^{n + 1}(G) = { e }.

On peut également définir la nilpotence à l'aide de la suite centrale (en) ascendante (ζ_n(G))_n de G, définie par récurrence de la façon suivante : ζ₀(G) = { e } et ζ_n+1(G) est le sous-groupe de G formé par les éléments x de G tels que, pour tout élément g de G, [g, x] appartienne à ζ_n(G). Cette suite est également la suite de sous-groupes normaux de G définie comme suit : ζ₀(G) = { e } et, pour tout n, ζ_n+1(G) est le seul sous-groupe de G contenant ζ_n(G) et tel que ζ_n+1(G)/ζ_n(G) soit le centre de G/ζ_n(G). (Par exemple, ζ₁(G) est le centre de G.) On prouve^[3] que G est nilpotent si et seulement si sa suite centrale ascendante atteint G et que, dans ce cas, la classe de nilpotence de G est le plus petit nombre naturel n tel que ζ_n(G) = G.

• Un groupe est nilpotent de classe 0 si et seulement s'il est trivial.
• Un groupe est nilpotent de classe 1 si et seulement s'il est abélien et non trivial.
• Pour tout anneau unitaire R non nul (non nécessairement commutatif), le groupe de Heisenberg sur R est nilpotent de classe 2. Plus généralement, le sous-groupe du groupe général linéaire GL_n(R) formé des matrices triangulaires supérieures avec des 1 sur la diagonale principale est nilpotent de classe n – 1^[4]. D'après les premières propriétés ci-dessous, tous les conjugués (dans GL_n(R)) de ses sous-groupes sont donc nilpotents. Lorsque R est un corps commutatif, le théorème de Kolchin les caractérise : ce sont les groupes de matrices unipotentes, c'est-à-dire de la forme I_n + N, où N est une matrice nilpotente.
• L'exemple précédent est un cas particulier de la situation suivante : soient A un anneau (unitaire, non forcément commutatif) et P un sous-pseudo-anneau de A (autrement dit, P est un sous-groupe du groupe additif de A et est stable pour la multiplication). Soit n un nombre entier ≥ 1 tel que le produit de n éléments de P soit toujours nul. (Un pseudo-anneau pour lequel il existe un tel n est dit nilpotent.) Alors 1 + P est un sous-groupe du groupe multiplicatif des éléments inversibles de A et est nilpotent de classe ≤ n – 1^[5].
• Un p-groupe fini est nilpotent^[6]. Plus précisément (par récurrence) : si n ≥ 2, un groupe d'ordre pⁿ est nilpotent de classe au plus n – 1.
• Un groupe diédral est nilpotent si et seulement si son ordre est une puissance de deux^[7].

• Un sous-groupe d'un groupe nilpotent est nilpotent. L'image d'un groupe nilpotent par un morphisme de groupes est un groupe nilpotent.
• Soit Z(G) le centre d'un groupe nilpotent G. Si G n'est pas le groupe trivial, alors Z(G) n'est pas non plus trivial. Plus généralement, si N est un sous-groupe normal non trivial de G, alors N ∩ Z(G) n'est pas non plus trivial^[8]. (Si on ne suppose pas N normal dans G, cet énoncé n'est plus vrai. Prendre par exemple pour G le groupe diédral D₈ d'ordre 8 et pour N un sous-groupe d'ordre 2 de D₈ non contenu dans le sous-groupe cyclique d'ordre 4 de D₈.)
• Un groupe G non trivial est nilpotent de classe c (≥ 1) si et seulement si G/Z(G) est nilpotent de classe c – 1^[9].
• Tout groupe nilpotent est résoluble. Plus précisément, on prouve que si un groupe est nilpotent de classe ≤ 2ⁿ – 1, il est résoluble de classe ≤ n.
• La classe de nilpotence d'un groupe nilpotent ne peut pas être, inversement, majorée en fonction de sa classe de résolubilité^[10]. Par exemple, le groupe diédral d'ordre 2^r, avec r > 1, est nilpotent de classe r – 1^[11], alors que la classe de résolubilité d'un groupe diédral est ≤ 2.
• Un groupe nilpotent est noethérien (en) si et seulement s'il est de type fini^[12]. Il est dans ce cas non seulement résoluble mais polycyclique (en)^[13] et même super-résoluble.
• Tout groupe nilpotent est clairement de Engel (en), c'est-à-dire qu'il vérifie :${\displaystyle \forall x,y\in {\text{G)),\exists m\in \mathbb {N} ,[[[y,x],x]\ldots ,x]=e\quad \mathrm {o{\grave {u))} ~x~\mathrm {est~{\acute {e))crit} ~m~{\text{fois)).}$Il existe une réciproque partielle : tout groupe de Engel noethérien (en particulier tout groupe de Engel fini) est nilpotent^[14],[15]. Il existe des groupes de Engel de type fini non nilpotents, mais on ne sait pas s'il en existe qui soient « n-Engel » pour un certain entier n, c'est-à-dire pour lesquels le m ci-dessus peut être fixé égal à n pour tous les éléments x et y du groupe^[16].
• Les éléments d'ordre fini d'un groupe nilpotent G forment un sous-groupe de G. Ce sous-groupe est appelé le sous-groupe de torsion de G. C'est un sous-groupe pleinement caractéristique de G. Pour tout nombre premier p, les éléments de G ayant pour ordres des puissances de p forment eux aussi un sous-groupe de G, sous-groupe lui aussi pleinement caractéristique. Si on désigne ce sous-groupe de G par T_p, le sous-groupe de torsion de G est la somme restreinte des T_p (où p parcourt tous les nombres premiers)^[17].
• Le fait que les éléments d'ordre fini d'un groupe nilpotent G forment un sous-groupe de G peut se préciser comme suit : si G est un groupe nilpotent de classe c, si x et y sont deux éléments d'ordres finis de G, si n est un nombre naturel tel que xⁿ = yⁿ = 1, alors^[18] (xy)^nc = 1.
• Si G est un groupe fini, les conditions suivantes sont équivalentes^[19] :

1. G est nilpotent ;
2. tout sous-groupe de G est sous-normal dans G, c'est-à-dire que si H est un sous-groupe de G, il existe une séquence finie croissante de sous-groupes allant de H à G telle que chacun de ces sous-groupes soit normal dans le suivant ;
3. tout sous-groupe propre de G est sous-groupe propre de son normalisateur dans G ;
4. tout sous-groupe maximal de G est normal dans G ;
5. G est produit direct de ses sous-groupes de Sylow ;
6. G est un produit direct de groupes dont les ordres sont des puissances de nombres premiers ;
7. pour tout nombre premier p, G est p-clos (anglais p-closed), c'est-à-dire que les éléments de G dont l'ordre est puissance de p forment un sous-groupe de G, ou encore que G admet un p-sous-groupe de Sylow normal (qui est alors l'unique p-sous-groupe de Sylow de G) ;
8. G vérifie une « réciproque » forte du théorème de Lagrange : pour tout diviseur d de |G|, G possède un sous-groupe normal d'ordre d^[20].

• Pour un groupe infini G, on a encore^[21] 1 ⇒ 2 ⇒ 3 ⇒ 4, avec

1. G est nilpotent ;
2. tout sous-groupe de G est sous-normal dans G, c'est-à-dire que si H est un sous-groupe de G, il existe une séquence finie croissante de sous-groupes allant de H à G telle que chacun de ces sous-groupes soit normal dans le suivant ;
3. tout sous-groupe propre de G est sous-groupe propre de son normalisateur dans G ;
4. tout sous-groupe maximal de G est normal dans G.

Un groupe G est nilpotent de classe ≤ 2 si et seulement si le dérivé de G est contenu dans le centre de G, ce qui revient à dire que pour tous éléments x, y de G, le commutateur [x, y] = x^-1y^-1xy appartient au centre de G. Avec la notation a^z = z^-1az pour a et z dans G, G est nilpotent de classe ≤ 2 si et seulement si [x, y]^z = [x, y] pour tous éléments x, y, z de G. Soit G un groupe nilpotent de classe ≤ 2. Les identités

${\displaystyle \ [xy,z]=[x,z]^{y}[y,z]}$

et

${\displaystyle \ [z,xy]=[z,y][z,x]^{y},}$

vraies dans tout groupe, deviennent dans G

${\displaystyle \ [xy,z]=[x,z][y,z]}$

et

${\displaystyle \ [z,xy]=[z,y][z,x]=[z,x][z,y].}$

Donc si a est un élément de G, l'application f_a : x ↦ [a, x] et l'application g_a : x ↦ [x, a] sont des endomorphismes de G. On a donc

${\displaystyle \ [x^{r},y]=[x,y]^{r))$

et

${\displaystyle \ [x,y^{r}]=[x,y]^{r))$

pour tous éléments x, y de G et tout entier rationnel r.

De ces relations et du fait que les commutateurs d'éléments de G appartiennent au centre de G, on déduit la relation

(1) ${\displaystyle \ (xy)^{n}=x^{n}y{^{n))[y,x]^{n(n-1)/2))$

pour tous éléments x, y de G et tout entier naturel n. Cette formule peut être démontrée directement par récurrence sur n, ou encore déduite de l'identité suivante, vraie dans tout groupe :

${\displaystyle \ (xy)^{n}=x^{n}\ y\ [y,x^{n-1}]\ y\ [y,x^{n-2}]...[y,x^{2}]\ y\ [y,x]\ y.}$

La formule (1) sert par exemple dans la détermination de la structure des groupes hamiltoniens^[22].

• Théorème de Schmidt (théorie des groupes)
• Noyau de Frobenius
• Sous-groupe de Fitting
• groupe virtuellement nilpotent
• Localement nilpotent (en) (cf. Propriété locale)

• Alain Debreil, Groupes finis et treillis de leurs sous-groupes, Calvage et Mounet, 2016 (ISBN 978-2916352343), [présentation en ligne]
• Ludmil Katzarkov, « Nilpotent Groups and universal coverings of smooth projective manifolds », Journ. Diff. Geom., 45, 1997, p. 336-348.

• Portail de l’algèbre