Modèles de Whittaker dégénéres pour des groupes p-adiques. (Degenerate Whittaker models of p-adic groups) (Q1088009)

Soient p un nombre premier impair, F une extension finie de \({\mathbb{Q}}_ p\), G un groupe algébrique réductif défini sur F, \(G=G(F)\), \({\mathfrak g}\) son algèbre de Lie, qu'on identifie à son dual, \(\pi\) une représentation lisse irréductible de G dans un espace vectoriel complexe W. Soit f un élément nilpotent de \({\mathfrak g}\), choisissons un sous- groupe à un paramètre \(\phi\) de G tel que: \[ (*)\quad Ad(\phi (s)) f=s^{-2} f \] pour tout \(s\in G\). On définit alors un sous-groupe unipotent \(U_{\phi,f}\) de G et un caractère \(\psi _ f\) de \(U_{\phi,f}\). On note \(W_{\phi,f}\) le plus grand quotient de W sur lequel \(U_{\phi,f}\) agisse par le caractère \(\psi _ f\). L'ensemble des f pour lesquels il existe \(\phi\) tel que \(W_{\phi,f}\) soit non nul est réunion d'orbites sous l'action adjointe de G. On note \({\mathcal N}_{Wh}(\pi)\) l'ensemble de ces orbites, et \({\mathcal N}_{Wh}^{\max}(\pi)\) l'ensemble des éléments maximaux de \({\mathcal N}_{Wh}(\pi)\) pour l'ordre usuel (inclusion entre fermetures pour la topologie usuelle d'orbites). D'autre part, \(\pi\) admet un caractère distribution tr \(\pi\). On sait que pour \(X\in {\mathfrak g}\) assez proche de 0, on a un développement: \[ (**)\quad (tr \pi)(\exp X)=\sum _{{\mathfrak o}}c_{{\mathfrak o}} \hat I_{{\mathfrak o}}(X)\quad, \] où \({\mathfrak o}\) parcourt l'ensemble des orbites nilpotentes de \({\mathfrak g}\), \(c_{{\mathfrak o}}\in {\mathbb{C}}\), et Î\({}_{{\mathfrak o}}\) est la transformée de Fourier de la mesure invriante sur \({\mathfrak o}\) (il faut normaliser convenablement les mesures). On note \({\mathcal N}_{tr}(\pi)\) l'ensemble des orbites pour lesquelles \(c_{{\mathfrak o}}\neq 0\), et \({\mathcal N}_{tr}^{\max}(\pi)\) l'ensemble des éléments maximaux de \({\mathcal N}_{tr}(\pi).\) On démontre alors l'égalité \({\mathcal N}_{tr}^{\max}(\pi)={\mathcal N}_{Wh}^{\max}(\pi)\). De plus, si \({\mathfrak o}\) appartient à cet ensemble et si \(f\in {\mathfrak o}\), alors pour tout choix de \(\phi\) vérifiant (*), on a l'égalité \(c_{{\mathfrak o}}=\dim W_{\phi,f}.\) Ensuite on calcule \({\mathcal N}_{tr}^{\max}(\pi)\) dans les deux exemples suivants: (1) G est classique déployé et \(\pi\) est un sous-quotient d'une série principale associée à un caractère régulier d'un sous-tore maximal; (2) \(G=GL_ n.\) Enfin, pour G symplectique, on caractérise les représentations ''de petit rang'' en termes du développement (**).