APM_4AI09/ch1.md

Cours 1 : Estimation de Densité Non-Paramétrique

Mars 2026

---

1. Introduction et Motivation

L'objectif de l'estimation de densité est de reconstruire une fonction de densité de probabilité f à partir d'un échantillon de variables aléatoires X_1, \dots, X_N i.i.d. selon f.

Définition — Densité de probabilité

Une fonction f : \mathbb{R} \to \mathbb{R} est une densité de probabilité si :

1. f(x) \geq 0 pour presque tout x.
2. f \in L^1(\mathbb{R}) et \int_{\mathbb{R}} f(x)\, dx = 1.

Remarque : La valeur ponctuelle f(x_0) n'est pas informative en elle-même car la mesure de Lebesgue d'un singleton est nulle. Pour estimer f, on impose une contrainte de régularité. On suppose généralement que f appartient à un sous-espace de fonctions régulières \mathcal{F} \subsetneq L^1.

---

2. L'approche "Naïve" : L'estimateur par intervalle

Pour un point x et un petit paramètre h > 0, la probabilité que X \in [x-h, x+h] vaut :

\mathbb{P}(X \in [x-h, x+h]) = \int_{x-h}^{x+h} f(u)\, du

Si f est continue en x et h est petit, \int_{x-h}^{x+h} f(u)\, du \approx 2h f(x). On estime cette probabilité par la proportion empirique :

\hat{p} = \frac{1}{N} \sum_{n=1}^N \mathbb{1}_{[x-h, x+h]}(x_n)

D'où l'estimateur "naïf" :

\hat{f}(x) = \frac{1}{2Nh} \sum_{n=1}^N \mathbb{1}_{[x-h, x+h]}(x_n) = \frac{1}{Nh} \sum_{n=1}^N K\!\left(\frac{x-x_n}{h}\right)

où K(u) = \frac{1}{2}\mathbb{1}_{[-1,1]}(u) est le noyau rectangulaire.

---

3. L'approche par Projection (Espaces de Hilbert)

Cette méthode repose sur la décomposition de f dans une base orthonormée de L^2([0,1]).

3.1 Espace de Hilbert et Bases Orthonormées

On munit L^2([0,1]) du produit scalaire :

\langle f, g \rangle = \int_0^1 f(x)\overline{g(x)}\, dx

Soit \{e_k\}_{k \in \mathbb{Z}} une base orthonormée (par exemple la base de Fourier e_k(x) = e^{i 2\pi k x}). Toute fonction f \in L^2([0,1]) s'écrit :

f(x) = \sum_{k \in \mathbb{Z}} \alpha_k e_k(x) \quad \text{avec} \quad \alpha_k = \langle f, e_k \rangle

3.2 Régularité et Espaces de Sobolev

Définition — Espace de Sobolev

Pour s > 0, l'espace de Sobolev W^s([0,1]) est l'ensemble des fonctions f \in L^2([0,1]) telles que :

\sum_{k \in \mathbb{Z}} |\alpha_k|^2 (1 + |k|)^{2s} < +\infty

On définit l'ellipsoïde de Sobolev B(s, R) = \{ f \in W^s : \|f\|_{W^s}^2 \leq R^2 \}.

3.3 Construction de l'estimateur par projection

On approche f par une version tronquée à l'ordre M :

\tilde{f}(x) = \sum_{|k| \leq M} \alpha_k e_k(x)

Les coefficients \alpha_k sont inconnus, mais \alpha_k = \mathbb{E}[e_k(X)]. Par la méthode des moments :

\hat{\alpha}_k = \frac{1}{N} \sum_{n=1}^N e_k(X_n)

L'estimateur final est :

\hat{f}(x) = \sum_{|k| \leq M} \hat{\alpha}_k e_k(x)

---

4. Analyse des Performances : Risque Quadratique

Le risque est mesuré par l'Erreur Quadratique Moyenne Intégrée (MISE) :

\text{Risk}(\hat{f}, f) = \mathbb{E}\!\left[\int_0^1 |\hat{f}(x) - f(x)|^2\, dx\right]

4.1 Décomposition Biais-Variance

Par orthogonalité de la base, le risque se décompose en :

\text{Risk} = \underbrace{\|\tilde{f} - f\|^2}_{\text{Biais}^2 \text{ (Troncature)}} + \underbrace{\mathbb{E}[\|\hat{f} - \tilde{f}\|^2]}_{\text{Variance (Estimation)}}

1. Biais : Pour f \in B(s, R) :

\text{Biais}^2 = \sum_{|k| > M} |\alpha_k|^2 \leq \frac{R^2}{M^{2s}} = O(M^{-2s})

2. Variance : Si les fonctions de base sont bornées (|e_k| \leq C) :

\text{Variance} = \sum_{|k| \leq M} \frac{\text{Var}(e_k(X))}{N} = O\!\left(\frac{M}{N}\right)

Le risque total est donc :

\text{Risk} \approx \frac{M}{N} + \frac{1}{M^{2s}}

---

5. Optimisation du paramètre de troncature

On cherche M^* qui équilibre biais et variance :

\frac{\partial}{\partial M}\!\left(\frac{M}{N} + M^{-2s}\right) = 0 \implies \frac{1}{N} - 2s\, M^{-(2s+1)} = 0 \implies M^* \sim N^{\frac{1}{2s+1}}

Vitesse de convergence : En substituant M^* :

\text{Risk}^* \sim N^{-\frac{2s}{2s+1}}

• Si s \to \infty (fonction très lisse) : vitesse approche N^{-1} (vitesse paramétrique).
• Si s \to 0 (peu régulière) : M^* \sim N et la vitesse est très lente.

---

6. Introduction à l'Approche par Noyau

Définition — Noyau

Un noyau K : \mathbb{R} \to \mathbb{R} est une fonction intégrable telle que \int_{\mathbb{R}} K(u)\, du = 1. On définit le noyau mis à l'échelle par la fenêtre h :

K_h(u) = \frac{1}{h} K\!\left(\frac{u}{h}\right)

L'estimateur à noyau est le produit de convolution entre la mesure empirique et le noyau :

\hat{f}(x) = (K_h * f_{\text{emp}})(x) = \frac{1}{N} \sum_{n=1}^N K_h(x - x_n)

---

7. Analyse de l'Estimateur à Noyau

L'estimateur à noyau repose sur deux idées fondamentales :

1. Approximation : La convolution (K_h * f)(x) converge vers f(x) quand h \to 0.
2. Estimation : L'espérance de \hat{f}(x) est précisément cette convolution.

7.1 Cadre d'analyse : Espaces de Hölder

Définition — Espace de Hölder $\Lambda(s, L)$

Soit s > 0, écrit s = k + \beta avec k \in \mathbb{N} et \beta \in ]0,1]. Une fonction f appartient à \Lambda(s, L) si :

1. f est k fois dérivable.
2. La $k$-ième dérivée est $\beta$-höldérienne : \forall x, y \in \mathbb{R},\; |f^{(k)}(x) - f^{(k)}(y)| \leq L|x-y|^\beta.

7.2 Hypothèses sur le noyau (Noyaux de Parzen-Rosenblatt)

Pour exploiter la régularité d'ordre s, le noyau K doit vérifier :

1. \int K(u)\, du = 1
2. \int |u|^s |K(u)|\, du < +\infty
3. \int u^l K(u)\, du = 0 pour l \in \{1, \dots, k\} — K est alors dit noyau d'ordre $k$

7.3 Résultat 1 : Contrôle du Biais

Théorème — Borne sur le biais

Si f \in \Lambda(s, L) et K est un noyau d'ordre k, alors :

\sup_x |\mathbb{E}[\hat{f}(x)] - f(x)| \leq \frac{L \cdot C}{k!} h^s = O(h^s)

où C = \int |y|^s |K(y)|\, dy.

Preuve (esquisse) : Par changement de variable y = \frac{x-u}{h} :

(K_h * f)(x) - f(x) = \int K(y)[f(x - hy) - f(x)]\, dy

Un développement de Taylor-Young de f à l'ordre k en x et les propriétés d'annulation des moments du noyau font disparaître les termes de dérivées. Le reste de Taylor est borné par la condition de Hölder en h^s.

7.4 Résultat 2 : Contrôle de la Variance

Théorème — Borne sur la variance

Si K \in L^2 et f est bornée :

\text{Var}(\hat{f}(x)) \leq \frac{C'}{Nh} = O\!\left(\frac{1}{Nh}\right)

où C' = \|f\|_\infty \int K^2(u)\, du.

Preuve : Par indépendance des X_n :

\text{Var}(\hat{f}(x)) = \frac{1}{N}\text{Var}(K_h(x-X_1)) \leq \frac{1}{N}\mathbb{E}[K_h(x-X_1)^2] = \frac{1}{Nh}\int K(u')^2 f(x-hu')\, du' \leq \frac{\|f\|_\infty}{Nh}\int K^2

---

8. Conclusion : Le compromis Biais-Variance

Le risque quadratique total se comporte comme :

\text{Risque}(h) \approx \underbrace{h^{2s}}_{\text{Biais}^2} + \underbrace{\frac{1}{Nh}}_{\text{Variance}}

Fenêtre optimale :

h^{2s+1} \sim \frac{1}{N} \implies h^* = N^{-\frac{1}{2s+1}}

Vitesse de convergence minimax :

\text{Risque}^* \sim N^{-\frac{2s}{2s+1}}

Synthèse entre les deux approches

Méthode	Paramètre de lissage	Rôle
Projection	M (nombre de modes)	Régularisation par troncature
Noyau	1/h (inverse de la fenêtre)	Régularisation par lissage

Dans les deux cas, on retrouve la même vitesse de convergence. Le paramètre M joue un rôle inversement proportionnel à h. Plus s (la régularité) est grand, plus la vitesse approche 1/N (vitesse paramétrique).