APM_4AI09/RKHS.md

# Reproducing Kernel Hilbert Space (RKHS)

## 1. Définition du Noyau (Kernel)

Soit $\mathcal{X}$ un ensemble non vide. Un noyau est une fonction $k: \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ qui doit être **symétrique** et **définie positive** (PDS).

### Propriété Définie Positive (PDS)
Un noyau $k$ est dit défini positif si :
$$\forall (x_{1}, \dots, x_{n}) \in \mathcal{X}^{n}, \forall c \in \mathbb{R}^{n}, \sum_{i=1}^{n} \sum_{j=1}^{n} c_{i} c_{j} k(x_{i}, x_{j}) \geq 0$$

> **Matrice de Gram :** Pour un ensemble de points donnés, on définit la matrice $K$ par ses éléments $K_{i, j} = k(x_{i}, x_{j})$. La condition ci-dessus revient à dire que la matrice $K$ est semi-définie positive.

---

## 2. Noyau Reproduisant

Soit $H$ un espace de Hilbert composé de fonctions à valeurs réelles $f: \mathcal{X} \to \mathbb{R}$, doté du produit scalaire $\langle \cdot, \cdot \rangle_{H}$. La fonction $k$ est un **noyau reproduisant** si elle vérifie les deux conditions suivantes :

1.  **Appartenance :** $\forall x \in \mathcal{X}, k(\cdot, x) \in H$
2.  **Propriété de reproduction :** $\forall f \in H, \forall x \in \mathcal{X}, f(x) = \langle f, k(\cdot, x) \rangle_{H}$

L'espace $H$ est alors appelé l'**Espace de Hilbert à Noyau Reproduisant (RKHS)** associé à $k$.

> **Remarque :** En appliquant la propriété de reproduction à la fonction $f = k(\cdot, x')$, on obtient :
> $$k(x, x') = \langle k(\cdot, x), k(\cdot, x') \rangle_{H}$$

---

## 3. Exemples de Noyaux PDS

Voici deux exemples classiques de noyaux utilisés en apprentissage automatique :

* **Noyau Gaussien (RBF) :**
    $$k(x, x') = \exp(-\gamma \|x - x'\|^2) \quad \text{avec } \gamma > 0$$
* **Noyau Polynomial :**
    $$k(x, x') = (1 + \langle x, x' \rangle)^{p} \quad \text{avec } p \in \mathbb{N}$$

---

## 4. Théorème de Moore-Aronszajn (1943)

Ce théorème fondamental établit la relation entre les noyaux PDS et les espaces de Hilbert.

Soit $k$ un noyau défini positif sur $\mathcal{X}$.

1.  **Existence :** Il existe un espace de Hilbert $H$ et une application (feature map) $\Phi: \mathcal{X} \to H$ tels que :
    $$\forall x, x' \in \mathcal{X}, k(x, x') = \langle \Phi(x), \Phi(x') \rangle_{H}$$
2.  **Unicité :** Il existe un unique espace de Hilbert $H_k$ tel que $k$ soit son noyau reproduisant. Cet espace possède les propriétés :
    * $\forall x \in \mathcal{X}, k(\cdot, x) \in H_k$
    * $\forall f \in H_k, \forall x \in \mathcal{X}, f(x) = \langle f, k(\cdot, x) \rangle_{H_k}$