Reproducing Kernel Hilbert Space (RKHS)

1. Définition du Noyau (Kernel)

Soit \mathcal{X} un ensemble non vide. Un noyau est une fonction k: \mathcal{X} \times \mathcal{X} \to \mathbb{R} qui doit être symétrique et définie positive (PDS).

Propriété Définie Positive (PDS)

Un noyau k est dit défini positif si :

\forall (x_{1}, \dots, x_{n}) \in \mathcal{X}^{n}, \forall c \in \mathbb{R}^{n}, \sum_{i=1}^{n} \sum_{j=1}^{n} c_{i} c_{j} k(x_{i}, x_{j}) \geq 0

Matrice de Gram : Pour un ensemble de points donnés, on définit la matrice K par ses éléments K_{i, j} = k(x_{i}, x_{j}). La condition ci-dessus revient à dire que la matrice K est semi-définie positive.

2. Noyau Reproduisant

Soit H un espace de Hilbert composé de fonctions à valeurs réelles f: \mathcal{X} \to \mathbb{R}, doté du produit scalaire \langle \cdot, \cdot \rangle_{H}. La fonction k est un noyau reproduisant si elle vérifie les deux conditions suivantes :

Appartenance : \forall x \in \mathcal{X}, k(\cdot, x) \in H
Propriété de reproduction : \forall f \in H, \forall x \in \mathcal{X}, f(x) = \langle f, k(\cdot, x) \rangle_{H}

L'espace H est alors appelé l'Espace de Hilbert à Noyau Reproduisant (RKHS) associé à k.

Remarque : En appliquant la propriété de reproduction à la fonction f = k(\cdot, x'), on obtient :
k(x, x') = \langle k(\cdot, x), k(\cdot, x') \rangle_{H}

3. Exemples de Noyaux PDS

Voici deux exemples classiques de noyaux utilisés en apprentissage automatique :

Noyau Gaussien (RBF) :

$$k(x, x') = \exp(-\gamma \|x - x'\|^2) \quad \text{avec } \gamma >

Noyau Polynomial :

$$k(x, x') = (1 + \langle x, x' \rangle)^{p} \quad \text{avec } p \in \mathbb{

4. Théorème de Moore-Aronszajn (1943)

Ce théorème fondamental établit la relation entre les noyaux PDS et les espaces de Hilbert.

Soit k un noyau défini positif sur \mathcal{X}.

Existence : Il existe un espace de Hilbert H et une application (feature map) \Phi: \mathcal{X} \to H tels que :
```
\forall x, x' \in \mathcal{X}, k(x, x') = \langle \Phi(x), \Phi(x') \rangle_{H}
```
Unicité : Il existe un unique espace de Hilbert H_k tel que k soit son noyau reproduisant. Cet espace possède les propriétés :
- \forall x \in \mathcal{X}, k(\cdot, x) \in H_k
- \forall f \in H_k, \forall x \in \mathcal{X}, f(x) = \langle f, k(\cdot, x) \rangle_{H_k}

Proof

 H_{0} = \left  \{ f : \mathbb{X} \to \mathbb{R}, (\alpha_{1}, \dots, \alpha_{n}) \in \mathbb{R}^{n}, f(x) = \sum_{i=1}^{n} \alpha_{i} k(x, x_{i}) \right \}

Let g(x) = \sum_{i=1}^{m} \beta_{i} k(x, z_{i})

\langle f, g \rangle_{H_0} = \sum_{i=1}^{n} \sum_{j=1}^{m} \alpha_{i} \beta_{j} k(x_{i}, z_{j})

2.8 KiB Raw Blame History