From 877044fff0e912a7fe590e61c19f8a0011684e58 Mon Sep 17 00:00:00 2001 From: Alexis BAYLET Date: Fri, 27 Mar 2026 14:53:17 +0100 Subject: [PATCH] Refactor RKHS document for improved structure and clarity, including detailed kernel definitions and examples. --- RKHS.md | 60 ++++++++++++++++++++++++++++++++++++--------------------- 1 file changed, 38 insertions(+), 22 deletions(-) diff --git a/RKHS.md b/RKHS.md index 1bd989d..7e020e2 100644 --- a/RKHS.md +++ b/RKHS.md @@ -1,42 +1,58 @@ -# RKHS +Voici une version claire et structurée de vos notes au format Markdown. J'ai utilisé le rendu LaTeX pour les formules mathématiques afin de les rendre plus lisibles. -## Kernel definition +--- -Let `X` be a non empty set. Let $k: \mathbb{X} \times \mathbb{X} \to \mathbb{R}$ symetric and positive definite. +# Reproducing Kernel Hilbert Space (RKHS) +## 1. Définition du Noyau (Kernel) -$\forall (x_{1}, ..., x_{n}) \in \mathbb{X}^{n}, \forall c \in \mathbb{R}^{n}, \sum_{i=1}^{n} \sum_{j=1}^{n} c_{i} c_{j} k(x_{i}, x_{j}) \geq 0$ +Soit $\mathcal{X}$ un ensemble non vide. Un noyau est une fonction $k: \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ qui doit être **symétrique** et **définie positive** (PDS). -$ K_{i, j} = k(x_{i}, x_{j}) $ +### Propriété Définie Positive (PDS) +Un noyau $k$ est dit défini positif si : +$$\forall (x_{1}, \dots, x_{n}) \in \mathcal{X}^{n}, \forall c \in \mathbb{R}^{n}, \sum_{i=1}^{n} \sum_{j=1}^{n} c_{i} c_{j} k(x_{i}, x_{j}) \geq 0$$ -### 1.2 Reproducing Kernel +> **Matrice de Gram :** Pour un ensemble de points donnés, on définit la matrice $K$ par ses éléments $K_{i, j} = k(x_{i}, x_{j})$. La condition ci-dessus revient à dire que la matrice $K$ est semi-définie positive. -Let `H` be a Hilbert space of functions of real value functions $ f: \mathbb{X} \to \mathbb{R} $ endowed with the inner product $ \langle ., . \rangle_{H} $ k is a reproducing kernel if : +--- -- $ \forall x \in \mathbb{X}, k(., x) \in H $ -- $ \forall f \in H, \forall x \in \mathbb{X}, f(x) = \langle f, k(., x) \rangle_{H} $ +## 2. Noyau Reproduisant -`H` is called the Reproducing Kernel Hilbert Space (RKHS) associated to `k`. +Soit $H$ un espace de Hilbert composé de fonctions à valeurs réelles $f: \mathcal{X} \to \mathbb{R}$, doté du produit scalaire $\langle \cdot, \cdot \rangle_{H}$. La fonction $k$ est un **noyau reproduisant** si elle vérifie les deux conditions suivantes : +1. **Appartenance :** $\forall x \in \mathcal{X}, k(\cdot, x) \in H$ +2. **Propriété de reproduction :** $\forall f \in H, \forall x \in \mathcal{X}, f(x) = \langle f, k(\cdot, x) \rangle_{H}$ -**remark:** $ f = K(., x), k(x, x') = \langle k(., x'), k(., x) \rangle_{H} $ +L'espace $H$ est alors appelé l'**Espace de Hilbert à Noyau Reproduisant (RKHS)** associé à $k$. -**Examples of kernels:** +> **Remarque :** En appliquant la propriété de reproduction à la fonction $f = k(\cdot, x')$, on obtient : +> $$k(x, x') = \langle k(\cdot, x), k(\cdot, x') \rangle_{H}$$ -### kernel PDS +--- -- $k(x, x') = \exp(-\gamma \|x - x'\|^2) $ with $ x, x' \in \mathbb{X} $ -- $k(x, x') = (1 + \langle x, x' \rangle)^{p} $ with $ x, x' \in \mathbb{X} $ +## 3. Exemples de Noyaux PDS -## Moore Aronszajn Theorem (1943) +Voici deux exemples classiques de noyaux utilisés en apprentissage automatique : -Let `k` be a PDS kernel over $ \mathbb{X} $. +* **Noyau Gaussien (RBF) :** + $$k(x, x') = \exp(-\gamma \|x - x'\|^2) \quad \text{avec } \gamma > 0$$ +* **Noyau Polynomial :** + $$k(x, x') = (1 + \langle x, x' \rangle)^{p} \quad \text{avec } p \in \mathbb{N}$$ -There exists a Hilbert space `H` and a map $ \Phi: \mathbb{X} \to H $ such that $ \forall x, x' \in \mathbb{X}, k(x, x') = \langle \Phi(x), \Phi(x') \rangle_{H} $ +--- -Moreover, there is a unique Hilbert space such that k is a reproducing kernel of `H`. +## 4. Théorème de Moore-Aronszajn (1943) -Let's call `H` : `H_{k}` +Ce théorème fondamental établit la relation entre les noyaux PDS et les espaces de Hilbert. -- $ \forall x \in \mathbb{X}, k(., x) \in H $ -- $ \forall f \in H, \forall x \in \mathbb{X}, f(x) = \langle f, k(., x) \rangle_{H} $ \ No newline at end of file +Soit $k$ un noyau défini positif sur $\mathcal{X}$. + +1. **Existence :** Il existe un espace de Hilbert $H$ et une application (feature map) $\Phi: \mathcal{X} \to H$ tels que : + $$\forall x, x' \in \mathcal{X}, k(x, x') = \langle \Phi(x), \Phi(x') \rangle_{H}$$ +2. **Unicité :** Il existe un unique espace de Hilbert $H_k$ tel que $k$ soit son noyau reproduisant. Cet espace possède les propriétés : + * $\forall x \in \mathcal{X}, k(\cdot, x) \in H_k$ + * $\forall f \in H_k, \forall x \in \mathcal{X}, f(x) = \langle f, k(\cdot, x) \rangle_{H_k}$ + +--- + +Souhaitez-vous que je développe davantage une partie spécifique, comme l'application de ces noyaux dans les SVM ou la preuve du théorème ? \ No newline at end of file