Chunking
Découpage du contenu en segments (chunks) pour l'indexation RAG ; la stratégie détermine la qualité de la récupération.
Définition
Le chunking est le découpage d’un document ou d’une page en unités plus petites (chunks), typiquement 512–2000 tokens, avant stockage en base vectorielle pour le RAG. La stratégie (par titre, paragraphe, phrase ou fenêtre fixe) détermine si les chunks récupérés sont cohérents et autoportants.
Voir aussi
Lié : RAG, Semantic density, RAG optimization.