User-Agent
Chaîne envoyée par le client (navigateur ou crawler) pour s'identifier ; utilisée dans robots.txt pour cibler des crawlers.
Définition
Le User-Agent est une chaîne envoyée dans l’en-tête HTTP User-Agent pour identifier le client (navigateur, crawler). Dans robots.txt, les règles User-agent: GPTBot ou User-agent: * ciblent des crawlers spécifiques ou tous. Identifier les user-agents des crawlers IA permet de mesurer le trafic et d’appliquer des règles d’accès.
Voir aussi
Lié : robots.txt, AI crawlers overview, Tracking agent traffic.