Comprendre

OAI-SearchBot et GPTBot : quels rôles pour votre site ?

Deux robots d’OpenAI ont des usages distincts : les comprendre aide à choisir ses règles d’accès.

Repères pour votre lecture
Page utileExplorationIndexationDécouverte

OAI-SearchBot : la recherche

OpenAI indique qu’OAI-SearchBot explore les contenus susceptibles d’être utilisés dans la recherche ChatGPT. Pour permettre l’apparition de contenu dans les résumés et extraits, OpenAI recommande de ne pas bloquer ce robot et de vérifier les règles de l’hébergeur.

GPTBot : un objectif différent

GPTBot est associé à l’exploration de contenus pouvant servir à l’entraînement des modèles. Les préférences d’accès à GPTBot et à OAI-SearchBot peuvent donc être traitées séparément. Consultez la documentation officielle avant de modifier vos règles.

Vérifier robots.txt et les protections

Le fichier robots.txt peut contenir des règles par agent utilisateur. Une règle technique, un pare-feu ou une configuration d’hébergement peuvent aussi empêcher l’accès. Faites relire les changements et contrôlez le résultat sur le domaine concerné.

Ce que cela ne garantit pas

Autoriser l’exploration ne garantit pas qu’une page sera retenue, citée ou recommandée. Les réponses varient, et la simple présence d’un robot dans les journaux n’établit pas une citation dans un résultat.

Une décision à adapter à votre activité

Distinguez les pages publiques que vous souhaitez rendre accessibles des espaces privés qui nécessitent une véritable protection. Documentez les règles choisies, leur date et la personne chargée de leur suivi.

Pour aller plus loin

Les fonctionnalités et leurs conditions évoluent : consultez les documentations officielles pour les dernières mises à jour.

À lire aussi

← Tous les guides