Les robots IA qui lisent votre site
Quels robots IA lisent un site, et que coûte leur blocage ?
Dix-neuf robots d'intelligence artificielle lisent le web pour douze éditeurs. Ils ne font pas la même chose : certains collectent du contenu pouvant servir à entraîner des modèles, d'autres cherchent pour citer des sources, d'autres lisent une page parce qu'un utilisateur vient de poser une question. Les bloquer n'a pas les mêmes conséquences. Table révisée le 27/09/2026 ; chaque ligne porte la date à laquelle la documentation de son éditeur a été lue, et le lien vers elle.
La table, éditeur par éditeur
Chaque ligne nomme un robot, ce qu'il fait, et ce que vous perdez en le bloquant dans votre fichier robots.txt. La colonne de droite donne la phrase de l'éditeur sur laquelle repose la ligne, dans sa langue d'origine, avec le lien vers la page où elle a été lue. Aucune ligne n'affirme une fonction sans cette preuve : faute de source, elle est ramenée à « fonction non établie ».
| Éditeur | Robot | Ce qu'il fait | Ce que son blocage coûte | Sur quoi repose cette ligne |
|---|---|---|---|---|
| OpenAI | GPTBot | Collecte de contenu pouvant servir à entraîner des modèles | Rien pour votre citation. Vous refusez seulement que votre contenu puisse servir à entraîner les modèles d'OpenAI. ChatGPT peut toujours vous lire et vous citer, tant que vous laissez passer OAI-SearchBot et ChatGPT-User. | Ce qu'écrit l'éditeurcrawl content that may be used in training our generative AI foundation modelsLue le |
OAI-SearchBot | Recherche — sert à citer des sources dans les réponses | Vous sortez des sources que ChatGPT peut citer. Quand un prospect lui demande un prestataire comme vous, votre site n'est pas dans ce qu'il peut proposer. Être lu ne garantit pas d'être cité ; être bloqué garantit de ne pas l'être. | Ce qu'écrit l'éditeurused to surface websites in search results in ChatGPT's search featuresLue le | |
ChatGPT-User | Lecture déclenchée par la question d'un utilisateur | La réponse à quelqu'un qui vous cherche, au moment où il vous cherche. Un prospect donne votre nom ou votre adresse à ChatGPT pour savoir ce que vous proposez : l'assistant ne peut pas ouvrir votre page et répond sans avoir pu vous lire. | Ce qu'écrit l'éditeurWhen users ask ChatGPT or a CustomGPT a question, it may visit a web page with a ChatGPT-User agentLue le | |
OAI-AdsBot | Autre usage documenté, sans effet sur la visibilité | Rien pour votre visibilité. Cet agent ne sert ni à vous lire pour répondre, ni à vous citer : le bloquer ne change rien à ce qu'un assistant peut dire de vous. | Ce qu'écrit l'éditeurused to validate the safety of web pages submitted as ads on ChatGPTLue le | |
| Anthropic | ClaudeBot | Collecte de contenu pouvant servir à entraîner des modèles | Rien pour votre citation. Vous refusez seulement que votre contenu puisse servir à entraîner les modèles d'Anthropic. Claude peut toujours vous lire et vous citer, tant que vous laissez passer Claude-SearchBot et Claude-User. | Ce qu'écrit l'éditeurcollecting web content that could potentially contribute to their trainingLue le |
Claude-SearchBot | Recherche — sert à citer des sources dans les réponses | Vous sortez des sources que Claude peut citer. Quand un prospect lui demande un prestataire comme vous, votre site n'est pas dans ce qu'il peut proposer. Être lu ne garantit pas d'être cité ; être bloqué garantit de ne pas l'être. | Ce qu'écrit l'éditeurnavigates the web to improve search result quality for usersLue le | |
Claude-User | Lecture déclenchée par la question d'un utilisateur | La réponse à quelqu'un qui vous cherche, au moment où il vous cherche. Un prospect donne votre nom ou votre adresse à Claude pour savoir ce que vous proposez : l'assistant ne peut pas ouvrir votre page et répond sans avoir pu vous lire. | Ce qu'écrit l'éditeurWhen individuals ask questions to Claude, it may access websites using a Claude-User agentLue le | |
anthropic-ai | Fonction non établie à ce jour | Impossible à dire : son éditeur ne documente pas ce que fait cet agent. Nous ne comptons donc pas son blocage contre votre site. | Notre constatAbsent de la page officielle des crawlers Anthropic au 2026-09-25. Recherche restreinte aux domaines de l'éditeur : aucune documentation trouvée. Sa fonction n'est donc pas établie, et ce nom ne peut à lui seul faire échouer un constat. Lue le | |
| Perplexity | PerplexityBot | Recherche — sert à citer des sources dans les réponses | Vous sortez des sources que Perplexity peut citer. Quand un prospect lui demande un prestataire comme vous, votre site n'est pas dans ce qu'il peut proposer. Être lu ne garantit pas d'être cité ; être bloqué garantit de ne pas l'être. | Ce qu'écrit l'éditeurdesigned to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.Lue le |
Perplexity-User | Lecture déclenchée par la question d'un utilisateur | La réponse à quelqu'un qui vous cherche, au moment où il vous cherche. Un prospect donne votre nom ou votre adresse à Perplexity pour savoir ce que vous proposez : l'assistant ne peut pas ouvrir votre page et répond sans avoir pu vous lire. | Ce qu'écrit l'éditeurWhen users ask Perplexity a question, it might visit a web page to help provide an accurate answerLue le | |
Google-Extended | Collecte de contenu pouvant servir à entraîner des modèles | Rien pour votre citation, et rien pour votre référencement : bloquer ce robot n'a aucun effet sur votre présence dans Google Recherche. Vous refusez seulement que votre contenu puisse servir à entraîner Gemini. | Ce qu'écrit l'éditeurmanage whether content Google crawls from their sites may be used for training future generations of Gemini models. Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.Lue le | |
| Apple | Applebot-Extended | Collecte de contenu pouvant servir à entraîner des modèles | Rien pour votre citation. Vous refusez seulement que votre contenu puisse servir à entraîner les modèles de fondation d'Apple. Apple écrit que les pages qui refusent cet agent restent dans ses résultats de recherche. | Ce qu'écrit l'éditeurWith Applebot-Extended, web publishers can choose to opt out of their website content being used to train Apple's general purpose foundation models powering generative AI features across Apple products, including Apple Intelligence, Services, and Developer Tools.Lue le |
| Meta | meta-externalagent | Recherche et collecte pouvant servir à entraîner des modèles | La citation et l'entraînement en même temps : Meta décrit un seul robot pour deux usages — indexer votre contenu, et alimenter l'entraînement de ses modèles de fondation. Une seule règle, donc, ferme les deux portes à la fois. | Ce qu'écrit l'éditeurThe Meta-ExternalAgent crawler crawls the web for use cases such as training foundation AI models or improving products by indexing content directly.Lue le |
| Mistral AI | MistralAI-User | Lecture déclenchée par la question d'un utilisateur | La réponse à quelqu'un qui vous cherche, au moment où il vous cherche. Un prospect donne votre nom ou votre adresse à l'assistant de Mistral AI pour savoir ce que vous proposez : l'assistant ne peut pas ouvrir votre page et répond sans avoir pu vous lire. | Ce qu'écrit l'éditeurWhen users ask Vibe a question, it may visit a web page to help answer and include a link to the source in its response.Lue le |
| DuckDuckGo | DuckAssistBot | Recherche — sert à citer des sources dans les réponses | Vous sortez des sources que les réponses assistées de DuckDuckGo peuvent citer. Quand un prospect y cherche un prestataire comme vous, votre site n'est pas dans ce qu'elles peuvent proposer. Être lu ne garantit pas d'être cité ; être bloqué garantit de ne pas l'être. | Ce qu'écrit l'éditeurDuckAssistBot is a web crawler for DuckDuckGo Search that crawls pages in real-time for our AI-assisted answers, which prominently cite their sources.Lue le |
| Amazon | Amazonbot | Collecte de contenu pouvant servir à entraîner des modèles | Vous refusez que votre contenu puisse servir à entraîner les modèles d'Amazon — c'est le seul usage que sa page établit. Pour la citation, nous ne pouvons pas trancher : Amazon mentionne aussi « improve our products and services » sans dire si cela inclut de répondre aux utilisateurs. | Ce qu'écrit l'éditeurAmazonbot is used to improve our products and services. This helps us provide more accurate information to customers and may be used to train Amazon AI models.Lue le Ce que sa page ne dit pas : Le même paragraphe mentionne « improve our products and services » sans préciser si cela inclut de répondre aux utilisateurs. La fonction de citation n'est donc ni établie ni écartée par cette page. |
| You.com | YouBot | Fonction non établie à ce jour | Impossible à dire : nous n'avons trouvé aucune documentation de son éditeur. Nous ne comptons donc pas son blocage contre votre site. | Notre constatAucune documentation de l'éditeur accessible au 2026-09-27. La seule page indexée sous ce nom sur un domaine You.com (about.you.com/de/youbot/) répond 404 à chacune de nos lectures, et aucune autre page de you.com ne décrit cet agent. Sa fonction n'est donc pas établie ici, et ce nom ne peut à lui seul faire échouer un constat. Lue le |
| Common Crawl | CCBot | Fonction non établie à ce jour | Impossible à dire : Common Crawl documente bien ce robot, mais n'énonce aucun usage d'intelligence artificielle générative. Nous ne comptons donc pas son blocage contre votre site. | Notre constatCommon Crawl documente bien cet agent — « a Nutch-based web crawler » alimentant « an open repository of web crawl data » — mais sa documentation n'énonce aucun usage d'intelligence artificielle générative : ni entraînement, ni citation de sources dans des réponses. Nous ne lui prêtons donc pas une fonction qu'elle n'établit pas. Ce n'est pas un silence de l'éditeur sur son agent, c'est un silence sur le rapport de cet agent à l'IA. Lue le |
| ByteDance | Bytespider | Fonction non établie à ce jour | Impossible à dire : nous n'avons trouvé aucune documentation de son éditeur. Nous ne comptons donc pas son blocage contre votre site. | Notre constatAucune documentation de l'éditeur trouvée au 2026-09-27. Recherche restreinte aux domaines de ByteDance : le site de l'entreprise ne mentionne ni cet agent, ni aucune page consacrée à ses robots d'exploration. Sa fonction n'est donc pas établie, et ce nom ne peut à lui seul faire échouer un constat. Lue le |
Vérifier ce que votre robots.txt autorise
Comment cette table est tenue à jour
Elle a été vérifiée à deux : chaque ligne a été lue indépendamment contre la documentation officielle de son éditeur, et c'est ce lien qui figure dans la dernière colonne. La relecture est due à chaque lot touchant la sonde 14, et au moins tous les 6 mois. Faute de révision, la date affichée ci-dessus vieillit et le dit : l'affirmation reste datée, donc contestable — nous ne prétendons pas qu'elle vaut indéfiniment.
Elle est également revue sans attendre l'échéance lorsque :
- un éditeur annonce un nouveau crawler ou en retire un
- un agent inconnu apparaît dans les robots.txt scannés
- un verdict est contesté par un client
Ce que cette page ne dit pas
Elle ne dit pas s'il faut bloquer ou non : c'est votre choix, et il peut être parfaitement fondé. Elle ne dit pas non plus qu'un robot autorisé vous fera citer — être lisible n'est pas être cité. Enfin, elle décrit ce que les éditeurs publient sur leurs robots, pas ce qu'ils en font : nous rapportons leurs phrases, nous ne les vérifions pas de l'intérieur.