Optimiser son site pour la recherche IA (GEO) + modèles

ÉtapesOuvrir la porte aux robots de recherche

1. Décidez de votre politique

   Le modèle A vous rend visible dans la recherche IA tout en refusant l’entraînement des modèles. Le modèle B accueille tout, robots d’entraînement compris, et c’est la politique que maxenius.com applique pour une visibilité maximale.

2. Écrivez le fichier en répétant les règles communes

   Un robot n’obéit qu’au groupe correspondant le plus précis, et la spécification de Google indique que les groupes nommés et le groupe * ne sont pas combinés. Répétez donc chaque ligne Disallow nécessaire dans chaque groupe nommé.

   User-agent: *
   Disallow: /api/
   Disallow: /cart/
   Allow: /
   
   User-agent: OAI-SearchBot
   User-agent: ChatGPT-User
   User-agent: Claude-SearchBot
   User-agent: Claude-User
   User-agent: PerplexityBot
   User-agent: Perplexity-User
   Disallow: /api/
   Disallow: /cart/
   Allow: /
   
   User-agent: GPTBot
   User-agent: ClaudeBot
   User-agent: Applebot-Extended
   User-agent: CCBot
   Disallow: /
   
   Sitemap: https://www.example.com/sitemap.xml

   User-agent: *
   Disallow: /api/
   Allow: /
   
   User-agent: OAI-SearchBot
   User-agent: ChatGPT-User
   User-agent: GPTBot
   User-agent: Claude-SearchBot
   User-agent: Claude-User
   User-agent: ClaudeBot
   User-agent: PerplexityBot
   User-agent: Perplexity-User
   User-agent: Google-Extended
   User-agent: Applebot-Extended
   Disallow: /api/
   Allow: /
   
   Sitemap: https://www.example.com/sitemap.xml

3. Gardez la mécanique propre

   Placez les lignes Disallow avant Allow: /, car des analyseurs simples comme le robotparser de Python s’arrêtent à la première correspondance. Servez un seul fichier par hôte depuis /robots.txt. Selon la RFC 9309, une réponse 5xx signifie que les robots considèrent tout comme interdit, et une 404 qu’ils peuvent tout explorer. robots.txt n’est pas un contrôle d’accès. OpenAI et Perplexity indiquent tous deux que les modifications prennent environ 24 heures à s’appliquer.

4. Vérifiez la couche située au-dessus de robots.txt

   OpenAI indique que votre hébergeur ou CDN doit autoriser ses plages d’adresses IP publiées, et Perplexity documente des règles WAF qui combinent agent utilisateur et listes d’IP. Deux pièges : depuis le 15 septembre 2026, Cloudflare bloque les robots à usage mixte, dont Googlebot, Applebot et BingBot, lorsqu’un client active le blocage de l’entraînement, et son robots.txt géré ajoute en tête des règles Disallow qui incluent Google-Extended. Sur Vercel, régler le jeu de règles AI Bots sur Deny bloque aussi les robots de recherche.

5. Vérifier que ça fonctionneVérifiez que cela fonctionne

   Exécutez curl -s https://yourdomain.com/robots.txt et confirmez que le fichier en ligne correspond à votre dépôt, car un CDN peut le réécrire. Cherchez ensuite dans les journaux du serveur ou du CDN des réponses 200 pour OAI-SearchBot, Claude-SearchBot, PerplexityBot et Bingbot. Usurper un agent utilisateur avec curl ne teste que les règles d’agent utilisateur, pas celles basées sur l’IP.

ÉtapesRendre la page lisible sans JavaScript

1. Lisez d’abord les constats datés

   En décembre 2024, Vercel et MERJ ont constaté qu’aucun des grands robots d’exploration IA étudiés n’exécutait JavaScript, hormis Gemini via Googlebot et Applebot. Les consignes 2026 de Vercel, Make your site readable by AI agents, conseillent toujours de rendre côté serveur le contenu que vous voulez faire lire. Ce sont des constats datés, pas une promesse valable pour tous les robots. OpenAI ne dit pas si OAI-SearchBot exécute le rendu, testez donc au lieu de supposer.

2. Rendez l’essentiel côté serveur

   Le titre, le texte principal, la balise canonical, le JSON-LD et les liens de navigation doivent figurer dans le HTML initial. Google indique que tous les robots n’exécutent pas JavaScript, même si Googlebot le fait généralement.

3. Ne cachez pas les réponses

   Gardez les réponses clés hors des onglets fermés, des images et des PDF. Microsoft et Bing déconseillent tous deux de cacher un contenu essentiel derrière un rendu côté client.

4. Vérifier que ça fonctionneVérifiez que cela fonctionne

   Récupérez la page comme le fait un robot sans rendu, par exemple avec le script du kit : ./ai-bot-check.sh https://www.example.com/page "a sentence from the body". Chaque ligne de robot doit afficher le statut 200, un nombre de mots proche de ce que vous voyez dans le navigateur, et PHRASE = yes. Le kit contient deux scripts : ai-bot-check.sh teste sept agents utilisateurs de robots, et check-ai-crawl.sh (présenté dans la section sur les frameworks) vérifie en une récupération le titre, la balise canonical et le JSON-LD.

ÉtapesRendre chaque section extractible

1. Commencez par la réponse

   Placez la réponse directe dans les premières phrases sous chaque titre, et rendez les titres spécifiques. Les consignes de Bing conseillent de faire apparaître tôt l’information clé et de définir explicitement les faits sur l’URL.

2. Un sujet par URL, pas de pages en série

   Ne créez pas une page pour chaque variante de fan-out d’une requête. Google qualifie cela de abus de contenu à grande échelle. Ajoutez plutôt des détails de première main, non banals, au lieu de répéter ce que d’autres disent.

3. Pas de texte caché destiné aux modèles

   Bing considère l’injection de prompt et les instructions cachées destinées aux LLM comme un abus pouvant faire supprimer ou déclasser un site. Google indique qu’il n’existe pas de longueur idéale ni de nécessité de découper, rédigez donc pour les lecteurs.

4. Vérifier que ça fonctionneVérifiez que cela fonctionne

   Lisez chaque section H2 isolément. Si elle répond à son propre titre sans le paragraphe qui précède, elle est validée.

ÉtapesAjouter un balisage fidèle à la réalité

1. Vérifiez l’exigence

   Google indique qu’aucun schéma spécial n’est nécessaire pour les fonctions IA, et que le balisage doit correspondre au texte visible. Utilisez tout de même Article ou BlogPosting, Organization, Product et BreadcrumbList là où ils s’appliquent.

2. Utilisez JSON-LD, échappez-le et indiquez les dates

   Le JSON-LD peut figurer dans le head ou le body, et Google lit le JSON-LD injecté, mais les robots qui n’exécutent pas JavaScript ne le peuvent pas. Lorsque vous sérialisez du JSON dans une balise script, remplacez chaque < par < (une barre oblique inverse suivie de u003c) afin qu’une chaîne contenant une balise script fermante ne puisse pas terminer le bloc prématurément. Les exemples React, Next.js et Astro ci-dessous le font. Affichez une date visible et réglez datePublished et dateModified pour qu’elles correspondent, selon les consignes de Google sur la signature.

3. Considérez le schéma FAQ comme facultatif

   Google a mis fin au résultat enrichi FAQ le 7 mai 2026. Gardez le balisage FAQ seulement s’il reproduit des questions visibles, et n’attendez aucun espace supplémentaire dans les résultats.

4. Vérifier que ça fonctionneVérifiez que cela fonctionne

   Affichez le code source et confirmez que le JSON-LD figure dans le HTML brut. Lancez le test des résultats enrichis ou le Schema Markup Validator, puis comparez chaque valeur à ce que voit un visiteur.

ÉtapesDécider de publier ou non llms.txt

1. Comprenez ce qu’est llms.txt

   llms.txt est un fichier Markdown à la racine de votre site, proposé par Jeremy Howard le 3 septembre 2024, avec un format v2 publié en août 2026. Il comporte un H1 (la seule partie obligatoire), un résumé facultatif en citation, et des sections H2 listant des liens sous la forme - [name](url): notes.

2. Ce qu’il fait aujourd’hui

   Google indique que la recherche n’en tire ni préjudice ni bénéfice. Aucun des documents sur les robots d’exploration d’OpenAI, Anthropic, Perplexity, Bing, Apple ou Meta que nous avons examinés ne dit que leur robot le lit. Lighthouse de Chrome propose un audit Agentic Browsing marqué Not Applicable lorsque le fichier est absent. Les consignes 2026 de Vercel rapportent que l’ajout de llms.txt n’a pas modifié la récupération lorsque la réponse figurait déjà dans le HTML serveur, et que 86 % des récupérations attribuées sont arrivées par des liens de pages.

3. Décidez de le publier ou non

   Facultatif et peu coûteux, faites-le donc après les bases. Gardez-le court. llms-full.txt est une convention que certaines plateformes de documentation génèrent, il ne fait pas partie de la spécification, et les fichiers réels atteignent des dizaines de mégaoctets. Le /llms.txt par défaut de Shopify sert des instructions pour agents, traitées dans la section Shopify.

   # Example Co
   
   > Example Co makes refillable cleaning products and sells them online to customers in the US and Canada.
   
   Key facts:
   - Free shipping on US orders over $50; returns accepted within 30 days.
   - Support: support@example.com, Monday to Friday.
   
   ## Products
   
   - [All products](https://www.example.com/collections/all): Full catalog with prices and stock status
   - [Refill subscriptions](https://www.example.com/pages/subscriptions): How refills are billed, paused and cancelled
   
   ## Policies
   
   - [Shipping policy](https://www.example.com/policies/shipping-policy): Carriers, delivery times and costs
   - [Refund policy](https://www.example.com/policies/refund-policy): Return window and how refunds are paid

4. Vérifier que ça fonctionneVérifiez que cela fonctionne

   Exécutez curl -sI https://yourdomain.com/llms.txt et attendez un 200 avec un type de contenu texte. Collez ensuite uniquement le fichier dans un assistant et posez-lui des questions sur votre entreprise.

ÉtapesDire qui vous êtes une seule fois, à une seule adresse

1. Publiez le balisage Organization

   Ajoutez du JSON-LD Organization sur la page d’accueil avec name, url, logo, description et des liens sameAs vers vos vrais profils, en suivant la documentation Organization de Google. Utilisez partout le même nom, comme le demandent les consignes de Bing, et gardez synchronisées les données de Business Profile, Bing Places et Merchant Center.

2. Choisissez un seul hôte

   Votre balise canonical, les valeurs loc du sitemap et la cible des redirections doivent concorder. Google considère les redirections et rel=canonical comme des signaux forts et le sitemap comme un signal faible, et déconseille de déclarer des URL différentes par des méthodes différentes. Bing note que les LLM regroupent les quasi-doublons et peuvent choisir une URL obsolète pour les représenter.

3. Réglez lastmod d’après de vrais changements

   Ne modifiez lastmod que lorsque le contenu principal, les données structurées ou les liens changent, jamais d’après l’heure de compilation. Google ignore priority et changefreq, et Bing dit de même. Associez-le à une date visible et à dateModified.

4. Notifiez IndexNow pour Bing

   IndexNow informe Bing et d’autres moteurs participants des changements. Google n’en fait pas partie. Un HTTP 200 signifie que votre URL a été reçue, pas indexée.

5. Vérifier que ça fonctionneVérifiez que cela fonctionne

   Exécutez curl -sI https://example.com/page | grep -i -E '^HTTP/|^location' pour chaque variante d’hôte, puis comparez la cible de la redirection à la balise canonical de la page et à son entrée dans le sitemap. Les trois doivent être la même URL.

ÉtapesConfigurer WordPress pour la recherche IA

1. Vérifiez que le contenu est dans le HTML

   Ouvrez une page clé, choisissez Afficher le code source (pas Inspecter) et cherchez une phrase du corps du texte. Ou exécutez curl -s https://example.com/page/ | grep -i "a sentence from the page". Les thèmes et les constructeurs de pages courants rendent côté serveur, mais le contenu des onglets AJAX, des carrousels et des widgets « charger plus » peut être absent.

   Vérifiez que la navigation utilise de vrais liens <a href>, car Google ne peut explorer que les liens construits ainsi. Ouvrez ensuite Réglages > Lecture et confirmez que « Visibilité pour les moteurs de recherche » n’est pas coché. Lorsqu’elle est activée, WordPress actuel ajoute une balise meta robots noindex à chaque page plutôt qu’une directive Disallow dans robots.txt.

   Vérification : votre phrase apparaît dans la sortie de curl, et curl -s https://example.com/ | grep -i noindex ne renvoie rien.

2. Prenez le contrôle de robots.txt

   Sans fichier physique, WordPress construit un robots.txt virtuel et le fait passer par le filtre robots_txt. Un robots.txt physique à la racine web l’emporte sur ce filtre et sur tous les éditeurs d’extensions du tableau, et l’éditeur de fichiers de Yoast crée précisément un tel fichier. Déterminez dans quelle situation vous êtes avant de modifier quoi que ce soit.

   Si vous voulez un groupe IA explicite, utilisez le mu-plugin geo-robots.php ci-dessous. Il répète les règles d’administration dans le groupe, car selon la RFC 9309, un robot qui trouve un groupe le nommant n’obéit qu’à ce groupe.

   Laissez désactivés Block AI Crawlers d’AIOSEO et le Bot blocker de Yoast Premium si vous voulez de la visibilité dans la recherche IA. Si le site est derrière Cloudflare, vérifiez son robots.txt géré, qui ajoute des règles Disallow au-dessus de votre fichier.

   Vérification : curl -s https://example.com/robots.txt affiche les règles attendues. OpenAI indique que les changements peuvent prendre environ 24 heures pour atteindre la recherche ChatGPT.

3. Décidez quels robots autoriser

   Les robots de recherche et de citation sont OAI-SearchBot, Claude-SearchBot et PerplexityBot. Les robots d’entraînement comme GPTBot et ClaudeBot relèvent d’une autre décision, et les bloquer ne vous retire pas de la recherche de cet éditeur. Le tableau complet des éditeurs se trouve dans la section sur les fondations.

   Vérification : aucun robot que vous voulez dans la recherche n’est nommé dans un groupe Disallow.

4. Publiez llms.txt à partir d’une seule source

   Choisissez la fonction de l’extension dans le tableau, ou utilisez geo-llms-txt.php si vous n’avez pas d’extension. N’en exécutez jamais deux. Yoast n’écrasera pas un fichier existant, et un fichier statique peut masquer un fichier dynamique d’une autre extension.

   Le bénéfice est incertain, comme indiqué dans la section llms.txt. La documentation de Rank Math indique elle-même que l’adoption est limitée. Cela coûte peu, considérez-le donc comme un index ordonné de vos meilleures pages.

   Vérification : curl -sI https://example.com/llms.txt renvoie 200, et le corps commence par # Your site name.

5. Ajoutez les données structurées via votre extension

   Ne collez pas un second bloc Organization. Yoast produit un seul @graph lié et expose des filtres tels que wpseo_schema_organization (Schema API). Renseignez d’abord le nom, le logo et les profils dans Yoast SEO > Settings > Site representation. Rank Math permet d’étendre l’éditeur via rank_math/json_ld. Sans extension, utilisez geo-schema.php.

   Vérification : curl -s https://example.com/ | grep -c 'application/ld+json', puis collez chaque bloc dans validator.schema.org et confirmez qu’il n’y a qu’un seul nœud Organization.

6. Renseignez l’auteur et les détails de l’entité

   Complétez Utilisateurs > Profil (nom affiché, informations biographiques, site web), car les extensions SEO y lisent les données d’auteur. Selon les consignes Article de Google, author.name ne contient que le nom et author.url pointe vers une page qui identifie l’auteur de façon unique. Pour l’entreprise, le balisage Organization va sur la page d’accueil ou la page À propos et recommande name, url, logo, sameAs et coordonnées.

   Vérification : la signature d’un article renvoie vers une page d’auteur, et le code source de la page affiche le même nom dans le JSON-LD Article.

7. Faites des liens internes avec des ancres descriptives

   Depuis chaque page pivot (services, catégorie, guide), pointez vers les pages de détail avec un texte d’ancre qui décrit la cible. « Notre liste de contrôle de configuration WooCommerce » en dit plus à un robot que « en savoir plus ».

   Vérification : chaque page importante reçoit au moins un lien texte depuis une autre page.

8. Utilisez un seul générateur de sitemap

   Utilisez le cœur, Yoast, Rank Math ou AIOSEO, pas plusieurs. Soumettez l’URL dans Google Search Console et Bing Webmaster Tools. Bing demande des valeurs lastmod exactes au format ISO 8601 avec date et heure.

   Vérification : l’URL du sitemap indiquée dans le tableau se charge, et lastmod ne change que lorsque vous modifiez réellement une page.

9. Activez IndexNow, avec un seul émetteur

   Choisissez l’extension IndexNow officielle, Instant Indexing de Rank Math, AIOSEO ou Yoast Premium. En exécuter deux duplique les soumissions. IndexNow partage les URL soumises avec tous les moteurs participants.

   Vérification : publiez un article de test et cherchez-le dans la liste des soumissions récentes de l’extension.

10. Complétez les données produit WooCommerce

    Pour chaque produit, renseignez Données produit > Inventaire > UGS et le champ « GTIN, UPC, EAN ou ISBN », et rédigez une vraie description courte. WooCommerce 11.1.2 produit du JSON-LD Product avec sku, gtin, offers et avis, et permet de l’étendre avec woocommerce_structured_data_product. Le fichier de filtres ci-dessous ajoute une marque. Si une extension SEO produit aussi Product, comparez les deux blocs.

    Le trunk de WooCommerce prévoit pour une version ultérieure (marquée 11.3.0) un balisage OnlineStore et MerchantReturnPolicy, il n’est donc pas dans la 11.1.2.

    Vérification : affichez le code source d’une page produit et confirmez qu’il y a exactement un nœud Product contenant votre GTIN.

11. Vérifier que ça fonctionneVérifiez tout depuis un terminal

    Remplacez le domaine et la phrase, puis exécutez les quatre commandes :

    curl -s https://example.com/robots.txt affiche les groupes voulus et une ligne Sitemap.

    curl -sI https://example.com/llms.txt renvoie 200 et text/plain.

    curl -s https://example.com/ | grep -c 'application/ld+json' renvoie le nombre de blocs attendu.

    curl -s https://example.com/some-page/ | grep -i "a sentence from the body" trouve votre texte.

ÉtapesConfigurer une boutique Shopify pour la recherche IA

1. Vérifiez ce que votre boutique sert déjà

   Ouvrez ces quatre URL sur votre boutique et notez ce que vous voyez : /robots.txt, /llms.txt, /agents.md et /sitemap.xml.

   N’espérez pas que votre robots.txt ressemble à celui d’un autre. Le 7 octobre 2026, nous avons vu des boutiques récentes servir une version par défaut dont les commentaires renvoient les agents vers /agents.md, et d’autres boutiques servir encore l’ancienne version par défaut avec des groupes supplémentaires pour des outils comme Nutch, AhrefsBot et Pinterest. Dans les deux cas, les robots d’exploration IA restent sous *.

   Le /llms.txt par défaut est un ensemble d’instructions pour agents (découverte UCP, point de terminaison MCP, points de terminaison JSON en lecture seule, liens vers les politiques). Ce n’est pas un index sélectionné de votre contenu. Passez ensuite une URL de produit dans le test des résultats enrichis de Google.

2. Examinez les vitrines agentiques

   Dans l’interface d’administration, allez dans Canaux de vente > Agentic. Selon l’aide de Shopify, cette option est activée par défaut pour les boutiques éligibles, et exige d’accepter les Agentic Storefronts Supplemental Terms. Shopify liste actuellement ChatGPT, Microsoft Copilot, Google AI Mode et Gemini, et Meta.

   Ce dont chaque canal a besoin :

   • ChatGPT : c’est un référent de découverte. Les acheteurs finalisent le paiement sur votre propre boutique. Votre boutique doit vendre à des clients américains, même si elle peut être basée ailleurs.
   • Copilot et Google : tous deux proposent un paiement propulsé par Shopify dans la conversation pour les boutiques américaines éligibles, et tous deux exigent que vos politiques de boutique soient complétées. Google exige aussi un compte Merchant Center, avec des produits synchronisés via le canal Google et YouTube.
   • Shopify Catalog : d’après la page des exigences, il vous faut l’offre Starter ou supérieure et une boutique qui n’est pas en mode privé. Chaque produit a besoin d’un titre, d’au moins une image, d’un prix supérieur à zéro et d’une publication sur un canal disposant d’une URL. Les produits non listés ou masqués dans la recherche ne sont pas éligibles.

   Utilisez l’aperçu de recherche de cet écran. Il note chaque fiche selon la complétude de la description, la couverture d’images, les avis, les données de variantes et les politiques. Désactiver l’accès de ChatGPT à Catalog peut prendre jusqu’à 7 jours pour prendre effet.

3. Corrigez vos données produit

   C’est là que se trouve l’essentiel du gain. La page Optimizing products for AI platforms de Shopify couvre le titre, la description, les images, le type, le fournisseur, les collections, les tags, le code-barres, les noms d’options de variantes et les politiques. Les points 1, 3, 4 et 9 ci-dessous sont nos propres recommandations, avec des sources lorsque nous en avons :

   1. Titre : précis, avec le type de produit, l’attribut clé et la marque. Gardez le titre SEO autour de 60 caractères.
   2. Description : répondez à ce que demandent les acheteurs (matières, dimensions, à qui il s’adresse, entretien).
   3. Images : plusieurs, chacune avec un texte alternatif descriptif.
   4. Catégorie : à définir sous Produits > (votre produit) > Catégorie à partir de la Standard Product Taxonomy, puis renseignez les métachamps de la catégorie.
   5. Type, fournisseur, collections et tags : renseignez les quatre.
   6. Code-barres : ISBN, UPC ou GTIN sur chaque variante qui en a un.
   7. Noms d’options de variantes : « Taille » et « Couleur », pas « Option 1 ».
   8. Politiques : remboursement, confidentialité, conditions et expédition, complétées.
   9. Avis : l’aperçu de recherche les compte. L’exemple structured_data sur shopify.dev n’affiche pas d’aggregateRating, vérifiez donc le JSON-LD rendu par votre application d’avis.
   10. Application Knowledge Base (facultative) : vous relisez les faits de boutique générés automatiquement et rédigez des réponses de FAQ pour les plateformes IA. Shopify indique que ces réponses n’apparaissent pas sur votre vitrine et que l’application ne change pas la fréquence de votre apparition dans les résultats IA.

4. Personnalisez llms.txt avec un modèle de thème (facultatif)

   Allez dans Boutique en ligne > Thèmes > … > Modifier le code, puis ajoutez un modèle dans le dossier templates. Selon la documentation d’agents.md.liquid, agents.md.liquid couvre les trois URL, tandis que llms.txt.liquid ne couvre que celle-là. Shopify cherche le modèle propre au chemin, puis agents.md.liquid, puis sa version par défaut.

   Seuls les objets request et agents existent dans ces modèles. Vous ne pouvez pas parcourir les collections ou les articles : écrivez vos liens à la main et tenez-les à jour. Gardez les lignes UCP et MCP dynamiques via agents.* plutôt que de les coder en dur, et ne sortez jamais de données privées comme des e-mails ou des numéros de téléphone.

   Les redirections, les Fichiers et les proxys d’application ne fonctionnent pas pour ce fichier. Les redirections d’URL ne se déclenchent que sur des URL cassées, et /llms.txt renvoie désormais 200. Les Fichiers téléversés ne sont pas servis depuis la racine. Les proxys d’application ne fonctionnent que sous /a, /apps, /community et /tools. Le modèle est la voie prise en charge.

   Considérez ce fichier comme une attention pour les agents, pas comme un levier de classement, puisque la recherche Google n’utilise pas llms.txt.

5. Ne touchez à robots.txt.liquid que si vous devez changer l’accès

   Allez dans Boutique en ligne > Thèmes > … > Modifier le code > Ajouter un nouveau modèle > robots > Créer le modèle. Shopify qualifie cela de non pris en charge, l’assistance ne peut pas vous aider, et prévient qu’une erreur peut vous coûter tout votre trafic. Copiez d’abord votre /robots.txt actuel ailleurs. Supprimer le modèle rétablit la version par défaut.

   Gardez la boucle par défaut de Shopify et ajoutez des groupes en texte brut autour. La raison habituelle est de refuser l’entraînement des modèles, par exemple pour GPTBot. OpenAI documente que GPTBot et OAI-SearchBot sont indépendants, bloquer GPTBot ne vous retire donc pas de la recherche ChatGPT.

   N’ajoutez pas de groupes Allow pour accueillir les robots IA. Voir le premier piège ci-dessous.

6. Laissez le balisage Product au thème et enrichissez le reste

   Dawn 16.0.0 et Horizon produisent déjà {{ product | structured_data }} et {{ article | structured_data }}. N’ajoutez pas un second bloc Product écrit à la main. Deux entités pour un même produit entrent en conflit.

   Pour renforcer vos données Organization, renseignez les liens sociaux sous Paramètres du thème > Réseaux sociaux et téléversez un logo. Dans l’en-tête de Dawn, ils alimentent sameAs, et les réglages vides produisent des chaînes vides. Pour une page FAQ visible, ajoutez la section faq-schema.liquid ci-dessous, avec le filtre | json, et seulement pour les questions présentes sur la page.

7. Publiez du contenu qui répond aux questions des acheteurs

   Rédigez des guides d’achat et des comparatifs sous Contenu > Articles de blog et reliez-les aux produits et aux collections. Donnez à chaque collection une vraie description avec son propre titre SEO (Shopify recommande jusqu’à 60 caractères) et une description d’environ 160. Placez une FAQ visible sur une page sous Boutique en ligne > Pages, puis reliez-la depuis votre llms.txt.liquid.

8. Vérifier que ça fonctionneVérifiez que cela fonctionne

   Exécutez ces commandes depuis un terminal, en remplaçant le domaine et le handle du produit :

   curl -sI https://yourstore.com/llms.txt | head -n 5 doit afficher 200, et une requête GET doit afficher votre contenu modifié.

   curl -s https://yourstore.com/llms.txt | head -n 20 doit afficher vos titres et liens.

   curl -sI https://yourstore.com/agents.md et curl -sI https://yourstore.com/sitemap.xml doivent tous deux renvoyer 200.

   curl -s https://yourstore.com/robots.txt doit toujours contenir les interdictions du panier et du paiement sous *.

   curl -s https://yourstore.com/products/your-handle | grep -oE '"@type" ?: ?"(Product|ProductGroup)"' | sort | uniq -c doit afficher une seule entité.

   Revérifiez ensuite l’aperçu de la recherche Agentic.

ÉtapesRendre une SPA React lisible sans JavaScript

1. Diagnostiquez avec l’affichage du code source

   Ouvrez votre page clé, choisissez Afficher le code source (pas les DevTools) et cherchez votre titre principal. Un div id="root" vide signifie que les robots sans rendu n’obtiennent rien. Exécutez ensuite check-ai-crawl.sh ci-dessus et cherchez « Phrase in raw HTML: YES ».

2. Choisissez une solution, dans cet ordre

   1. Le mode framework de React Router avec prerender et ssr: false. Sa documentation indique que le prérendu est utile pour le SEO, surtout pour les déploiements sans rendu serveur.
   2. Passer à Next.js, présenté ensuite.
   3. Pour un site marketing riche en contenu, Astro avec des îlots React.
   4. Un prérendu sur mesure avec react-dom/static. Cela fonctionne mais reste bas niveau, et les frameworks l’appellent normalement pour vous.

   Évitez le rendu dynamique. Create React App est déprécié pour les nouvelles applications depuis le 14 février 2025. Consultez la documentation de React Router pour la version installée, car les options de prérendu sont documentées version par version.

3. Prérendez chaque URL de contenu, slugs compris

   prerender: true ignore les chemins dynamiques tels que /blog/:slug. Utilisez la forme fonction et ajoutez vous-même les slugs.

   import type { Config } from '@react-router/dev/config'
   import { getPostSlugs } from './app/lib/posts'
   
   export default {
   // No runtime server: every listed URL becomes a static HTML file at build time.
   ssr: false,
   async prerender({ getStaticPaths }) {
     const slugs = await getPostSlugs()
     return [...getStaticPaths(), ...slugs.map((s) => '/blog/' + s)]
   },
   } satisfies Config

4. Placez les balises head dans le composant de route

   React Router recommande les éléments intégrés title, meta et link plutôt que l’export meta du module de route. React 19 les remonte dans le head du document. Dans notre version de test, ils se sont retrouvés dans le head du fichier prérendu. Ajoutez le JSON-LD dans le même composant et échappez <, car JSON.stringify laisse </script> intact.

   import { data, useLoaderData } from 'react-router'
   import { getPost } from '../lib/posts'
   
   const SITE_URL = 'https://www.example.com'
   
   // With prerendering, this loader runs at build time, so the post is in the HTML file.
   export async function loader({ params }: { params: { slug?: string } }) {
   const post = await getPost(params.slug ?? '')
   if (!post) throw data('Not found', { status: 404 })
   return { post }
   }
   
   export default function BlogPost() {
   const { post } = useLoaderData<typeof loader>()
   const url = SITE_URL + '/blog/' + post.slug
   const article = {
     '@context': 'https://schema.org',
     '@type': 'Article',
     headline: post.title,
     description: post.description,
     datePublished: post.publishedAt,
     mainEntityOfPage: url,
   }
   return (
     <article>
       <title>{post.title}</title>
       <meta name="description" content={post.description} />
       <link rel="canonical" href={url} />
       <script
         type="application/ld+json"
         dangerouslySetInnerHTML={{ __html: JSON.stringify(article).replace(/</g, '\u003c') }}
       />
       <h1>{post.title}</h1>
       <p>{post.body}</p>
     </article>
   )
   }

5. Déployez avec un repli étroit

   Servez build/client. Réécrivez vers __spa-fallback.html uniquement les chemins que vous n’avez pas prérendus. Cette réécriture répond 200 pour toute URL inconnue, gardez donc votre sitemap exact. Dans ses données de 2024, Vercel a vu le robot de ChatGPT consacrer une large part de ses requêtes à des 404, les URL cassées ou parasites ont donc un coût pour vous.

6. Vérifier que ça fonctionneVérifiez que cela fonctionne

   Le journal de compilation doit afficher une ligne du type Prerender (html): /blog/hello-geo -> build/client/blog/hello-geo/index.html. Ouvrez ce fichier, confirmez que le titre, la balise canonical et le texte de l’article s’y trouvent, puis exécutez check-ai-crawl.sh sur l’URL déployée. Vous voulez obtenir Phrase in raw HTML: YES.

ÉtapesLivrer le texte de la réponse et les métadonnées dans la première réponse

1. Gardez le texte de la réponse dans des Server Components

   Les pages et les layouts sont des Server Components par défaut. Les Client Components sont aussi prérendus, mais les données chargées dans useEffect ne figurent pas dans ce HTML. Dans notre test sur la 16.4.0, une page 'use client' qui chargeait son texte dans un effet livrait un HTML ne contenant que « Loading… ». Réservez les Client Components à l’interactivité, pas à la réponse.

2. Définissez les métadonnées racine avec metadataBase

   Dans app/layout.tsx, exportez metadata avec metadataBase: new URL(SITE_URL), un modèle de titre, alternates.canonical et openGraph. Les exports de métadonnées ne fonctionnent que dans les Server Components.

3. Utilisez generateMetadata et generateStaticParams

   params est une Promise dans les versions actuelles. Prérendre les articles signifie que les métadonnées et l’article complet figurent dans le HTML initial, et la route apparaît comme SSG dans le tableau de compilation.

   import type { Metadata } from 'next'
   import { notFound } from 'next/navigation'
   import { getPost, getPosts } from '@/lib/posts'
   import { SITE_URL } from '@/lib/site'
   import { jsonLd } from '@/lib/json-ld'
   
   type Props = { params: Promise<{ slug: string }> }
   
   // Prerender every post at build time so the full article is in the HTML response.
   export async function generateStaticParams() {
   return (await getPosts()).map((p) => ({ slug: p.slug }))
   }
   
   export async function generateMetadata({ params }: Props): Promise<Metadata> {
   const { slug } = await params
   const post = await getPost(slug)
   if (!post) return {}
   return {
     title: post.title,
     description: post.description,
     alternates: { canonical: '/blog/' + post.slug },
   }
   }
   
   export default async function Page({ params }: Props) {
   const { slug } = await params
   const post = await getPost(slug)
   if (!post) notFound()
   
   const article = {
     '@context': 'https://schema.org',
     '@type': 'Article',
     headline: post.title,
     datePublished: post.publishedAt,
     dateModified: post.updatedAt ?? post.publishedAt,
     mainEntityOfPage: SITE_URL + '/blog/' + post.slug,
   }
   
   return (
     <article>
       <script type="application/ld+json" dangerouslySetInnerHTML={{ __html: jsonLd(article) }} />
       <h1>{post.title}</h1>
       <div>{post.body}</div>
     </article>
   )
   }

4. Rendez le JSON-LD comme un script natif, échappé

   Le guide JSON-LD de Next.js indique d’utiliser une balise script simple, pas next/script, et de remplacer < par son échappement unicode, car JSON.stringify n’assainit rien. Mettez cela dans une seule fonction utilitaire.

   // JSON.stringify does not escape "<", so "</script>" inside a value would end the tag early.
   export function jsonLd(data: object): string {
   return JSON.stringify(data).replace(/</g, '\u003c')
   }

5. Écrivez robots.ts avec les interdictions répétées

   app/robots.ts accepte un tableau pour userAgent. Un robot n’obéit qu’à son groupe correspondant le plus précis, répétez donc les interdictions. Traitez les robots d’entraînement comme une décision distincte de celle des robots de recherche.

   import type { MetadataRoute } from 'next'
   import { SITE_URL } from '@/lib/site'
   
   export default function robots(): MetadataRoute.Robots {
   return {
     rules: [
       { userAgent: '*', allow: '/', disallow: ['/api/', '/account/'] },
       {
         userAgent: [
           'OAI-SearchBot', 'ChatGPT-User', 'Claude-SearchBot', 'Claude-User',
           'PerplexityBot', 'Perplexity-User', 'GPTBot', 'ClaudeBot', 'Google-Extended',
         ],
         allow: '/',
         disallow: ['/api/', '/account/'],
       },
     ],
     sitemap: SITE_URL + '/sitemap.xml',
   }
   }

6. Écrivez sitemap.ts avec un vrai lastModified

   Google ignore priority et changefreq et n’utilise lastmod que s’il est systématiquement exact. Prenez la date dans le contenu, jamais new Date().

   import type { MetadataRoute } from 'next'
   import { getPosts } from '@/lib/posts'
   import { SITE_URL } from '@/lib/site'
   
   export default async function sitemap(): Promise<MetadataRoute.Sitemap> {
   const posts = await getPosts()
   return [
     { url: SITE_URL, lastModified: '2026-10-01' },
     ...posts.map((p) => ({
       url: SITE_URL + '/blog/' + p.slug,
       lastModified: p.updatedAt ?? p.publishedAt,
     })),
   ]
   }

7. Servez llms.txt depuis un route handler

   Les GET des Route Handlers ne sont pas mis en cache par défaut, ajoutez donc force-static. Si vous activez cacheComponents, supprimez cette ligne : l’option est retirée dans ce mode, et un handler qui ne lit aucune donnée de requête est prérendu. Construisez la liste à partir de la même fonction d’articles que celle des pages.

   import { getPosts } from '@/lib/posts'
   import { SITE_NAME, SITE_URL } from '@/lib/site'
   
   // Delete this line if cacheComponents is enabled.
   export const dynamic = 'force-static'
   
   export async function GET() {
   const posts = await getPosts()
   const body = [
     '# ' + SITE_NAME,
     '',
     '> One or two sentences: what you do, for whom, and where.',
     '',
     '## Guides',
     ...posts.map((p) => '- [' + p.title + '](' + SITE_URL + '/blog/' + p.slug + '): ' + p.description),
     '',
   ].join('\n')
   
   return new Response(body, { headers: { 'Content-Type': 'text/plain; charset=utf-8' } })
   }

   La même réserve que plus haut s’applique : ce fichier complète le HTML serveur, il ne le remplace pas.

8. Gérez les routes au moment de la requête : le piège htmlLimitedBots

   Les routes qui lisent des cookies, des en-têtes ou des données non mises en cache sont rendues au moment de la requête. Depuis Next.js 15.2, la sortie de leur generateMetadata est diffusée dans body pour tout robot ne figurant pas dans la liste HTML-limited. Nous avons lu la liste par défaut dans le code source et elle ne contient aucun robot d’exploration IA. Dans notre test sur la 16.4.0, GPTBot et ClaudeBot recevaient le title dans body par défaut, et dans head après que nous les avons ajoutés.

   Définir l’option remplace la liste par défaut : copiez donc la liste par défaut et ajoutez-y les robots IA. Revérifiez la copie à chaque mise à jour de Next.js. Les pages entièrement prérendues ne sont pas concernées. La documentation de Next.js indique que la diffusion en flux ne nuit pas au SEO ; cette affirmation concerne Google, qui exécute JavaScript, ne l’étendez donc pas aux robots d’exploration IA.

   import type { NextConfig } from 'next'
   
   // Copied from the Next.js default (canary html-bots.ts, October 2026). Re-check on upgrade.
   const NEXT_DEFAULT = String.raw`[\w-]+-Google|Google-[\w-]+|Chrome-Lighthouse|Slurp|DuckDuckBot|baiduspider|yandex|sogou|bitlybot|tumblr|vkShare|quora link preview|redditbot|ia_archiver|Bingbot|BingPreview|applebot|facebookexternalhit|facebookcatalog|Twitterbot|LinkedInBot|Slackbot|Discordbot|WhatsApp|SkypeUriPreview|Yeti|googleweblight`
   const AI_CRAWLERS = 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User'
   
   const nextConfig: NextConfig = {
   htmlLimitedBots: new RegExp(NEXT_DEFAULT + '|' + AI_CRAWLERS, 'i'),
   }
   
   export default nextConfig

9. Décidez si vous avez besoin de l’export statique

   Avec output: 'export', Next.js écrit le HTML dans out/ et les Route Handlers doivent être force-static pour être prérendus. Cela convient à un site vitrine hébergé sur un simple stockage.

10. Vérifier que ça fonctionneVérifiez que cela fonctionne

    Dans le tableau des routes de next build, vos routes de contenu doivent apparaître comme statiques ou SSG, pas comme dynamiques. Récupérez ensuite /robots.txt, /sitemap.xml et /llms.txt (ce dernier doit renvoyer text/plain; charset=utf-8) et exécutez check-ai-crawl.sh sur un article. Un slug inconnu doit renvoyer 404.

ÉtapesAjouter des fichiers lisibles par l’IA à un site Astro

1. Gardez le texte de la réponse hors de client:only

   Les composants sans directive client:* sont rendus en HTML simple. client:only ignore entièrement le rendu serveur, n’y placez donc jamais le texte de la réponse.

2. Ajoutez un composant JSON-LD qui échappe

   set:html n’est pas échappé par Astro, et JSON.stringify laisse </script> intact. Dans notre test sur Astro 7.0.5, une description contenant </script> terminait le bloc prématurément et l’analyse JSON échouait. Échapper < a réglé le problème. Astro ne traite pas une balise script ayant des attributs autres que src, le bloc est donc produit tel qu’écrit.

   ---
   interface Props {
   data: Record<string, unknown>;
   }
   const { data } = Astro.props;
   const json = JSON.stringify(data).replace(/</g, '\u003c');
   ---
   <script type="application/ld+json" set:html={json} />

3. Générez llms.txt à partir de la collection de contenu

   Un point de terminaison de fichier statique dans src/pages/llms.txt.ts construit /llms.txt à la compilation. Lire depuis getCollection() signifie qu’il ne peut pas dériver de la version publiée.

   import type { APIRoute } from 'astro';
   import { getCollection } from 'astro:content';
   
   export const GET: APIRoute = async ({ site }) => {
   const url = (path: string) => new URL(path, site).href;
   const posts = (await getCollection('blog', ({ data }) => !data.draft)).sort(
     (a, b) => b.data.publishDate.getTime() - a.data.publishDate.getTime(),
   );
   
   const body = [
     '# Example Co',
     '',
     '> One or two sentences: what you do, for whom, and where.',
     '',
     '## Guides',
     ...posts.map((p) => '- [' + p.data.title + '](' + url('/blog/' + p.id) + '): ' + p.data.description),
     '',
   ].join('\n');
   
   return new Response(body, { headers: { 'Content-Type': 'text/plain; charset=utf-8' } });
   };

4. Choisissez une seule source pour robots.txt

   Utilisez public/robots.txt ou un point de terminaison, pas les deux. Le point de terminaison peut réutiliser site et répéter les règles dans le groupe IA, comme le montre la documentation de l’intégration sitemap pour les sitemaps.

   import type { APIRoute } from 'astro';
   
   const AI_AGENTS = [
   'OAI-SearchBot', 'ChatGPT-User', 'Claude-SearchBot', 'Claude-User',
   'PerplexityBot', 'Perplexity-User', 'GPTBot', 'ClaudeBot', 'Google-Extended',
   ];
   
   export const GET: APIRoute = ({ site }) => {
   const sitemapURL = new URL('sitemap-index.xml', site);
   const rules = 'Allow: /\nDisallow: /api/';
   return new Response(
     [
       'User-agent: *\n' + rules,
       // A crawler that matches a named group ignores the * group, so repeat the rules.
       AI_AGENTS.map((ua) => 'User-agent: ' + ua).join('\n') + '\n' + rules,
       'Sitemap: ' + sitemapURL.href,
       '',
     ].join('\n\n'),
   );
   };

5. Réglez lastmod du sitemap d’après le frontmatter, pour .md et .mdx

   @astrojs/sitemap exige l’option site et ne peut pas lister les routes dynamiques en SSR. Utilisez serialize() pour définir lastmod à partir de chaque article. Couvrez les deux extensions, sinon convertir un article en MDX fait disparaître sa date sans avertissement. Nous l’avons constaté sur notre propre site.

   import { defineConfig } from 'astro/config';
   import sitemap from '@astrojs/sitemap';
   import { readdirSync, readFileSync } from 'node:fs';
   
   const postDates = Object.fromEntries(
   readdirSync('./src/content/blog')
     .filter((f) => /\.mdx?$/.test(f))
     .map((f) => {
       const fm = readFileSync('./src/content/blog/' + f, 'utf8').split('---')[1] ?? '';
       const date = fm.match(/^updatedDate:\s*(\S+)/m)?.[1] ?? fm.match(/^publishDate:\s*(\S+)/m)?.[1];
       return ['/blog/' + f.replace(/\.mdx?$/, ''), date];
     }),
   );
   
   export default defineConfig({
   site: 'https://www.example.com',
   integrations: [
     sitemap({
       serialize(item) {
         const path = new URL(item.url).pathname.replace(/\/$/, '');
         const date = postDates[path];
         if (date) item.lastmod = new Date(date).toISOString();
         return item;
       },
     }),
   ],
   });

6. Reliez le fichier pour que les agents le trouvent

   Ajoutez link rel="alternate" type="text/plain" href="/llms.txt" ou un lien en pied de page. La spécification llms.txt v2 utilise rel="describedby" pour cela.

7. Vérifier que ça fonctionneVérifiez que cela fonctionne

   Exécutez npx astro build. Ouvrez dist/llms.txt, dist/robots.txt, dist/sitemap-0.xml et un dist/blog/your-post/index.html. Après le déploiement, exécutez check-ai-crawl.sh sur l’URL en ligne et cherchez « Phrase in raw HTML: YES ».

ÉtapesMesurer la visibilité dans la recherche IA

1. Séparez les impressions des fonctions IA

   Commencez ici pour toute page ayant beaucoup d’impressions et presque aucun clic.

   1. Dans Search Console, ouvrez Performances, filtrez Page sur votre URL, et notez les impressions, les clics, le CTR et la position moyenne.
   2. Ouvrez le rapport Generative AI performance, allez dans l’onglet Pages et trouvez la même URL.
   3. Comparez les deux nombres d’impressions. Le rapport IA est un sous-ensemble du Web, ne les additionnez donc jamais. Si les fonctions IA représentent la plupart des impressions, une bonne position avec un faible CTR est normale, car tous les liens d’un aperçu IA partagent une même position.
   4. Si le rapport est absent, Google indique que le site n’a pas encore eu assez d’impressions IA. Ce n’est pas une erreur.
   5. Ouvrez Settings > Search generative AI et confirmez que la propriété n’est pas réglée sur Exclude et n’hérite pas d’Exclude d’un parent. Voir Search generative AI control.
   6. Ajoutez une annotation le jour où vous livrez des changements : clic droit sur le graphique Performances, jusqu’à 120 caractères (aide sur les annotations).

2. Utilisez le canal AI Assistant intégré

   Dans GA4, allez dans Rapports > Acquisition > Acquisition de trafic. Réglez la dimension principale sur Groupe de canaux par défaut de la session et cherchez la ligne AI Assistant. Ajoutez Source de la session comme dimension secondaire pour voir quel assistant a envoyé chaque session. Les clics des aperçus IA et du mode IA n’y figureront pas. Dans Plausible, ouvrez Sources > Channels > AI Assistants.

3. Ajoutez un groupe de canaux personnalisé

   Allez dans Admin > Affichage des données > Groupes de canaux, créez un groupe et ajoutez un canal dont la Source correspond à l’expression régulière ci-dessous. Faites-le glisser au-dessus de Referral, car le trafic va au premier canal qui correspond. Les propriétés standard autorisent 2 groupes personnalisés, et les groupes personnalisés ne figurent pas dans l’export BigQuery.

   L’expression régulière d’exemple de Google dans cet article d’aide était trop large lors de notre test : elle attrapait aussi help.openai.com, github.com/copilot, chatgptlist.org et « shanghai ». Utilisez plutôt celle-ci, plus étroite.

   ^(.*\.)?(chatgpt\.com|chat\.openai\.com|perplexity\.ai|claude\.ai|copilot\.microsoft\.com|gemini\.google\.com)$

   Elle accepte chatgpt.com, chat.openai.com, www.perplexity.ai, claude.ai, copilot.microsoft.com et gemini.google.com. Elle rejette google, mail.google.com, openai.com, help.openai.com, notchatgpt.com, perplexity.ai.evil.com et bing.com. Elle couvre l’hôte www et l’ancien hôte de ChatGPT, car chat.openai.com redirige vers chatgpt.com et perplexity.ai redirige vers www.perplexity.ai. Les expressions régulières de GA4 sont en correspondance complète et sensibles à la casse par défaut, utilisent RE2, et les filtres de rapport sont limités à 250 caractères. Les ancres maintiennent ce motif correct dans les deux modes de correspondance. N’ajoutez d’autres assistants qu’après les avoir vus apparaître dans votre propre rapport Source de la session.

4. Surveillez les UTM perdus

   Cherchez dans Source / support de la session les lignes chatgpt.com classées dans Unassigned ou Referral, car Google ne documente pas comment GA4 traite un utm_source sans support par rapport à la règle AI Assistant. Une redirection qui supprime la chaîne de requête, comme une règle de barre oblique finale, de www ou de http vers https, supprime aussi l’UTM. Testez une URL balisée à travers chaque redirection que vous utilisez.

5. Construisez une Exploration (facultatif)

   Passez cette étape si le rapport de canaux intégré répond à votre question. Dans Explorer, démarrez une exploration vierge. Importez les dimensions Source de la session, Source / support de la session, Page de destination + chaîne de requête et Groupe de canaux par défaut de la session, ainsi que les métriques Sessions, Sessions engagées et Événements clés. Placez Source de la session puis Page de destination + chaîne de requête dans Lignes, et filtrez Source de la session avec la même expression régulière.

6. Lisez les citations Copilot et Bing

   1. Validez le site dans Bing Webmaster Tools et ouvrez le rapport AI Performance.
   2. Lisez Total Citations, Average Cited Pages, les requêtes d’ancrage et la liste Pages. Cliquez sur une requête d’ancrage pour voir ses pages citées, ou sur une page pour voir ses requêtes d’ancrage.
   3. Utilisez Compare pour superposer la période suivant vos changements. Intents, Topics et Citation Share sont des fonctions en préversion.
   4. Exportez en CSV ou Excel chaque mois. Lisez la FAQ pour les règles d’échantillonnage et d’actualisation.
   5. Soumettez les URL modifiées via IndexNow. Bing le recommande pour que les réponses IA utilisent la version actuelle de la page.

7. Comptez les passages des robots IA dans les journaux serveur

   Cherchez ces agents utilisateurs. Recherche : OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot. Entraînement : GPTBot, ClaudeBot. Déclenchés par l’utilisateur : ChatGPT-User, Claude-User, Perplexity-User. Google-Extended n’apparaîtra jamais, car c’est un jeton robots.txt sans agent utilisateur propre.

   Les passages déclenchés par l’utilisateur comptent le plus. Chacun signifie qu’une vraie conversation a lu votre page, et comme ces récupérations n’exécutent pas JavaScript, GA4 et Plausible ne les voient jamais.

   Un comptage rapide à partir d’un journal au format combiné. Cette version awk compte chaque ligne une fois, alors qu’un grep simple comptait bingbot deux fois par ligne :

   awk 'match($0, /OAI-SearchBot|ChatGPT-User|GPTBot|Claude-SearchBot|Claude-User|ClaudeBot|PerplexityBot|Perplexity-User|Googlebot|bingbot/) { print substr($0, RSTART, RLENGTH), $7 }' access.log | sort | uniq -c | sort -rn

   Les agents utilisateurs se falsifient facilement, vérifiez donc les IP. Notre ai_bot_report.py (Python 3, bibliothèque standard uniquement, dans le kit) compte les passages par jour, robot, statut et chemin, et vérifie chaque IP par rapport à la liste publiée par l’opérateur pour OpenAI, Anthropic, Perplexity, Google et Bing. Une ligne avec ip_verified=NO correspond à un agent utilisateur usurpé. Il signale un faux GPTBot venant d’une IP non listée.

   python3 ai_bot_report.py access.log > ai-bots.csv
   zcat access.log.*.gz | python3 ai_bot_report.py - > ai-bots.csv

   Sans le script, utilisez la double vérification : le DNS inverse de l’IP doit renvoyer un nom d’hôte Google (googlebot.com, google.com ou googleusercontent.com) ou un nom se terminant par search.msn.com pour Bingbot, et une résolution directe de ce nom doit renvoyer la même IP.

   Sur Vercel, allez dans Firewall > Rules > Bot Management et réglez le jeu de règles AI Bots sur Log, pas sur Deny (jeux de règles gérés du WAF). Utilisez ensuite Firewall > Traffic et regroupez par User Agents et Request Paths (observabilité). Les Runtime Logs ne montrent que les requêtes statiques servies depuis le cache. Un journal complet exige des Drains, disponibles sur les offres Pro et Enterprise, avec proxy.userAgent dans chaque enregistrement :

   jq -r 'select(.proxy) | [(.proxy.timestamp/1000|todate), .proxy.clientIp, .proxy.path, (.proxy.statusCode|tostring), (.proxy.userAgent|join(" "))] | @tsv' drain.ndjson \
   | awk -F'\t' 'match($5, /OAI-SearchBot|ChatGPT-User|GPTBot|Claude-SearchBot|Claude-User|ClaudeBot|PerplexityBot|Perplexity-User|Googlebot|bingbot/) { print substr($5, RSTART, RLENGTH) "\t" $3 }' \
   | sort | uniq -c | sort -rn

   Sur Cloudflare, ouvrez AI Crawl Control. Si les passages de robots IA sont proches de zéro, vérifiez si le réglage du robots.txt géré ajoute en tête des règles Disallow pour GPTBot, ClaudeBot ou Google-Extended.

8. Lancez un test de requêtes reproductible

   Aucun outil officiel ne rapporte les citations de ChatGPT, Claude ou Perplexity : testez donc à la main avec un protocole fixe.

   1. Rédigez 20 à 40 requêtes couvrant des questions pratiques, des comparaisons, des cas propres à une plateforme et deux ou trois questions sur la marque. Donnez à chacune un identifiant permanent. Pour changer la formulation, retirez l’identifiant et ajoutez-en un nouveau.
   2. Moteurs : ChatGPT avec la recherche activée, Google AI Mode, aperçus IA de Google (une recherche normale), Gemini, Perplexity, Microsoft Copilot, Claude avec la recherche web activée.
   3. Gardez les réglages constants : pays, langue, connecté ou non. Dans ChatGPT, utilisez Temporary chat réglé sur Unpersonalized, qui ignore la mémoire et les instructions personnalisées. Le mode Personalized peut encore utiliser des souvenirs existants. Ailleurs, utilisez un profil neuf ou une session déconnectée et notez le mode ou le modèle.
   4. Exécutez chaque requête 3 fois par moteur. Les réponses varient d’une exécution à l’autre.
   5. Cadence : une base de référence mensuelle, plus une nouvelle exécution 2 à 4 semaines après un changement de contenu important.
   6. Consignez chaque exécution dans ai-prompt-tracker.csv (26 colonnes, deux lignes d’exemple clairement signalées). Calculez le taux de mention, le taux de citation et la part de citation (vos URL citées divisées par toutes les URL citées, la même idée que la métrique de Bing).
   7. Conservez les captures d’écran comme preuves privées. Ne publiez pas d’interfaces tierces.

   Mention rate   =COUNTIF(runs!N2:N1000,"yes")/COUNTA(runs!C2:C1000)
   Citation rate  =COUNTIF(runs!P2:P1000,"yes")/COUNTA(runs!C2:C1000)
   Citation share =SUM(runs!R2:R1000)/SUM(runs!S2:S1000)

9. Vérifier que ça fonctionneVérifiez que cela fonctionne

   Confirmez quatre points :

   • Vous avez un chiffre « avant » pour l’URL (impressions totales et impressions des fonctions IA) et une annotation datée du jour de la mise en ligne.
   • Le filtre GA4 ne renvoie que des hôtes d’assistants.
   • La sortie sur les robots montre vos propres requêtes. Faites-en une avec curl -A 'OAI-SearchBot' -s -o /dev/null https://yourdomain.com/robots.txt, puis cherchez une ligne portant ce nom de robot et le statut 200.
   • Le suivi des requêtes comporte une ligne de référence pour chaque identifiant de requête et chaque moteur.