Note du traducteur (fr) : Cet article n’a pas encore été traduit en français. Le texte complet reste en anglais ci-dessous. La traduction française figure sur la feuille de route. Lire l’original en anglais .
AI answer engines have their own crawlers. They are not the same as Googlebot, they do not behave the same way, and the rules you set for them go in three different files: robots.txt, llms.txt, and your sitemap.
For the full article, see the English original .