Nota del traductor (es): Este artículo aún no se ha traducido al español. El texto completo permanece en inglés a continuación. La traducción al español está en la hoja de ruta. Leer el original en inglés .
AI answer engines have their own crawlers. They are not the same as Googlebot, they do not behave the same way, and the rules you set for them go in three different files: robots.txt, llms.txt, and your sitemap.
For the full article, see the English original .