Crawl (Rastreamento)
Crawl (rastreamento) é o processo pelo qual um robô automatizado (de busca ou de IA) visita as páginas de um site, seguindo links, para descobrir e ler o conteúdo.
Crawl, ou rastreamento, é como buscadores (Googlebot) e robôs de IA (GPTBot, PerplexityBot etc.) descobrem o conteúdo de um site: um robô visita uma página, lê o HTML, extrai os links encontrados nela e visita essas novas páginas também, repetindo o processo. O robots.txt controla quais partes do site cada robô pode rastrear; o sitemap.xml ajuda o robô a encontrar páginas que talvez não estejam bem linkadas internamente. Uma auditoria técnica de SEO que 'crawleia' um site está fazendo exatamente isso em escala pequena e controlada — visitando várias páginas automaticamente para checar problemas estruturais.