robots.txt
robots.txt é um arquivo público na raiz de um site que declara quais robôs automatizados (de busca ou de IA) podem ou não acessar cada parte do site, seguindo o Robots Exclusion Protocol.
O robots.txt é um arquivo de texto público, hospedado na raiz de um domínio (ex.: seusite.com.br/robots.txt), que declara regras de acesso para robôs automatizados — quais partes do site cada robô pode ou não visitar. Segue o Robots Exclusion Protocol (RFC 9309), respeitado pelos grandes buscadores (Google, Bing) e também pelos robôs de IA generativa, que se dividem em robôs de treino (como GPTBot e ClaudeBot, que alimentam o aprendizado dos modelos) e robôs de busca (como OAI-SearchBot e PerplexityBot, que buscam em tempo real para citar sites em respostas). Bloquear um tipo de robô não afeta o outro — um erro comum é bloquear o robô errado sem perceber, perdendo visibilidade em respostas de IA sem nenhum aviso.